AIチャットボット、ChatGPTは、2022年11月の公開以来、大きな話題を呼んでいる。
NurPhoto/Getty Images
- 哲学者の教授2人は、学生が提出したエッセイがChatGPTに書かせたものであることを発見した。
- もっともらしく書かれた間違いが、不正を示す最大の「シグナル」になったという。
- しかし、学生がAIチャットボットを不正に使用したと告白しない場合、教授陣がそれを証明するのは困難だ。
Open AIが開発したAIチャットボット、ChatGPTの公開から数週間後、ファーマン大学の哲学教授であるダレン・ヒック(Darren Hick)は、AIに書かせたエッセイを提出した学生を見つけたという。
ヒックは、そのエッセイにもっともらしい間違ったの情報が含まれていたことから、不審に思ったという。
そこでChatGPTのAI検出器にかけた結果、そのエッセイは99%がAIによって生成された可能性があることが判明した。
また、ノーザンミシガン大学の宗教学・哲学教授のアントニー・アウマン(Antony Aumann)は、ChatGPTで書かれたエッセイを提出した学生を2人摘発したとInsiderに語っている。
アウマンは、そのエッセイの文体を見て不審に思い、それをChatGPTに読み込んで、プログラムによって生成された文章なのかどうかを尋ねた。すると「99%の確率でChatGPTによって作成されている」との回答を得て、その結果を学生に転送した。
ヒックとアウマンは、それぞれ学生に話を聞いたところ、彼らはみな不正を働いたことを告白した。ヒックの学生は落第になり、アウマンは学生にエッセイを一から書き直させた。
「もっともらしく書かれた間違いだった」
これらのエッセイには、AIで生成されたのではないかと疑わせるような要素が含まれていたという。ヒックが見つけたエッセイには、授業で触れていない事実について言及されており、理不尽な主張がなされていた。
「細かいところまでよくできたエッセイだった」が、よく調べてみると、多作の哲学者、デイヴィッド・ヒューム(David Hume)に関する主張は「意味が分からず」「まったくの間違い」だった。
「もっともらしく書かれたまったくの間違いが、最大の『シグナル』になった」と彼は述べた。
アウマンにとっては、AIチャットボットが書く文章はあまりにも完璧に感じられた。
「このチャットボットは、私の学生の95%よりも上手に書けると思う」とアウマンは言う。
「これまで、そのレベルの思考力や文章力に達していなかった学生が、いきなり洗練された文法とエッセイのテーマに直接関連する複雑な思考で、すべての要件に完璧に従った文章を書くのだ」
アパラチアン州立大学の哲学教授であるクリストファー・バーテル(Christopher Bartel)は、AIが生成したエッセイの文法はほぼ完璧だが、内容は詳細が欠ける傾向にあると指摘する。
「本当に浮ついていて、文脈もなく、深みや洞察もない文章だ」
不正の証明は困難
しかし、学生がエッセイ書くのにAIを使ったと自ら告白しない限り、教授陣は困難な状況に陥る。
バーテルは、大学の規則がこの種の不正行為に対抗できるように進化していない場合があると指摘する。学生がAIの使用を頑なに否定した場合、それを証明するのは難しいだろう。
バーテルは、現在利用可能なAI検出器は「良いものだが完璧ではない」と言う。
「これはAIが作成した文章である可能性を統計的に分析するものでしかない。大学の規則として、エッセイが偽物なのかどうかを判断する際、決定的で実証可能な証拠がなければならないと定めているのであれば、我々は難しい立場に立たされることになる」と彼は言う。
「エッセイがAIで生成されたものである可能性が95%であると判断されたとしても、そうでない可能性が5%残っているのだ」
ヒックが見つけたエッセイは、検出サイトでAIによる生成であることが「99%確実」となったものの、学生からの自白が必要だったという。
「他のものは状況証拠にしか見えないので、自白は重要だった。AIが生成したコンテンツには、状況証拠よりもずっと重みがある物的証拠がない」
アウマンは、AI検出器による分析は懲罰処分のための十分な証拠になると考えているものの、AIを用いた不正行為は大学にとって新たな課題だと言う。
「『ここにウィキペディアからの文章が使われている』と指摘すればよかったかつての状況とは違い、現在は決定的な証拠を提示することができず、チャット(AI検出器)で統計的に不正の可能性が高いと判断されたと言う程度のことしかできない状況だ」