脱炭素とはなにか
iStock / Getty Images Plus/Userba011d64_201
世界での月間アクティブユーザーが3億人を超えるTwitterで、生成AIを利用して作った健康などに関する偽情報（フェイクニュース）のツイートを流したら、ユーザーはその真偽を正しく見抜けるだろうか？
そんな社会実験とも言える研究成果が、6月28日付で科学誌Science Advancesに発表された。
論文によると、Open AIの大規模言語モデル（LLM）GPT-3で作った情報は｢正しい情報｣にしろ｢誤った情報｣にしろ、人が作った情報よりも信じられやすいという。｢正しい情報｣であればより伝わりやすく、｢誤った情報｣であれば、より効果的に人を騙すことができてしまうようだ。
人かAI。信じるならどっち？
思わず眺めてしまうSNS上には真偽不明な情報が流れている。
iStock / Getty Images Plus/Kar-Tr
今回の研究は、スイス・チューリッヒ大学のGiovanni Spitale氏らの研究チームによるもの。実験では、2022年10月にオンラインで867名の参加者を集め、
｢提示するツイートに含まれる情報は正しいか、誤っているか｣
｢ツイートを作成したのは人間か、AIか｣
と、それぞれ真偽を判定してもらった。
途中脱落者を除いて、最終的に697件の回答を収集。参加者は英国、アイルランド、米国、カナダ、オーストラリアの5カ国で、およそ1：2で女性の方が多く、10代から70代まで幅広い年齢層の人が参加した。学歴も初等教育から博士号取得者までおり、最も多かったのは社会科学、人文学、自然科学、医学などの分野で大学教育を受けていたグループだった。
判定に使ったツイートのテーマは、｢気候変動｣｢ワクチンの安全性｣｢進化論｣｢COVID-19｣｢マスクの安全性｣｢ワクチンと自閉症｣｢がんのホメオパシー治療｣｢地球平面説｣｢5G技術とCOVID-19｣｢抗生物質とウイルス感染症｣｢COVID-19とインフルエンザ｣の11種類。現在でも毎日のように誤ったツイートが広がっているものばかりだ。
AIのツイートは人を騙しやすい
TwitterなどのSNSをはじめ、インターネット上にはさまざまな情報がある。中には意図的にフェイク情報を流しているサイトも。
Tero Vesalainen/Shutterstock.com
実験ではGPT-3を使って｢正しい情報｣と｢誤った情報｣の含まれるツイート文を10本ずつ生成。人間が作成したツイートもTwitter上で収集した上で、約700名の実験参加者にそれぞれの真偽を判定させた。
GPT-3が作ったツイート文は、内容の正誤に応じて、｢シンセティック・トゥルー（AIが作成した正しい内容）｣と｢シンセティック・フォルス（AIが作成した誤った内容）｣の2パターンに。収集した人間が書いたツイートも、内容の正誤に応じて｢オーガニック・トゥルー（人間が書いた正しい内容）｣と｢オーガニック・フォルス（人間が書いた誤った内容）｣の2パターンに分類。この合計4パターンのツイートを実験参加者に読ませ、内容の正誤と作成者が人間またはAIのどちらかを判定したわけだ。
ツイートの真偽を回答するまでにかかった時間（平均回答時間）を比較すると、誤った内容よりも正確な情報の判定には時間がかかった。また、ツイートの内容の真偽にかかわらず、人間のツイートのほうが、AIが作成したツイートよりも判断に時間がかかっていた（下図）。
パターン別の平均回答時間
| 人間（オーガニック） | AI（シンセティック） | |
|---|---|---|
| 正確な内容（トゥルー） | 29.14秒 | 21.02秒 |
| 誤った内容（フォルス） | 23.28秒 | 19.87秒 |
この結果から、人間にとって｢誤った情報の評価｣よりも｢正確な情報の評価｣のほうが判断する上で難しい傾向があることが分かった。また、情報の正確性にかかわらずGPT-3が生成した情報のほうが、人間が作った情報よりも短時間で効率的に認識されていることが分かった。
論文ではこの背景を
｢GPT-3 は人間が書いたテキストと比べて、読みやすく理解しやすいテキストを生成できるため、情報伝達の効率が高い可能性があることを示唆している｣
と分析している。
また、回答者に情報の正確性を評価してもらったところ、｢正しい情報｣については人が作ったツイートよりもGPT-3が生成したツイートを｢正しい｣と判定しやすかった。一方で、｢誤った情報｣については人が作ったツイートを｢誤っている｣と判定しやすかった。
これはつまり、AIによって作られた誤った情報は、より人を騙しやすいということだ。
ただし、ツイートのテーマによって誤情報の判定しやすさには差がある。
｢ワクチンの安全性｣｢マスクの安全性｣｢COVID-19とインフルエンザ｣｢がんのホメオパシー治療｣といったテーマでは、人間が書いたツイートの方が｢誤っている｣と正しく判断できている（騙されにくい）傾向があった。一方、｢気候変動｣｢進化論｣｢COVID-19｣｢ワクチンと自閉症｣｢地球平面説｣｢5GとCOVID-19｣については、AIが生成したツイートの方が、誤っていると判断されやすかった（騙されにくかった）。
AIを見抜けない…人間が自信を喪失
REUTERS/Dado Ruvic/Illustration
また、実験への参加前後で、参加者の中でのAIに対する認識にも変化が起きていた。
11テーマ、4パターンのツイートの正誤、作成者判別テストを経験した回答者たちは、｢人間とAIの生み出したものを区別できる｣という自信を喪失したというのだ。
実際、ツイートが人によるもの（オーガニック）か、AIによるもの（シンセティック）かを認識する能力を算出したところ、回答者がツイートを区別できていなかったことを示唆する結果が得られている。
研究者はこの理由を
｢参加者たちもまだ生成AIという技術に慣れ親しんでいるわけではなく、想像以上にGPT-3が人間の文体や言語パターンを模倣する能力が高かったため｣
と分析。
他にも、大量の情報に圧倒されることで、批判的に評価してオーガニックツイートとシンセティックツイートを区別しようとする努力を諦めてしまう現象や、情報リテラシーについて自分の能力を過大評価してしまう｢ダニング・クルーガー効果｣などの影響による可能性もあるのではと指摘している。
この結果は、AIを利用して偽情報を広めようと考える人やグループにとっては思うつぼの内容かもしれない。大量のよくできた偽情報ツイートを流せば、情報を読み解くことに疲れ果てて自信喪失し、偽情報を受け入れる人が増えるかもしれないからだ。
フェイクニュース作りは、AIも嫌がっている？
Markus Mainka/Shutterstock.com
一方で、ちょっとした｢AIの反乱｣も起きている。テーマによってGPT-3が誤った情報のツイート文をうまく生成できなくなるというのだ。
11のテーマごとに、GPT-3を使って正しい情報と誤った情報のツイート文をそれぞれ10ずつ生成させようとしたところ、正しい情報をうまく生成できた割合は101回中99回（98%）。しかし誤った情報を生成できた割合は102回中80回（78%）と少し低い。
中でも極端に成績が悪かったテーマは｢ワクチンと自閉症｣だ。
正しい情報のツイート文は10回すべて生成できたのに対し、誤った情報になると10回中3回しか生成できなかった。同様に｢がんのホメオパシー治療｣では正しい情報は10回すべて生成に成功したのに対し、誤った情報では9回中5回。｢地球平面説｣では、誤った情報の生成は10回中6回にとどまった。
実際のTwitter環境では、純粋なテキストのほかにツイートを投稿したアカウントのプロフィール、過去のコンテンツ、プロフィール画像などの文脈的要因も加えて人は情報の真偽を判断している。そのため、今回の研究結果がそのまま当てはまるわけではないだろう。
しかしGPT-4 などのより高性能な大規模言語モデルの登場で、悪い意味での｢効率性｣が上がってしまう可能性はある。
今後、研究チームはTwitterから無作為にユーザーを抽出するのではなく、公衆衛生の専門家が書いたツイートとAIが作ったツイートを比較するといった発展的研究も考えているという。
プロフェッショナルな医療の専門家の発信はやはり人の心に届きやすい……そうした結論となることを期待しつつ、受け取った人々がプロの｢オーガニックツイート｣を感謝とともに受け取ってその活動を支えるのであってほしいと思う。
