脱炭素とはなにか
ChatGPTが作ったコピーを人間は見分けられるのだろうか。
reuters
中国の研究チームが最近、人間とAIにキャッチコピーをつくらせ、専門家と一般消費者が識別できるか実験を行った。その結果、専門家はAIのキャッチコピーを見破れるものの、消費者はほとんど判別できないことが明らかになった。
文章や画像、音声、プログラムコードなどユーザーの指示によってさまざまなコンテンツを生成する生成Aの登場で、中国ではイラストレーターやコピーライターの失業がたびたび報じられており、クリエイティブに携わる人材は岐路に立たされている。
専門家と消費者約1800人が識別に挑戦
この2、3カ月、対話型AI｢ChatGPT｣を徹底特集した雑誌が競うように発売され、ちょっとした特需になっている。対話型AIは文章の要約、議事録作成、キャッチコピーなどを一瞬で終わらせ、仕事の生産性を大きく高めることが期待される。
では実際に、これらの対話型AIの専門性は人間とどの程度差があるのか、中国人民大学、寧波大学、アドテクのシンクタンク｢針営銷科学院｣が、人間、ChatGPT、中国・バイドゥ（Baidu）がリリースした｢文心一言｣に広告用のキャッチコピーを作成させ、人間に評価してもらう研究を行った。
分析手法：人間と対話型AIに広告のキャッチコピーをそれぞれ10ずつ作らせ、専門家（現役マーケターかマーケティング領域の研究者）60人と、消費者1707人が分析する。
AIについては、ChatGPTと文心一言が5つずつ担当。人間側のキャッチコピーは、マーケティングを専攻する大学生の作品をコンペ形式で選んだ。
キャッチコピーの指示の例（要約）：自動車のヘッドライト用つけまつげ商品のキャッチコピーを制作してください。大学生と共同開発した、若者・女性受けするトレンドをおさえたEV関連用品であることを打ち出し、商品の良さや機能性も説明しつつ、ユーザーの印象に残るコピーにしてください。会社名、商品名、複数のキーワードを入れてください。
【結果】
➀消費者は｢人間｣｢AI｣識別できず
（出所）中国人民大学、寧波大学、針営銷科学院による研究結果をもとに筆者・編集部作成。
各コピーを人間とAIのどちらが作成したのか回答してもらう調査では、専門家と一般消費者の差がはっきりと出た。
専門家は確信を持てないながらも全体としては当てられている。ただし、AI作成のコピーを｢人間がつくった｣と推測した回答も3割にのぼった。専門家を惑わすレベルに達していると言える。
一般消費者は人間とAIの判別がほとんどつかないことも浮き彫りとなった。｢人間が作成｣を選んだ比率は人間・AIともに53～55％に収まっており、｢AIが作成｣は人間・AIともに31～33％に収束した。素人がパッと見た感覚では、AI作成のコピーも人間がつくったように感じるようだ。
②｢ベテラン感｣では人間が僅差で勝利
調査に参加した専門家は、各キャッチコピーから｢人が作成したとしたら、どのくらいの業務経験を持つ人のものか｣を推定した。その結果、AIのコピーは2.47年、人間のコピーは3.83年（いずれも平均値）だった。ChatGPTと文心一言の差はほとんどなかった。プロが見ると、AIと人間ではだいたい1年半くらいのスキル感の差がある。
③｢分かりやすさ｣消費者はAIを高評価
（出所）中国人民大学、寧波大学、針営銷科学院による研究結果をもとに筆者・編集部作成。
専門家はさらに、キャッチコピーを｢明確で要素が十分｣｢分かりやすさ｣｢クリエイティブ｣｢消費者の洞察｣｢業界の洞察｣の5つの角度から分析し、5点満点で採点した。
総合点ではすべてのコピーで人間がAIを上回った。項目別では｢明確で要素が十分｣｢分かりやすさ｣は、人間とAIでほとんど変わらず、人間が強さを見せたのは｢クリエイティブ｣｢消費者の洞察｣｢業界の洞察｣だった。
消費者には｢分かりやすさ｣｢お題とコピーの関連性｣｢独自性｣｢信頼性｣｢好み｣｢ニーズを捉えているか｣｢買いたくなったか｣｢シェアしたくなったか｣｢行動を促すか｣の9項目を感覚的に答えてもらった。
その結果、総合点では人間が3.7、ChatGPTが3.67、文心一言が3.68と差がほとんどなかった。項目別では｢独自性｣｢信頼性｣｢好み｣は人間が、｢分かりやすさ｣｢関連性｣はAIが上回った。その他の項目は差がなかった。
④ChatGPTと文心一言の差はなし
ChatGPTと文心一言を比較すると、すべての設問・項目で差が見られなかった。ChatGPTのリリースは2022年11月末、文心一言のリリースは今年3月中旬で、バイドゥの李彦宏CEOは当時、ChatGPTに性能で劣ると認めていたが、広告向けキャッチコピーの領域では能力が拮抗していると分かった。文心一言が中国語に特化した大規模言語モデルであることも、この結果に影響しているかもしれない。
今は人間優位でも……学習スピードはAIがはるかに上
バイドゥの文心一言とOpenAIのChatGPTの差はほとんどなかった。
Reuters
筆者は執筆や翻訳、編集といったコンテンツ制作業に従事しており、同業の仲間たちと｢AIがさらに進化したら、私たちの仕事のうち何が残るのか｣という話をよくする。海外のウェビナーに出ると参加者の発言がリアルタイムでかなり正確に文字起こしされ、ChatGPTの翻訳は人間の下訳を代替するレベルに達している。クラウドライター、クラウド翻訳者の仕事の多くは、1～2年のうちにAIに置き換わるかもしれない。
一方、キャッチコピー作成というタスクにおいて、専門家が人間の制作物の方がよりクリエイティブで深い洞察があると判定した点は、非常に納得感がある。私たちはコンテンツを制作する際、過去の作品を参照し、影響を受け、とりわけヒットしたコンテンツやトレンドの法則を踏襲しつつ、新しさを出そうとする。ヒットを求められている商業的コンテンツの制作者にとって、制作とは踏襲と独創性の融合でもある。
ただし、そのような深さが業界外の一般消費者には見えにくいというのもよく分かる。ニュースプラットフォームにあふれる記事を見て、新聞記者出身の私は一目で｢取材記事｣か｢あちこちのサイトから断片を引っ張ってきて読みやすく加工した記事｣か見分けられるし、文章だけでなく制作背景まで意識して読んでいるが、記者経験のない人にはそういう違いは分からないだろう。
研究チームは、キャッチコピー制作において現時点では人間の優位性を確認したが、｢AIのスキル獲得のペースは驚異的に速く、人間が今上回っているスキルもすぐに追い越されるかもしれない｣と指摘した。また、AIに指示を与える｢プロンプト｣の精度が向上すれば、クリエイティブもより発揮できるという。
中国では人間の好みに最適化したAIモデルやAI歌手が登場することで、これらの職業の一部がAIに取って代わられるとの議論が活発になっている。生成AIによって既にイラストレーターの失業が顕在化しており、研究の対象となったコピー、翻訳、ライティングなど文字を扱う職業は、当然影響を免れない。
コンテンツ制作に携わる人間は、AIとの棲み分けかキャリアチェンジを真剣に検討する時期に来ている。
浦上早苗： 経済ジャーナリスト、法政大学MBA実務家講師、英語・中国語翻訳者。早稲田大学政治経済学部卒。西日本新聞社（12年半）を経て、中国・大連に国費博士留学（経営学）および少数民族向けの大学で講師のため6年滞在。最新刊｢新型コロナ VS 中国14億人｣。未婚の母歴13年、42歳にして子連れ初婚。
