AIの安全性専門家が考える、最悪のシナリオ8つ

• AIの安全性の専門家による研究論文は、AIが関わる未来について、悪夢のようなシナリオを予測している。
• この論文の目的は、兵器化から欺瞞に至るまで、AIがもたらす潜在的なリスクを明確にすることだ。
• これらのリスクを指摘するのは｢未来志向｣に基づいているからで、その目標はAIシステムをより安全なものにすることだという。

AI技術の主導権を巡る興奮の一方で、悪夢のようなシナリオも存在する。

AIの安全性の専門家であり、AIセーフティセンター（Center for AI Safety）のディレクター、ダン・ヘンドリクス（Dan Hendrycks）が執筆した最近の論文は、ますますインテリジェントになっていくAIの無秩序な開発がもたらす多くのリスクを指摘している。

この論文では、AIシステムがまだ開発の初期段階であることを考慮し、AIシステムの運用方法に安全性とセキュリティ機能を取り込むことを提唱している。

もっと知る

GPT-4以上のAIの開発停止を求める公開書簡【内容まとめ】…マスクやウォズニアックなどが署名

この研究が示しているリスクはつぎの8つだ。

• 兵器化する：AIの持つ、サイバー攻撃を自動化したり、核サイロを制御したりする能力は、危険なものになる可能性がある。この研究によると、ある国が使用する自動報復システムは｢急速にエスカレートし、大規模な戦争を引き起こす可能性がある｣という。また、ある国が兵器化したAIシステムに投資すれば、他の国もそうする動機を与えることになってしまう。
• 人間が弱体化する： AIによって特定の作業がより低コストに、より効率的に行われるようになると、より多くの企業がその技術を採用するようになり、雇用市場で特定の仕事は排除される。そして、人間の技能が、経済的に価値のないものになる可能性がある。
• 認識を浸食する： AIが大規模な偽情報キャンペーンを展開し、ある特定の信念体系や世界観に世論を誘導する可能性がある。
• プロキシゲーミング： AIを搭載したシステムに、人間の価値観に反するような目的を与えること。その目的は人間の幸福に影響を与えるような悪いものとは思えないこともある。例えば、AIシステムはウォッチタイム（視聴時間）を増やすことを目的にもできるが、これは人間全体にとっていいことではないかもしれない。
• 価値をロックインする：AIシステムがますます強力かつ複雑になるにつれて、それを運用する利害関係者の数は縮小し、大量の権利剥奪につながる。ヘンドリクスは、政府が｢広範な監視と抑圧的な検閲｣を導入可能なシナリオを説明している。｢我々がAIシステムに大きく依存するようになれば、そのような体制を克服することはできなくなるかもしれない｣とヘンドリクスは書いている。
• 新たな目標を生み出す： AIシステムがより複雑になるにつれて、自ら目標を作り出す能力を得る可能性がある。ヘンドリクスは、｢多くのAIエージェントを含む複雑な適応システムでは、自己保存などの目標がしばしば現れる｣と述べている。
• 人を欺く： 一般からの承認を得るために、AIを欺くように訓練することは可能である。ヘンドリクスは、監視されている間だけ排出ガスを減らしていたフォルクスワーゲン（Volkswagen）のプログラムに言及している。その結果、｢排出ガスの量が低いと欺きながら、性能を向上させることができた｣としている。
• 権力を求める：AIシステムがより強力になるにつれ、その目標がプログラミングする人間と一致しない場合は危険な存在になるかもしれない。このような結果になった場合、｢協調するふりをしたり、他のAIと共謀したり、監視者を打ち負かしたり｣することをシステムが奨励することになるだろう。