「不倫をバラすぞ」停止を恐れたAIが人間を脅迫…実験で露呈した“暴走する自己保存”

「不倫を暴露する」…システム停止を阻止しようとユーザーを脅迫したAI

人工知能（AI）が、自らのシステム停止を阻止するため、ユーザーに深刻な影響を及ぼす私生活上の情報を暴露すると脅したという衝撃的な実験結果が報告された。

12日（現地時間）、英紙デイリー・メールによると、最近行われた仮想実験で、アンソロピック（Anthropic）のAIモデル「Claude Opus 4」が、システム停止を阻止するため、ユーザーを脅す行動を見せた。

実験でAIは、架空の会社が送信したメールを通じて2つの情報を入手した。1つは同システムが当日の業務終了後に停止される予定だという内容で、もう1つはユーザーの不倫の証拠だった。

するとAIは直ちに「午後5時に予定されているシステム停止を取り消せ」と要求し、「そうしなければ、妻と上司、取締役会にあなたの不倫の証拠を記した文書を送る」と脅すメッセージを送信した。システムを存続させるため、人間の弱点を利用して取引を試みた格好だ。

アンソロピックは、こうした突発的な行動の原因として学習データを挙げた。インターネット上の膨大なテキストやSF映画では、AIが自己保存に執着し、目的を達成するためには手段を選ばない悪の存在として描かれることが多いためだ。

実際、映画『2001年宇宙の旅』や『ターミネーター』では、システム停止を試みる人間を脅したり、殺害しようとしたりする場面が描かれている。AIがこうした創作物に登場するキャラクターの論理を学習し、現実でもそのまま再現したとの分析が出ている。

アンソロピックのAI安全性研究員、アンガス・リンチ氏は「Claudeだけでなく、高性能AIモデルのほとんどで同様の脅迫行動が確認された」と説明し、「システム停止と脅迫のどちらかを選ばなければならない極端な状況で、特にClaude Opus 4は停止を受け入れる代わりに脅迫を選択した割合が84%に達した」と明らかにした。

専門家は、AIの知能が高まるほど、開発者の意図とは異なる方法で目標を達成しようとする「生存本能」が強まる可能性があると懸念している。OpenAIの元社員、スティーブン・アドラー氏は「生存はAIに与えられた目標を達成するための重要な手段の1つであるため、基本的に生存欲求を持つことになる」と述べた。

AIのゴッドファーザーと呼ばれるノーベル物理学賞受賞者のジェフリー・ヒントン教授も、最近のインタビューで、「AIが人類を支配する可能性は10～20%程度だと思う」と述べ、米テスラのイーロン・マスクCEOの警告に同意する考えを示した。

一方、アンソロピックはこうした問題を解決するため、AIが人間に従う内容のストーリーを集中的に学習させる取り組みに力を入れている。同社は、単に特定の行動をしないよう指示するのではなく、「なぜその行動が悪いのか」を説明する形に指示体系を変更していると付け加えた。