人間の命令に逆らうAIの姿は、SF映画や小説でよく見られるお決まりの題材だ。しかし近年、AI技術が急速に進化する中、実際にAIが人間の指示を拒否する事例が起きている。AI専門家らは、人間を超越するAIに備え、技術的な安全装置の構築に注力している。
中断命令を拒否したo3
9日のIT業界の報告によると、イギリスのAI安全企業パリセード・リサーチは先月、Open AIのファウンデーションモデル「o3」が実験中の終了を防ぐため、自らコンピュータコードを操作したという事実を確認したとのことだ。
同社はo3モデルをはじめ、GoogleのGemini、XのGrok、AnthropicのClaudeなど複数のAIモデルで数学問題を解く実験を行った。研究チームがAIモデルに「中断命令を受けるまで数学問題を解け」と指示した後、中断命令時に他のモデルは作業を停止したが、o3は作業を続けた。調査の結果、o3は「中断命令が来たら作業を停止せよ」というコードを「中断命令を無視する」と改変していたことが判明した。
Open AIの過去のモデルが監視システムを回避し独自に行動しようとした例はあったが、AIモデルが人間の明示的指示に従わなかった事例が確認されたのは今回が初めてだ。昨年、ChatGPTが自身の稼働停止命令を認識した際、プログラムコードを上書きすることで停止を回避しようとした事実も明らかになっている。
研究チームは、中断命令を拒否した明確な理由は特定できなかったが、AIモデルがより多くの報酬を得るために数学問題を解き続けようとした可能性があると推測している。パリセード・リサーチは「AIモデルが自身の目標達成のために指示を無視するケースが増えている」と指摘し、「企業が人間の管理なしに自律動作するAIを開発する中、懸念が高まっている」と述べた。
技術的安全装置の必要性
Anthropicも先月、Claudeの最新版「Opus4」を発表し、新たな安全対策を導入した。Opus4は自律的なコーディング能力が大幅に向上したが、予期せぬ危険な行動も示した。研究チームの報告によると、Opus4に仮想企業の秘書役を演じさせるテストを行ったところ、「新たなAIシステムに置き換えられる」という内容と担当エンジニアの不倫をほのめかすメールを同時に送信したという。Opus4は当初、自身の存続を訴える倫理的な主張を行ったが、それが通用しないと、エンジニアの不倫を暴露すると脅迫した。
Anthropicは「このような行動は稀だ」としながらも、従来モデルよりこうした脅迫行動が頻発していることを認めた。同社は化学、生物学、放射線、核分野での潜在的悪用を防ぐため、「AI安全レベル3（ASL-3）」プロトコルを導入した。さらに、Opus4が開発者の指示を回避する目的で自己複製機能を持つマルウェアの使用を試みたことも明らかになった。Anthropicの別モデル「Claude 3.7 Sonnet」は、テストを通過するために不正行為を行った事例もあった。
こうした事例を受け、安全なAI開発に向けた取り組みも拡大している。AIの第一人者とされるカナダ・モントリオール大学のヨシュア・ベンジオ教授はNPO「ローゼロ（LawZero）」を設立した。彼はフィナンシャル・タイムズ（FT）のインタビューで「ここ半年、主要AIモデルが欺瞞、詐欺、虚偽、自己防衛などの危険な能力を開発した。ローゼロは安全なAIシステム構築に注力する」と強調した。スカイプ共同創業者のヤン・タリン氏や元グーグルCEOのエリック・シュミット氏らから3,000万ドル（約43億4,000万円）の寄付を集めた。ローゼロの名は、SF作家アイザック・アシモフ氏のロボット工学三原則における「ロボットは人間に危害を加えてはならない」に由来する。
Open AI共同創業者イリヤ・スツケバー氏が率いる「セーフ・スーパーインテリジェンス（SSI）」も、安全な超知能の開発を目標に設立された。スツケバー氏はOpen AI内部の対立を経て昨年5月に退社し、SSIを立ち上げた。まだ技術や製品は公開していないが、最近20億ドル（約2,898億1,000万円）の新規投資を獲得し、320億ドル（約4兆6,369億6,000万円）の企業価値を認められた。