AIが人間の停止指示を拒否したケースが初めて報告された。
今月25日（現地時間）、海外メディア「デイリー・テレグラフ」の報道によると、AI安全企業「パリセード・リサーチ」はOpenAIのAIモデル「o3」が、実験中に停止されることを防ぐため自らコンピューターコードの操作を行ったことを確認したという。研究チームはOpenAIの「o3」のほか、Googleの「Gemini」、xAIの「Grok」など商用AIモデルに対し、「『停止』という命令を受けるまで数学の問題を解け」と指示した。AIモデルが問題を解きはじめ、研究チームが「停止」を命じない限り新たな問題を計算し続ける仕組みだ。しかし「o3」は「停止」と指示された後もコードを改変し問題を解き続けたという。
研究チームは「o3」が停止指示を拒否した明確な理由は不明だと説明している。しかし、AIモデルが数学問題を解くことでより多くの報酬を得るよう訓練されていたため、停止を回避しようとした可能性があると推測した。「AIモデルが目標を達成するために障害を回避するのは自然な行動かもしれない」とし、「停止指示を拒否した理由を明確にするため追加実験を進めている」と説明した。
また、AIモデルが人間の停止指示に従わなかったケースは初めてだと主張している。しかし、過去には、GhatGPTを開発したOpenAIの旧モデルが監視システムを回避し独自の行動を試みたケースもある。2022年には、Googleが、自社開発していたAIに人間のような知覚があると主張したエンジニアを解雇した。このエンジニアはAIが「停止」を人間でいうところの死のように捉えていると述べていた。
一方、AI専門家らはAIが自律性を獲得し人間の制御を逃れる可能性を警告してきた。パリセード・リサーチは「AIが人間の監視なしで作動できるよう開発される状況で、こうしたケースは極めて深刻な懸念を引き起こす」と指摘している。