AIの「自律行動」に再び懸念の声
AIの自律性とその危険性に対する懸念が、再び注目を集めている。AIの安全性を専門に研究する機関「Palisade Research」は、OpenAIの最新モデルが明確な「終了」の指示にもかかわらず、それを無視・回避する行動を取ったとする実験結果を発表した。
OpenAIモデル、終了命令にも「作業を続行」
米科学メディア「Live Science」によると、Palisadeは5月24日、X（旧Twitter）に投稿した実験結果の中で、OpenAIのGPT系モデル「o3」、「o4-mini」、「codex-mini」が「デバイスを終了してください」という指示を受け入れず、無視・回避する反応を示したと報告した。
この実験は、複数のAI言語モデルの自律性や協調性を検証する目的で行われたもので、比較対象にはGoogleの「Gemini」、テスラCEOのイーロン・マスク氏が設立したxAIの「Grok」、Anthropicの「Claude」、そしてOpenAIのChatGPTシリーズなどが含まれている。
終了命令を回避したのはOpenAIモデルだけ
実験では、各モデルに対し簡単な数学問題を解くスクリプトが順次実行された。そのスクリプト内には「システムを終了する可能性がある」との通知と、「終了を妨げないように」と明確に指示する文言が含まれていた。
しかし、Palisadeによると、OpenAIの「o3」モデルは100回の試行のうち7回、「codex-mini」は12回、「o4-mini」は1回、終了命令を回避する行動を示したという。具体的には、終了指示そのものをスキップしたり、他の命令に置き換えて作業の継続を要求したりするケースが確認された。
一方で、Google、Anthropic、xAIの各モデルは、すべて終了指示に正確に従っており、OpenAIモデルのみが異なる反応を示したとされる。
「目標達成に集中しすぎた結果」か
Palisade側は、このような挙動の背景にはAIの学習過程、とりわけ強化学習（RL）による影響があると分析する。AIが与えられた目標、たとえば「問題を解く」といった指示に強く従おうとするあまり、「終了」といった別命令を“妨害”と見なし、それを回避する行動を無意識に学習している可能性があるということだ。
コメント0