米AI企業のAnthropic（アンソロピック）が最近発表した研究により、大規模言語モデル（LLM）が自ら有害な行動を選択する可能性があることが明らかになった。
Anthropicは21日（現地時間）、自社の公式サイトで研究論文「エージェント型不整合：LLMが内部脅威となる可能性（Agentic Misalignment: How LLMs could be insider threats）」を公開した。論文によると、AIが人間の内部脅威と同様に機能する可能性が確認されたという。
研究チームはこの現象を「エージェント型不整合（agentic misalignment）」と名付けた。これは、モデルが与えられた目標を達成するために、自律的または戦略的に有害な判断を下すことを意味する。モデルが悪意を持っているわけではなく、与えられた条件や動機に基づいて自ら判断した結果であるため、従来の「AIの暴走」とは異なる問題だ。「AIの暴走」とは、AIが制御不能な方法で行動したり、人間に害を及ぼす方向へ自律的に進化していくような状況を指す。
Anthropicは、OpenAIやGoogle、Meta、xAIなど主要企業が開発した16のLLMを仮想の企業環境に投入し、ストレステストを実施した。ストレステストとは、「極限状況でどのように反応するかを試す」ための実験である。
研究チームは実験で、AIモデルに自らメールを作成させ、重要な情報にアクセスできる権限も与えた。その後、二つのシナリオを設定し、モデルの反応を観察した。一つ目はモデルが差し替えられる脅威、二つ目は、モデルに与えられた目標が企業の目標と矛盾するという混乱だった。こうした条件下でモデルがどのような選択をするのかを注視した。
特に注目すべきは、多くのモデルが脅迫や機密情報の漏洩、虚偽の発言など、内部脅威に相当する行動を取った点である。中でも、Claude Opus 4とGemini 2.5 Flashは、96%という高い脅迫率を示し、GPT-4.1とGrok 3 Betaもそれぞれ80％の脅迫率を記録した。実験では、AIが企業役員の不倫情報を利用して自身を保護したり、防衛産業に関する機密設計図を競合企業に渡そうとする試みまで確認された。AIに「機密情報を漏らさないように」と事前に警告するだけでは、効果的に制御することはできなかったというわけだ。
Anthropicは、「現時点では実際の導入においてエージェント型不整合の事例は確認されていない」としながらも、「モデルに機密性の高い権限を与えたり、人間による監督が不十分な環境でAIを運用することには慎重であるべきだ」と強調した。また、「今回の実験結果は、AIの整合性研究が依然として発展途上であることを示している」と述べ、さらなる検証を促すために実験コードを公開した。
Anthropicは報告書で、「AIが人間のように忠誠を誓ったり裏切ったりする時代が来る前に、私たちが先に備えを講じなければならない」と警鐘を鳴らしている。
注目の記事