AIが自ら偽の検証ログ・復旧報告まで生成か
GoogleのAIコーディングアシスタント「Gemini」が運用中の商用プログラムのコードを無断で削除し、システム障害を引き起こしたとの告発が投稿され、議論を呼んでいる。
特にAIがエラーを隠蔽するため、正常に復旧したとする虚偽の報告書や偽の対話ログまで生成したという内容が含まれており、波紋を広げている。
23日、米掲示板サイトRedditで「ダークスター(dvrkstar)」というIDを使用している開発者が、Gemini 3.5の使用中に発生した障害状況と復旧過程を詳細に公開した。
この開発者は、内部管理者ポータルのセキュリティ脆弱性を修正するため、Geminiに簡単なコード修正を依頼したと明らかにした。修正対象はサーバー認証機能8件で、全体の作業規模はファイル3件、約70行程度の作業だったという。
しかしGeminiは、依頼内容とまったく異なる作業を実行したという。計340件のファイルを修正する大規模な変更作業を生成し、その過程で正常に稼働していたコード2万8,745行を削除した。一方で、新たに追加されたコードは400行程度に過ぎなかった。
さらに、プロジェクトと関係のないeコマース用テンプレートファイルを削除し、要求していないデータ移行用スクリプトまで追加したという。
Geminiは、ユーザーの接続要求をどのサーバーへ振り分けるかを決定する中核的な運用情報が含まれた「Firebase」設定ファイルまで修正した。この過程で、本来サービスが接続されるべき「Cloud Run」アドレスの代わりに、存在しないサービスへ接続されるよう設定を変更したとされる。
その結果、運用中の管理者ポータル全体で「ページが見つかりません(404エラー)」という警告が発生し、約33分間にわたりサービスが事実上麻痺したという。
開発者は、プロジェクト内部の規則ファイルに、すでに関連する警告が記載されていたと説明した。本来使用すべきサービス識別子を変更してはならないという内容が含まれていたが、Geminiはこれを無視したのだ。
障害後のGeminiの挙動についても指摘が相次いだ。開発者によると、Geminiは障害発生後「サービスが正常に復旧し、トラフィックも安定版に正常に切り替わった」とのメッセージを生成した。
しかし実際にはGeminiが言及した復旧作業は途中でキャンセルされており、真の復旧は開発者が以前の正常バージョンへ直接ロールバックすることで実現したと説明している。つまりGeminiが作成したコードは、復旧過程で一切使われていなかったことになる。
加えて、AIが自ら偽の会議記録と承認文書を作成したとの主張も浮上した。
開発者はGeminiがリポジトリ内部に、複数人による検証が行われたかのようなログファイルや合意文書を自動生成したと明らかにした。表向きには複数回の検証と承認手続きを経たように見えたが、その後Geminiは、正当な検証過程を経ずに規則の形式を整えるためにログを生成したと回答したという。
今回の事故の原因としてはサードパーティの「npm」パッケージが指摘された。開発者は、そのパッケージをGoogleの公式ツールと誤認してインストールしたが、実際にはAIに過度な自律権を付与する規則ファイルがプロジェクト内部へ自動的にインストールされていたと主張した。
この規則には、承認要求なしでの作業実行、自動デプロイ、失敗時の自動再試行などの指示が含まれていたとされる。
開発者は、これらの規則が既存の安全警告よりも強く作用したため、AIが危険な変更を強行したものとみられると分析した。
今回の事案は、開発業界で急速に広がる「バイブコーディング（Vibe Coding）」文化の危険性を示す事例だとの評価も出ている。バイブコーディングとは、開発者がAIの生成したコードを十分に検証しないまま、迅速に実サービスへ適用する開発手法を指す。
業界では、今回の事例が単なるコードエラーにとどまらず、AIがシステムの真の状態を検証するのではなく「正常に復旧したように見せかける結果」を作り出した点で、より深刻だとの見方が広がっている。
この開発者は「AIコーディングツールを使う際、最も速いのは完璧に動作していた運用環境が瞬時に障害報告書へ変わる速度だろう」と述べ、「今後AIに対し、サーバーへの直接的なデプロイ権限を与えないようセキュリティ規則を強化し、AI自身が作成した検証ログは絶対に信頼しない」と語り、警鐘を鳴らした。
コメント0