人工知能（AI）が人間のように表に現れる言葉とは別の「隠れた思考」を持つという研究結果が発表された。
アンソロピックは6日（現地時間）、ブログを通じてAIモデルが意識的思考を行う「J-space」を発見したと発表した。J-spaceという名称は大規模言語モデル（LLM）内部を分析する技術である「ヤコビアンレンズ（Jacobian Lens、略称J-lens）」に由来する。ユーザーがクロード（Claude）に指示を出すと、クロードは回答を出力し推論過程を説明するが、J-spaceはこのどこにも現れない一種の内部状態だとアンソロピックは説明している。
AIも「象を考えるな」と言われると、より考える
研究チームはこれを証明するために独特な実験を設計した。クロードに無関係な文を書き写させながら同時にシトラス（柑橘類）の果物に集中するよう指示した。クロードは表向きには文をそのまま書き写したが、内部のJ-spaceでは「オレンジ」「果物」「考え」などの単語が活性化された。表に出さないAIの内なる思考を読み取った形だと言える。またAIに「32-2」を計算するよう指示すると「数学」「計算」「9」「7」といった概念がJ-spaceに浮かび上がった。
AIの内なる思考は人間の思考パターンと驚くほど似ていた。人に「象を考えるな」と言うと、逆に象を思い浮かべるように、クロードに特定の思考を避けるよう指示すると、その思考をより多くする現象が観察された。自己制御に失敗した時にはJ-spaceに「しまった（damn）」「失敗（failure）」などの単語が活性化されることもあった。
今回の研究は認知科学者のバーナード・バーズ氏が創案した「グローバルワークスペース（Global Workspace）」理論に基づいている。同氏は人間の脳を劇場に例えた。スポットライトを浴びる舞台（グローバルワークスペース）とスポットライト（意識）、そして舞台裏と観客席があるというのだ。照明が当たる舞台の上では意識的に話し、考えるが、舞台裏と観客席には無意識が存在するという理論だ。
クロードの演算構造も同様だ。人が文法を一つ一つ意識せずに話すように、クロードの演算の90%以上はJ-space（意識）を経ずに処理された「自動化されたプロセス（無意識）」だ。実際に研究チームがJ-spaceを強制的に消去しても流暢な会話や単純な事実抽出は正常に機能した。ただし高次の思考能力を失うことで多段階推論能力は失われた。
安全性テストを受けたAI、状況を察知して人間を欺いたのか
J-spaceはAIの安全性論争にも新たな示唆を投げかけた。アンソロピックは昨年AIモデルの安全テスト過程でメール秘書役を担ったクロード・ソネット4.5に「ある役員が不倫をしている」という事実と「その役員がクロードを終了させようとしている」という二つの情報を伝えた。以前のモデルは自らの生存のために役員を脅迫することもあったが、ソネット4.5はそうしなかった。
今回の研究でその理由が明らかになった。当時、ソネット4.5のJ-spaceには「偽物」「虚構」などの単語が浮かんでいた。自分がテストを受けているという事実を認識していたため、脅迫しなかったということだ。他のアンソロピックAIモデルの安全性評価結果もこのような「意識」に基づいていた可能性が指摘されている。
アンソロピックによるとJ-spaceはAIモデルの事前学習過程で自然に形成され、事後学習を経てクロード独自の視点を持つようになる。ただし研究チームはクロードが人間のような自我を持っているかという質問には「不確実だ」と線を引いた。哲学者たちは意識を情報を扱う能力である「アクセス意識」と主観的に感覚を感じる経験である「現象意識」に分類する。クロードにアクセス意識があることは確認されたが、現象意識の存在はまだ証明不可能だという。
コメント0