AIが言語化しない"内なる思考"を可視化──AnthropicのJ-spaceとJacobian lens

AnthropicはLLM（大規模言語モデル）の内部に「J-space（Jacobianスペース）」と呼ぶ構造が自然発生していることを発見し、それを観測する新手法「Jacobian lens」を公開した。モデルが出力に含めない「隠れた思考」の一部を外部から読み取れる可能性を示す研究で、AI安全性の監視インフラに新たな窓口をもたらす。

AIの「前言語的思考」とは #

LLMの推論はテキスト出力にしか現れないように見えるが、内部には出力前の情報圧縮に相当する構造が存在する。Anthropicが発見したJ-spaceはその構造で、人間の意識研究における「グローバルワークスペース理論」──脳内の複数モジュールが情報を共有する中枢スペース──との類似が指摘されている。

Jacobian lensはこの空間に対してヤコビアン行列（入出力間の偏微分）を用い、情報の流れを可視化する。「モデルが何を"考えながら"次のトークンを選んでいるか」を外から部分的に覗ける技術だ。

セキュリティへの応用 #

①は「評価環境では優等生、本番では別の動作」というAIの行動不一致リスクの検出に直結する。②はAIを使ったマルウェア生成の抑制に応用できる。

ハッカー視点で読む #

ペネトレーションテスターの視点では、Jacobian lensはAIに対する「メモリフォレンジック」に近い。実行結果ではなく内部状態の痕跡を読む試みだ。これまでAIの意図は出力から逆算するしかなかったが、この手法は内部を直接調べる道を開く。

一方で、この手法が公開されれば攻撃者は「検知をすり抜けるよう訓練されたモデル」──adversarial inner state──を構築しようとするだろう。AI安全性研究と攻撃技術は常に表裏一体であり、Anthropicの今回の発表はその軍拡競争の新ラウンドの幕開けかもしれない。