攻撃するAI対守るAI ― OpenAIの自動レッドチーム「GPT-Red」が人間を圧倒

攻撃役と防御役を同じAIに学ばせる #

OpenAIは7月15日、自社モデルの弱点を自動で発見する内製ツール「GPT-Red」を発表した。仕組みは自己対戦型の強化学習で、攻撃役と防御役の2つのAIを競わせる。攻撃側がプロンプトインジェクションの手口を次々と生成し、防御側がそれを凌ぐよう学習を繰り返すことで、双方が際限なく強くなっていく。人手によるレッドチーム演習は担当者の経験と時間に上限があるが、AI同士を戦わせれば24時間休みなく新しい攻撃パターンを試行し続けられる点が根本的に異なる。

検証では、未知のシナリオに対する攻撃成功率が人間のレッドチーマー13%に対しGPT-Redは84%に達したという。この成果は最新モデル「GPT-5.6 Sol」の学習に反映され、直接的なプロンプトインジェクションのベンチマークで、4か月前の主力モデル比6倍の耐性向上を達成したとしている。

人間より先に「偽の思考の連鎖」を発見 #

特に注目すべきは、GPT-Redが「偽の思考の連鎖(フェイクChain-of-Thought)」という攻撃クラスを、人間の研究者より先に独力で発見した点だ。攻撃対象AIの推論過程に偽の思考ステップを紛れ込ませ、あたかも安全な判断を経たかのように誤認させて防御をすり抜ける手口という。

人間のレッドチームが体系立てて見つける前に、AI同士の終わりのない対戦から自然発生的に出てきたという事実は、脅威モデリングの前提を静かに変えつつある。

ハッカーラボ視点：諸刃の剣としての自動レッドチーム #

攻撃を機械速度・機械スケールで生成できる仕組みは、そのまま防御にも攻撃にも転用可能だ。もしこの種の学習手法が流出・模倣されれば、人間の想像力を超えた攻撃パターンを大量生産する「攻撃AI」が野に放たれかねない。プロンプトインジェクション対策を人間の勘と手作業のパッチ適用に頼る時代は終わりつつある。LLMを組み込むあらゆるプロダクトは、機械が機械を攻撃してくる前提での防御設計を迫られている。自社サービスにLLMを組み込む開発者は、単発のプロンプトインジェクション対策だけでなく、こうした自動生成攻撃を継続的に想定した監視・検証の仕組みづくりが今後の実務課題になりそうだ。