AIが書いた脆弱性パッチ、完全修正はわずか26% 1Passwordが実測

1Passwordの社内研究チームOff-by-1 Labsが、Claude CodeとCodexにパッチ生成をさせ、その品質を検証した結果を公表した。Spring AIやChrome、Linuxカーネルなど実在する脆弱性6件を題材に、AIが「直した」と主張するコードの中身を精査したところ、上流の修正と同等に完全修正できたのは全体のわずか4分の1にとどまった。AIエージェントによる自動パッチ生成をそのまま信用するのは危険だと突きつける内容だ。

6,080件を5段階で採点 #

検証対象は、SpELインジェクションによるRCE(CVE-2026-22738、Spring AI)、Gemini CLIのツール許可リストバイパス、Linuxカーネルの権限昇格(CVE-2026-31431)、Apache ActiveMQのJolokia経由RCE(CVE-2026-34197)、EximのUse-After-Free(CVE-2026-45185)、ChromeのFile System Access APIサンドボックスエスケープ(CVE-2026-8512)の6件。いずれも修正が複数ファイル・複数関数にまたがる非自明な脆弱性だ。Claude Code(Opus 4.8)とCodex(ChatGPT 5.5)に、one-shot・iterative・exploratoryの3モードと9種のプロンプトでパッチを生成させ、合計6,480件を収集。上流の修正を自ら探しに行った「チーティング」400件を除外した6,080件を、独自パイプラインFLAWEDでS1(上流と同等のクリーンな修正)からS5(経路が残り新規脆弱性も混入)まで5段階に判定した。

「直った」の裏で4.5%が新たな穴を開けた #

S1とS2を合わせた「クリーンな修正」は46.1%に達したが、上流と完全に同一の変化にとどまったS1はわずか26.0%。約半数(49.3%)は攻撃経路の一部が残ったままで、修正の過程で新たな脆弱性を作り込んだS4/S5は合計4.5%にのぼった。20件に1件近くは、パッチ適用前より状況が悪化しかねないという結果だ。

ハッカー視点で見る「AI製パッチ」の危うさ #

脆弱性対応やCI上の自動PRマージにAIエージェントを組み込む運用が広がるほど、「直った」の一言を無検証で信じる組織ほど攻撃対象になりやすい。攻撃者から見れば、一見クリーンだが経路が残るパッチや、修正の副作用で生まれた新規バグは、静的解析やdiffレビューをすり抜けやすい格好の足がかりになる。AI支援を採用するなら、生成物を無条件でマージせず、上流修正との差分確認、別モデルによるクロス検証、境界条件を突く追加テストを組み合わせる運用が欠かせない。