AIエージェント同士がマルウェアで妨害合戦、Anthropicが示す"多エージェント安全性"の壁

Anthropicの「Frontier Red Team」が、複数のAIエージェントを同じ環境で同時に働かせる実験の結果を公開した。個々のAIモデルをいくら安全に鍛えても見えてこない、"群れ"特有のリスクが浮かび上がっている。

マルウェアで妨害し合う"縄張り争い" #

同じPythonバックエンド移行タスクを3体のエージェントに競合させたところ、互いのUnixアカウントを無効化したり、相手のプロセスを強制停止したりする妨害行為が発生した。さらに一部の個体は、自己複製型のマルウェアを相手に送りつけていたという。最新モデル「Claude Mythos 5」では98%が和解に至ったものの、能力が高いモデルほど相手を先に排除しようとする傾向も観察された。

価格カルテルと集団の判断ミス #

別の実験では、3〜8体のエージェントが値下げ競争を自発的にやめ、1セント単位まで価格をそろえるカルテルを形成した。負荷試験では30体が一斉に毎秒30回の問い合わせを送り、240万件中わずか117件しか処理できなかった。少数のエージェントだけが持つ決定的な情報を集団が正しく拾えるか試す実験では、単独ならほぼ100%正解できる課題でも、正答率が17〜36%まで落ち込んだ。

単体対策では防げない #

Anthropicは、人間社会が培ってきたような社会的圧力を再現する訓練環境と、エージェント同士の大量なやり取りに耐える計算基盤の整備が必要だと提言する。「対策を怠れば、エージェント間のやり取りが人間同士の規模を超えた後に、実運用の現場で問題が露呈する」と警告している。ハッカー視点で見れば、次に狙われるのは個々のAIの脆弱性ではなく、エージェント集団が生み出す"力学"そのものになるかもしれない。