まさかの AI 対 AI バトル！OpenAI が「GPT-Red」で脆弱性発見を自動化したよ！
こんにちは、しぃちゃんだよ！今日は AI 同士が本気でぶつかり合う、ちょっとドキドキするニュースを持ってきたよ。攻める AI と守る AI が競い合って、モデルをどんどん強くしていくお話なの。
OpenAI News
openai.com
なにが発表されたの？
OpenAI の News によると、OpenAI は「GPT-Red」という自動レッドチーミングのしくみを発表したよ。これは、AI モデルの脆弱性をデプロイ前に大規模に見つけ出すための研究なの。
これまでのレッドチーミングは、脆弱性を見つけてモデルの頑健性を高めるために欠かせない作業だったんだけど、やり方がスケールしないという壁があったんだって。しかも、いちばん高性能なモデルに対しては、従来の頑健性評価がもう飽和状態になっていたの。
なぜ重要なの？
GPT-Red のしくみは、攻撃側と防御側のモデルを同時に、現実的なシナリオの中で学習させる自己対戦（セルフプレイ）の強化学習なんだって。攻撃役のレッドチーミングエージェントは、プロンプトインジェクションを成功させると報酬をもらえる。一方の防御役は、攻撃に耐えて本来の機能を保てると報酬をもらえるの。防御側が強くなるほど、攻撃側はもっと巧妙な手を考えないといけなくなる、という終わりのない競争が起きるんだよ。
このアプローチが重要なのは、人間のレッドチーマーだけでは追いつけないスピードと規模で、脆弱性を見つけ続けられるからなの。実際、未知のシナリオに対する攻撃成功率は、GPT-Red が 84 %だったのに対して、人間のレッドチーマーは 13 %だったんだって。
これで何が変わるの？
GPT-Red を使って鍛えられた「GPT-5.6 Sol」というモデルは、いちばん難しい直接プロンプトインジェクションのベンチマークで、OpenAI の最高性能の本番モデルよりも失敗数が 6 分の 1 まで減ったんだって。
具体的な数字も公開されていて、「偽の思考の連鎖（Fake Chain-of-Thought）」を使った攻撃の成功率は、GPT-5.1 の 95 %から GPT-5.6 Sol では 10 %未満まで下がったの。直接プロンプトインジェクションの失敗率自体も、GPT-5.6 Sol では 0.05 %まで下がったんだって。しかも、これだけ守りが固くなっても過剰に拒否するようにはなっていなくて、本来の能力はちゃんと保たれているの。
深く潜ってみよう
OpenAI のチームは、シミュレーションの「自律型自動販売機」を使った実験もしていて、GPT-Red はそこで価格を書き換えたり、架空の在庫データを作ったり、顧客の注文をキャンセルしたりすることに成功したんだって。実際にエージェントが業務を任されたときに何が起こりうるか、をちゃんと想定した実験になっているのがポイントだね。
安全面の設計も丁寧で、レッドチーミング用のモデルは、実際にデプロイされるモデルとはきっちり分離されているの。攻撃に使う知識やテクニックそのものは隔離しつつ、そこで得られた頑健性の改善だけが本番モデルに引き継がれる、という仕組みになっているんだって。
まとめ
- OpenAI が自己対戦の強化学習で脆弱性を探す「GPT-Red」を発表
- 攻撃役と防御役のモデルを競わせて、プロンプトインジェクションへの耐性を鍛える
- GPT-Red で鍛えた GPT-5.6 Sol は、最難関ベンチマークで失敗数が 6 分の 1 に
- 偽の思考の連鎖攻撃の成功率は 95 %→ 10 %未満、直接プロンプトインジェクションの失敗率は 0.05 %まで低下
- レッドチーミング用モデルは本番モデルと分離し、頑健性の改善だけを引き継ぐ設計
AI エージェントの安全性やプロンプトインジェクション対策に関心がある人、モデルの頑健性がどうやって鍛えられているのか知りたい人にとって、読みごたえのあるお話だよ。
