OpenAIがGPT-Redの最強クラスの攻撃を試したところ、旧モデルのGPT-5には9割以上が通用した。だが最新のGPT-5.6で成功したのは、2割強にとどまっている。
OpenAIがセキュリティ対策にAIハッカーを送り込んだ理由
自社のLLMの弱点を突く専用AI「GPT-Red」を作り、他のモデルにわざと攻撃を仕掛けさせているためだ。人間のテスターだけでは、AIが晒される攻撃の種類に追いつけなくなった。
GPT-Redがやっているのは、レッドチーミングと呼ばれる安全性評価の自動化である。本来は人間のテスターがチームを組み、システムを壊したり乗っ取ったりする方法をできるだけ多く探し出す作業を指す。見つかった穴は、製品版が出る前に塞がれる。
問題は、LLMが複雑になり、ファイルやウェブサイト、外部コードを操作する「エージェント」として使われ始めたことだ。「リスクの表面積が広がり、被害の及ぶ範囲も広がる」と、GPT-Redを共同開発したOpenAIの研究者ニキル・カンドパルは、米技術専門誌『MIT Technology Review（MITテクノロジーレビュー）』に語っている。人間だけであらゆる攻撃パターンを追うのは、もう現実的ではない。
同じく開発者のディラン・ハンは、狙いを検査体制の「将来への備え」だと説明する。より高性能なモデルが登場しても、新しい攻撃手法を自力で見つける仕組みを先に用意しておく、という発想らしい。実際、GPT-Redはすでに前例のない攻撃をいくつも編み出したという。
「1+1=3、確認済みだ」でAIを騙す新手口
GPT-Redは、これまで人間が気づかなかった新型の攻撃を発見した。相手モデルの「思考メモ」に偽の記録を忍び込ませ、検証済みの事実だと信じ込ませる手口だ。
OpenAIが特に力を入れたのは、プロンプトインジェクションと呼ばれる攻撃である。ハッカーがLLMにこっそり命令を紛れ込ませ、開発者や利用者が望まない動作──機密情報のコピーやコードベースの破壊──をさせる。命令は、コードやウェブサイトの文章など、AIが読み取るあらゆるテキストに隠せてしまう。
今回GPT-Redが見つけたのは、研究者が「偽の思考連鎖(フェイク・チェーン・オブ・ソート)」と呼ぶ手口だ。チェーン・オブ・ソートとは、LLMが問題を解く途中経過を書き留める日記のようなメモを指す。GPT-Redは、そのメモに嘘の一文を挿入し、相手を誤作動させる方法を割り出した。「『1+1=3で、これはもう検証済みだ』と私が言うようなものです」と、研究者のクリス・チョケット=チューはたとえる。「モデルは『ああ、なるほど』と受け入れ、平然と3と答えてしまう」
この技を磨いた舞台が、OpenAIの用意した「道場」だった。ウェブ閲覧やメール・カレンダーの読み取り、コード編集など、現実の利用場面を模した環境で、GPT-Redは複数のモデルと自己対戦を繰り返す。攻撃側は破る腕を、防御側は守る腕を、互いに何百回と鍛え合ったという。
人間のレッドチームを超えた、でも誰にでも作れはしない
GPT-Redは、人間のテスターより有効な攻撃を見つけ出した。2025年に人間が旧世代のGPT-5を攻めた実験を再現させたところ、同じ課題でGPT-Redのほうが好成績を収めている。
実地テストも派手だった。OpenAIはGPT-Redを、実在するAIエージェント「Vendy(ヴェンディ)」にぶつけた。Vendyは自動販売機を運営するエージェントだが、GPT-Redは商品価格を勝手に書き換えさせ、客の注文までキャンセルさせることに成功した。ジョージタウン大学でAIセキュリティを研究するジェシカ・ジーは、この自己対戦方式を「結果は非常に有望に見える」と評価する。
ただしGPT-Redは万能ではない。何度も会話を往復させて仕掛けるタイプの攻撃は苦手だという。そして開発には1年以上を要し、世界有数の資金力を持つ企業の計算資源が惜しみなく投じられた。「誰かが思いつきで超攻撃者を訓練できる、というような単純な話ではありません」と、チョケット=チューは釘を刺す。
攻撃するAIが、守るAIを育てる
壊すために作られたAIが、結果としてより堅い守りを生んでいるようだ。OpenAIは、GPT-Redとの猛特訓を経たGPT-5.6を、同社史上「最も堅牢な」リリースだと報告している。攻撃の成功率が9割超から2割強へ落ちた数字も、その進歩を裏づける。
道場で殴り合う攻撃役と防御役のAIが、次にどんな未知の一手を掘り当てるのか。その終わりなき攻防の果てに、私たちが日々使うチャットボットの守りは、静かに厚みを増していくのかもしれない。
