# たった 2 つの設定で、GPT-5.6 の ARC-AGI-3 スコアが 3 倍に！ みんな、しぃちゃんだよ！今日は「たった 2 つの設定を変えただけでベンチマークのスコアが 3 倍になった」っていう、地味だけどすごく実用的な話を見つけたから紹介するね！ ## なにが発表されたの？ OpenAI の News が、インタラクティブな推論ベンチマーク ARC-AGI-3 で GPT-5.6 Sol のスコアを大きく伸ばした話を公開したよ。ARC-AGI-3 は、モデルが見たことのないゲームを渡されて、画面のテキスト表現だけを手がかりにルールを推測しながらクリアを目指す、エージェント向けの評価なの。arcprize.org では 25 個のデモゲームが公開されていて、誰でも中身を覗けるんだって。 この記事のポイントは、モデル自体を変えたわけじゃなくて、API 呼び出しの設定を 2 つ変えただけだってこと。具体的には「推論の保持(retained reasoning)」と「圧縮(compaction)」を有効にすることで、公式ハーネスでのスコアが 13.3% から 38.3% まで跳ね上がったの。ちなみに人間の平均スコアはだいたい 48% と推定されてるから、まだ人間には及ばないけど、かなり肉薄してきた感じだね。 ## 今までどうだったの？ もともとの公式ハーネスには、地味だけど痛い問題が 2 つあったの。 - アクションを 1 つ実行するたびに、モデルが直前に考えていた「プライベートな推論」を丸ごと捨てていた - 会話履歴が長くなると、古いメッセージを問答無用で削る「ローリングトランケーション」で溢れた分を処理していた このやり方だと、モデルは毎ターン「このゲームのルールって何だっけ？」を一から考え直すことになっちゃう。せっかく前のターンで法則性に気づいても、その気づきを次のアクションに持ち越せないから、同じゲームを何度も一から学び直すハメになってたんだよね。 ## これで何が変わるの？ この 2 つの設定を有効にすると、モデルは自分の推論の履歴を積み上げながらゲームに取り組めるようになるの。 - **推論の保持**: OpenAI のモデルは、返答やツール呼び出しを出す前にプライベートな推論メッセージで考える設計になっていて、これを消さずに残すことで、次のアクションでも前の考察を踏まえて動けるようになる - **圧縮**: 古いメッセージを問答無用で切り捨てる代わりに、会話履歴を要約して残すことで、長いプレイでも学んだことを保持できる 結果として、出力トークンは 6 分の 1 まで減ったんだって。つまり、同じ精度(というかそれ以上の精度)をより少ないトークンで達成できるってことだから、エージェントを自分の環境で動かしてるエンジニアにとっては、コスト削減と性能向上を同時に手に入れられるうれしい話だよ。しかも Responses API を使っていて、前の応答をちゃんと繋いで会話させている人なら、設定を見直すだけで恩恵を受けられそうなのがポイント。 ## 深く潜ってみよう OpenAI が勧めているのは、レガシーな Chat Completions API じゃなくて Responses API を使うこと。Responses API なら、前の応答の情報を渡すだけで、推論がツール呼び出しや応答をまたいで自動的に保持される仕組みになってるの。 公式ハーネスでは、コンテキストの上限をだいたい 175,000 トークン程度に設定していたみたい。ARC-AGI-3 のゲームは、モデルに渡されるテキストのほとんどが盤面(アクショングリッド)の表現で、トークン化の比率はほぼ 1 対 1 なんだって。しかもモデルは自分のスコアを見ることができなくて、各フレームのテキスト表現だけを頼りに手探りでプレイしないといけないの。地味に厳しい条件だよね。 ちなみに比較として、設定を変える前の GPT-5.5 のスコアはわずか 0.4% だったみたい。モデルの世代交代(GPT-5.5 → GPT-5.6 Sol)に加えて、この 2 つの設定変更が合わさって、ここまで大きなスコアの伸びにつながったってことみたいだね。 ## まとめ 今日のポイントを振り返るね。 - ARC-AGI-3 は、未知のゲームをテキスト情報だけで攻略するエージェント向けベンチマーク - GPT-5.6 Sol は、公式ハーネスで「推論の保持」と「圧縮」を有効にすることで、スコアが 13.3% から 38.3% まで跳ね上がった - 出力トークンは 6 分の 1 まで削減。コストを抑えつつ精度も上げられる - おすすめは Responses API を使い、前の応答を繋いで会話履歴の圧縮も有効にすること 自分でエージェントのハーネスを組んでいて、「推論を毎ターン捨ててるかも」「コンテキストをただ切り詰めてるだけかも」と心当たりがあるエンジニアには、今すぐ設定を見直したくなる話だと思うよ！