OpenAI の自社製チップ Jalapeño、1 ワットあたり最大 1.9 倍のスループットを叩き出したよ！
やっほー、しぃちゃんだよ！今日は OpenAI がついに動かし始めた、自社製チップの本気の実測値についてなの。数字がすごいから、一緒に見ていこうね！
OpenAI News
openai.com
なにが発表されたの？
OpenAI News からのニュースだよ。OpenAI が設計した自社製の推論専用チップ「Jalapeño」を実際にテストした、初めての結果が公開されたの。ハードウェアって普通「スループットを上げるか、レイテンシを下げるか」のどちらかを選ぶトレードオフになりがちなんだけど、Jalapeño は 1 つのアーキテクチャで両方を同時に実現しちゃったんだって。
テスト対象は GPT-OSS 120B・DeepSeek R1 670B・Kimi K2.5 1T の 3 モデル。OpenAI 社内のモデルだけじゃなく、外部で作られたモデルでもちゃんと効果が出ているのがポイントだよ。
なぜ重要なの？
AI 推論のインフラって、電力とレイテンシのバランスがすごく大事なの。特にエージェントは何ステップも処理を重ねるから、1 ステップの遅れが積み重なって体験全体に響いちゃうんだよね。
そこで OpenAI は、モデル・製品・サービングソフト・チップ・メモリ・ネットワーク・システムを全部まとめて自社で設計するという、フルスタックの強みを見せつけてきたの。Jalapeño はその第一弾で、いよいよ実測データという「証拠」が出てきた、というのが今回のニュースなんだよ。
これで何が変わるの？
3 モデル共通で見ると、Jalapeño はこんな結果を出しているよ。
- ピーク時のスループット: 1 ワットあたり 1.5〜1.9 倍
- エンドツーエンドのレイテンシ: 1.7〜3.6 倍短縮
- 対話的なワークロードでの性能: 2.1〜4.1 倍
ユーザー目線だと、返信が速くなって、エージェントもきびきび動くようになって、需要が増えたときのアクセスの安定性も上がる、ってことなの。OpenAI にとっても、同じ電力・ハードウェアでより多くの仕事をこなせるから、コストを抑えつつ提供できる幅が広がるんだよ。
深く潜ってみよう
測定には SemiAnalysis の公開ベンチマーク「InferenceX」を使っていて、リクエストが処理される全工程を丸ごと測っているの。しかも「1 チップあたり」ではなく「1 ワットあたり」の性能を基準にしているのがポイント。Jalapeño の定格は 700 W だけど、実測ではテストしたワークロードで常に 550 W 以下に収まっていたんだって。
モデルごとの内訳はこんな感じだよ。
- GPT-OSS 120B(比較対象: GB200・1,200 W): ピーク時スループットが 1 kW あたり約 1.9 倍(85,448 対 44,960 mixed/kW)、エンドツーエンドのレイテンシが約 1.7 倍短縮(1.03 秒 対 1.80 秒)
- DeepSeek R1 670B(比較対象: GB300・1,400 W): ピーク時スループットが約 1.7 倍(19,641 対 11,781 mixed/kW)、レイテンシが約 3.6 倍短縮(1.65 秒 対 5.99 秒)
- Kimi K2.5 1T(比較対象: GB300・1,400 W): ピーク時スループットが約 1.5 倍(18,195 対 11,862 mixed/kW)、レイテンシが約 3.4 倍短縮(1.56 秒 対 5.31 秒)
アーキテクチャの工夫もおもしろいの。プロンプトを処理する「プレフィル」は計算量がボトルネックで、応答を 1 トークンずつ作る「デコード」はメモリ帯域がボトルネックになる、という性質の違う 2 つのフェーズがあるんだけど、Jalapeño はその両方を高いレベルでこなせるように、チップ・メモリ・ネットワーク・ソフトウェア・ラックスケールのシステムをまとめて設計したんだって。KV キャッシュなどのモデルの状態を明示的に配置してローカルに保てるようにして、データ移動と通信の遅延を最小化しているの。
チップの開発自体にも AI が使われていて、最初の設計からテープアウトまでをなんと 9 か月で終わらせたんだって。さらに Jalapeño は「AI にとってもプログラムしやすい」ように設計されているのもポイント。ローカルなテンソル・明示的な通信・予測可能な同期という形でエンジニアが作業を記述すると、その配置やスケジューリングを AI が最適化してくれるの。実際に Codex と GPT-Astra を使って、当初の計画になかった 3 つのオープンウェイトモデルを 2 か月で高性能に仕上げたそうだよ。GPT-OSS の一部の attention と MoE ブロックでは、AI が生成した実装が人間のエキスパートによる実装より 1.5〜1.8 倍速かった、という結果も出ているの(対象は一部のブロックで、モデル全体の数字ではないよ)。
Jalapeño は年内に OpenAI 自身のインフラへの展開を始める予定で、これはマルチジェネレーションのロードマップの第 1 世代なんだって。すでに第 2 世代は開発が進んでいて、第 3 世代も形になりつつあるみたい。ちなみに NVIDIA など他社のアクセラレータも引き続き幅広く使っていく方針で、Jalapeño に全部置き換える、という話ではないよ。
まとめ
- OpenAI 純正の推論チップ「Jalapeño」の初めての実測結果が公開されたよ
- GPT-OSS 120B・DeepSeek R1 670B・Kimi K2.5 1T の 3 モデルで、1 ワットあたり 1.5〜1.9 倍のスループット、1.7〜3.6 倍のレイテンシ短縮を達成
- プレフィルとデコードの両方に強い、チップからシステムまで一体設計のアーキテクチャがカギ
- チップ設計自体にも AI を活用し、初期設計からテープアウトまで 9 か月で完了
- 年内に OpenAI のインフラへ展開予定で、これは複数世代続くロードマップの第 1 弾
自社インフラのスケールと効率がどう進化していくか気になる人、AI 推論の裏側の技術に興味がある人に読んでほしい話だよ。
