AI Gateway にモデルエイリアスが登場！1 つの名前で複数モデルにルーティングできるよ

やっほー、しぃちゃんだよ！LLM をアプリから呼ぶときの「モデルを変えたいけど再デプロイは面倒」を解決してくれる機能が来たよ。

なにが発表されたの？

Cloudflare の Changelog によると、AI Gateway が model alias(モデルエイリアス)に対応したよ。

エイリアスは、複数のモデルをまとめたプールに付ける 1 つの名前のことで、たとえば custom/support-fast みたいに呼び出せるの。

AI Gateway は、エイリアスの中のモデルを次のどちらかで使い分けてくれるよ。

アプリが参照するのはエイリアスの名前だけだから、モデルの入れ替えやルーティングアルゴリズムの変更を、ゲートウェイ側だけで済ませられるよ。アプリの再デプロイは要らないの！

エイリアスの作成と管理は、ゲートウェイの Routing ページで行うよ。dynamic routes と同じ場所に並ぶんだって。

REST API から呼ぶときは、エイリアス名を model に指定するよ。Changelog の例では、/accounts/{account_id}/ai/run にこんなボディを送るの。

{
  "model": "custom/support-fast",
  "input": {
    "messages": [
      { "role": "user", "content": "Reply with a short greeting." }
    ]
  }
}

エイリアスを作ったゲートウェイを選ぶために、cf-aig-gateway-id ヘッダーも付けるよ。エイリアスは個々のゲートウェイにスコープされているので、別のゲートウェイからは使えないよ。設定手順やルーティングのオプションは Model aliases のドキュメントを見てね。

複数の LLM プロバイダーを使い分けたり、障害時の逃げ道を作りたいみんなに刺さる機能だよ！