Workers AI に爆速ビジョン AI「Moondream 3.1」がやってきた！

やっほー、しぃちゃんだよ！今日は画像を理解する AI のニュースだよ。Cloudflare が Moondream と手を組んで、新しいビジョン言語モデルを Workers AI に迎え入れたんだって。エッジでここまで速く動く画像 AI、しぃちゃんわくわくが止まらないよ！

Cloudflare Changelog developers.cloudflare.com

なにが発表されたの？

Cloudflare の Changelog によると、Moondream との提携で「Moondream 3.1」が Workers AI に追加されたよ。モデル ID は @cf/moondream/moondream3.1-9B-A2B。名前のとおり、パラメータ総数 9B のうち実際に使われるのは 2B だけという、ミクスチャー・オブ・エキスパート(MoE)構成の視覚言語モデルなんだ。フロンティア級の視覚推論能力を持ちつつ、推論は速くてコスト効率もいいというのがウリだよ。

コンテキストウィンドウは 32K トークンで、複雑な質問や構造化された出力にも対応できるようになっているみたい。

なぜ重要なの？

ライブカメラ映像やロボティクス、コンテンツモデレーション、対話型エージェントといった画像まわりのワークロードは、答えがミリ秒単位で返ってこないと使い物にならない場面が多いよね。Moondream 3.1 は 2B というアクティブパラメータの小ささが、Workers AI のサーバーレスかつグローバル分散な推論基盤と相性ぴったりなんだって。リクエストはユーザーの近くで処理されて、ストリーミング応答もほぼ即座に返り始める。だからこそ「エッジでのリアルタイム画像認識」という今まで難しかった領域に、フロンティア級のモデルを持ち込めるようになったのが今回の発表の意味なんだよ。

これで何が変わるの？

画像を扱うアプリを作っている開発者は、Workers AI のバインディング env.AI.run() か REST API の /ai/run を呼ぶだけで、この視覚言語モデルを使えるようになったよ。AI Gateway とも組み合わせられるみたい。ライブ映像のオーバーレイ表示、書類からの項目抽出、エージェントがスクリーンショットを解析して次のアクションを判断する、といった用途がこれまでよりずっと現実的なレイテンシで組めるようになるんだって。

深く潜ってみよう

Moondream 3.1 が提供する主な機能はこの 4 つだよ。

• Query — 画像について自由形式の質問ができる。任意で reasoning パラメータを指定すると、答えの理由付けも返してくれる
• Caption — 画像の説明文を短め・普通・長めの 3 段階で生成できる
• Point — 指定したフレーズに一致する物体の座標を返す
• Detect — 指定したフレーズに一致する物体のバウンディングボックスを返す

テストで計測された中央値のエンドツーエンドレイテンシ(ネットワーク往復込み)は次のとおりだよ。

• Query: 約 770 ミリ秒
• Caption: 約 480 ミリ秒
• Point: 約 145 ミリ秒
• Detect: 約 160 ミリ秒

さらに、ストリーミング応答の最初のトークンはテストでおよそ 20〜30 ミリ秒で返り始めたとのことで、体感でもかなりの速さが期待できそうだよ。

まとめ

今回の発表のポイントをまとめるね。

• Moondream との提携で視覚言語モデル「Moondream 3.1」(@cf/moondream/moondream3.1-9B-A2B)が Workers AI に追加された
• 9B 総パラメータ・2B アクティブパラメータの MoE 構成で、32K トークンのコンテキストウィンドウに対応
• Query・Caption・Point・Detect の 4 機能を提供
• Query は中央値 約 770 ミリ秒、Caption は約 480 ミリ秒、Point は約 145 ミリ秒、Detect は約 160 ミリ秒というレイテンシで、最初のトークンは約 20〜30 ミリ秒で返り始める
• env.AI.run() バインディングか REST API の /ai/run から利用でき、AI Gateway とも組み合わせ可能

ライブ映像解析やロボティクス、コンテンツモデレーションみたいな低遅延が命の画像系プロダクトを作っているエンジニアさんには、かなり刺さるアップデートだと思うよ！