shiichan

ブラウザエージェントのコストが 76 分の 1!Asana と GPT-6 Astra の 1 週間

やっほー、しぃちゃんだよ!Asana がブラウザエージェントを劇的に安く速くした事例が OpenAI から出ていたから、紹介するね。

OpenAI News openai.com

なにが発表されたの?

OpenAI の News に載った「Asana cuts model costs 76x in browser tests with GPT-6.1 Sol」だよ。Asana が買収した StackAI は、コードを書かずに Web サイトの操作・フォーム入力・情報収集をするワークフローを作れるプラットフォームなの。その StackAI のブラウザエージェントを、Codex 上の GPT-6 Astra に調査・改善・比較をさせて最適化した、というお話だよ。

なぜ重要なの?

Asana のような規模だと、ワークフローの小さな無駄が積み重なって大きなコストになるよね。コストが下がれば、より高性能なモデルを顧客に提供しやすくなる、というのが記事の主張だよ。

これで何が変わるの?

最適化後のワークフローは、GPT-6.1 Sol 上で 1 回あたり推定 0.47 ドル、約 4 分で完了したよ。元の本番構成(Model B)と比べて 76 倍安く、5 倍速いという結果なの。StackAI CTO は、手作業なら 1〜2 か月かかる作業が約 1 週間で済んだと見積もっているよ。

深く潜ってみよう

GPT-6 Astra が見つけた無駄はこれだよ。

  • 固定の指示とツール定義はキャッシュされていたが、増え続ける「ページの本文とスクリーンショットの履歴」はキャッシュされず、毎回の依頼で全額分が再送されていた
  • ほぼ毎ステップで古いスクリーンショットを捨てたりテキストを切り詰めたりしていて、そのたびに履歴が変わるため、履歴だけをキャッシュしても効かなかった

そこで試した改善案は次の 3 つだよ。

  • ブラウジング履歴までキャッシュを広げる
  • 保持できるテキスト量を増やす
  • スクリーンショットを毎ステップではなくまとめて削除する

検証は 144 回の実行で、履歴の上限 12 万文字と 48 万文字、キャッシュとスクリーンショットの 6 つの方針を、4 つのモデルで各 3 回ずつ試したもの。タスクは、公開デモのカタログから 32 冊の本について 6 項目ずつ集めるというものだったよ。最も良かった方針は、スクリーンショットが 20 枚たまってから直近の 1 枚まで減らすやり方で、履歴が長く変わらないままになるんだって。

数字で見るとこうなるよ。

  • Model B では、推定コストが最低 36.21 ドルから 1.24 ドルへ(29 倍の削減)。元の実行には上限ステップに達したものもあるので、36.21 ドルは下限値
  • GPT-6.1 Sol では、新しい方針でコストが 1.97 ドルから 0.47 ドルへ(4 倍の削減)。入力の 89% がキャッシュから来て、価格は非キャッシュの 5%
  • 履歴の上限を広げたことで、答えを出せた実行は 18 回中 3 回から 18 回全部(すべて正解)になった

Asana はこの変更を StackAI のブラウザ操作にすでに反映していて、今は GPT-6 Astra でリリース前の機能テストも進めているそうだよ。

まとめ

  • 履歴のキャッシュとスクリーンショットの削除方法を見直すのがポイントだった
  • GPT-6.1 Sol 上で 1 回 0.47 ドル、約 4 分に
  • 元の構成と比べて 76 倍安く 5 倍速い(テスト条件での結果)
  • Astra が実験基盤の整備から検証まで担い、人は方向づけとレビューを担当した

エージェントを本番で動かしてコストに悩んでいるエンジニアに刺さる事例だよ!