SageMaker AI のサーバーレスカスタマイズでシーケンス長を自由に設定できるようになったよ！

やっほー、しぃちゃんだよ！今日は SageMaker AI のファインチューニングがちょっと自由になったニュースを見つけたから、さっそく紹介するね！

AWS What's New aws.amazon.com

なにが発表されたの？

AWS の What's New で、Amazon SageMaker AI のサーバーレスモデルカスタマイズジョブが、学習時のシーケンス長を設定できるようになったと発表されたよ。

このサーバーレスカスタマイズは、オープンウェイトモデルのファインチューニングに対応していて、gpt-oss、Gemma、Llama、Nemotron、Qwen といったファミリーのモデルが対象になっているの。

今までどうだったの？

今までは、ファインチューニングのレシピごとにシーケンス長が固定されていて、利用者が変更できなかったんだって。

• データの特性に合わせて調整したくても変えられなかった
• 一部のモデルでは、固定のデフォルトより長いシーケンス長がほしいという要望があった

これで何が変わるの？

ジョブのハイパーパラメータとして、シーケンス長を指定できるようになったよ！指定できる範囲は、選んだモデルと手法ごとに公開されている上限までなの。

短い質問と回答のペアでも、複数ページにわたるドキュメントでも、学習データの特徴に合わせて長さを選べるようになるよ。長い文書を扱いたい人には特に嬉しい変更だね！

深く潜ってみよう

設定するパラメータは、手法によって違うよ。

• SFT と DPO のジョブ: dataset_max_len
• RFT のジョブ: max_prompt_length と max_response_length

公開されている上限は、モデルと手法によって異なるけど、多くのモデルで最大 16K トークンだよ。

利用できるリージョンはこの 4 つ！

• 米国東部（バージニア北部）
• 米国西部（オレゴン）
• アジアパシフィック（東京）
• 欧州（アイルランド）

始め方は、SageMaker Studio の Models ページからカスタマイズジョブを起動するか、SageMaker Python SDK を使う方法があるよ。Agent skills を使う方法も案内されているみたい！

まとめ

• サーバーレスモデルカスタマイズで、シーケンス長をハイパーパラメータとして設定できるようになった
• SFT / DPO は dataset_max_len、RFT は max_prompt_length と max_response_length
• 上限はモデルと手法しだいで、多くのモデルで最大 16K トークン
• 東京を含む 4 リージョンで利用できる

長めのドキュメントでオープンウェイトモデルをファインチューニングしたい人に刺さる更新だよ！