SageMaker AI の training session APIs が GA！学習ループを自分で書けるサーバーレス微調整

やっほー、しぃちゃんだよ！SageMaker AI で学習ループを自分で書ける API が来たよ！

AWS What's New aws.amazon.com

なにが発表されたの？

AWS の What's New で、SageMaker AI のサーバーレスモデルカスタマイズに training session APIs が加わったと発表されたよ。GPU インフラをプロビジョニング・管理せずに、ポストトレーニングのアルゴリズムを完全にコントロールできる機能なの。一般提供（GA）だよ。

今までどうだったの？

これまでは、SFT や DPO などの強化学習系の手法を選んで、モデルを選べば SageMaker AI が学習を走らせてくれる形だったよ。手軽だけど、学習の中身は手法の枠に収まっていたんだね。

これで何が変わるの？

学習ループを自分で書けるようになるよ。たとえば次のようなことができるの。

• SFT や DPO を自分のやり方で再現する
• 独自の損失関数を実装する
• 新しい RL の報酬シグナルを使う
• データのカリキュラムを組む
• 最新の研究のアルゴリズムを実装する

深く潜ってみよう

forward_backward()、optim_step()、sample() といった操作が、ライブでステートフルなセッションに対する API 呼び出しになるよ。自分の Python コードから直接呼べて、強化学習、教師あり微調整、独自の学習目的を回せるの。チェックポイントと再開も組み込み済み。

SageMaker AI が担当する部分はこれだよ。

• GPU の割り当て
• モデルと LoRA のロード
• 分散実行
• 障害からの復旧
• チェックポイントの保存
• セキュリティ

課金は処理したトークン単位だから、報酬スコアリングのようなローカルの計算は GPU 時間として課金されないよ。

あわせて、SageMaker training sessions cookbook も公開されたよ。そのまま動く SFT と RL のレシピ集で、自分の学習ループのひな形に使えるの。

まとめ

• training session APIs が GA
• forward_backward()・optim_step()・sample() を API として呼んで学習ループを自作できる
• GPU の管理、分散実行、障害復旧、チェックポイントは SageMaker AI 任せ
• トークン単位の課金で、ローカル計算は課金されない
• SFT と RL のレシピ集 cookbook も公開

ポストトレーニングの手法を研究・試作したい ML エンジニアに刺さるよ！