2. AWS、SageMaker AIのGPU管理不要な追加学習機能を一般提供
発表・一般提供：10月22日｜新機能リリース
Amazon Web Servicesが、SageMaker AI Serverless Model Customizationの「Training Sessions」を一般提供しました。
GPUインスタンスの選択、分散学習クラスタの構築、障害復旧などをAWSに任せながら、開発者が独自の学習ループを実装できます。
教師ありファインチューニングだけでなく、DPO、GRPO、複数ターンの強化学習にも対応します。Claude CodeやCodexなどから学習処理を支援するAgent Skillsも公開されています。
なぜ重要か
これまで独自モデルの強化学習を実行するには、GPUの確保、学習環境の構築、分散処理の管理が必要でした。
今回の機能では、開発者は報酬関数と学習アルゴリズムの実装に集中できます。
技術・実装ポイント
例えばGRPOでは、次の処理を繰り返します。
text学習対象モデル
↓
複数の回答を生成
↓
テスト・評価プログラム
↓
回答ごとに報酬を計算
↓
勾配を計算
↓
モデルの重みを更新
↓
次の学習ステップ対応モデル： gpt-oss-20b、gemma-4-31B-it、Qwen3.6-27B、Qwen3.8-27B。
API・SDK： SageMaker Python SDKを利用。Python 3.10〜3.12のLinux・macOS環境から開発できます。
学習方式： SFT、DPO、RLVR、RLAIF、Multi-Turn RL。LoRAとフルファインチューニングも選択できます。
料金： SageMakerが処理するトークンに基づく従量課金です。GPU容量を事前予約する必要はなく、外部の報酬関数が評価している間は学習処理の課金メーターが停止します。ただし、報酬関数を実行するAWSリソースなどには別途料金が発生する場合があります。
データ管理： 学習データとチェックポイントは利用者のS3に保存され、IAM、KMS、VPCによる制御が可能です。
10月23日公開の実装例
翌23日には、複数ターンの強化学習を実装するチュートリアルも公開されました。
Wordleを題材にgpt-oss-20bを追加学習したところ、未学習の単語に対する正解率が61%から84%に改善しています。
低い推論努力設定では、15%から69%へ改善しました。学習トークン費用は約339ドルと報告されています。
これは特定のゲーム課題での結果ですが、小型モデルを特定の業務に特化させる設計として参考になります。