【技術深掘り】AWS、AIエージェントの入力コストを約62%削減する実装を公開

2. 【技術深掘り】AWS、AIエージェントの入力コストを約62%削減する実装を公開

公開：10月26日｜新しい技術解説・実装事例

Amazon Web Servicesが、Amazon BedrockでOpenAIモデルを利用する際のプロンプトキャッシュ最適化について、詳細な実装ガイドを公開しました。

Coding Agentはツールを呼び出すたびに、システム指示、ツール定義、会話履歴を繰り返しモデルへ送信します。

今回の技術解説では、キャッシュを適切に利用することで、6ターンのエージェント処理において入力コストを約62%削減したと報告しています。

これは新しいAPIの発表ではなく、既存のキャッシュ機能を効果的に使うための実装手法です。

長時間稼働するCoding Agentでは、会話履歴が増えるほど、同じコンテキストを繰り返し処理する費用が大きくなります。

今回の実装は、モデルの能力を変えずに推論コストを削減できる点が重要です。

AWSは、暗黙的キャッシュと明示的キャッシュの組み合わせを推奨しています。

textAI Agent
    ↓
固定のツール定義
    ↓
システム指示
    ↓
【明示的キャッシュ境界】
    ↓
会話履歴
    ↓
【暗黙的キャッシュ】
    ↓
新しいユーザー入力
    ↓
LLM推論

重要なのは、固定部分と変化する部分を分離することです。

例えば、AWSのコード例では次のように指定しています。

pythonprompt_cache_options={
    "mode": "explicit",
    "ttl": "30m"
}

さらに、キャッシュする入力ブロックへ次の設定を追加します。

python"prompt_cache_breakpoint": {
    "mode": "explicit"
}

この例では、再利用する共通プレフィックスが1,024トークン以上必要です。

AWSは、途中でツールを追加する場合のキャッシュ維持方法も紹介しています。

通常、ツール定義の順序や内容を変更すると、キャッシュが無効になる可能性があります。

そこで、初期ツール一覧を変更せず、追加のツール定義をadditional_toolsとして会話履歴へ追加する方法を示しています。

これにより、既存のキャッシュ済みコンテキストを維持しながら、新しいツールを利用できます。

Coding Agentの実装では、ツール定義の安定性そのものがコスト最適化につながるという点が重要です。

なお、62%削減は特定の検証結果であり、すべてのエージェントで同じ削減率になるわけではありません。