OllamaとTogether AI、オープンモデルの長期エージェント型ワークロード向け最適化指針を公開

OllamaとTogether AI、オープンモデルの長期エージェント型ワークロード向け最適化指針を公開

基本情報

項目 内容
公開元のまとめ Together AI のモデルとライセンスのまとめ
公開元 Together AI
公開日 2026-11-16
出典の種類 公開元の一次情報(公式ブログ記事のため一次情報として裏付け可能)

情報を集めた時点で、当サイトのコードが確定させた値です。日付はJSTで表示しています。

概要

Together AIとOllamaは、オープンウェイトモデルを用いた長期的なエージェント型ワークロード(コーディングエージェントなど)において、推論効率を高めるためのクライアント(ハーネス)側と推論エンジン側の設計指針に関する解説記事を公開しました。コーディングエージェントはターンごとに会話履歴全体を再送するため、プロンプトの先頭部分をキャッシュするプレフィックスキャッシュ(prefix caching)の活用が不可欠となります。本資料では、ハーネス側によるプロンプト構成の工夫と、推論エンジン側によるリクエストのルーティングやメモリ管理の連携がキャッシュの維持に重要であることを示しています。

主張と根拠

エージェント型ワークロードは、入力シーケンス長(ISL)が非常に大きく、出力シーケンス長(OSL)が短いという特徴を持ちます。毎ターンで全履歴を最初から再処理すると、計算量はセッションの長さに伴って2乗で増加するため、発表者の説明によるとプレフィックスキャッシュの利用が不可欠です。

発表者が提示した理想化された計算モデルの数値比較は以下の通りです。

  • 10ターンのプロンプト処理量: キャッシュなしの場合は 1 + 2 + … + 10 = 55 単位の処理が必要であるのに対し、キャッシュありの場合は 10 単位の処理で済みます。
  • 100ターンのプロンプト処理量: キャッシュなしの場合は 5,050 単位の処理が必要であるのに対し、キャッシュありの場合は 100 単位の処理で済みます。

プレフィックスキャッシュは、プロンプトの先頭から一致しているトークンまでを保持し、最初に異なるトークンが現れた以降の処理をすべて再計算する仕組みです。そのため、プロンプトの前方でわずか1文字でも変更が発生すると、それ以降の過去セッション全体のキャッシュが無効化されます。発表者は、ハーネス側とエンジン側の双方でキャッシュ崩壊を防ぐ施策が必要であると主張しています。

ハーネス(クライアント)側における主張と影響要因

ハーネス側では、プロンプトの先頭部分を変更しない設計が求められます。資料では以下の要因と対処法が挙げられています。

  • システムプロンプト内の動的データ: ターンごとに変化するタイムスタンプやgitステータス、カレントディレクトリなどをシステムプロンプトに含めると、毎ターンキャッシュが破棄されます。これらはユーザーのタスクメッセージ側に固定で1度だけ記述することが推奨されます。
  • 推論エフォートの設定変更: GLM-5.3-Flashなどのモデルでは、推論エフォート(reasoning effort)の設定がプロンプト冒頭のシステムブロックに記述されます。セッション途中でエフォートを変更するとプレフィックス全体が再計算されるため、初期設定のまま変更しないか、変更する場合は新しいセッションを開始することが推奨されます。
  • ツール定義の読み込み位置: ツール検索機能により追加読み込みしたツール定義をプロンプト冒頭のツールリストに挿入すると、それ以降の全履歴が再計算になります。末尾に追加することが望ましいものの、モデルのチャットテンプレートの対応状況に依存します。
  • ツール結果の削減: 大規模なファイル読み込み結果などを削減してモデルに渡す際、一部を省略した事実(例:640行中1行目から100行目であること)を明示しないと、モデルが未確認のコードを誤って編集する原因となります。
  • サブエージェントの履歴継承: Kimi K3やGLM-5.3、GLM-5.3-Flashなどのオープンモデルにおいてサブエージェントを利用する際、親セッションの履歴全般を継承させるとプレフィックスが共有できる一方で、メモリ消費とアテンションコストが増大します。

推論エンジン側における主張と最適化手法

推論エンジン側では、一度生成されたキャッシュを維持し、次のリクエストを正しいノードに送る必要があります。

  • キャッシュに配慮したルーティング: 1台のGPUの年間レンタル費用は約5万ドル(around $50k)に達するため、リソースの効率的な利用が求められます。同一セッションのリクエストをキャッシュが保持されている同一ノードにルーティングするため、prompt_cache_key の使用やプロンプトプレフィックスのハッシュ化が用いられます。ただし、対象ノードが高負荷の場合は、待機するよりも他ノードで再計算する方が高速な場合(load-aware routing)もあります。
  • メモリ管理とオフロード: エージェントがツールの実行完了を待機する間、GPUメモリ上のキャッシュをCPUメモリへオフロードし、次のターンで書き戻す手法が使われます。また、PagedAttentionによるブロック単位のメモリ割り当てや、continuous batchingによるバッチ再構築が活用されます。
  • プレフィルとデコードの分離: 計算集中型であるプレフィル段階と、メモリ帯域制限を受けるデコード段階を別々のクラスタで実行し、キャッシュデータをRDMA経由で転送することで、ロングプロンプトの処理が他のストリーミング処理を遅延させるのを防ぎます。

前提条件

本資料で解説されている知見や手法の前提条件、および対象となっているモデルやソフトウェア環境は以下の通りです。

  • 対象モデル: DeepSeek-V4.1-Flash、GLM-5.3、GLM-5.3-Flash、Kimi K3 などのオープンモデルが挙げられています。
  • クライアントおよびハーネス環境: Ollamaが提供する ollama launch コマンドを使用して、Claude Code、Codex、Pi などの各種ハーネスをオープンモデルに接続して利用する環境が前提とされています。
  • 推論エンジン側の構成および技術:
  • キャッシュメモリの割り当て手法としてPagedAttentionが使用されています。 – バッチ処理の構築においてcontinuous batchingが採用されています。 – アイドル時のGPUメモリ圧迫を避けるため、CPUメモリへのキャッシュオフロード処理が組み込まれています。 – プレフィル処理とデコード処理を別々のクラスタに分離し、両者間でRDMAを介してキャッシュデータを転送するマルチクラスタ構成が前提とされています。 – ノード選択の仕組みとして、prompt_cache_key の付与やプロンプトプレフィックスのハッシュ化、負荷状況に応じたルーティング(load-aware routing)が実装されています。

手元で再現できる範囲

読者が自前の環境や利用環境で実際に試せる範囲、および再現性の限界は以下の通りです。

  • Ollamaを通じたハーネス連携: Ollamaが配布している ollama launch コマンドを実行することで、Claude CodeやCodex、Piといった既存のハーネスツールを DeepSeek-V4.1-Flash や GLM-5.3 などのオープンモデルに接続し、運用ワークフローを維持したまま動作させることができます。
  • ハーネス側のプロンプト構造の改善:
  • システムプロンプト内の動的な値(タイムスタンプやカレントディレクトリなど)を固定のタスクメッセージ側へ移すこと。 – 推論エフォート(reasoning effort)の設定値をセッション途中で変更せず、初期設定のまま維持すること。 – ツール実行結果の一部を切り詰めて渡す際に、全体の行数と抽出範囲の注記を付与すること。

これらプロンプト設計に関する工夫は、ユーザー自身のクライアント実装やプロンプト構築ロジックへ直接取り入れることが可能です。

一方で、Together AIが提供する推論エンジン側のバックエンドインフラ(プレフィル・デコード分離クラスタ環境、RDMA転送、CPUメモリへのオフロード機構、負荷制御対応のルーティングプログラムなど)の具体的な実装コードや構築手順は公開されていません。そのため、エンジン側のシステム構成を含めた完全な挙動を手元のローカル環境単体で再現することはできません。

資料が触れていないこと

発表者の主張を客観的に評価するにあたり、以下の情報は資料内に記載されていません。

  • 定量的なベンチマーク・コストの実測データ: キャッシュの維持やオフロード処理を行った場合における、具体的な処理速度(レイテンシやスループット)の比較数値や、API利用コストの削減幅に関する実測データは示されていません。
  • 推論エンジン側の公開コードおよび手順: バックエンドでのノード間ルーティングやCPUメモリへのオフロード処理を実現するための具体的なソースコードや設定ファイルのサンプルは掲載されていません。
  • モデルごとのツール定義読み込みに関する詳細: GLM-5.3 や DeepSeek-V4.1-Flash などの各モデルにおいて、プロンプトの末尾にツール定義を挿入する遅延読み込み(late loading)がどの程度正しく動作するかという具体的な互換性リストは提示されていません。
  • 単一GPUやローカルPC環境での効果: データセンター規模の分散ノード構成ではなく、個人の単一GPU環境や一般的なローカル推論環境で同様の最適化を行った場合の定量的な挙動や制約については触れられていません。

関連記事

次に読むなら

出典