Ollamaとオープンウェイトモデルで長期エージェントワークロードを最適化する方法

Ollamaとオープンウェイトモデルで長期エージェントワークロードを最適化する方法

基本情報

項目 内容
公開元 Ollama
公開日 2026-11-16
出典の種類 公開元の一次情報(Ollamaの公式ブログ記事であり、一次情報として裏付けが取れている。)

情報を集めた時点で、当サイトのコードが確定させた値です。日付はJSTで表示しています。

概要

OllamaとTogether AIは、エージェント的なワークロードにおいて、オープンウェイトモデルを効率的に動作させるための技術的な課題と解決策について報告しています。特に、長い会話履歴を持つコーディングエージェントなどのワークロードでは、入力シーケンス長(ISL)が非常に長く、出力シーケンス長(OSL)が短いという特徴があり、これに対応するためのPrefix caching(接頭辞キャッシュ)の重要性と、そのキャッシュを破壊しないための実装上の注意点が示されています。

主張と根拠

資料では、エージェントの実行ターンが進むにつれて入力が累積していく性質に対し、Prefix cachingを活用することで計算コストを劇的に削減できると主張しています。

キャッシュによる計算量の違い

キャッシュを使用しない場合、ターンが進むごとに過去の入力をすべて再計算する必要があります。発表者の説明によれば、計算量の増え方は以下のようになります。

  • キャッシュなしの場合: 10ターンで $1 + 2 + \dots + 10 = 55$ ユニットのプロンプトを処理。100ターンでは 5,050 ユニットを処理することになります。
  • キャッシュありの場合: 10ターンでも100ターンでも、各ターンで追加された新しい部分のみを処理するため、100ターンでも 100 ユニットの処理で済みます。

このように、キャッシュがない状態では、作業量はセッションの長さの2乗に比例して増加します。

キャッシュを維持するための設計指針

Prefix cachingは、プロンプトの先頭から「最初の異なるトークン」までを一致させる仕組みです。そのため、プロンプトの途中で一箇所でも変更が発生すると、それ以降のキャッシュはすべて無効になります。これを防ぐために、以下の技術的なアプローチが推奨されています。

  • ツールの読み込みタイミング: ツール定義をプロンプトの冒頭(会話の前)に置くと、ツールが追加されるたびにプロンプトの先頭部分が変化し、キャッシュが破壊されます。これを避けるため、ツール定義をプロンプトの末尾(新しいコンテンツが追加される場所)に配置することが有効です。ただし、一部のモデルのチャットテンプレートでは会話の途中にツール定義が入ることを想定していない場合があるため、モデルの仕様に依存します。
  • システムプロンプトの固定: タイムスタンプ、gitのステータス、作業ディレクトリなど、ターンごとに変化する情報をシステムプロンプトに含めると、毎ターンキャッシュが破壊されます。これらの情報は、システムプロンプトではなく、一度だけ記述されるタスクメッセージ内に含めるべきです。
  • 推論設定(Reasoning effort)の固定: GLM-5.3-Flashなどのモデルでは、推論の努力量(reasoning effort)が最初のシステムブロックに書き込まれるため、実行中にこの設定を変更すると、プロンプトの最初の方で差異が生じ、セッション全体が再処理されてしまいます。
  • エンジンのルーティングとメモリ管理: 推論エンジン側では、キャッシュを保持している特定のノードにリクエストを正しくルーティングすることや、アイドル状態のキャッシュをGPUメモリからCPUメモリへオフロード(PagedAttention等の活用)して保持することが、エージェントの応答速度を維持するために不可欠です。

前提条件

本資料で言及されている技術的な議論や推奨事項が適用される条件は以下の通りです。

  • 対象モデル: DeepSeek-V4.1-Flash、GLM-5.3、GLM-5.3-Flash、Kimi K3 など。
  • ワークロードの特性: 入力シーケンス長(ISL)が非常に長く、出力シーケンス長(OSL)が短い、エージェント的なタスク(コーディングエージェントなど)。
  • インフラ構成: Prefix caching をサポートする推論エンジン、およびキャッシュを保持するノードやデータセンターが存在する環境。
  • ソフトウェア・技術: Ollama(および ollama launch コマンドによる各種ハネスの接続)、PagedAttention、continuous batching、RDMA を用いたプリフィル/デコード分離クラスタ。

手元で再現できる範囲

読者が自身の環境で試行・実装できる範囲として、以下の内容が示されています。

  • Ollama を利用したハネスの接続: ollama launch コマンドを使用することで、Claude Code、Codex、Pi などの既存のハネスを、DeepSeek-V4.1-Flash や GLM-5.3 といったオープンウェイトモデルに接続し、ワークフローを維持したまま利用できます。
  • プロンプト設計によるキャッシュ最適化:
    • システムプロンプトを固定し、動的な情報(タイムスタンプや作業ディレクトリなど)はタスクメッセージに含める設計。 – ツール定義をプロンプトの末尾に配置する構成(モデルのチャットテンプレートが対応している場合に限る)。 – 推論の努力量(reasoning effort)の設定をセッション開始時に固定する運用。
  • ツール出力の制御: ツールが大量のデータを返した場合に、モデルが情報の欠落に気づけるよう、「全何行中の何行目までを返したか」という情報を出力に含める実装。

資料が触れていないこと

主張を評価する上で、以下の情報は資料に含まれていません。

  • 具体的なベンチマークスコア: キャッシュによる計算量の削減については理論的な数値が示されていますが、実際の推論速度(tokens per second)やレイテンシの具体的な測定値は記載されていません。
  • コストの詳細: GPUのレンタル費用に関する言及はありますが、Prefix caching の利用やキャッシュのオフロード、あるいはキャッシュミスが発生した場合の具体的な金銭的コストの比較は示されていません。
  • 特定のハードウェアにおける性能: 推論エンジン側での RDMA を用いたクラスタ構成について触れられていますが、具体的な GPU モデルやネットワーク帯域などの詳細なスペックは不明です。
  • 全てのモデルにおけるツールの末尾配置の可否: ツール定義を末尾に置くことが推奨されていますが、どのモデルがどの程度この手法に対応しているかの具体的なリストは提供されていません。

関連記事

次に読むなら

  • 記事に出てくるエンジンを調べる → Ollama

出典