TensorRT Edge-LLMとQwen3.6-27BでMLPerf Edge Agenticベンチマークを高速化
概要
2026年9月16日、NVIDIAはエッジ向けAI推論プラットフォーム「TensorRT Edge-LLM」を用いて、エッジ向けAIエージェントの標準ベンチマーク「MLPerf Inference v6.1 Edge Agentic」における測定結果を公表した。単一のNVIDIA Jetson AGX Thor Developer Kit（ユニファイドメモリ 128 GB、MAXN電力モード）上でQwen3.6-27Bモデルを実行し、出力スループット52.33 tokens/sを記録するとともに、全1,007ターンのパフォーマンスワークロードを24分36秒で完了させた。これは、llama.cppによるリファレンス実行（2時間37分）と比較して6.4倍高速な結果となる。
発表の内容
NVIDIAが発表した測定結果は、単一のJetson AGX Thor Developer Kit上で大容量・多ターン会話を扱うエージェント型AIワークロードをローカル処理した際の実測データである。
ベンチマーク結果と従来手法との比較
MLPerf v6.1 Edge AgenticベンチマークにおけるTensorRT Edge-LLMとQwen3.6-27Bの組み合わせによる主な測定数値は以下の通りである。
- 出力スループット：52.33 tokens/s
- 最初のトークンが出力されるまでの時間（Time to First Token: TTFT）の中央値：247.12 ms
- 1トークンあたりの生成時間（Time per Output Token: TPOT）の中央値：14.68 ms
- BFCL (Berkeley Function Calling Leaderboard) v4 による全体精度：87.94%
比較対象としてMLCommonsが公開しているllama.cppによるJetson AGX Thor上のリファレンス実行では、Qwen3.6-27B（Q4_K_M量子化）を使用した場合の全体完了時間が2時間37分であった。これに対し、TensorRT Edge-LLM（NVFP4量子化等を使用）による実行は24分36秒で完了し、完了時間ベースで6.4倍の高速化を達成した。
処理を加速する3つの主要技術
今回の性能向上は、Blackwell GPUを搭載するJetson AGX Thorの性能を引き出す3つの技術的アプローチの組み合わせによって実現されている。
-
NVFP4量子化とFP8 KVキャッシュ
エッジプラットフォームにおけるローバッチのLLMデコーディングは、主にDRAM帯域幅によって処理能力が制限される。重みおよびアクティベーション（言語モデルヘッドを含む）にJetson AGX ThorのBlackwell GPUがサポートする4ビット浮動小数点フォーマット「NVFP4」を適用し、KVキャッシュにはFP8を採用した。これにより、メモリ帯域幅の負荷を削減すると同時にモデルのメモリフットプリントを最小化し、128 GBのユニファイドメモリ上にロングコンテキストや投機的デコーディング用ステートのための領域を大きく確保している。 -
エージェントのターン間におけるKVキャッシュおよび再帰状態の再利用
AIエージェントはツール実行結果やユーザー入力を交互に繰り返すため、各ターンでプロンプト全体の長さ（共有履歴）が増大する。TensorRT Edge-LLMは過去の会話で共通するプロンプトプレフィックスを識別し、キャッシュされたアテンションKVページを再利用する。Qwen3.6のハイブリッドアーキテクチャに合わせて再帰状態（recurrent state）および部分的なKVページ状態を復元し、新しく追加されたサフィックスのみをプレフィル処理する。本ワークロードでは全1360万プロンプトトークンのうち約96%がホットキャッシュから提供され、実際にプレフィル処理されたのは約50万トークンにとどまった。 -
木構造マルチトークン予測（Tree-based MTP）
ドラフトモデルが未来の複数のトークンを予測し、ターゲットモデルが1回のフォワードパスで一括検証する手法において、従来の線形MTPではなく木構造の候補探索を採用している。高確率なトークン候補を木構造に組織化して検証することで、一度に複数のトークン生成を進める。ツールの指定やJSONの文法構造など、一定のパターンを予測しやすい関数呼び出し（Function Calling）のタスクにおいて高い効果を発揮する。8ドラフトステップ、各深度でのtop-2候補、16ノードの検証ツリーという構成を用いることで、3ドラフトステップの線形MTPと比較してデコーディング性能が追加で約40%向上した。
ベンチマークの構成と評価方法
MLPerf Edge Agenticベンチマークは、OpenAI互換のエンドポイントを介して以下の2つのフェーズでエージェントAIの性能と精度を評価する。
- パフォーマンスフェーズ: ソフトウェアエンジニアリングエージェントの実際の挙動を再現した20個の会話、計1,007生成ターンで構成される。会話が進むにつれてコンテキスト長が伸長し、最大で約23.5Kトークンに達する。IoU（Intersection of Union）に基づくインライン精度も同時に測定される。
- 精度フェーズ: Berkeley Function Calling Leaderboard (BFCL) v4のプロンプトを使用し、エージェントが正確な関数を選択し正しい引数を生成できるか、不要なツール呼び出しを回避できているかを検証する（エッジ環境向けにシングルターン、推論機能オフで評価）。
背景
資料によると、AIエージェントの動作モデルは、単一の質問に応答する従来のチャットボットから、一連の手順を踏んでツールを選択し、その実行結果を評価しながら思考を継続するマルチターンのワークフローへと移行しつつある。こうしたエージェントAIはクラウドデータセンターにとどまらず、車両やロボット、各種エッジデバイスへの実装が進んでいる。
マルチターンでのツール利用や長文コンテキストの処理は、限られた電力とメモリ領域しか持たないエッジデバイスにとって大きな負荷となるため、高速なトークン生成速度、共有履歴の効率的な処理、正確なツール呼び出し機能が強く求められるという背景がある。
ローカルLLMの利用者への影響
ローカル環境やエッジデバイス上でオープンウェイトモデルの推論環境を構築する開発者・技術者にとって、今回の発表は具体的な実装モデルと最適化された環境が提供されることを意味する。
エッジ環境でのエージェント運用と量子化の進展
今回用いられたモデル「Qwen3.6-27B」のNVFP4量子化チェックポイントは、Hugging Face上で公開されているため、対象のハードウェアを用意できればローカル環境で試行可能である。また、開発チームは提供されている量子化チェックポイントを利用するだけでなく、デプロイ前に任意の開発システムでポストトレーニング量子化（PTQ）を実施することも可能であるとされている。
従来のllama.cppによるCPU/GPU環境でのQ4_K_M実行と比較して、コンテキストの再利用（KV cache reuse）や木構造MTPといった最適化アルゴリズムを組み合わせることで、ロングコンテキストのマルチターン会話における実行時間を大幅に短縮できることが提示された。
構築と再現手順
今回のMLPerf提出で用いられたコードと設定は、TensorRT Edge-LLMのリポジトリにおいて release/0.9.1-mlpinf ブランチとして公開されている。資料に記載されているローカル環境での再現手順および利用コマンドは以下の通りである。
- リポジトリのクローンとサブモジュールの初期化
git clone --branch release/0.9.1-mlpinf \
https://github.com/NVIDIA/TensorRT-Edge-LLM.git
cd TensorRT-Edge-LLM
git submodule update --init --recursive
- キャリブレーション済みNVFP4チェックポイントのダウンロード
huggingface-cli download \
centml/Qwen3.6-27B-NVFP4-W4A4-mlpinf \
--local-dir "$WORK/Qwen3.6-27B-NVFP4-W4A4-mlpinf"
- チェックポイントのエクスポートとTensorRTエンジンのビルド
$VENV/bin/python -m tensorrt_edgellm.scripts.export \
"$WORK/Qwen3.6-27B-NVFP4-W4A4-mlpinf" \
"$WORK/onnx" \
--mtp-tree-base --skip-visual
- OpenAI互換TensorRT Edge-LLMサーバーの起動
export REPO="$PWD"
export VENV=/path/to/venv-edgellm-export
export WORK=/path/to/mlperf-artifacts
bash mlperf/serve_edgellm.sh
- MLCommonsエンドポイントハーネスのセットアップとベンチマークの実行
git clone https://github.com/mlcommons/endpoints.git
cd endpoints
python3.12 -m venv.venv
source.venv/bin/activate
pip install -e ".[dev,bfcl]"
inference-endpoint benchmark from-config \
--config "$REPO/mlperf/config.yaml"
以上の手順により、公開されたオープンモデルのチェックポイント（centml/Qwen3.6-27B-NVFP4-W4A4-mlpinf）を読み込み、同様のローカル推論環境およびベンチマーク評価を実行することができる。