DeepSeek、推論エンジン「DeepInfer」をオープンソースで公開

DeepSeek、推論エンジン「DeepInfer」をオープンソースで公開

基本情報

項目 内容
公開日 2026-10-20
ライセンス Apache-2.0
出典の種類 公開元の一次情報(公式GitHubリポジトリが一次情報として提示されている)

情報を集めた時点で、当サイトのコードが確定させた値です。日付はJSTで表示しています。

概要

DeepSeekは、同社の大規模本番サービスを支える高性能推論フレームワーク「DeepInfer」をオープンソースとして公開しました。DeepInferはPythonで実装されており、ライセンスはApache-2.0が適用されています。もともとはvLLMをベースに構築され、SGLangやTensorRT-LLMからも着想を得て開発されたソフトウェアです。

今回のリリースでは、大規模サービングに必要なコア技術を備えたオフライン推論(offline inference)環境が提供され、現時点では「DeepSeek-V4.1-Flash」モデルに対応しています。独自に最適化されたカーネル群や高度な並列処理アーキテクチャを備えており、同社の大規模モデルを最高効率で運用するための内部スタックを直接活用できる点が最大のポイントです。

主な変更点

独自開発の最適化カーネルとランタイムの統合

モデル推論およびサンプラーの実行効率を極限まで高めるため、複数の専用カーネルが統合されています。具体的には、FlashMLA、DeepGEMM、DeepEP、TileKernels、DeepSelectに加え、独自のTileLangカーネルが組み込まれています。これらの最適化カーネルにより、計算負荷の高いアテンション処理やMoE(Mixture of Experts)のディスパッチ処理が高速化されます。対応する環境(NVIDIA SM100 GPUまたはHuawei Ascend 950 NPU)を利用する開発者は、手作業でカーネルをビルド・調整することなく、フレームワーク標準の状態で恩恵を受けられます。

柔軟な並列処理機能(Attention DP / Balanced CP、MoE EP + EPLB)

大規模なMoEモデルを効率よく分散実行するために、多彩な並列化手法がサポートされています。アテンション機構においてはAttention DP(データ並列)およびバランスの取れたCP(コンテキスト並列)が提供され、MoEレイヤー向けにはEP(エキスパート並列)と負荷分散を行うEPLB(Expert Parallelism Load Balancing)が実装されています。これにより、超大規模クラスタ環境においてモデルをスケールアウトさせた際にも、エキスパート間の負荷偏りを抑えながら高スループットを維持できます。

DSparkと信頼度スケジューリング検証によるデコード高速化

ドラフトトークンを用いてデコードを加速し、信頼度予測に基づいて検証をスケジューリングする投機的デコード機構「DSpark」が搭載されています。この機能を有効化するには、環境変数 DEEPINFER_ENABLE_MTP_VARLEN=1 を設定します。また、最大ドラフト長は環境変数 DEEPINFER_USE_NEXTN_DECODE で制御可能となっており、既定値は5に設定されています。これにより、推論の精度を維持しながらトークン生成レイテンシを大幅に削減できます。

Decoder SWA bounded replayによるPrefill負荷の削減

デコーダーのPrefill処理において、境界付けられたサフィックス(bounded suffix)のみをリプレイすることで計算負荷を削減する「Decoder SWA bounded replay」が導入されました。DeepSeek-V4.1の標準設定で使用する場合、環境変数 DEEPINFER_YOCO_PREFILL_TRUNCATION_MODE=compact および DEEPINFER_YOCO_PREFILL_KEEP_TOKENS=140 を設定して利用します。保持するサフィックスは、SWA(Sliding Window Attention)のウィンドウ幅に最大バックトラック長を加えた範囲をカバーする必要があります。

非同期スケジューリングとバッチ不変推論・決定論的サンプリング

CPU側でのバッチスケジューリング処理とデバイス側の実行処理をオーバーラップさせ、スケジューリングオーバーヘッドを実質ゼロにする非同期スケジューリングが既定で有効化されています。

さらに、検証やデバッグを容易にする機能として、異なるバッチ構成であってもモデルの出力結果を同一に保つ「バッチ不変推論(Batch-invariant inference)」が用意されています。NVIDIA環境において環境変数 DEEPINFER_BATCH_INVARIANT=1 を指定することで利用できます。これに加えて DEEPINFER_ENABLE_MTP_VARLEN=0 を指定し、SamplingParams に固定の seq_seed を渡すことで、同一の入力トークンとサンプリングパラメータに対して常に完全に同一の出力を得る決定論的サンプリングが可能になります。

構造化出力(Structured outputs)のサポート

正規表現(regex)、JSONスキーマ、またはEBNF文法に従って生成トークンを制約する構造化出力機能が提供されています。利用する際は、推論時に SamplingParams へ so_args={"schema_type":..., "schema":...} を渡すことで、特定のフォーマットに厳密に準拠した出力を得ることができます。

本番サービングに必要な外部コンポーネント

今回のオープンソース公開はオフライン推論を中心としたコア機能の提供であり、完全な推論サービスを構築するために必要な以下の要素は今回のリリースに含まれていません。

  • KVキャッシュシステム
  • VE/Prefill/Decodeの分離機構(エンジン側の必要機能の大部分は実装済み)
  • PrefillおよびDecodeの両方におけるデータ並列レプリカ間のロードバランシング

商用環境向けに完全な推論クラスタを構築する場合は、これらの周辺システムを別途準備または連携させる必要があります。

対応モデル・ハードウェア

DeepInferが今回サポートしているモデルおよびハードウェア環境は以下の通りです。

対応モデル

  • DeepSeek-V4.1-Flash

本リリースにおける標準のチェックポイントとして deepseek-ai/DeepSeek-V4.1-Flash-1017 が指定されています。初回実行時にHugging Faceのキャッシュへ自動的にダウンロードされる仕組みとなっており、手元に重みファイルを準備していない状態からでも検証を開始できます。また、ローカルストレージにあらかじめダウンロードした重みを利用することも可能です。

対応ハードウェア

DeepInferは超高スループットを実現するため、対応するアクセラレータが特定の世代に特化して最適化されています。

  • NVIDIA SM100 GPU
  • Huawei Ascend 950 NPU

一般的なコンシューマー向けGPUや旧世代のデータセンター向けGPU(Hopper世代以前など)の動作保証に関する記述はなく、最新鋭のSM100およびAscend 950が対象ハードウェアとして明記されています。また、バッチ不変推論や決定論的サンプリングのように、一部の高度な機能はNVIDIA環境限定で提供されています。

アップデート方法

DeepInferはソースコードからのビルドによってセットアップを行います。動作環境の前提条件を満たした上で、以下の手順に従って環境構築と推論を実行してください。

前提条件(Prerequisites)

ビルドおよび実行には、以下のオペレーティングシステムとツールチェインが必要です。

  • OS: Linux
  • コンパイラ: GCC 13.0 以上
  • 言語環境: Python 3.12
  • アクセラレータ用ドライバ・ツールキット:
  • NVIDIA環境の場合: CUDA 13 – Huawei Ascend環境の場合: CANN 9.2

ソースコードからのビルド手順

ビルドを開始する前に、空のPython 3.12環境を新規に作成してアクティベートしてください。その後、使用するアクセラレータに応じた環境変数を設定し、ビルドスクリプトを実行します。

NVIDIA GPUを使用する場合のコマンドは以下の通りです。この環境変数はビルド時だけでなく、後で推論スクリプトを実行する環境でもエクスポートしたまま保持する必要があります。

# NVIDIA環境の場合
export DEEPINFER_ACCELERATOR=nvidia
./build.sh

Huawei Ascendプラットフォームで実行する場合は、環境変数に ascend を指定してビルドを行います。

# Ascend環境の場合
export DEEPINFER_ACCELERATOR=ascend
./build.sh

オフライン推論の実行

ビルド完了後、提供されているサンプルスクリプトを実行してオフライン推論を試すことができます。

python examples/offline_inference.py

既定では、初回実行時にチェックポイント deepseek-ai/DeepSeek-V4.1-Flash-1017 が自動的にHugging Faceキャッシュへダウンロードされます。すでにローカルディスクへモデルをダウンロード済みの場合は、環境変数 DEEPINFER_HF_MODEL_DIR にそのディレクトリパスを指定してから実行してください。

export DEEPINFER_HF_MODEL_DIR=/path/to/DeepSeek-V4.1-Flash-1017
python examples/offline_inference.py

詳細な設定やスイープ検証の実行方法については、リポジトリ内の examples ディレクトリや run_sweep.sh、評価用ベンチマークの案内が記載された eval/README.md を参照してください。

関連記事

次に読むなら

  • 記事に出てくるエンジンを調べる → vLLM

出典