「Ling-3.0-tiny-UBTree」投機的デコーディング用ドラフトモデル:必要VRAM 4GB〜

基本情報
| 項目 | 内容 |
|---|---|
| リポジトリ | inclusionAI/Ling-3.0-tiny-UBTree |
| 公開元のまとめ | inclusionAI(Ant Group) のモデルとライセンスのまとめ |
| 公開日 | 2026-10-21 |
| ライセンス | mit |
| 配布形式 | safetensors |
| 論文 | arXiv:2609.39972 |
| 出典の種類 | 公開元の一次情報(公式HuggingFaceアカウントの一次情報) |
情報を集めた時点で、当サイトのコードが確定させた値です。日付はJSTで表示しています。
概要
「inclusionAI/Ling-3.0-tiny-UBTree」は、軽量推論モデル「inclusionAI/Ling-3.0-tiny」と組み合わせて使用する投機的デコーディング(Speculative Decoding)向けのドラフトモデルです。本モデルは単体でテキスト生成を行うものではなく、ターゲットモデルであるLing-3.0-tinyの推論処理を並行して加速するために動作します。
モデルカードが参照している論文「UBTree: Parallel Tree Drafting via Unigram and Bigram Models for Speculative Decoding」によれば、従来の並列ドラフト手法ではターゲットモデルの出力確率の多様性(エントロピー)が高くなると候補の多様性が不足して加速効果が落ちる課題がありました。UBTreeは、各位置の候補トークンを独立して生成するUnigram提案部(5層のDFlashバックボーン)と、隣接する候補間の遷移スコアを予測するBigram選択部を組み合わせることで、並列性を損なわずに木構造のドラフト候補を効率よく構築することを狙って設計されています。
スペック
本モデルの仕様は、モデルカードにて以下の通り公開されています。配布されているチェックポイントに含まれるパラメータ数には、ターゲットモデルと共有するトークン埋め込みおよび言語モデルヘッドの重みは含まれていません。
- アーキテクチャ: Ling3UBTreeModel
- パラメータ数: 183,127,326(183.1M)
- ドラフトバックボーン: 5 full-attention Transformer layers
- 重みデータ型: BF16
- 隠れ層サイズ(Hidden size): 1,536
- アテンションヘッド数 / KVヘッド数: 16 / 16
- ターゲット補助特徴層(0始まり): 4, 8, 12, 16, 22
- ドラフトブロックサイズ: 16(アンカーを含むランタイム規約)
- 候補Top-k: ドラフト位置あたり64
- デフォルト検証ツリーバジェット: 非ルートノード64 + アンカー1
- 学習手法: DFlash warm start、バックボーンとUBTreeセレクタの共同学習
なお、ターゲットモデルとなる元モデル「inclusionAI/Ling-3.0-tiny」側のスペックは、総パラメータ数が7.9B、トークンごとの活性パラメータ数が1.3Bの疎なMoE(Mixture of Experts)ハイブリッド線形アーキテクチャ(3層のKimi Delta Attentionと1層のMulti-Head Latent Attentionを交互に配置)となっています。
性能
公開リポジトリのモデルカードに掲載されている「Benchmark results」の表は以下の通りです。現時点では具体的な実測数値が公開元からまだ報告されておらず、すべての項目が「TBD(未定)」と記載されています。
| Dataset | Acceptance length | Speedup |
|---|---|---|
| GSM8K | TBD | TBD |
| MATH-500 | TBD | TBD |
| AIME 2025 | TBD | TBD |
| HumanEval | TBD | TBD |
| MBPP | TBD | TBD |
| LiveCodeBench | TBD | TBD |
この表に記載されている評価指標について、モデルカードでは「Acceptance length」をターゲットトークンを含めて検証ステップごとに確定された平均トークン数、「Speedup」を同一のハードウェア、入力、デコード設定におけるターゲットモデル単体の自己回帰デコーディングに対する高速化比率と定義しています。対象ベンチマークには、小学校レベルの算数文章題を解く精度を測るGSM8K、高校から競技レベルの数学を測るMATH-500、米国数学オリンピック予選の問題を扱うAIME 2025、Python関数の実装精度を測るHumanEvalやMBPP、新作プログラミング課題を集めたLiveCodeBenchが挙げられています。
本チェックポイント単体での測定結果はまだ埋まっていませんが、UBTreeのアーキテクチャ自体の性能として、論文(arXiv:2609.39972)ではQwen3-4BおよびQwen3-8Bを対象とした7つの標準ベンチマークにおいて、自己回帰デコーディングに対して平均5.84倍から6.94倍のスピードアップを達成したと報告されています。また、元モデルであるLing-3.0-tiny自体の性能としては、モデルカードによるとArtificial Analysis Intelligence Index v4.1.1で25、Artificial Analysis Agentic Indexで16を記録しているほか、Artificial Analysisのテストにおいて160 tokens/sを超える出力速度が報告されています。
得意なこと・想定用途
本モデル「inclusionAI/Ling-3.0-tiny-UBTree」は、ターゲットモデルである「inclusionAI/Ling-3.0-tiny」と組み合わせて推論を並行化し、テキスト生成速度を高める投機的デコーディングの高速化用途に特化しています。単体での対話や文章生成モデルとしては動作せず、ターゲットモデル側の推論処理を補助する専用のドラフトモデルとして設計されています。対応言語タグとしては中国語(zh)および英語(en)が付与されています。
本モデルを適用する対象である元モデル「Ling-3.0-tiny」側の得意分野や想定用途は、以下の通りモデルカードに記載されています。
- ハイブリッド推論とエージェント機能: 通常のルーチンタスクに対する迅速な応答と、複雑な課題に対する多段階推論を同一モデル内で両立しています。リクエストごとに
enable_thinkingオプションを設定することで思考モードの有効・無効を切り替えることが可能です。一般的なエージェントタスク、コーディング、数学および科学的推論、指示追従にバランスよく対応する設計とされています。 - 効率的な長文コンテキスト処理: 3層のKimi Delta Attention(KDA)と1層のMulti-Head Latent Attention(MLA)を組み合わせた3:1の交互配置ブロックを採用しており、長文コンテキスト処理を効率的に行える点が特徴です。
- エッジおよびローカル環境への展開: データセンター級のGPUを必須とせず、リソースに制約のある環境でも高度な推論機能を利用できるよう最適化されています。NVIDIA DGX SparkやApple SiliconのMacBook、Mac miniといった環境での動作が検証されています。
投機的デコーディング技術としてのUBTreeは、ターゲットモデルの出力確率のエントロピーが高い場面でも、Unigram提案部とBigram選択部によって多様で有望な候補枝を並列に構成します。そのため、元モデルが得意とする推論思考モードやエージェントワークフローのように、長文出力や複雑なステップを伴う実運用の現場において、出力品質を保ちながらレイテンシを削減し、スループットを高める用途に向いています。
動作環境
動作環境の目安(Local Model Watch 算出) — パラメータ数 183M
| 手持ちのVRAM | 選べる量子化 | ファイルサイズ | 必要メモリの目安 |
|---|---|---|---|
| 4GB(ノートPCの内蔵GPU・スマートフォンなど) | BF16 | 0.3GB | 0.4GB |
推論エンジンの対応状況(各プロジェクトのソースにあるモデル登録表とアーキテクチャ名を当サイトが機械的に照合。2026-11-17 時点): llama.cpp: 未登録、vLLM: 未登録、MLX (mlx-lm): 登録あり。「未登録」はその時点の登録表に名前が無いという意味で、動かないことの断定ではありません。
必要メモリは配布ファイルの実サイズに実行時のオーバーヘッド(KVキャッシュ等)を20%見込んだ概算で、文脈長・バッチサイズ・推論エンジンによって増減します。公開元の公称値ではなく、当サイトがファイルサイズから機械的に算出した値です。 他のモデルとの比較はVRAM別の早見表を参照してください。 量子化の名前の読み方は用語集にあります。
手元で動かせるか
現時点では Ollama・LM Studio・llama.cpp で動かせません。
公開元の配布は safetensors のみで、llama.cpp の登録表にもこのモデルのアーキテクチャ名がありません。これらのツールで動かせるようになるには、まず llama.cpp 側が対応する必要があります。現時点で動かすなら transformers(PyTorch) で読み込む形になり、必要メモリは上の表のとおりです。
ライセンス mit(商用利用可): 商用利用を含めて自由に利用・改変・再配布できます。再配布時に著作権表示とライセンス文を残すことが条件です。
配布形式・当サイトが見つけた変換版・各推論エンジンの登録表を突き合わせた判定です。「確認できていない」は当サイトが見つけていないという意味で、存在しないことの断定ではありません。ライセンスの要約は法的助言ではないため、実際の利用にあたっては公開元の原文を確認してください。
同クラスの既報モデル
当サイトが最近取り上げた、パラメータ数 〜4B のモデルを、比較のために記事ログからコードが並べたものです。VRAM階層は当サイトの概算、ライセンスはモデルカードの記載です。
→ 横にスクロールできます
| モデル | パラメータ数 | 最小のVRAM階層 | ライセンス | 記事 |
|---|---|---|---|---|
| openbmb/MiniCPM-V-4.7-35B-A3B-DSpark-gguf | 389M | 4GB | apache-2.0 | 「MiniCPM-V-4.7-35B-A3B-DSpark-gguf」高速化用ドラフトモデル:必要VRAM 4GB〜(2026-11-17) |
| openbmb/MiniCPM-V-4.7-1B-DSpark-gguf | 214M | 4GB | apache-2.0 | 「MiniCPM-V-4.7-1B-DSpark-gguf」テキスト生成モデル:必要VRAM 4GB〜(2026-11-17) |
| IFM/Jais-3-0.9B-GGUF | 1.1B | 4GB | apache-2.0 | 「Jais-3-0.9B-GGUF」バイリンガル対応のDenseモデル:必要VRAM 4GB〜(2026-11-17) |
| nvidia/NVIDIA-Nemotron-Labs-Dory1.0-4B-BF16 | 4.0B | 4GB | openmdw-1.1 | NVIDIA、ループ型LLM「Dory1.0-4B」を公開。最大256K対応(2026-11-17) |
| LiquidAI/LFM2.5-24B-A2B-DSpark | 328M | 4GB | lfm1.0 | 「LFM2.5-24B-A2B-DSpark」推測デコード用のドラフトモデル:必要VRAM 4GB〜・GGUF版あり(2026-11-17) |
入手方法
本モデルの重みファイルは、Hugging Faceのリポジトリにてsafetensors形式で配布されています。ライセンスにはMITライセンスが適用されており、利用規約への事前同意が必要なgatedモデルではないため、リポジトリから直接ダウンロードが可能です。
推論エンジンへの対応状況については、モデルカードにてSGLangとの統合が予告されています。ただし、現時点ではLing-3向けのUBTree適応コードはオープンソースのSGLangコミュニティへまだ一般公開されておらず、公開元のモデルカード上でも「SGLang integration — stay tuned!」と明記されています。SGLangへの正式な統合が完了した段階で、インストール手順やサービング用のレシピがモデルカードに追記される予定となっています。
なお、ターゲットモデルとなる元モデル「inclusionAI/Ling-3.0-tiny」については、SGLang、vLLM、およびApple Silicon上のMLXを利用したOllama(プルリクエスト段階のソースビルド)での推論手順がすでに提供されています。ただし、本チェックポイント「inclusionAI/Ling-3.0-tiny-UBTree」を組み込んだツリー型投機的デコーディングを実行するには、今後のSGLang側の対応アップデートを待つ必要があります。
関連記事
- 「SingVL_S1_4B_GGUF」4Bのマルチモーダル意思決定モデル:必要VRAM 4GB〜
- 「ZoomGain-4B」微細視覚認識特化型の視覚言語モデル:必要VRAM 4GB〜・GGUF版あり
- 「SingVL_S1_4B」画像入力対応マルチモーダル判断モデル:必要VRAM 4GB〜・GGUF版あり
- 「ZwZ2-4B-GGUF」複数領域の視覚推論を行う視覚言語モデル:必要VRAM 4GB〜
次に読むなら
- GPUのVRAMから探す(このモデルは4GBの階層から動きます) → 8GBのGPUで動くほかのモデル
- このモデルを入手できる形式を調べる → Safetensors形式の解説と対応モデル
- 公開元について調べる → inclusionAI(Ant Group) のモデル・ライセンス・記事のまとめ
- 同じ用途の他のモデルを探す → テキスト生成のモデル一覧
- 記事に出てくる GSM8K・MATH・AIME の読み方を知る → ベンチマーク用語集
出典
- inclusionAI/Ling-3.0-tiny-UBTree(Hugging Face): https://huggingface.co/inclusionAI/Ling-3.0-tiny-UBTree
- inclusionAI/Ling-3.0-tiny(Hugging Face): https://huggingface.co/inclusionAI/Ling-3.0-tiny
- UBTree: Parallel Tree Drafting via Unigram and Bigram Models for Speculative Decoding(arXiv): https://arxiv.org/abs/2609.39972

