「NVIDIA-Nemotron-Labs-Dory1.0-4B-GGUF」テキスト生成モデル:必要VRAM 8GB〜

「NVIDIA-Nemotron-Labs-Dory1.0-4B-GGUF」テキスト生成モデル:必要VRAM 8GB〜

基本情報

項目 内容
リポジトリ nvidia/NVIDIA-Nemotron-Labs-Dory1.0-4B-GGUF
まとめページ NVIDIA-Nemotron-Labs-Dory1.0 のまとめ(記事2本)
公開元のまとめ NVIDIA のモデルとライセンスのまとめ
公開日 2026-10-17
ライセンス openmdw-1.1
配布形式 GGUF
出典の種類 公開元の一次情報(NVIDIA公式HFアカウントの一次情報)

情報を集めた時点で、当サイトのコードが確定させた値です。日付はJSTで表示しています。

概要

NVIDIAは、潜在的な再帰ループ構造を採用した40億パラメータの言語モデル「NVIDIA-Nemotron-Labs-Dory1.0-4B-GGUF」を公開しました。

本モデルは、入力ブロック(8層)、再帰ブロック(20層)、出力ブロック(8層)からなる正規化GPT(normalized-GPT)構造を採用しています。同一の再帰ブロックを繰り返し適用することで、パラメータ数を増やさずに1トークンあたりの推論計算量を動的に変更し、精度を調整できる点が大きな特徴です。

潜在空間内での計算(思考)を深めることで、より少ない出力トークン数で課題を解決できるように設計されており、商用および非商用で利用できます。

スペック

  • パラメータ数: 4B
  • アーキテクチャ: スライディングウィンドウアテンション(SWA)とフルアテンションを交互に配置した、ループ型(潜在再帰)正規化GPT(Looped normalized-GPT)。入力ブロック8層、共有再帰ブロック20層、出力ブロック8層で構成されています
  • コンテキスト長: 最大256Kトークン

性能

以下は、モデルカードに記載されているベンチマーク評価結果です。測定はすべてNVIDIAが同一の評価環境(NeMo Gym / Nemo Evaluator SDK、Terminal-BenchはTerminus-2ハーネス)で実施したスコアです。

→ 横にスクロールできます

Task Dory1.0-4B / 1 loop Dory1.0-4B / 2 loops Dory1.0-4B / 4 loops Qwen3.5-4B Qwen3.5-9B Gemma 4 26B A4B Qwen3.6-35B-A3B
Coding & Agentic
SciCode 27.3 34.94 35.11 25.82 28.21 40.32 37.24
SWE-bench Verified 50.3 59.5 61.8 54.7 61.0 57.40 73.4†
Terminal-Bench 2.1 12.5 18.1 22.2 15 24 35 43
τ³-bench (Banking) 11.6 12.89 14.69 5.03 7.22 13.66 9.54
GDPval-AA-V2 (Elo) 815 946 967 424 546 751.6 987
Reasoning
GPQA Diamond (no tools) 69.19 72.41 72.16 77.71 80.93 80.43 85.35
HLE (text-only, no tools) 8.25 10.89 10.43 11.31 15.43 17.79 19.18
Instruction Following
IFBench 74.29 77.94 79 53.83 59 77.89 57.44
Long Context
AA-LCR 63 71 73 64.7 68.4 64.6 68.5
General Knowledge
AA-Omniscience (accuracy) 10.03 10.08 10.03 15.02 18.05 21.13 19.95

公開元の測定結果によると、本モデルはループ数を増やすことで推論能力やコーディング性能が段階的に向上することが確認できます。特に実在するGitHub issueの修正能力を測るSWE-bench Verifiedでは、2ループで59.5%、4ループで61.8%に達しており、同規模のQwen3.5-4B(54.7%)を上回るだけでなく、パラメータ規模の大きいQwen3.5-9B(61.0%)やGemma 4 26B A4B(57.40%)を凌ぐ数値を記録しています。また、指示追従のIFBenchでも4ループ時に79.00を記録し、比較対象のモデルの中で最も高い値となっています。

一方で、博士課程レベルの科学問題を扱うGPQA Diamondでは4ループでも72.16にとどまり、Qwen3.5-4Bの77.71に及んでいません。専門家による超難問集であるHLEにおいても、2ループの10.89が最高値であり、Qwen3.5-4Bの11.31やQwen3.5-9Bの15.43に届いていません。さらに一般知識を測るAA-Omniscienceでも約10%と、他のモデルに比べて控えめな結果となっており、幅広い知識問題や難関推論タスクでは他モデルに対して明確な劣勢が見られます。

得意なこと・想定用途

本モデルは、エージェントタスクやコーディング、複雑な指示追従といった論理的処理を得意としています。同一の重みを繰り返し実行する潜在的な再帰ループ機構を備えているため、長大な思考テキストを外部に出力することなく、潜在空間内で計算量を増やして解を導き出せる点が強みです。モデルカードによると、ループ数を増やすほど同一タスクをより少ない生成トークン数で効率的に解決できるようになります。

事後学習フェーズでは、NeMo RLとNeMo Gymを用いたGRPO(Group Relative Policy Optimization)によるマルチ環境での強化学習が施されています。これにより、数学、コード、科学、指示追従に加えて、複数段階のツール利用(マルチステップツールユース)や複数ターンの会話、構造化された出力環境への最適化が行われています。英語に加えて43のプログラミング言語に対応し、最大256Kトークンまでの長大なコンテキストを扱えるため、長文コードの解析や自律型エージェントの組み込みに適しています。

また、単一のチェックポイントのまま推論時のループ回数を変更できるため、計算コストを最小限に抑えたい軽量処理から、計算リソースを投入して精度を高めたい高難度のエージェント作業まで、用途に合わせて柔軟に設定を切り替えて利用できます。

動作環境

動作環境の目安(Local Model Watch 算出)

手持ちのVRAM 選べる量子化 ファイルサイズ 必要メモリの目安
RTX 4060 / 3060 Ti など 8GB Q5_K_M 3.4GB 4.1GB

必要メモリは配布ファイルの実サイズに実行時のオーバーヘッド(KVキャッシュ等)を20%見込んだ概算で、文脈長・バッチサイズ・推論エンジンによって増減します。公開元の公称値ではなく、当サイトがファイルサイズから機械的に算出した値です。 他のモデルとの比較はVRAM別の早見表を参照してください。 量子化の名前の読み方は用語集にあります。

手元で動かせるか

Ollama・LM Studio・llama.cpp でそのまま動かせます。

GGUF形式で配布されているため、変換を待たずに手元で読み込めます。

ライセンス openmdw-1.1: 公開元の独自ライセンスです。商用利用の可否を含め、条件は公開元の原文を直接確認してください。

配布形式・当サイトが見つけた変換版・各推論エンジンの登録表を突き合わせた判定です。「確認できていない」は当サイトが見つけていないという意味で、存在しないことの断定ではありません。ライセンスの要約は法的助言ではないため、実際の利用にあたっては公開元の原文を確認してください。

当サイトでの実測

ライセンスの都合で行っていない実測

このモデルのライセンス(openmdw-1.1)の商用利用の条件を、当サイトが満たしていることを確認できていません。広告を掲載している当サイトでは、ライセンスの都合上、モデルを動かす実測(CPU での実行・回答・量子化の比較・変換・生成)は行っていません。

入手方法

本モデルはGGUF形式(Q5_K_M量子化版)で配布されており、llama.cppから利用できます。ライセンスにはOpenMDW License Agreement, version 1.1が適用されており、利用規約に従うことで商用・非商用の両方で利用可能です。リポジトリへのアクセス制限(ゲート)は設定されていないため、誰でも直接ダウンロードできます。

現時点で本モデルを動かすには、Doryアーキテクチャへの対応が含まれた専用のllama.cppソースコードからビルドを行う必要があります。macOS(Apple Silicon)環境でのビルド例は以下のとおりです。

brew install cmake openssl@3

git init llama.cpp-dory
cd llama.cpp-dory
git remote add origin https://github.com/brianchmielNV/llama.cpp.git
git fetch --depth 1 origin 98a74c97ea09ac72f6ceda1559808fc0a2f447ce
git checkout --detach FETCH_HEAD

HF_UI_VERSION=b11551 cmake -S. -B build \
    -DCMAKE_BUILD_TYPE=Release \
    -DCMAKE_OSX_ARCHITECTURES=arm64 \
    -DCMAKE_OSX_SYSROOT="/Library/Developer/CommandLineTools/SDKs/MacOSX26.sdk" \
    -DGGML_METAL=ON -DGGML_METAL_EMBED_LIBRARY=ON \
    -DGGML_BLAS=ON -DGGML_BLAS_VENDOR=Apple \
    -DLLAMA_BUILD_SERVER=ON \
    -DLLAMA_BUILD_TESTS=OFF -DLLAMA_BUILD_EXAMPLES=OFF -DLLAMA_BUILD_APP=OFF \
    -DLLAMA_BUILD_UI=OFF -DLLAMA_USE_PREBUILT_UI=ON \
    -DLLAMA_OPENSSL=ON -DOPENSSL_ROOT_DIR="$(brew --prefix openssl@3)"
cmake --build build --parallel 4 --target llama-server

ビルド完了後、ダウンロードしたGGUFファイル(dory-q5_k_m.gguf)をディレクトリ内に配置し、以下のようにサーバーを起動します。

./build/bin/llama-server \
    -m./dory-q5_k_m.gguf \
    --alias dory \
    --host 127.0.0.1 --port 8080 \
    -ngl 999 \
    --ctx-size 4096 --parallel 1 \
    --batch-size 512 --ubatch-size 512 \
    --cache-type-k f16 --cache-type-v f16 \
    --flash-attn off \
    --no-context-shift \
    --jinja --reasoning on \
    --temp 1.0 --top-p 0.95 --top-k 0 --min-p 0 --repeat-penalty 1 \
    --override-kv "dory.num_loops=int:2,dory.recurrent_kv_cache_mode=str:per_loop"

起動オプションの --override-kv で dory.num_loops を設定することにより、推論時のループ回数を1から4まで調整できます。標準の推奨値は精度と計算量のバランスが良い2ループとされています。また、ループごとのKVキャッシュ消費を抑えたい場合は、dory.recurrent_kv_cache_mode=str:last_loop を指定することで、単一ループ相当のキャッシュ領域に上書き保存するラストループKVキャッシュモードを利用できます。

関連記事

次に読むなら

出典