「NVIDIA-Nemotron-3.5-Bolt-E4B-GGUF」テキスト生成モデル:必要VRAM 12GB〜

「NVIDIA-Nemotron-3.5-Bolt-E4B-GGUF」テキスト生成モデル:必要VRAM 12GB〜

基本情報

項目 内容
リポジトリ ggml-org/NVIDIA-Nemotron-3.5-Bolt-E4B-GGUF
まとめページ gemma-4-E4B のまとめ(記事2本)
公開元のまとめ Google のモデルとライセンスのまとめ
公開日 2026-10-24
ライセンス apache-2.0
配布形式 GGUF
出典の種類 公開元の一次情報(ggml-org公式リポジトリの自動変換版)

情報を集めた時点で、当サイトのコードが確定させた値です。日付はJSTで表示しています。

概要

NVIDIAが開発した小型言語モデル(SLM)「NVIDIA-Nemotron-3.5-Bolt-E4B」のGGUF形式が、ggml-orgより公開されました。本モデルはGoogleの「Gemma-4-E4B」をベースに、NVIDIAが独自のポストトレーニングを施したモデルです。

開発の狙いは、ローカルで動作する音声アシスタントやデバイス上のアシスタント、対話型ペルソナ、および組み込み・エッジインターフェースにおいて、高速な応答(低TTFT)と低メモリ消費を両立させることにあります。エッジデバイスの限られたリソース内で、アプリケーションや他のモデルパイプラインのための計算資源を確保しつつ、エージェントが迅速に反応できるように設計されています。

出典:ggml-org/NVIDIA-Nemotron-3.5-Bolt-E4B-GGUF 出典:nvidia/NVIDIA-Nemotron-3.5-Bolt-E4B-4GB-BF16

スペック

  • パラメータ数:8B (4B effective parameters)
  • アーキテクチャ:Gemma-4-E4B
  • コンテキスト長:入力最大64Kトークン、出力最大64Kトークン

性能

本モデルの性能について、公開元であるNVIDIAが測定したベンチマーク結果を紹介します。以下の表は、同規模のオープンウェイトモデルである「Gemma4 E4B-it」「Qwen3.5 4B」「Nemotron-3 Nano-4B」との比較です。なお、数値は量子化前のBF16版に基づいています。

→ 横にスクロールできます

Benchmark Nemotron-3.5 Bolt-E4B Gemma4 E4B-it Qwen3.5 4B Nemotron-3 Nano-4B
MultiChallenge 53.10 42.08 51.76 35.30
RoleBench 67.05 49.95 53.66 12.02
RoleMRC 80.63 74.62 65.81 47.00
EQ-Bench v3 39.40 41.17 32.92 19.31
BFCL-v3 68.51 66.39 70.95 61.10
Tau2-Bench 55.10 38.50 75.06 29.20
IHEval 84.79 67.04 60.57 51.31
AgentIF 25.81 21.89 20.44 20.08
StructEval-T 80.40 79.27 76.01 63.50
IFBench 63.79 42.84 58.91 60.10
RULER (64K) 86.99 86.55 95.15 91.51
LongBench v2 (48K) 50.50 49.34 59.93 31.40
GaRAGe 42.61 34.73 24.66 25.18
RAGTruth 77.59 76.97 75.60 71.40

NVIDIAの測定結果によれば、本モデルは特に役割演技(RoleBench)や指示追従(IHEval、IFBench)の分野で、比較対象のモデルを大きく上回るスコアを記録しています。また、RAG(検索拡張生成)の正確性を測るRAGTruthや、エージェントとしての能力を測るAgentIFでも最高値をマークしており、対話型エージェントとしての適性が高いことが示されています。

一方で、感情知能を測るEQ-Bench v3ではベースとなったGemma4 E4B-itに僅かに及ばず、関数呼び出し(BFCL-v3)や複雑なエージェントタスク(Tau2-Bench)、長文読解(RULER、LongBench v2)においてはQwen3.5 4Bの方が高い数値を記録しています。特に長文コンテキストの処理能力やツール利用の正確性については、タスクに応じてQwen3.5 4Bなどの競合モデルと比較検討する必要があります。

学習には、GRPO(Group Relative Policy Optimization)を用いたマルチ環境強化学習が採用されています。これにより、指示追従、多段階のツール利用、複数ターンの会話、および構造化出力の各環境において最適化が行われました。本モデルは、直接的な推論用途だけでなく、特定のドメインへの適応や蒸留、さらなるポストトレーニングのためのベースとしても推奨されています。

得意なこと・想定用途

本モデルは、ローカル環境で動作するAIエージェントやデバイス上のアシスタントとしての利用に特化して設計されています。特に、ユーザーとの自然なやり取りを維持しながら、バックグラウンドで複雑なタスクを処理する能力に長けています。元モデルの設計思想として、エッジデバイスの限られたリソース内で、アプリケーションや他の処理パイプラインのための計算資源を確保しつつ、エージェントが迅速に反応(低TTFT)できるように最適化されています。

最大の特徴の一つは、チャットテンプレートを通じて動的に制御可能な「思考モード(Thinking Mode)」を搭載している点です。enable_thinking=Trueに設定することで、モデルは最終的な回答を生成する前に内部的な推論プロセス(reasoning_content)を出力します。これにより、論理的な一貫性が求められる複雑な質問に対して、より精度の高い回答を導き出すことが可能です。また、この思考プロセスには「思考バジェット」という概念が導入されており、推論に費やすトークン量を制限することで、応答速度と精度のバランスをアプリケーション側で細かく調整できます。資料では、まず思考プロセスのみを生成させ、必要に応じてその続きから回答を生成させる2段階の推論クライアントの実装例も示されています。

さらに、音声対話やスマートデバイスでの利用を想定した「会話モード(Conversational Mode)」を備えています。このモードを有効にすると、モデルは冗長なテキスト装飾やフォーマットを省き、音声合成(TTS)に適した簡潔で聞き取りやすい応答を生成するようになります。これは、スマートスピーカーや車載アシスタントなど、画面を介さないインターフェースでの利用において非常に有用な機能です。

対応言語については、英語やコーディング言語を主軸としつつ、日本語、スペイン語、フランス語、ドイツ語、イタリア語などの多言語を公式にサポートしています。これにより、日本のユーザーもローカル環境で高性能な多言語アシスタントを構築することが可能です。また、マルチターンのツール利用(Tool Calling)にも対応しており、天気予報の取得や計算処理など、外部APIと連携した自律的なエージェント機能の実装にも適しています。

推奨されるサンプリング設定は、思考モードの有効・無効を問わず、Temperature 1.0、Top_P 0.95とされています。この設定により、モデルの持つ表現力と推論能力を最大限に引き出すことができます。

想定される具体的な用途は以下の通りです。
– ローカルで動作する音声アシスタントやスマートホームデバイスの制御
– インタラクティブなキャラクター(ペルソナ)との対話システム
– 組み込みシステムやエッジデバイス上での高度なユーザーインターフェース
– 複数ターンのツール利用を伴う自律型エージェントの構築
– 特定ドメインへの適応や、より小型のモデルへ知識を移転するための教師モデル

類似モデルとの違い

本モデルと同じくGemma-4-E4Bをベースとしたモデルとして、以前に紹介した「DiarizationLM-Gemma-4-E4B-v1」音声処理向け大規模言語モデル:必要VRAM 8GB〜があります。

両者の最大の違いは、そのチューニングの方向にあります。DiarizationLMは、Googleが開発した音声処理に特化したモデルであり、自動音声認識(ASR)の結果を受け取って話者の分離やテキストの整形を行う「後処理」を主目的としています。これに対し、今回のNemotron-3.5-Bolt-E4Bは、NVIDIAが強化学習(RL)を用いて、汎用的な指示追従、複雑な推論、およびツール利用能力を高めた「対話型エージェント」向けのモデルです。同じ軽量なベースモデルを採用しながらも、一方は特定の音声タスクの精度向上を、もう一方はローカルデバイスでの高度な汎用知能の実現を目指しているという、用途の明確な違いがあります。

動作環境

動作環境の目安(Local Model Watch 算出) — パラメータ数 8.0B(元モデル nvidia/NVIDIA-Nemotron-3.5-Bolt-E4B-4GB-BF16 の値)

手持ちのVRAM 選べる量子化 ファイルサイズ 必要メモリの目安
RTX 4070 / 3060 12GB など 12GB Q8_0 7.5GB 9.0GB
RTX 4090 / 3090 など 24GB BF16 14.0GB 16.8GB

必要メモリは配布ファイルの実サイズに実行時のオーバーヘッド(KVキャッシュ等)を20%見込んだ概算で、文脈長・バッチサイズ・推論エンジンによって増減します。公開元の公称値ではなく、当サイトがファイルサイズから機械的に算出した値です。 他のモデルとの比較はVRAM別の早見表を参照してください。 量子化の名前の読み方は用語集にあります。

手元で動かせるか

Ollama・LM Studio・llama.cpp でそのまま動かせます。

GGUF形式で配布されているため、変換を待たずに手元で読み込めます。

ライセンス apache-2.0(商用利用可): 商用利用を含めて自由に利用・改変・再配布できます。再配布時にライセンス文と変更点の告知が必要で、特許の許諾条項があります。

量子化の圧縮率: Q8_0 は実測 8.06 bit/weight で、元の16bitの重みの約50%のサイズです(配布ファイルの実サイズから当サイトが算出)。

配布形式・当サイトが見つけた変換版・各推論エンジンの登録表を突き合わせた判定です。「確認できていない」は当サイトが見つけていないという意味で、存在しないことの断定ではありません。ライセンスの要約は法的助言ではないため、実際の利用にあたっては公開元の原文を確認してください。

同クラスの既報モデル

当サイトが最近取り上げた、パラメータ数 4〜15B のモデルを、比較のために記事ログからコードが並べたものです。VRAM階層は当サイトの概算、ライセンスはモデルカードの記載です。

→ 横にスクロールできます

モデル パラメータ数 最小のVRAM階層 ライセンス 記事
microsoft/UserRepGen-4B 4.5B 4GB mit 「UserRepGen-4B」ユーザー表現生成用の4B級言語モデル:必要VRAM 4GB〜・GGUF版あり(2026-11-17)
IFM/Jais-3-7B-GGUF 9.0B 8GB apache-2.0 「Jais-3-7B-GGUF」アラビア語と英語対応の7B推論モデル:必要VRAM 8GB〜(2026-11-17)
IFM/Jais-3-3.7B-GGUF 5.1B 4GB apache-2.0 「Jais-3-3.7B-GGUF」512Kコンテキストの言語モデル:必要VRAM 4GB〜(2026-11-17)
ibm-granite/granite-switch-4.1-8b 8.8B 24GB apache-2.0 IBM、モジュール型LLM「Granite Switch 4.1」公開(2026-11-17)
ByteDance-Seed/Cola2 8.8B 48GB — ByteDance-Seed/Cola2 Language Model: Continuous Compression…(2026-11-17)

入手方法

本モデルはGGUF形式で配布されており、Hugging Faceの ggml-org/NVIDIA-Nemotron-3.5-Bolt-E4B-GGUF リポジトリから入手可能です。ライセンスはApache-2.0が適用されており、商用・非商用を問わず利用できます。

推論エンジンとしては、llama.cppやそれを利用した各種ツールでの動作が想定されています。Hugging Faceのリポジトリでは、llama.cppベースのサーバーを起動するための以下のコマンドが紹介されています。

llama serve -hf ggml-org/NVIDIA-Nemotron-3.5-Bolt-E4B-GGUF

なお、本モデルはゲート付き(Gated)モデルではないため、Hugging Faceのアカウントで特別な利用申請や規約への同意を行うことなく、直接ダウンロードして試用を開始できます。元モデルであるBF16版(nvidia/NVIDIA-Nemotron-3.5-Bolt-E4B-4GB-BF16)も公開されていますが、ローカル環境での手軽な試用やメモリ消費を抑えた運用には、今回公開されたGGUF版が適しています。

関連記事

次に読むなら

出典