「NVIDIA-Nemotron-3.5-Bolt-E4B-GGUF」マルチモーダルモデル:必要VRAM 4GB〜

「NVIDIA-Nemotron-3.5-Bolt-E4B-GGUF」マルチモーダルモデル:必要VRAM 4GB〜

基本情報

項目 内容
リポジトリ bartowski/NVIDIA-Nemotron-3.5-Bolt-E4B-GGUF
公開日 2026-10-25
配布形式 GGUF
出典の種類 未確認(一次情報で裏付けできていない)(一次情報はnvidia公式だが、出典はbartowskiの量子化版のみ)

情報を集めた時点で、当サイトのコードが確定させた値です。日付はJSTで表示しています。

概要

bartowski氏により、NVIDIAのモデルとされる「NVIDIA-Nemotron-3.5-Bolt-E4B」をllama.cpp向けに量子化したGGUF版リポジトリ「bartowski/NVIDIA-Nemotron-3.5-Bolt-E4B-GGUF」がHugging Face上で公開されたと報告されています。ただし、本モデルおよび元モデルとされる「nvidia/NVIDIA-Nemotron-3.5-Bolt-E4B-BF16」については、執筆時点で公式な発表の確認が取れておらず、未確認の情報である点に注意が必要です。

モデルカードの記述によると、元モデルは8Bパラメータ規模のモデルとされており、テキストのみならず画像や音声の入力に対応したマルチモーダル処理が可能とされています。本リポジトリではllama.cppのrelease b11845を用いてimatrix(重要度行列)を活用した量子化が行われており、マルチモーダルプロジェクターファイルと組み合わせることでマルチモーダル機能を利用できる構成になっていると説明されています。

スペック

  • パラメータ数: 8B (source checkpoint)

性能

モデルカードには一般的なタスクベンチマーク(MMLUやHumanEvalなど)の測定スコアは記載されていませんが、量子化の品質評価として、非量子化モデルに対するKLダイバージェンス(KLD)を比較した測定結果が公開元の手元検証データとして掲載されています。

モデルカードに記載されている、算出されたテンソル別レイアウト(Computed layout)とllama.cppの標準レイアウト(Standard layout)の比較結果は以下の通りです。

→ 横にスクロールできます

Quant Computed layout KLD Standard layout KLD Ratio at equal size Size vs standard file
Q4_K_M 0.0911 ± 0.0014 0.1243 ± 0.0019 0.28× −4.5 %
Q3_K_M 0.3504 ± 0.0041 0.9233 ± 0.0085 0.31× −17.2 %
IQ2_M 0.9538 ± 0.0086 1.1377 ± 0.0099 0.70× −20.8 %

この測定結果から、以下のような傾向が読み取れます。

公開元の説明によると、この検証ではモデルの感度に応じてテンソルごとに精度配分を最適化する手法(Computed layout)が採用されています。非量子化モデルに対する情報損失の指標であるKLダイバージェンスにおいて、同一サイズ換算の比率(Ratio at equal size)を見ると、Q4_K_Mでは0.28倍、Q3_K_Mでは0.31倍、IQ2_Mでは0.70倍となっており、いずれの量子化タイプでも標準レイアウトと比較してKLダイバージェンスが大幅に低く抑えられていると報告されています。

特にQ4_K_MやQ3_K_Mにおいて標準レイアウトからの乖離度が大きく改善されており、同等水準のファイル規模であっても、感度が高い重みへ重点的に精度を割り当てることで劣化を抑える工夫がなされているとされています。

なお、これらは量子化手法による相対的な劣化度合いを示した指標であり、モデル本来の推論能力や言語タスク・マルチモーダルタスクに対する実性能の数値については資料内に記載されていません。

得意なこと・想定用途

モデルカードの記述および設定タグによると、本モデルはテキストに加えて画像および音声の入力に対応したマルチモーダル処理(any-to-any)を得意としていると説明されています。付属するマルチモーダルプロジェクターファイル(mmproj)と組み合わせることで、画像認識や音声認識を伴う対話処理をローカル環境で実行できる構成とされています。

また、プロンプトフォーマットの仕様には通常の対話形式だけでなく、ツールの定義と呼び出し(Tool-calling / Function-calling)を扱う構造が明記されています。imatrix(重要度行列)を作成するためのキャリブレーション用コーパスにおいても、一般的な文章(prose)に加えてツール呼び出しや論理的推論(reasoning)を含む対話データが用いられており、モデルカードでは推論時と同じチャットテンプレートおよび特殊トークンを用いてキャリブレーションが行われたと解説されています。

これらの情報から、本モデルは以下のような用途での活用が想定されていると考えられます。

  • 画像や音声を交えたマルチモーダルなローカルチャットや質疑応答
  • ツール定義に基づき外部APIやスクリプトを呼び出すエージェント的なタスク
  • 日常的な対話や論理的推論を伴うテキスト生成タスク

なお、本モデルは執筆時点で公式な発表の確認が取れていない未確認モデルとされているため、実際の対話品質やツール利用の安定性については今後の検証が待たれます。

動作環境

動作環境の目安(Local Model Watch 算出)

手持ちのVRAM 選べる量子化 ファイルサイズ 必要メモリの目安
4GB(ノートPCの内蔵GPU・スマートフォンなど) IQ2_M 2.9GB 3.5GB
RTX 4060 / 3060 Ti など 8GB Q6_K_L 6.2GB 7.4GB
RTX 4070 / 3060 12GB など 12GB Q8_0 7.5GB 9.0GB
RTX 4090 / 3090 など 24GB BF16 14.0GB 16.8GB

必要メモリは配布ファイルの実サイズに実行時のオーバーヘッド(KVキャッシュ等)を20%見込んだ概算で、文脈長・バッチサイズ・推論エンジンによって増減します。公開元の公称値ではなく、当サイトがファイルサイズから機械的に算出した値です。 他のモデルとの比較はVRAM別の早見表を参照してください。 量子化の名前の読み方は用語集にあります。

手元で動かせるか

Ollama・LM Studio・llama.cpp でそのまま動かせます。

GGUF形式で配布されているため、変換を待たずに手元で読み込めます。

配布形式・当サイトが見つけた変換版・各推論エンジンの登録表を突き合わせた判定です。「確認できていない」は当サイトが見つけていないという意味で、存在しないことの断定ではありません。

当サイトでの実測

ライセンスの都合で行っていない実測

このモデルにはライセンスの表示が無く、利用の許諾を確認できません。広告を掲載している当サイトでは、ライセンスの都合上、モデルを動かす実測(CPU での実行・回答・量子化の比較・変換・生成)は行っていません。

入手方法

本モデルはGGUF形式で配布されており、Hugging Faceのbartowski氏のリポジトリから入手できます。リポジトリは非ゲート(gated: false)で公開されているため、利用にあたって事前のアクセス承認申請などは求められていません。

対応エンジン

量子化作業には llama.cpp の release b11845 が使用されたと記載されており、同リリース以降の llama.cpp をはじめ、以下の各種ローカル推論ツールやフロントエンドに対応していると案内されています。

  • llama.cpp
  • LM Studio
  • koboldcpp
  • ramalama
  • Jan AI
  • Text Generation Web UI
  • LoLLMs
  • Atomic Chat

ダウンロード手順

Hugging Face CLIを使用して個別のGGUFファイルをダウンロードする場合は、以下のコマンドを実行します。

まずCLIツールをインストールします。

pip install -U "huggingface_hub[cli]"

続いて、推奨設定として案内されている Q4_K_M などを指定してダウンロードします。

hf download bartowski/NVIDIA-Nemotron-3.5-Bolt-E4B-GGUF --include "NVIDIA-Nemotron-3.5-Bolt-E4B-Q4_K_M.gguf" --local-dir./

実行方法とマルチモーダルプロジェクターの利用

llama.cpp の公式ランチャー経由で直接実行する場合、以下のワンライナーおよびコマンドがモデルカードに掲載されています。

curl -LsSf https://llama.app/install.sh | sh
llama-server -hf bartowski/NVIDIA-Nemotron-3.5-Bolt-E4B-GGUF:Q4_K_M

llama-server 起動後は、デフォルトで http://localhost:8080 にアクセスすることで内蔵のチャットWeb UIを利用できます。

画像や音声を入力するマルチモーダル機能を利用する場合、本リポジトリに同梱されているマルチモーダルプロジェクターファイル(mmproj-NVIDIA-Nemotron-3.5-Bolt-E4B-bf16.gguf または mmproj-NVIDIA-Nemotron-3.5-Bolt-E4B-f16.gguf)の併用が必要です。-hf オプションを用いてモデルを読み込む場合はプロジェクターファイルが自動的に取得されますが、手動でファイルを読み込む場合は起動引数に --mmproj を指定してプロジェクターファイルを渡す必要があります。

量子化タイプの選択指針

リポジトリ内には多種多様な量子化ファイルが用意されています。公開元のモデルカードでは、以下のような選択基準が提示されています。

  • 標準的な選択: バランスに優れた Q4_K_M が一般的なデフォルトとして推奨されています。
  • 品質優先: より高い精度を求める場合は Q5_K_M や Q6_K_L、最高精度の Q8_0 などが選択肢として挙げられています。
  • 低ビット量子化(I-quant / K-quant): Q4未満の低ビット量子化をGPU環境(NVIDIAのcuBLASやAMDのrocBLAS)で動かす場合は、サイズ効率に優れたIQ量子化(IQ3_M や IQ2_M など)が適していると説明されています。これらはCPUでも実行可能ですが、同等のK-quantより推論速度が低下するトレードオフが存在するとされています。
  • CPU推論時の注意: 近年の llama.cpp ではARMやAVX向けに実行時のオンラインリパック機能が備わっており、Q4_0、IQ4_NL、大半のK-quantにおいて特別なCPU専用ファイルを用意することなく高速な推論が可能と説明されています。

関連記事

次に読むなら

出典

この記事は未確認情報を含みます。 公式の一次情報で裏が取れ次第、更新履歴を追記して反映します。