granite-switch-4.1 まとめ:必要VRAM・GGUF版

当サイトが granite-switch-4.1 系統について公開した記事(1本)と、記事の公開後に見つかった変換版(GGUF・MLX等)、必要メモリの判定を1ページにまとめたものです。必要メモリはモデルカードの公称値ではなく、当サイトが配布ファイルのサイズから機械的に算出した値です。モデル系統別まとめの1ページです。

基本情報

項目 内容
元のモデル ibm-granite/granite-switch-4.1-8b
公開元 IBM(Granite)
パラメータ数 8.8B
ライセンス(モデルカード) apache-2.0
最小のVRAM階層 24GB
記事数 1本

動作環境

動作環境の目安(Local Model Watch 算出) — パラメータ数 8.8B

手持ちのVRAM 選べる量子化 ファイルサイズ 必要メモリの目安
RTX 4090 / 3090 など 24GB I64 16.3GB 19.6GB

必要メモリは配布ファイルの実サイズに実行時のオーバーヘッド(KVキャッシュ等)を20%見込んだ概算で、文脈長・バッチサイズ・推論エンジンによって増減します。公開元の公称値ではなく、当サイトがファイルサイズから機械的に算出した値です。 他のモデルとの比較はVRAM別の早見表を参照してください。 量子化の名前の読み方は用語集にあります。

手元で動かせるか

Ollama・LM Studio・llama.cpp で動かせます(変換版を利用)。

公開元の配布は safetensors ですが、ibm-granite/granite-switch-4.1-8b-GGUF が GGUF版を公開しているため、そちらを使えば手元で動きます。

ライセンス apache-2.0(商用利用可): 商用利用を含めて自由に利用・改変・再配布できます。再配布時にライセンス文と変更点の告知が必要で、特許の許諾条項があります。

配布形式・当サイトが見つけた変換版・各推論エンジンの登録表を突き合わせた判定です。「確認できていない」は当サイトが見つけていないという意味で、存在しないことの断定ではありません。ライセンスの要約は法的助言ではないため、実際の利用にあたっては公開元の原文を確認してください。

派生版・量子化版

→ 横にスクロールできます

追記日 配布元 形式 リポジトリ 最小のVRAM階層(量子化・必要メモリの目安)
2026-10-23 ibm-granite GGUF ibm-granite/granite-switch-4.1-8b-GGUF Q5_0 7.8GB(8GB VRAMで動作)
2026-10-23 ibm-granite GGUF ibm-granite/granite-switch-4.1-30b-GGUF Q4_1 24.0GB(24GB VRAMで動作)

各リポジトリの量子化とファイルサイズ:

  • ibm-granite/granite-switch-4.1-8b-GGUF の量子化: Q2_K 4.3GB / Q3_K_S 4.6GB / Q3_K_M 5.1GB / Q3_K_L 5.5GB / Q4_0 5.6GB / Q4_K_S 5.6GB / Q4_K_M 6.0GB / Q4_1 6.1GB / Q5_0 6.5GB / Q5_K_S 6.5GB / Q5_K_M 6.7GB / Q5_1 7.0GB / Q6_K 7.5GB / Q8_0 9.4GB / BF16 16.7GB
  • ibm-granite/granite-switch-4.1-30b-GGUF の量子化: Q2_K 13.4GB / Q3_K_S 14.8GB / Q3_K_M 16.3GB / Q3_K_L 17.6GB / Q4_0 18.4GB / Q4_K_S 18.5GB / Q4_K_M 19.6GB / Q4_1 20.0GB / Q5_0 21.7GB / Q5_K_S 21.7GB / Q5_K_M 22.3GB / Q5_1 23.3GB / Q6_K 25.2GB / Q8_0 31.7GB / BF16 56.9GB

この節は、記事公開後に見つかった変換版を当サイトが機械的に追記したものです。必要メモリは配布ファイルのサイズから算出した概算です。

記事(シリーズ自身のモデルを先に、新しい順)

公開日 モデル 種類 記事
2026-11-17 ibm-granite/granite-switch-4.1-8b 新モデル IBM、モジュール型LLM「Granite Switch 4.1」公開

リポジトリ

最終更新 2026-11-17(JST)。記事ログからコードが組み立てたページで、AIモデルが書いた文章はありません。