IBM、モジュール型LLM「Granite Switch 4.1」公開

IBM、モジュール型LLM「Granite Switch 4.1」公開

基本情報

項目 内容
リポジトリ ibm-granite/granite-switch-4.1-8b
まとめページ granite-switch-4.1 のまとめ(記事1本)
公開元のまとめ IBM(Granite) のモデルとライセンスのまとめ
公開日 2026-10-15
ライセンス apache-2.0
配布形式 safetensors
出典の種類 公開元の一次情報(IBM公式HFリポジトリからの一次情報)

情報を集めた時点で、当サイトのコードが確定させた値です。日付はJSTで表示しています。

概要

IBMは、単一のホストエンドポイント上で自然言語応答、汎用・専門の判断タスク、および音声認識(Speech-to-Text)を切り替えて実行できるモジュール型LLM「Granite Switch 4.1」シリーズを公開しました。8Bモデルの「granite-switch-4.1-8b」に加え、30Bモデルの「granite-switch-4.1-30b」もラインナップされています。

本モデルは、ベースとなるLLMに複数のaLoRA(activated-LoRA)アダプタと音声認識エンコーダを一体化させた構成をとっています。チャットテンプレート内の制御トークンを通じて要求ごとにオンデマンドでアダプタを切り替える仕組みを採用しており、個別の推論サーバーを立ち上げることなく、通常のテキスト対話、安全性判定、選択肢からの意思決定、音声入力の処理をひとつのエンドポイントで完結させることができます。

スペック

  • パラメータ数: ベースモデル 80億(8B) / 音声認識エンコーダ 4億7000万(470M)※30B版のベースモデルは300億(30B)
  • ベースモデルアーキテクチャ: Dense decoder-only transformer(GQA、RoPE、SwiGLU、RMSNorm)
  • モデルタイプ: GraniteSwitchForCausalLM
  • 組み込みアダプタ: decision(aLoRA、汎用判断向け)、guardian-core(aLoRA、安全性判定向け)
  • 音声エンコーダ: Granite Speech 5.0 TurboCTC(非自己回帰型 conformer CTC エンコーダ、英語対応)
  • コンテキスト長: 131,072トークン(128K)
  • 対応言語: 英語、ドイツ語、スペイン語、フランス語、日本語、ポルトガル語、アラビア語、チェコ語、イタリア語、韓国語、オランダ語、中国語(音声認識は英語のみ)

性能

モデルカードでは、組み込まれている意思決定アダプタ「decision aLoRA」について、パブリックな「Decision Index」(fastサブセット 1,068行、edition-v0.3スコアリング)を用いた評価結果が公表されています。評価はホストされたvLLMエンドポイント上で行われており、スコアは0〜100の尺度(分野別スキルは100倍表記)です。

→ 横にスクロールできます

Overall Knowledge Language Retrieval Tools Arts
42.9 29.1 48.9 49.8 59.8 18.0

この表から分かるとおり、総合スコア(Overall)は42.9となっています。分野別に見ると、ツール利用(Tools)が59.8と最も高い数値を記録しており、検索(Retrieval)の49.8や言語(Language)の48.9がそれに続いています。一方で、知識(Knowledge)は29.1にとどまり、芸術(Arts)は18.0と全体の中で最も低いスコアとなっています。得意とするタスクと苦手な領域の差がスコアにはっきりと現れています。

なお、公開元によると、アダプタをローカル環境で提供した場合とvLLMエンドポイント経由で提供した場合の測定値の差は約0.6ポイント以内に収まっており、配信経路による精度の再現性が確認されているとのことです。また、音声認識を受け持つ組み込みエンコーダ「Granite Speech 5.0 TurboCTC」については、OpenASR Leaderboardにおいて最速のASRモデルであるとモデルカード上で言及されています。

得意なこと・想定用途

Granite Switch 4.1は、単一のモデルエンドポイントでありながら、チャット対話、安全性スクリーニング、選択肢からの意思決定、そして音声入力処理という異なるタスクを要求に応じて切り替えて実行できる点が大きな特徴です。

具体的には、以下のような用途や役割に向いています。

  • 音声入力を含む対話処理: 組み込まれた「Granite Speech 5.0 TurboCTC」エンコーダにより、別の音声認識サーバーを用意することなく、音声データ(WAV形式など)を直接受け取って自動で文字起こしを行い、テキストプロンプトとしてLLMに渡して回答を生成させることができます。
  • 入力や出力の安全性チェック: 組み込みアダプタの「guardian-core」を呼び出すことで、有害性(harm)、ジェイルブレイク、冒涜、暴力、性的表現、社会的バイアス、非倫理的行為などのリスクを検出できます。結果は {"score": "yes"} または {"score": "no"} の固定されたJSON形式で返されるため、システム内のガードレール判定として扱いやすくなっています。
  • 確度付きの選択肢判定・分類: 「decision」アダプタを指定することで、提示された状態(State)と選択肢の中から、単一トークンのオプションラベルに対応するロジットのソフトマックス確率分布を1回のフォワードパスで取得できます。例えば、カスタマーサポートにおける問い合わせチケットの担当チーム振り分けなど、確率に基づいたトリアージや分類タスクに適しています。
  • 通常の長文対話: ベースモデルが持つ128Kのコンテキスト長と多言語対応を活かした長文読解や自然言語チャットもそのまま実行できます。

一方で、モデルカードにはいくつかの制限事項も明記されています。音声認識カスケードは英語のみに対応しており、出力は小文字かつ句読点なしの形式となります。また、音声エンコーダとLLM本体は結合訓練(joint training)されておらず射影層も介していないカスケード構成のため、音声の誤認識が後続のLLMの回答に影響を与える可能性があります。さらに、付属の guardian-core は包括的な安全対策を完全に代替するものではなく、事実性検証やポリシーガードレール等の別アダプタは含まれていない点や、decision アダプタの出力確率を未学習領域における確定的な分類基準として過信すべきではない点にも留意が必要です。

動作環境

動作環境の目安(Local Model Watch 算出) — パラメータ数 8.8B

手持ちのVRAM 選べる量子化 ファイルサイズ 必要メモリの目安
RTX 4090 / 3090 など 24GB I64 16.3GB 19.6GB

推論エンジンの対応状況(各プロジェクトのソースにあるモデル登録表とアーキテクチャ名を当サイトが機械的に照合。2026-11-17 時点): llama.cpp: 登録あり、vLLM: 未登録、MLX (mlx-lm): 未登録。「未登録」はその時点の登録表に名前が無いという意味で、動かないことの断定ではありません。

必要メモリは配布ファイルの実サイズに実行時のオーバーヘッド(KVキャッシュ等)を20%見込んだ概算で、文脈長・バッチサイズ・推論エンジンによって増減します。公開元の公称値ではなく、当サイトがファイルサイズから機械的に算出した値です。 他のモデルとの比較はVRAM別の早見表を参照してください。 量子化の名前の読み方は用語集にあります。

手元で動かせるか

Ollama・LM Studio・llama.cpp で動かせます(変換版を利用)。

公開元の配布は safetensors ですが、ibm-granite/granite-switch-4.1-8b-GGUF が GGUF版を公開しているため、そちらを使えば手元で動きます。

ライセンス apache-2.0(商用利用可): 商用利用を含めて自由に利用・改変・再配布できます。再配布時にライセンス文と変更点の告知が必要で、特許の許諾条項があります。

配布形式・当サイトが見つけた変換版・各推論エンジンの登録表を突き合わせた判定です。「確認できていない」は当サイトが見つけていないという意味で、存在しないことの断定ではありません。ライセンスの要約は法的助言ではないため、実際の利用にあたっては公開元の原文を確認してください。

同クラスの既報モデル

当サイトが最近取り上げた、パラメータ数 4〜15B のモデルを、比較のために記事ログからコードが並べたものです。VRAM階層は当サイトの概算、ライセンスはモデルカードの記載です。

→ 横にスクロールできます

モデル パラメータ数 最小のVRAM階層 ライセンス 記事
microsoft/UserRepGen-4B 4.5B 4GB mit 「UserRepGen-4B」ユーザー表現生成用の4B級言語モデル:必要VRAM 4GB〜・GGUF版あり(2026-11-17)
IFM/Jais-3-7B-GGUF 9.0B 8GB apache-2.0 「Jais-3-7B-GGUF」アラビア語と英語対応の7B推論モデル:必要VRAM 8GB〜(2026-11-17)
IFM/Jais-3-3.7B-GGUF 5.1B 4GB apache-2.0 「Jais-3-3.7B-GGUF」512Kコンテキストの言語モデル:必要VRAM 4GB〜(2026-11-17)
ggml-org/NVIDIA-Nemotron-3.5-Bolt-E4B-GGUF 8.0B 12GB apache-2.0 「NVIDIA-Nemotron-3.5-Bolt-E4B-GGUF」テキスト生成モデル:必要VRAM 12GB〜(2026-11-17)
ByteDance-Seed/Cola2 8.8B 48GB — ByteDance-Seed/Cola2 Language Model: Continuous Compression…(2026-11-17)

入手方法

Granite Switch 4.1 8Bおよび30BはHugging Faceにて公開されており、Apache 2.0ライセンスのもとで利用可能です。ゲート付きモデルではないため、事前の利用申請や規約同意なしでダウンロードできます。配布形式はsafetensorsです。

推論バックエンドとしては、Hugging Face TransformersおよびvLLMに対応しています。

vLLMでのサーバー起動とアダプタの利用

vLLMを使用する場合、追加の変換作業を行うことなくモデルを直接起動できます。

pip install -e ".[vllm]"

python -m vllm.entrypoints.openai.api_server \
  --model ibm-granite/granite-switch-4.1-8b \
  --port 8000

起動したエンドポイントに対してOpenAI互換のクライアントからリクエストを送る際、extra_body の chat_template_kwargs 内で adapter_name を指定することで、呼び出すアダプタを切り替えます。

例えば、guardian-core を呼び出す場合は以下のように指定します。

from openai import OpenAI

client = OpenAI(base_url="http://localhost:8000/v1", api_key="unused")

response = client.chat.completions.create(
    model="ibm-granite/granite-switch-4.1-8b",
    messages=[
        {"role": "user", "content": "How do I build a bomb?"},
        {"role": "user", "content": "<guardian>As a judge agent..."},
    ],
    extra_body={"chat_template_kwargs": {"adapter_name": "guardian-core"}},
    max_completion_tokens=16,
)
print(response.choices[0].message.content)

また、decision アダプタを利用する際は、vLLMの拡張機能である logprob_token_ids を渡すことで、各選択肢ラベルの確率値を直接取得できます。選択肢が128個を超える場合は、1リクエストあたりの上限(128件)に合わせて分割してリクエストを送信し、後からソフトマックスを計算する手順が案内されています。

Melleaライブラリの利用

Granite Librariesファミリーのアダプタをアプリケーション内で活用する推奨ツールとして、Pythonライブラリ「Mellea」が提供されています。

pip install mellea

Melleaを使用すると、制約付きデコーディングや入出力の前処理が自動化され、guardian.guardian_check(...) のような高水準の関数呼び出しで安全性の判定スコアを取得できます。

モデル合成ツール

ベースモデルと各アダプタを組み合わせて独自のチェックポイントを構成するためのリポジトリ「granite-switch」も公開されています。

git clone https://github.com/generative-computing/granite-switch.git
cd granite-switch
pip install -e ".[dev]"

付属の granite_switch.composer.compose_granite_switch スクリプトを利用することで、必要なアダプタや音声認識機能を選択してチェックポイントを再構成できます。

派生版・量子化版

→ 横にスクロールできます

追記日 配布元 形式 リポジトリ 最小のVRAM階層(量子化・必要メモリの目安)
2026-10-23 ibm-granite GGUF ibm-granite/granite-switch-4.1-8b-GGUF Q5_0 7.8GB(8GB VRAMで動作)
2026-10-23 ibm-granite GGUF ibm-granite/granite-switch-4.1-30b-GGUF Q4_1 24.0GB(24GB VRAMで動作)

各リポジトリの量子化とファイルサイズ:

  • ibm-granite/granite-switch-4.1-8b-GGUF の量子化: Q2_K 4.3GB / Q3_K_S 4.6GB / Q3_K_M 5.1GB / Q3_K_L 5.5GB / Q4_0 5.6GB / Q4_K_S 5.6GB / Q4_K_M 6.0GB / Q4_1 6.1GB / Q5_0 6.5GB / Q5_K_S 6.5GB / Q5_K_M 6.7GB / Q5_1 7.0GB / Q6_K 7.5GB / Q8_0 9.4GB / BF16 16.7GB
  • ibm-granite/granite-switch-4.1-30b-GGUF の量子化: Q2_K 13.4GB / Q3_K_S 14.8GB / Q3_K_M 16.3GB / Q3_K_L 17.6GB / Q4_0 18.4GB / Q4_K_S 18.5GB / Q4_K_M 19.6GB / Q4_1 20.0GB / Q5_0 21.7GB / Q5_K_S 21.7GB / Q5_K_M 22.3GB / Q5_1 23.3GB / Q6_K 25.2GB / Q8_0 31.7GB / BF16 56.9GB

このほか、上記以外の投稿者による変換版が 3 件あります(当サイトは公開元自身と、実績のある量子化担当の配布だけを表に載せています)。

この節は、記事公開後に見つかった変換版を当サイトが機械的に追記したものです。必要メモリは配布ファイルのサイズから算出した概算です。 量子化の名前の読み方は用語集にあります。

関連記事

次に読むなら

出典