「TheDrummer_Orion-26B-A4B-v1.1-GGUF」マルチモーダルモデル：必要VRAM 12GB〜

2026年10月1日

「TheDrummer_Orion-26B-A4B-v1.1-GGUF」マルチモーダルモデル：必要VRAM 12GB〜

基本情報

項目 内容
リポジトリ bartowski/TheDrummer_Orion-26B-A4B-v1.1-GGUF
公開日 2026-09-14
配布形式 GGUF
出典の種類 公開元の一次情報(bartowskiはサードパーティの量子化版であり、公式一次情報ではないため)

情報を集めた時点で、当サイトのコードが確定させた値です。日付はJSTで表示しています。

当サイトで確かめたこと

  • Qwen3 のトークナイザより約18%少ないトークンで同じ日本語を表せます。同じ文脈長に入る日本語が約1.22倍になり、生成も1字あたりで速くなります。

詳しい値と条件は、下の「当サイトでの実測」の節にあります。

概要

bartowski氏により、マルチモーダル対応モデルであるOrion-26B-A4B-v1.1のGGUF量子化版が公開されたと報告されています。本記事執筆時点では公式に確認が取れていない情報が含まれるため、実際の導入や検証の際は注意が必要とされます。テキスト、画像、音声の入力に対応しており、ローカル環境での実行に向けた多彩な量子化ファイルが提供されています。

スペック

  • パラメータ数: 26B
  • 入力サポート: テキスト、画像、音声 (mmprojファイル併用)
  • スペキュラティブデコード: なし
  • imatrix: 対応
  • アーキテクチャ: Gemma4ForConditionalGeneration

性能

元モデルの性能について、モデルカードによれば、低い温度設定（0.9など）が最適であり、Gemmaの思考機能はロールプレイ（RP）において非常に鋭いとされています。以下は公開された量子化版におけるパーテンソルレイアウトの比較表です。

→ 横にスクロールできます

Quant Size Body bits/weight File bits/weight Body kept at base type
Q6_K_L 24.52GB 7.38 7.60 51 %
Q6_K 23.79GB 7.03 7.37 71 %
Q6_K_S 23.14GB 6.71 7.17 90 %
Q5_K_M 20.01GB 5.92 6.20 71 %
Q5_K_S 18.40GB 5.70 5.70 90 %
Q4_K_L 18.21GB 5.19 5.64 50 %
Q4_K_M 17.97GB 5.07 5.57 70 %
Q4_K_S 16.05GB 4.70 4.98 90 %
IQ4_NL 15.63GB 5.07 4.85 70 %
Q3_K_L 14.80GB 4.39 4.59 50 %
IQ3_M 14.34GB 4.17 4.45 50 %
IQ4_XS 14.28GB 4.42 4.43 90 %
Q3_K_M 13.79GB 4.01 4.27 70 %
IQ3_XS 12.84GB 3.57 3.98 90 %
IQ3_XXS 12.61GB 3.46 3.91 70 %
Q3_K_S 12.37GB 3.56 3.84 90 %
Q2_K 11.61GB 3.19 3.60 70 %
IQ2_M 10.90GB 2.89 3.38 70 %
IQ2_S 10.31GB 2.61 3.20 70 %
IQ2_XS 9.90GB 2.41 3.07 90 %

（表は途中まで。以降の行は省略）

さらに、計算されたレイアウトと標準レイアウトの比較検証結果の表は以下の通りです。

→ 横にスクロールできます

Quant Computed layout KLD Standard layout KLD Ratio at equal size Size vs standard file
Q4_K_M 0.8086 ± 0.0113 1.1462 ± 0.0132 0.88× +5.5 %
Q3_K_M 1.2642 ± 0.0149 2.9859 ± 0.0241 0.51× +5.9 %
IQ2_XS 2.6730 ± 0.0206 2.9355 ± 0.0210 0.91× −2.3 %

これらの表から、計算されたレイアウト（computed layout）を採用したQ4_K_MやQ3_K_Mなどの量子化ファイルでは、標準レイアウトと比較してKLダイバージェンス（KLD）が低く抑えられており、非量子化モデルとの差異が小さく品質が維持されていることが確認できます。特にQ4_K_Mでは良好なバランスを示しています。

得意なこと・想定用途

本モデルはテキストに加えて画像および音声の入力に対応しており、会話用途やロールプレイ（RP）での活用が想定されています。元モデルの特性を引き継ぎ、マルチモーダルな入力を活かしたインタラクティブなタスクに向いています。

動作環境

動作環境の目安(Local Model Watch 算出) — パラメータ数 25.8B(元モデル TheDrummer/Orion-26B-A4B-v1.1 の値)

手持ちのVRAM 選べる量子化 ファイルサイズ 必要メモリの目安
RTX 4070 / 3060 12GB など 12GB IQ2_S 9.6GB 11.5GB
RTX 5060 Ti 16GB / 4060 Ti 16GB など 16GB IQ3_M 13.4GB 16.0GB
RTX 4090 / 3090 など 24GB Q5_K_M 18.6GB 22.4GB
RTX 5090 など 32GB Q8_0 25.0GB 30.0GB
A100 / H100 80GB クラス BF16 47.0GB 56.4GB

必要メモリは配布ファイルの実サイズに実行時のオーバーヘッド(KVキャッシュ等)を20%見込んだ概算で、文脈長・バッチサイズ・推論エンジンによって増減します。公開元の公称値ではなく、当サイトがファイルサイズから機械的に算出した値です。 他のモデルとの比較はVRAM別の早見表を参照してください。 量子化の名前の読み方は用語集にあります。

手元で動かせるか

Ollama・LM Studio・llama.cpp でそのまま動かせます。

GGUF形式で配布されているため、変換を待たずに手元で読み込めます。

量子化の圧縮率: IQ2_S は実測 3.2 bit/weight で、元の16bitの重みの約20%のサイズです(配布ファイルの実サイズから当サイトが算出)。

配布形式・当サイトが見つけた変換版・各推論エンジンの登録表を突き合わせた判定です。「確認できていない」は当サイトが見つけていないという意味で、存在しないことの断定ではありません。

当サイトでの実測

当サイトのサーバー(GPUなし)で、このモデルのファイルを実際に読み込んで(モデルは動かさずに)確かめた値です。モデルカードの記載ではなく、当サイトが測った結果です。測り方と全モデルの一覧は観測データにまとめています。

ライセンスの都合で行っていない実測

このモデルにはライセンスの表示が無く、利用の許諾を確認できません。広告を掲載している当サイトでは、ライセンスの都合上、モデルを動かす実測(CPU での実行・回答・量子化の比較・変換・生成)は行っていません。トークン数や GGUF ファイルの中身など、モデルを動かさずに確かめた値だけを載せています。

日本語のトークン効率

トークナイザ 日本語1,000字あたりのトークン数 同じ内容の英文との比
このモデル 564 1.03倍
Qwen3 688 1.26倍
Llama 3.2 744 1.36倍
Gemma 3 564 1.03倍
gpt-oss 795 1.45倍
LLM-jp-3 497 0.85倍

Qwen3 のトークナイザより約18%少ないトークンで同じ日本語を表せます。同じ文脈長に入る日本語が約1.22倍になり、生成も1字あたりで速くなります。

TheDrummer/Orion-26B-A4B-v1.1 の tokenizer.json で、当サイトが書き下ろした固定の文章(876字。ニュース・会話・技術文書・敬語のメール・紀行文・料理の6種)と、同じ内容の英文を数えました。トークン数が少ないほど、同じ文脈長に長い日本語が入ります。

GGUFファイルの中身

対象: TheDrummer_Orion-26B-A4B-v1.1-Q4_K_M.gguf(16.73GB、Q4_K_M)。ファイルの先頭のメタデータだけを読んで確かめました(重みはダウンロードしていません)。

項目 値
アーキテクチャ(GGUF上の名前) gemma4
学習時の最大文脈長 262,144トークン
層の数 30
エキスパート 128個のうち8個を使用
語彙数 262,144
チャットテンプレート 同梱(ツール呼び出しの記述あり・思考の切り替えの記述あり)
imatrix 使用(TheDrummer_Orion-26B-A4B-v1.1-calibration-v6.txt・492チャンク)
重みの型の内訳(パラメータ数の割合) Q4_K 52.3% / Q8_0 20.2% / Q5_0 16.5% / Q6_K 9.0% / その他 2.1%
平均のビット数 5.69ビット/重み
埋め込み層 / 出力層の型 Q6_K / 埋め込みと共有

ファイル名の量子化名はファイル全体の呼び名で、実際には層ごとに型が混ざっています。平均のビット数は、ファイルのデータの大きさを重みの数で割った実測値です。

入手方法

  • 配布形式: GGUF
  • 対応エンジン: llama.cpp, LM Studio, koboldcpp, ramalama, Jan AI, Text Generation Web UI, LoLLMs, Atomic Chat
  • 入手コマンド例:
hf download bartowski/TheDrummer_Orion-26B-A4B-v1.1-GGUF --include "TheDrummer_Orion-26B-A4B-v1.1-Q4_K_M.gguf" --local-dir./

マルチモーダル入力を利用する場合は、対応するマルチモーダルプロジェクターファイル（mmproj-TheDrummer_Orion-26B-A4B-v1.1-f16.gguf または mmproj-TheDrummer_Orion-26B-A4B-v1.1-bf16.gguf）を合わせて用意する必要があります。

関連記事

次に読むなら

出典

更新履歴

  • 2026-09-15: 公式の一次情報で内容を確認しました。HFのメタデータでGGUF量子化版の存在とマルチモーダル対応が確認できた
  • 2026-09-24: 記事の組み立てを更新しました: 「手元で動かせるか」の判定(配布形式・変換版・推論エンジンの登録表・ライセンス・実測の圧縮率)を追加
  • 2026-09-25: タイトルを、記事で分かる内容(必要VRAM・配布ファイル等)を示す形に変更しました。
  • 2026-09-28: 当サイトでの実測(日本語のトークン効率・GGUFファイルの中身)を追加しました。

新モデルbartowski,GGUF,llama.cpp,Orion-26B-A4B-v1.1,マルチモーダル,確認済み