Orion-26B-A4B-v1.1のGGUF量子化版が公開、マルチモーダル対応

2026年9月18日

Orion-26B-A4B-v1.1のGGUF量子化版が公開、マルチモーダル対応

基本情報

項目 内容
リポジトリ bartowski/TheDrummer_Orion-26B-A4B-v1.1-GGUF
公開日 2026-09-14
配布形式 GGUF
出典の種類 公開元の一次情報(bartowskiはサードパーティの量子化版であり、公式一次情報ではないため)

収集・肉付けの時点で当サイトのコードが確定させた値です。日付はJST。

概要

bartowski氏により、マルチモーダル対応モデルであるOrion-26B-A4B-v1.1のGGUF量子化版が公開されたと報告されている。本記事執筆時点では公式に確認が取れていない情報が含まれるため、実際の導入や検証の際は注意が必要とされる。テキスト、画像、音声の入力に対応しており、ローカル環境での実行に向けた多彩な量子化ファイルが提供されている。

スペック

  • パラメータ数: 26B
  • 入力サポート: テキスト、画像、音声 (mmprojファイル併用)
  • スペキュラティブデコード: なし
  • imatrix: 対応
  • アーキテクチャ: Gemma4ForConditionalGeneration

性能

元モデルの性能について、モデルカードによれば、低い温度設定（0.9など）が最適であり、Gemmaの思考機能はロールプレイ（RP）において非常に鋭いとされている。以下は公開された量子化版におけるパーテンソルレイアウトの比較表である。

→ 横にスクロールできます

Quant Size Body bits/weight File bits/weight Body kept at base type
Q6_K_L 24.52GB 7.38 7.60 51 %
Q6_K 23.79GB 7.03 7.37 71 %
Q6_K_S 23.14GB 6.71 7.17 90 %
Q5_K_M 20.01GB 5.92 6.20 71 %
Q5_K_S 18.40GB 5.70 5.70 90 %
Q4_K_L 18.21GB 5.19 5.64 50 %
Q4_K_M 17.97GB 5.07 5.57 70 %
Q4_K_S 16.05GB 4.70 4.98 90 %
IQ4_NL 15.63GB 5.07 4.85 70 %
Q3_K_L 14.80GB 4.39 4.59 50 %
IQ3_M 14.34GB 4.17 4.45 50 %
IQ4_XS 14.28GB 4.42 4.43 90 %
Q3_K_M 13.79GB 4.01 4.27 70 %
IQ3_XS 12.84GB 3.57 3.98 90 %
IQ3_XXS 12.61GB 3.46 3.91 70 %
Q3_K_S 12.37GB 3.56 3.84 90 %
Q2_K 11.61GB 3.19 3.60 70 %
IQ2_M 10.90GB 2.89 3.38 70 %
IQ2_S 10.31GB 2.61 3.20 70 %
IQ2_XS 9.90GB 2.41 3.07 90 %

（表は途中まで。以降の行は省略）

さらに、計算されたレイアウトと標準レイアウトの比較検証結果の表は以下の通り。

→ 横にスクロールできます

Quant Computed layout KLD Standard layout KLD Ratio at equal size Size vs standard file
Q4_K_M 0.8086 ± 0.0113 1.1462 ± 0.0132 0.88× +5.5 %
Q3_K_M 1.2642 ± 0.0149 2.9859 ± 0.0241 0.51× +5.9 %
IQ2_XS 2.6730 ± 0.0206 2.9355 ± 0.0210 0.91× −2.3 %

これらの表から、計算されたレイアウト（computed layout）を採用したQ4_K_MやQ3_K_Mなどの量子化ファイルでは、標準レイアウトと比較してKLダイバージェンス（KLD）が低く抑えられており、非量子化モデルとの差異が小さく品質が維持されていることが確認できる。特にQ4_K_Mでは良好なバランスを示している。

得意なこと・想定用途

本モデルはテキストに加えて画像および音声の入力に対応しており、会話用途やロールプレイ（RP）での活用が想定されている。元モデルの特性を引き継ぎ、マルチモーダルな入力を活かしたインタラクティブなタスクに向いている。

動作環境

動作環境の目安(Local Model Watch 算出) — パラメータ数 25.8B(元モデル TheDrummer/Orion-26B-A4B-v1.1 の値)

手持ちのVRAM 選べる量子化 ファイルサイズ 必要メモリの目安
RTX 4060 / 3060 Ti など 8GB F16 1.1GB 1.3GB
RTX 4070 / 3060 12GB など 12GB IQ2_S 9.6GB 11.5GB
RTX 5060 Ti 16GB / 4060 Ti 16GB など 16GB IQ3_M 13.4GB 16.0GB
RTX 4090 / 3090 など 24GB Q5_K_M 18.6GB 22.4GB
RTX 5090 など 32GB Q8_0 25.0GB 30.0GB
A100 / H100 80GB クラス BF16 48.1GB 57.8GB

必要メモリは配布ファイルの実サイズに実行時のオーバーヘッド(KVキャッシュ等)を20%見込んだ概算で、文脈長・バッチサイズ・推論エンジンによって増減します。公開元の公称値ではなく、当サイトがファイルサイズから機械的に算出した値です。 他のモデルとの比較はVRAM別の早見表を参照してください。 量子化の名前の読み方は用語集にあります。

入手方法

  • 配布形式: GGUF
  • 対応エンジン: llama.cpp, LM Studio, koboldcpp, ramalama, Jan AI, Text Generation Web UI, LoLLMs, Atomic Chat
  • 入手コマンド例:
hf download bartowski/TheDrummer_Orion-26B-A4B-v1.1-GGUF --include "TheDrummer_Orion-26B-A4B-v1.1-Q4_K_M.gguf" --local-dir./

マルチモーダル入力を利用する場合は、対応するマルチモーダルプロジェクターファイル（mmproj-TheDrummer_Orion-26B-A4B-v1.1-f16.gguf または mmproj-TheDrummer_Orion-26B-A4B-v1.1-bf16.gguf）を合わせて用意する必要がある。

関連記事

出典

更新履歴

  • 2026-09-15: 公式の一次情報で内容を確認しました。HFのメタデータでGGUF量子化版の存在とマルチモーダル対応が確認できた

新モデルbartowski,GGUF,llama.cpp,Orion-26B-A4B-v1.1,マルチモーダル,確認済み