三値量子化された27Bモデル「Bonsai 2 27B GGUF」公開

2026年9月18日

基本情報

収集・肉付けの時点で当サイトのコードが確定させた値です。日付はJST。

概要

Prism MLは、Qwen3.8-27Bをベースにした三値（Ternary）言語モデルのGGUF版「prism-ml/Ternary-Bonsai-2-27B-gguf」を公開した。本モデルは1ウェイトあたり実効1.72ビット（1.72 bits/weight）という極小の重み表現を実現しており、FP16比で約9.3倍の軽量化を図りながら、思考モードにおけるFP16モデルの知能指数の98.2%を維持している。

独自の rotated basis（回転基底）変換と三値表現を組み合わせることで、従来の超低ビット量子化で発生しがちだった推論・思考能力の崩壊を回避している。標準的なノートPCや単一のGPU環境で、27Bクラスの高度な推論処理やエージェント操作をローカル環境で動かすことを狙って開発されている。

スペック

• パラメータ数：27Bクラス（Recurrent stateパスおよび正規化重みを含む26.2Mパラメータが高精度表現として保持される）
• アーキテクチャ：Qwen3.8-27Bのハイブリッドアテンション構造（約75%がリニアアテンションのGated DeltaNet、Gated Attention）
• コンテキスト長：262,144トークン（262K）

性能

公開元であるPrism MLの測定によると、Bonsai 2 27Bは従来のサブ4ビット量子化（IQ2_XXSなど）と比較して著しい性能保持を示している。モデルカードに記載された主要な評価結果の比較は以下の通りである。

分野別のスキルカテゴリ内訳（元モデルFP16との比較）は以下の通りである。

全14ベンチマークの詳細結果は以下の通りである。

モデルカードの公開測定データによると、Bonsai 2 27Bは1.72 bpw（容量5.9 GB）という小さなサイズでありながら、14ベンチマークの平均スコアで84.78を達成している。従来の2ビット相当手法であるIQ2_XXS（2.8 bpw、72.59点）を大きく上回り、4ビット量子化モデルであるUD-Q4_K_XL（85.18点）に迫る精度を示した。

特に数学分野（小学校レベルの文章題を解くGSM8Kや高校・競技レベルの数学問題であるMATH-500）や、コーディング分野（短い関数を仕様どおり実装するHumanEval+や入門〜中級課題のMBPP+、出題時期を区切った新作プログラミング課題のLiveCodeBench）においてフル精度（FP16）と同等以上の高い精度を維持している。また、「300語以内で」などの形式制限の遵守率を測るIFEvalでも91.31と優秀である。一方で、知識やマルチモーダル理解を評価するMMMU-ProやOCR Bench v2といった視覚分野ではフル精度版に対してやや精度低下が見られ、モデルの得意・不得意が表れている。

得意なこと・想定用途

Bonsai 2 27Bは、思考モード（Thinking Mode）での高度な数学的推論、コード生成、および多段階のツール呼び出し（エージェント操作）を得意とする。262Kという広いコンテキスト長を備えており、巨大なコードベースの解析や長文ドキュメントの読み込みにも適している。

また、画像や動画を解釈するための視覚エンコーダー（別ファイルのQ8_0 mmproj）と組み合わせることでマルチモーダルタスクにも対応可能である。モデルサイズが小さいため、一般的なノートPCでのローカル実行、プライバシーが重視されるオフライン環境、単一GPUによる低遅延サービングなどの用途が想定されている。

類似モデルとの違い

当サイトで過去に紹介したQwen3.8-27B派生モデルとの違いは以下の通りである。

Salience-27B-R6のGGUF量子化版公開、思考最適化された27Bマルチモーダルモデルは、思考プロセスを短縮してトークン消費を抑える「Reasoning economy」に着目した派生モデルであった。これに対しBonsai 2 27Bは、独自の三値量子化技術によってモデル構造そのものを5.9 GBまで徹底的に極小化しつつ、フル精度の推論精度を可能な限り維持することを目指している。

Qwen3.8-27Bの高速化ファインチューン「Signal-3.8-27B-GGUF」公開は、生成・思考トークン数を削減してレスポンス時間を短縮するファインチューンモデルである。Bonsai 2 27Bはトークン数の削減ではなく、重みの量子化表現（三値フォーマット）の革新によってオンデバイス動作を可能にする方向性で差別化されている。

動作環境

動作環境の目安(Local Model Watch 算出) — パラメータ数 27.8B(元モデル Qwen/Qwen3.8-27B の値)

必要メモリは配布ファイルの実サイズに実行時のオーバーヘッド(KVキャッシュ等)を20%見込んだ概算で、文脈長・バッチサイズ・推論エンジンによって増減します。公開元の公称値ではなく、当サイトがファイルサイズから機械的に算出した値です。 他のモデルとの比較はVRAM別の早見表を参照してください。 量子化の名前の読み方は用語集にあります。

同クラスの既報モデル

当サイトが最近取り上げた、パラメータ数 15〜40B のモデルを、比較のために記事ログからコードが並べたものです。VRAM階層は当サイトの概算、ライセンスはモデルカードの記載です。

入手方法

配布形式はGGUFフォーマットであり、Hugging Faceのリポジトリ prism-ml/Ternary-Bonsai-2-27B-gguf から入手できる。ライセンス同意（gated）は不要である。

本モデルは独自の三値ハイブリッドアテンションカーネル（PTQ1_0 および PQ2_0 パッキング）を使用しているため、標準のllama.cppでは動作しない。必ずPrism MLが提供するフォーク版のllama.cppバイナリまたはソースコードからビルドしたものを使用する必要がある。

モデルのダウンロードは huggingface-cli（hf コマンド）で行える。

hf download prism-ml/Ternary-Bonsai-2-27B-gguf Ternary-Bonsai-2-27B-PQ2_0.gguf --local-dir.

Prism ML版のllama.cpp（llama-cli）を用いた実行例は以下の通りである。

./bin/llama-cli -m Ternary-Bonsai-2-27B-PQ2_0.gguf \
    -ngl 99 -fa on -c 32768 \
    --temp 1.0 --top-p 0.95 --top-k 20 \
    -p "Explain quantum computing in simple terms." -n 256

なお、Apple Silicon向けにはMLX用の別リポジトリ（Ternary-Bonsai-2-27B-mlx-2bit）も準備されている。

派生版・量子化版

このほか、上記以外の投稿者による変換版が 3 件あります(当サイトは公開元自身と、実績のある量子化担当の配布だけを表に載せています)。

この節は、記事公開後に見つかった変換版を当サイトが機械的に追記したものです。必要メモリは配布ファイルのサイズから算出した概算です。

関連記事

• Qwopus3.8-27B-Flash GGUF版公開、エージェント向け軽量化モデル
• Salience-27B-R6のGGUF量子化版公開、思考最適化された27Bマルチモーダルモデル
• Qwen3.8-27Bの高速化ファインチューン「Signal-3.8-27B-GGUF」公開

出典

• prism-ml/Ternary-Bonsai-2-27B-gguf
• Qwen/Qwen3.8-27B
• Bonsai 2 27B Whitepaper
• Bonsai Demo & Examples Repository
• llama.cpp (PrismML Fork)