Qwen3.8-27Bベースの3値ウェイトモデル「Bonsai 2 27B」MLX 2bit版公開

2026年9月18日

基本情報

収集・肉付けの時点で当サイトのコードが確定させた値です。日付はJST。

概要

Prism MLより、Qwen3.8-27Bをベースモデルとした3値（Ternary）ウェイト表現のモデル「Bonsai 2 27B」のMLX 2bit版（prism-ml/Ternary-Bonsai-2-27B-mlx-2bit）が公開されました。本モデルは、日常的なノートPCなどのリソース制限環境において、FP16精度の知能をほぼ損なうことなくフル27Bクラスの推論を実行することを目指して開発されています。開発チームが公開したホワイトペーパーでは、極限まで圧縮された超低ビット領域における推論崩壊を防ぐ手法や詳細なベンチマーク結果が報告されています。

スペック

• アーキテクチャ: Qwen3.8-27B hybrid-attention backbone（約75%が線形アテンション）
• コンテキスト長: 262,144トークン（ネイティブ対応）

性能

以下は、公開元のモデルカードに掲載されている各種ベンチマークスコアおよびスループットの測定結果です。

Benchmarks

By Skill Category

Full Per-Benchmark Results

Intelligence Density

Cross-Platform Throughput

Additional Apple Platforms

公開元の測定結果によると、Bonsai 2 27Bは14の思考モードベンチマークの平均で84.78を記録し、これは元モデルであるQwen3.8-27B FP16版のスコア（86.32）に対して98.2%の知能を維持していることを示しています。従来の超低ビット量子化であるIQ2_XXS（平均72.59）と比較すると、12ポイント以上の大差をつけて上回っています。分野別では、小学校レベルの算数を解くGSM8K（96.66 vs 97.19）や、仕様通りに関数を実装するHumanEval+（95.12 vs 93.29）、新作の競技プログラミング問題を解くLiveCodeBench（90.07 vs 90.05）において、FP16版と同等かそれ以上の極めて高いスコアを維持しています。一方で、一般的な知識や推論を測るMMLU-Redux（89.09 vs 91.46）や、画像を見て大学レベルの問題を解くMMMU-Pro（75.49 vs 81.73）などの最も要求の厳しいカテゴリでは、FP16版に対してわずかに及ばない結果となっています。

得意なこと・想定用途

元モデルの特性および公開元の仕様に基づき、本モデルは以下の用途に適しています。

• ローカル環境での高度な推論とエージェント実行: 262Kトークンの広大なコンテキスト長と、高い指示追従（IFEval: 91.31）およびツール利用能力（BFCL v3: 74.92）を活かし、標準的なノートPC上でローカルに動作する27Bクラスの自律型エージェントを構築できます。
• プライバシーを重視するオフライン環境: 外部APIにデータを送信することなく、完全ローカルかつ機密性を保持した状態で、長文ドキュメントの解析やリポジトリ全体のコード作業を実行可能です。
• シングルGPUでの高効率サービング: 3値表現による極めて高い「インテリジェンス密度（単位サイズあたりの性能比）」により、1台のコンシューマー向けGPUやエントリークラスのデータセンター向けGPU（L4など）で、27Bクラスの推論を高速かつ省電力にホストできます。
• マルチモーダル解析: 元モデル由来のビジョンタワー（0.92 GB、FP16で非量子化のまま同梱）を搭載しており、図表やドキュメント、画像などの視覚情報の理解にも対応しています。

類似モデルとの違い

当サイトで過去に紹介した Salience-27B-R6のGGUF量子化版公開、思考最適化された27Bマルチモーダルモデル は、同じくQwenベースで思考能力を維持しつつ過剰な思考トークンを抑制するアプローチを採用していました。また、Qwen3.8-27Bの高速化ファインチューン「Signal-3.8-27B-GGUF」公開 では、出力および思考トークン数を削減することで生成レイテンシの向上を図っています。これらに対し、今回のBonsai 2 27Bは、ファインチューンによる挙動の制御ではなく、Hadamard回転を組み合わせた独自の3値（Ternary）重み表現を用いることで、モデルの知能（特に推論能力）をほぼ損なうことなく、モデル全体のサイズを極限まで軽量化している点が決定的に異なります。

動作環境

動作環境の目安(Local Model Watch 算出) — パラメータ数 27.4B

推論エンジンの対応状況(各プロジェクトのソースにあるモデル登録表とアーキテクチャ名を当サイトが機械的に照合。2026-09-18 時点): llama.cpp: 未登録、vLLM: 未登録、MLX (mlx-lm): 未登録。「未登録」はその時点の登録表に名前が無いという意味で、動かないことの断定ではありません。

必要メモリは配布ファイルの実サイズに実行時のオーバーヘッド(KVキャッシュ等)を20%見込んだ概算で、文脈長・バッチサイズ・推論エンジンによって増減します。公開元の公称値ではなく、当サイトがファイルサイズから機械的に算出した値です。 他のモデルとの比較はVRAM別の早見表を参照してください。 量子化の名前の読み方は用語集にあります。

同クラスの既報モデル

当サイトが最近取り上げた、パラメータ数 15〜40B のモデルを、比較のために記事ログからコードが並べたものです。VRAM階層は当サイトの概算、ライセンスはモデルカードの記載です。

入手方法

本モデルはMLX形式（safetensors）で配布されています。

ダウンロードコマンド

hf download prism-ml/Ternary-Bonsai-2-27B-mlx-2bit --local-dir bonsai2-27b-mlx

実行時の注意点

本モデルは model_type: prism_hadamard_qwen35 を宣言しており、通常のMLXローダーではアクティベーション変換や逆埋め込みルックアップがスキップされてしまい、誤った出力が生成されます。そのため、リポジトリ内の runtime/ ディレクトリに同梱されている専用のローダーを使用する必要があります。

依存関係のインストール

pip install -r bonsai2-27b-mlx/runtime/requirements.txt

Pythonによる実行例

import sys
sys.path.insert(0, "bonsai2-27b-mlx/runtime")
from vision_artifact import load_vl_model, chat_config
from mlx_vlm import generate
from mlx_vlm.prompt_utils import apply_chat_template

model, processor, config = load_vl_model("bonsai2-27b-mlx")
prompt = apply_chat_template(processor, chat_config(config), "What is in this image?", num_images=1)
print(generate(model, processor, prompt, ["photo.jpg"], max_tokens=256, temperature=1.0))

なお、CUDA環境やCPU、Stockのllama.cppで動作させたい場合は、GGUF形式の姉妹版である Ternary-Bonsai-2-27B-gguf が提供されています。ただし、これを動かすためにはPrism MLが提供する専用のllama.cppフォークビルドが必要となります。

関連記事

• 三値量子化された27Bモデル「Bonsai 2 27B GGUF」公開
• Salience-27B-R6のGGUF量子化版公開、思考最適化された27Bマルチモーダルモデル
• Qwen3.8-27Bの高速化ファインチューン「Signal-3.8-27B-GGUF」公開
• Qwopus3.8-27B-Flash GGUF版公開、エージェント向け軽量化モデル

出典

• prism-ml/Ternary-Bonsai-2-27B-mlx-2bit