Qwopus3.8-27B-Flash GGUF版公開、エージェント向け軽量化モデル
基本情報
| 項目 | 内容 |
|---|---|
| リポジトリ | Jackrong/Qwopus3.8-27B-Flash-GGUF |
| 公開日 | 2026-09-04 |
| ライセンス | apache-2.0 |
| 配布形式 | GGUF |
| 出典の種類 | 公開元の一次情報(個人アカウントのGGUF変換版のみ) |
収集・肉付けの時点で当サイトのコードが確定させた値です。日付はJST。
概要
Jackrong氏により、ベースモデルにQwen3.8-27Bを採用したファインチューンモデルのGGUF版『Jackrong/Qwopus3.8-27B-Flash-GGUF』が公開された。本モデルは、長時間の反復ループを伴うエージェントワークロード向けに推論コストと応答時間を大幅に削減しつつ、実用的な汎用性能を維持するように設計されている。一部の特定のPythonコーディングタスクにおいてインデントの誤りが生じる既知の問題が報告されているが、その他の能力や全体的な性能には影響しないとされている。
スペック
- ライセンス: apache-2.0
- パラメータ数: 27.8B
性能
公開元の測定によれば、Q5_K_M + MTP構成におけるMMLU-Pro mixed-question accuracy(2,500 questions)は、ベースモデルの92.73%に対して91.28%となり、1.45 percentage points低下している。一方で、デコーダ単体のスループットやMTPドラフト受容率などの効率面では向上が見られる。以下はモデルカードに記載されている比較表である。
| Reported signal | Qwopus3.8-27B-Flash | Qwen3.8 base comparison | Interpretation |
|---|---|---|---|
| MMLU-Pro mixed-question accuracy (2,500 questions) | 91.28% | 92.73% | −1.45 pp |
| Decoder-only throughput across Math, Physics, and Chemistry | 9.347 tok/s | 8.284 tok/s | +12.8% |
| Weighted MTP draft acceptance | 80.7% | 66.1% | +14.6 pp |
Aggregate raw_output characters across three subjects |
7,949,546 | 8,824,213 | −9.9% |
| End-to-end batch evaluation throughput | ~8% higher | — | Separate, approximate measurement |
| Agentic software-engineering battery, strict one-run result | 13 / 14 (93%) | — | 26.0 min on one RTX 5090 |
MMLU-Pro指標（一般知識・推論におけるMMLUの難化版で、選択肢を10個に増やし推論を要する問題に差し替えたもの）の正解率ではベースモデルに及ばないものの、数学・物理・化学を通じたデコーダ単体のスループットでは8.284 tok/sから9.347 tok/sへ12.8%向上しており、加重MTPドラフト受容率も66.1%から80.7%へと14.6 percentage points高くなっている。また、総出力文字数も9.9%減少しており、無駄な長文推論を抑制しつつ効率的な完了を目指す調整がなされている。
得意なこと・想定用途
- ローカル環境でのMTPスペキュラティブデコーディング（デコーダのスループットやドラフト受容率が重視される環境）
- ツール呼び出しと反復的な編集を繰り返す長時間の実行を伴うエージェントワークロード
- ウォールタイムや生成トークンコストが運用の制約となるリソース制約下のワークロード
類似モデルとの違い
当サイトで以前紹介したQwen3.8-27Bの高速化ファインチューン「Signal-3.8-27B-GGUF」公開と同様に、Qwen3.8-27Bをベースにしつつ推論効率やトークン数の削減を狙ったファインチューンモデルである。Signalが主に回答トークン数や思考トークン数の削減に特化しているのに対し、本モデルはNVIDIA NeMo-RL + GSPOを用いた推論強化のステージを経ており、エージェントタスクでの効率的な完了やMTPドラフト受容率の向上に焦点を当てている点が異なる。
動作環境
動作環境の目安(Local Model Watch 算出) — パラメータ数 27.8B(元モデル Qwen/Qwen3.8-27B の値)
| 手持ちのVRAM | 選べる量子化 | ファイルサイズ | 必要メモリの目安 |
|---|---|---|---|
| RTX 5060 Ti 16GB / 4060 Ti 16GB など 16GB | Q3_K_M | 12.6GB | 15.1GB |
| RTX 4090 / 3090 など 24GB | Q5_K_M | 18.2GB | 21.8GB |
| RTX 5090 など 32GB | Q6_K | 20.9GB | 25.1GB |
| RTX 6000 Ada / A6000 など 48GB | Q8_0 | 27.1GB | 32.5GB |
| A100 / H100 80GB クラス | BF16 | 50.9GB | 61.1GB |
必要メモリは配布ファイルの実サイズに実行時のオーバーヘッド(KVキャッシュ等)を20%見込んだ概算で、文脈長・バッチサイズ・推論エンジンによって増減します。公開元の公称値ではなく、当サイトがファイルサイズから機械的に算出した値です。 他のモデルとの比較はVRAM別の早見表を参照してください。 量子化の名前の読み方は用語集にあります。
入手方法
- 配布形式: GGUF
- 対応エンジン: llama.cpp 等