Qwen3.8-27Bの高速化ファインチューン「Signal-3.8-27B-GGUF」公開

2026年9月18日

Qwen3.8-27Bの高速化ファインチューン「Signal-3.8-27B-GGUF」公開

基本情報

項目 内容
リポジトリ agentionai/Signal-3.8-27B-GGUF
公開日 2026-09-10
ライセンス apache-2.0
配布形式 GGUF
論文 arXiv:2606.00206
出典の種類 公開元の一次情報(HuggingFace公式モデルページが一次情報)

収集・肉付けの時点で当サイトのコードが確定させた値です。日付はJST。

概要

agentionai/Signal-3.8-27B-GGUFは、ベースモデルであるQwen3.8-27Bをより低い生成レイテンシと高いトークン効率で動作させるために最小限の侵襲でファインチューンしたGGUFモデルである。一般的なプロンプトの評価において、ベースモデルと同等またはそれ以上の回答品質を維持しつつ、回答トークン数を57%削減し、推論(思考)トークン数を52%削減することに成功している。これにより、同等のハードウェア上でベースモデルの半分以下のウォールタイムで処理を完了できるのが特徴である。

スペック

  • ライセンス: apache-2.0
  • パラメータ数: 27.8B

性能

モデルカードの評価によれば、ベースモデルであるQwen3.8-27BのQ8_0と比較して、Signalは回答トークン数や思考トークン数が大幅に削減されている。以下は、一般プロンプトやコーディングにおけるトークン数の変化を測定した結果である。

base Q8_0 Signal change
general answers, median tokens 243 104 -57%
answers opening with a preamble (“Sure!", “Great question") 13% 0% gone
answers with markdown headers 47% 18% -62%
answers with bold 85% 52% -39%
coding answers, median tokens 159 142 -11%
coding answers, p90 tokens 1026 914 -11%

また、思考モード時のトークン数についても測定されている。

base Q8_0 Signal change
reasoning tokens, general prompts, median 153 74 -52%
reasoning tokens, coding prompts, median 225 166 -26%
reasoning tokens, GSM8K, median 119 81 -32%

GSM8K(小学校レベルの算数の文章題を手順通り解けるかを測る指標)の品質における正確一致については以下の通り。

base Q8_0 Signal
thinking off, 60 problems 98.3% 98.3%
thinking on, 40 problems 92.5% 95.0%

さらに、スペキュラティブデコーディングを用いた場合の速度比較は以下のようになっている。

prompt / draft length base acceptance Signal acceptance decode speed vs base
prose, draft 3 39% 47% +10%
prose, draft 4 35% 28% -9%
structured output (JSON), draft 3 72% 94% +20%
structured output (JSON), draft 4 66% 87% +22%
chat prompts, sampled at 0.7, adaptive draft ≤4 (40 prompts) 57% 60%

元モデルであるQwen3.8-27Bの性能についても、各種ベンチマークで測定されている。テキスト性能の比較表(一部抜粋)は以下の通り。

→ 横にスクロールできます

Qwen3.8-27B Qwen3.6-27B Qwen3.7-Plus Muse Glimmer-30B Opus4.6 Max
Coding
Agentic terminal coding Terminal Bench 2.1 (Terminus) 73.0 63.4 64.0 51.7 78.2
Agentic coding SWE-bench Pro 61.7 53.5 57.6 51.2 53.4
Repo-level code generation NL2Repo-Bench 42.3 36.2 41.1 47.6
Agentic coding DeepSWE 1.1 42.2 13.3 14.2
Software engineering QwenSWEBench 79.0 49.3 59.2 63.8
Agent
Long-horizon office work CoWorkBench 70.7 61.0 65.1 68.2
Professional job tasks JobBench 33.4 21.8 27.6
Frontier agentic tasks Agents’ Last Exam Pass@1 20.4 Score 42.9 Pass@1 10.6 Score 27.3 Pass@1 13.2 Score 33.6
General
Instruction following IFBench 79.5 69.1 79.1 77.0 62.5
Scientific reasoning GPQA Diamond 89.2 87.8 90.3 83.5 91.3
Multidisciplinary reasoning HLE 30.8 24.0 34.7 22.0 40.0
Competitive coding LiveCodeBench v6 90.3 83.9 89.6 88.8

これらの数値から、Signalはベースモデルの優れた知識や推論能力、コード生成やエージェントタスクにおける高いポテンシャルを維持しつつ、無駄な前置きや冗長な推論ステップを削ぎ落とすことで大幅な高速化とトークン効率の向上を実現していることがわかる。

得意なこと・想定用途

Signalは、より低い生成レイテンシと高いトークン効率を実現するように設計された、Qwen3.8-27Bのファインチューンモデルである。不要な前置き、過度なフォーマット、挨拶、説明的なナレーションを省き、直接的な回答を行うことで、回答の質を落とさずにトークン数を削減している。また、思考モード時においても、プロセスを説明するトークン数を減らしつつ、有用な推論ステップを維持する。ベースモデル譲りの画像入力(ビジョンエンコーダーとプロジェクター)の機能も保持している。

動作環境

動作環境の目安(Local Model Watch 算出) — パラメータ数 27.8B(元モデル Qwen/Qwen3.8-27B の値)

手持ちのVRAM 選べる量子化 ファイルサイズ 必要メモリの目安
RTX 5060 Ti 16GB / 4060 Ti 16GB など 16GB IQ4_XS 13.3GB 15.9GB
RTX 4090 / 3090 など 24GB Q5_K_M 18.2GB 21.8GB
RTX 5090 など 32GB Q6_K 20.9GB 25.1GB
RTX 6000 Ada / A6000 など 48GB Q8_0 27.1GB 32.5GB

必要メモリは配布ファイルの実サイズに実行時のオーバーヘッド(KVキャッシュ等)を20%見込んだ概算で、文脈長・バッチサイズ・推論エンジンによって増減します。公開元の公称値ではなく、当サイトがファイルサイズから機械的に算出した値です。 他のモデルとの比較はVRAM別の早見表を参照してください。 量子化の名前の読み方は用語集にあります。

入手方法

  • 配布形式: GGUF
  • 対応エンジン: llama.cpp (llama-server等), Ollama, LM Studio

llama.cppを使用する場合の実行コマンド例:

llama-server -hf agentionai/Signal-3.8-27B-GGUF:AP-Q4_K_XL \
  --jinja -ngl 999 -fa on -c 32768 \
  --temp 0.7 --top-p 0.95 --top-k 20 --min-p 0

内蔵のドラフトヘッドを追加してスループットを向上させる場合は、以下の引数を追加する(--spec-type draft-mtpに対応したビルドが必要):

  --spec-type draft-mtp --spec-draft-n-max 4

なお、画像入力を利用する場合は、リポジトリのルートにあるベースモデル用の mmproj-BF16.gguf(0.87 GiB)を任意のティアと一緒にダウンロードして使用する。

関連記事

出典