「vectionlabs_Salience-27B-R6-GGUF」:当サイトでの回答例・必要VRAM 12GB〜

2026年10月30日

「vectionlabs_Salience-27B-R6-GGUF」:当サイトでの回答例・必要VRAM 12GB〜

基本情報

項目 内容
リポジトリ bartowski/vectionlabs_Salience-27B-R6-GGUF
まとめページ Qwen3.8 のまとめ(記事8本)
公開元のまとめ Alibaba(Qwen) のモデルとライセンスのまとめ
公開日 2026-09-14
ライセンス apache-2.0
配布形式 GGUF
出典の種類 公開元の一次情報(公式HFリポジトリの一次情報)

情報を集めた時点で、当サイトのコードが確定させた値です。日付はJSTで表示しています。

当サイトで確かめたこと

  • GPU の無い当サイトのサーバー(Neoverse-N1・3スレッド・llama.cpp b11223)で vectionlabs_Salience-27B-R6-Q3_K_M.gguf(Q3_K_M)を動かし、生成は 0.9 トークン/秒でした(CPU での値で、GPU の速さの目安ではありません)。
  • 固定の日本語の質問への回答を、下に原文のまま載せています。
  • Qwen3 のトークナイザより約21%少ないトークンで同じ日本語を表せます。同じ文脈長に入る日本語が約1.26倍になり、生成も1字あたりで速くなります。

詳しい値と条件は、下の「当サイトでの実測」の節にあります。

bartowski氏より、Vection Labsが開発した「Salience-27B-R6」のGGUF量子化版モデル「bartowski/vectionlabs_Salience-27B-R6-GGUF」が公開されました。

本モデルは、Qwen3.8をベースにした全パラメータ活性型の27B Denseモデルであり、テキストに加えて画像や動画の入力にも対応しています。思考能力を維持しつつ過剰な思考トークンの消費を抑える「Reasoning economy」を重みレベルで実装しており、特に長期間のエージェントループ処理における効率化が図られています。

スペック

  • パラメータ数: 27.8B (Dense)
  • コンテキスト長: 1,048,576 トークン (YaRN + Dual Chunk Attention)
  • ライセンス: apache-2.0

性能

元モデルのモデルカードによれば、公式なベンチマークスイートによる測定結果は公開されていません(未計測)。

一方でモデルの設計方針として、前バージョン(R5)と比較して、同じ結論に達するための思考チェーン(Reasoning chain)を意図的に短縮する最適化が施されています。これにより、多段階のツール呼び出しを伴うエージェントワークロードにおいて作業全体の完了時間を大きく削減できるとされます。ただし、思考を短くしたこととのトレードオフとして、選択式の知識ベンチマーク等では前バージョンよりわずかにスコアが落ちる可能性があると説明されています。

得意なこと・想定用途

  • ソフトウェアエンジニアリングおよびコーディングエージェント(コード生成、デバッグ、リポジトリ全体に及ぶ変更等)。
  • ターミナル操作およびツール連携(マルチステップでのコマンド計画、実行結果の検証、エラーからの復旧)。
  • マルチモーダル入力を活かした技術解析(構成図、UIのスクリーンショット、スタックトレース画像、白板写真等の読解)。
  • MTP(Multi-Token Prediction)ヘッドを内蔵しており、対応環境でのセルフスペキュラティブデコーディングによる高速推論が可能です。

類似モデルとの違い

同じベースモデル(Qwen3.8-27B)派生の記事として、トークン数の削減と応答速度向上を図った Qwen3.8-27Bの高速化ファインチューン「Signal-3.8-27B-GGUF」公開 や、エージェント向けの軽量化を行った Qwopus3.8-27B-Flash GGUF版公開、エージェント向け軽量化モデル が存在します。

今回のSalience-27B-R6は、MoE構成ではなく全パラメータが常時動作する27B Dense構成を採用している点や、設定変更ではなくモデルの重み自体に短文思考の最適化を組み込み、マルチモーダル入力(画像・動画)と100万トークンを超える超長文コンテキストに標準対応している点が異なります。

動作環境

動作環境の目安(Local Model Watch 算出) — パラメータ数 27.8B(元モデル vectionlabs/Salience-27B-R6 の値)

手持ちのVRAM 選べる量子化 ファイルサイズ 必要メモリの目安
RTX 4070 / 3060 12GB など 12GB IQ2_M 9.8GB 11.8GB
RTX 5060 Ti 16GB / 4060 Ti 16GB など 16GB Q3_K_L 13.2GB 15.8GB
RTX 4090 / 3090 など 24GB Q5_K_M 19.5GB 23.4GB
RTX 5090 など 32GB Q6_K_L 23.2GB 27.9GB
RTX 6000 Ada / A6000 など 48GB Q8_0 27.1GB 32.5GB
A100 / H100 80GB クラス BF16 50.9GB 61.1GB

必要メモリは配布ファイルの実サイズに実行時のオーバーヘッド(KVキャッシュ等)を20%見込んだ概算で、文脈長・バッチサイズ・推論エンジンによって増減します。公開元の公称値ではなく、当サイトがファイルサイズから機械的に算出した値です。 他のモデルとの比較はVRAM別の早見表を参照してください。 量子化の名前の読み方は用語集にあります。

手元で動かせるか

Ollama・LM Studio・llama.cpp でそのまま動かせます。

GGUF形式で配布されているため、変換を待たずに手元で読み込めます。

ライセンス apache-2.0(商用利用可): 商用利用を含めて自由に利用・改変・再配布できます。再配布時にライセンス文と変更点の告知が必要で、特許の許諾条項があります。

量子化の圧縮率: IQ2_M は実測 3.03 bit/weight で、元の16bitの重みの約19%のサイズです(配布ファイルの実サイズから当サイトが算出)。

配布形式・当サイトが見つけた変換版・各推論エンジンの登録表を突き合わせた判定です。「確認できていない」は当サイトが見つけていないという意味で、存在しないことの断定ではありません。ライセンスの要約は法的助言ではないため、実際の利用にあたっては公開元の原文を確認してください。

当サイトでの実測

当サイトのサーバー(GPUなし)で、このモデルのファイルを実際に読み込み・動かして確かめた値です。モデルカードの記載ではなく、当サイトが測った結果です。測り方と全モデルの一覧は観測データにまとめています。

実測から分かったこと

バートワークスによるヴェクションラボ・サリエンス27BをCPUだけで動かしたところ、日本語の処理効率や要約、買い物の文章題といった特定の課題で実力を発揮した一方で、生成速度の遅さや知識問題での誤りという弱点も確認されました。Neoverse-N1プロセッサと3スレッドの環境において、Q3_K_Mの量子化モデルを動かした際の生成速度は毎秒0.87トークン、日本語の字数に直すと毎秒1.6字であり、同じ条件で測ったQwen3-8Bの毎秒4.57トークンと比べるとかなり遅い動作となっています。また、メモリ容量の都合で4bitでは大きすぎるため、より低いビット数で測定が行われました。

日本語のトークン効率については、1000字あたりのトークン数が546であり、同じ条件の比較対象であるQwen3の688トークンよりも少なく、同じ文脈長に長い日本語を収めることができます。5問の日本語の問いに対する検証では、約1200字の記事を3文で要約する課題において、指示通りに3文で166字の回答を出力し、上限での打ち切りや繰り返しのない綺麗な結果が得られました。買い物の文章題でも正解である280円をしっかりと答えており、春の俳句を3つ詠む課題や敬語のメール作成でも、上限での打ち切りを起こさずに最後まで答えを生成しています。

しかし、知識問題である海に面していない県を挙げる課題では、海に面していない8県のうち4県を挙げたものの、海に面している都道府県も2つ誤って挙げてしまいました。敬語のメールの回答には英単語が4つ混ざるなど、細かい部分での乱れも見受けられます。プロンプトの読み込み速度は毎秒1.04トークン、ピーク時のメモリは14.7GBを記録しており、実運用にあたっては速度面と知識の正確性を慎重に見極める必要があります。

日本語のトークン効率

トークナイザ 日本語1,000字あたりのトークン数 同じ内容の英文との比
このモデル 546 0.99倍
Qwen3 688 1.26倍
Llama 3.2 744 1.36倍
Gemma 3 564 1.03倍
gpt-oss 795 1.45倍
LLM-jp-3 497 0.85倍

Qwen3 のトークナイザより約21%少ないトークンで同じ日本語を表せます。同じ文脈長に入る日本語が約1.26倍になり、生成も1字あたりで速くなります。

vectionlabs/Salience-27B-R6 の tokenizer.json で、当サイトが書き下ろした固定の文章(876字。ニュース・会話・技術文書・敬語のメール・紀行文・料理の6種)と、同じ内容の英文を数えました。トークン数が少ないほど、同じ文脈長に長い日本語が入ります。

GGUFファイルの中身

対象: vectionlabs_Salience-27B-R6-Q4_K_M.gguf(16.24GB、Q4_K_M)。ファイルの先頭のメタデータだけを読んで確かめました(重みはダウンロードしていません)。

項目 値
アーキテクチャ(GGUF上の名前) qwen35
学習時の最大文脈長 1,048,576トークン
層の数 65
語彙数 248,320
チャットテンプレート 同梱(ツール呼び出しの記述あり・思考の切り替えの記述あり)
imatrix 使用(vectionlabs_Salience-27B-R6-calibration-v6.txt・624チャンク)
重みの型の内訳(パラメータ数の割合) Q4_K 74.5% / Q6_K 18.4% / Q8_0 4.8% / Q4_0 1.6% / その他 0.7%
平均のビット数 5.10ビット/重み
埋め込み層 / 出力層の型 Q4_K / Q6_K

ファイル名の量子化名はファイル全体の呼び名で、実際には層ごとに型が混ざっています。平均のビット数は、ファイルのデータの大きさを重みの数で割った実測値です。

CPUだけで動かした結果

項目 結果
プロンプトの読み込み(512トークン) 1.0 トークン/秒
生成(128トークン) 0.9 トークン/秒
生成を日本語の字数に換算 約1.6字/秒
ピーク時のメモリ(文脈4,096トークン) 14.7GB

条件: Neoverse-N1 の3スレッド・GPUなし・llama.cpp b11223・bartowski/vectionlabs_Salience-27B-R6-GGUF の Q3_K_M(12.48GB)・2026-09-29に測定しました。本体と画像を読む部品を合わせると当サイトの上限(13GB)を超えるため、画像の問いは省き、テキストの問いだけを尋ねました。4bit 前後のファイルは当サイトの上限(13GB)に収まらないため、ビット数の低い Q3_K_M で測りました(4bit より品質は下がります)。 同じ条件で測った他のモデル(ファイルの大きさが近い順):

→ 横にスクロールできます

モデル 量子化 ファイル 生成 日本語換算
Qwopus3.8-27B-Flash Q3_K_M 12.57GB 0.9 トークン/秒 1.7字/秒
K2-Horizon-MoVA-36B-A4B Q2_K 12.64GB 5.0 トークン/秒 8.9字/秒
Gryphe_Pantheon-Reasoning-26B-A4B-1.1-V2 Q3_K_S 12.26GB 6.2 トークン/秒 11.0字/秒
nex-agi_Nex-N2.5-mini Q2_K 12.89GB 7.3 トークン/秒 13.4字/秒

ピーク時のメモリは、ファイルをメモリに割り当てた分(mmap)を含みます。GPUのあるPCではこれより大幅に速くなります。ミニPC・ARMのボードなど、CPUだけで動かす環境の目安です。

日本語の質問への回答(原文のまま)

上の条件で、全モデルに同じ5問を日本語で尋ねた回答を、手を加えずに載せています(温度0・チャットテンプレートが対応していれば思考なし・最大1024トークン)。正誤は判定していません。答えが1つに決まる問いには、正解を併記します。

要約

次の記事を3文で要約してください。

みどり市は今年の春、市内に三つある公立図書館のうち最も古い中央図書館の改修を終え、十月一日に再開館した。改修は約一年半にわたり、総事業費は約十二億円。このうち約四億円は国の補助金でまかなわれた。

最大の変化は、閲覧席の配置である。以前は館内の座席の大半が学習用の机で、試験期間になると中高生で埋まり、高齢の利用者や小さな子ども連れが座れないという苦情が毎年寄せられていた。改修後は座席数を百二十席から二百席に増やしたうえで、学習用の机を三階にまとめ、一階は会話ができる「にぎわいフロア」、二階は静かに本を読む「閲覧フロア」に分けた。一階には予約制のグループ学習室が四室と、飲み物を持ち込めるカフェスペースも設けられた。

蔵書の面でも見直しが進んだ。貸出の少ない古い資料約三万冊を市内の他の館や保存書庫に移し、代わりに子ども向けの絵本と、介護・子育て・仕事探しといった暮らしに関わる実用書を約一万五千冊増やした。電子書籍の貸出サービスも始まり、利用登録をすれば自宅から一度に三冊まで、二週間借りられる。

建物そのものにも手が入った。築四十年を超えていた空調設備を入れ替え、屋上には太陽光パネルを設置して、館内で使う電力の約二割をまかなえるようにした。車いすの利用者から要望の多かったエレベーターは一基から二基に増え、書架の間の通路も以前より三十センチ広げられた。入口には段差のないスロープが新たに設けられ、授乳室と多目的トイレも各階に一つずつ置かれた。

一方で課題も残る。駐車場は改修前と同じ四十台のままで、週末には近くの道路に順番待ちの車が並んだ。市は隣接する市有地を臨時駐車場として開放したが、恒久的な対策は決まっていない。また、開館時間を平日の夜九時まで延ばしたことで職員の負担が増えており、職員団体は人員の追加を求めている。

利用者の受け止めはおおむね好意的だ。週に二度、孫を連れて来るという七十代の女性は「前は子どもが声を出すと周りの目が気になったが、一階なら気兼ねなく絵本を読んであげられる」と話す。一方、受験を控えた高校生の中には「学習席が三階だけになり、夕方はすぐに満席になる」と不満を漏らす人もいる。図書館は、学習席の空き状況をホームページで確認できる仕組みを年内に導入する予定だ。

再開館に合わせて、催しも増えた。毎週土曜の午前には読み聞かせ会、月に一度は地元の農家や商店主を講師に招く「まちの先生」講座が開かれる。十一月には、市内の中学生が選んだ本を紹介する展示も予定されている。

館長の山本和子さんは「本を借りる場所から、人が集まって過ごす場所へ変えたかった。再開館からの一か月で来館者は以前の一・八倍になった」と話す。市は来年度、残る二つの図書館についても利用者への聞き取りを行い、改修の必要性を検討する方針だ。

みどり市は約12億円の事業費をかけて中央図書館を改修し、10月1日に再開館した。改修では座席の増設とフロアごとの機能分化、蔵書の入れ替え、バリアフリー化などが行われ、来館者は再開館から1か月で以前比1.8倍に増加した。一方で、駐車場不足や職員負担の増加といった課題も残っており、市は来年度、残る2つの図書館の改修検討を進める方針だ。

敬語のメール

取引先の担当者に、来週火曜日の打ち合わせを水曜日に変更してほしいとお願いするメールを、丁寧な敬語で書いてください。

件名:来週の打ち合わせ日程変更のご相談

○○株式会社
○○部
○○様

いつも大変お世話になっております。
株式会社△△の△△です。

この度は、来週火曜日(○月○日)に予定しております打ち合わせの件、
大変恐縮ではございますが、日程の変更をお願いしたく、ご連絡いたしました。

社内調整の結果、火曜日にお伺いすることが難しい状況となりましたため、
同日の翌日である水曜日(○月○日)に変更させていただくことは可能でしょうか。

ご多忙のところ、ご迷惑をおかけいたしますことを深くお詫び申し上げます。
ご都合がよろしいようでしたら、水曜日の○時~○時でお願いしたく存じます。

ご確認のほど、何卒よろしくお願い申し上げます。

――――――――――――――――――――
株式会社△△
△△部 △△
TEL: 03-XXXX-XXXX
Email: xxxxx@xxx.co.jp
――――――――――――――――――――

文章題

りんごが1個120円、みかんが1個45円です。りんごを3個とみかんを8個買って、1,000円札で払いました。おつりはいくらですか。考え方も示してください。

りんごの代金:120円 × 3個 = 360円
みかんの代金:45円 × 8個 = 360円
合計:360円 + 360円 = 720円
おつり:1,000円 − 720円 = 280円

**おつりは280円です。**

参考: 正解は280円です(120×3=360円、45×8=360円、1,000−720=280円)。

知識

日本の都道府県のうち、海に面していない県をすべて挙げてください。

日本の都道府県で海に面していない県は、以下の6つです。

1. 山梨県
2. 長野県
3. 岐阜県
4. 愛知県
5. 滋賀県
6. 三重県

参考: 正解は8県です(栃木県・群馬県・埼玉県・山梨県・長野県・岐阜県・滋賀県・奈良県)。

指示どおりの創作

「春」をテーマにした俳句を3つ、五・七・五の音数を守って作ってください。それぞれに一言の説明を付けてください。

ご依頼の通り、「春」をテーマにした五・七・五の音数を厳密に守った俳句を3つ作成しました。

**1. 句**
> **春の風 桜吹雪の 舞い落ちる**

*   **音数確認**: 春(1)の(1)風(1) / 桜(1)吹(1)雪(1)の(1) / 舞(1)い(1)落(1)ち(1)る(1) → **5・7・5**
*   **説明**: 春の風に乗って舞い散る桜の花びら(吹雪)の、一瞬の美しさと儚さを描いた句です。

**2. 句**
> **菜の花 咲き乱れて 春の野**

*   **音数確認**: 菜(1)の(1)花(1) / 咲(1)き(1)乱(1)れ(1)て(1) / 春(1)の(1)野(1) → **5・7・5**
*   **説明**: 春の野原一面に咲き誇る菜の花の、力強く明るい生命力を表現した句です。

**3. 句**
> **鶯の 声に誘われ 春の朝**

*   **音数確認**: 鶯(1)の(1) / 声(1)に(1)誘(1)わ(1)れ(1) / 春(1)の(1)朝(1) → **5・7・5**
*   **説明**: 春の朝、鶯の美しい鳴き声に耳を傾け、春の訪れを実感する静かな情景を描いた句です。

入手方法

配布形式はGGUFで、Hugging Faceよりダウンロード可能です。

llama.cpp環境では以下のコマンドでインストールおよびサーバー起動を行える:

curl -LsSf https://llama.app/install.sh | sh
llama-server -hf bartowski/vectionlabs_Salience-27B-R6-GGUF:Q4_K_M

Hugging Face CLIを用いた個別ダウンロードのコマンド例:

hf download bartowski/vectionlabs_Salience-27B-R6-GGUF --include "vectionlabs_Salience-27B-R6-Q4_K_M.gguf" --local-dir./

本モデルはllama.cppのほか、LM Studio、koboldcpp、ramalama、Jan AI、Text Generation Web UI、LoLLMs、Atomic Chat等に対応しています。

画像認識を利用する場合は、同梱されているマルチモーダルプロジェクターファイル(mmproj-vectionlabs_Salience-27B-R6-f16.gguf または bf16)の指定(--mmproj)が必要となります。また、MTPによる高速化を利用する際はコマンドラインに --spec-type draft-mtp を付与します。

関連記事

次に読むなら

出典

更新履歴

  • 2026-09-24: 記事の組み立てを更新しました: 「手元で動かせるか」の判定(配布形式・変換版・推論エンジンの登録表・ライセンス・実測の圧縮率)を追加
  • 2026-09-25: タイトルを、記事で分かる内容(必要VRAM・配布ファイル等)を示す形に変更しました。
  • 2026-09-28: 当サイトでの実測(日本語のトークン効率・GGUFファイルの中身)を追加しました。
  • 2026-09-29: 当サイトでの実測(CPUでの速度と日本語の質問への回答)を追加しました。
  • 2026-09-30: タイトルを、記事で分かる内容(必要VRAM・配布ファイル等)を示す形に変更しました。