「MiMo-V2.6-Distill-Qwen-9B-GGUF」:当サイトでの回答例・必要VRAM 12GB〜

基本情報
| 項目 | 内容 |
|---|---|
| リポジトリ | ggml-org/MiMo-V2.6-Distill-Qwen-9B-GGUF |
| まとめページ | MiMo-V2.6 のまとめ(記事4本) |
| 公開元のまとめ | Alibaba(Qwen) のモデルとライセンスのまとめ |
| 公開日 | 2026-09-22 |
| ライセンス | mit |
| 配布形式 | GGUF |
| 出典の種類 | 公開元の一次情報(ggml-org公式リポジトリによるGGUF公開) |
情報を集めた時点で、当サイトのコードが確定させた値です。日付はJSTで表示しています。
当サイトで確かめたこと
- GPU の無い当サイトのサーバー(Neoverse-N1・3スレッド・llama.cpp b11223)で
MiMo-V2.6-Distill-Qwen-9B-Q8_0.gguf(Q8_0)を動かし、生成は 3.7 トークン/秒でした(CPU での値で、GPU の速さの目安ではありません)。 - 固定の日本語の質問への回答を、下に原文のまま載せています。
- Qwen3 のトークナイザより約21%少ないトークンで同じ日本語を表せます。同じ文脈長に入る日本語が約1.26倍になり、生成も1字あたりで速くなります。
詳しい値と条件は、下の「当サイトでの実測」の節にあります。
概要
2026年9月21日、Xiaomi MiMoが開発したエージェント指向モデル「MiMo-V2.6-Distill-Qwen-9B」のGGUF版が、ggml-orgより公開されました。本モデルは Qwen3.5-9B をベースモデルとし、MiMoが生成したデータセットを用いて蒸留(Distill)および教師あり微調整(SFT)を施した9.4Bパラメータのモデルです。コーディング、汎用エージェントタスク、視覚的コーディング、およびサイバーセキュリティの4つの主要ドメインをターゲットとして設計されています。
モデルカードによれば、本モデルはエージェント型強化学習におけるオープンな研究の出発点として公開されました。GGUF版の配布にあたっては、ビジョンエンコーダー用の Q8_0 mmproj ファイルも同梱されており、マルチモーダルなタスクへの対応が図られています。読者は llama.cpp や Ollama などの GGUF 対応環境で、このエージェント特化型モデルを試用することが可能です。
スペック
- パラメータ数: 9.4B
- アーキテクチャ: Qwen3_5ForConditionalGeneration (Qwen 3.5)
性能
以下に示す性能評価は、Xiaomi MiMoが公開した元モデル(XiaomiMiMo/MiMo-V2.6-Distill-Qwen-9B)のテクニカルレポートに基づく数値です。ベースとなった Qwen3.5-9B との比較が示されています。量子化版であるGGUF形式では、量子化のプロセスによりこれらの数値からわずかに変化する可能性がある点に留意してください。
→ 横にスクロールできます
| Domain | Benchmark | Metric | Qwen3.5-9B | MiMo-V2.6-Distill-Qwen-9B (SFT) |
|---|---|---|---|---|
| Code | SWE Verified | avg@3 | 60.0 | 61.1 |
| Code | SWE Pro | avg@3 | 32.0 | 44.6 |
| Code | MiMo Code (mini)† | avg@3 | 19.5 | 51.6 |
| Cyber | MiMo Cyber (mini)† | avg@3 | 5.7 | 31.3 |
| General | AutomationBench v1.0.6 | avg@1 | 5.0 | 30.3 |
| General | Terminal Bench 2.1 | avg@1 | 27.0 | 37.1 |
| General | Toolathlon-Verified | avg@1 | 25.9 | 35.2 |
| General | OfficeQA | avg@1 | 9.0 | 19.5 |
| General | JobBench | avg@1 | 2.6 | 18.3 |
| General | MiMo General (mini)† | avg@1 | 28.5 | 62.2 |
| Visual | MiMo Visual Coding (mini)† | avg@1 | 61.7 | 64.0 |
† 内部評価セットによる数値
公開元の測定結果から、本モデルはベースモデルである Qwen3.5-9B と比較して、ほぼ全ての評価項目でスコアを向上させていることが分かります。特に「Terminal Bench 2.1」において、ベースモデルの 27.0 から 37.1 へとスコアを伸ばしている点は注目に値します。Terminal-Bench は、ターミナル上で実際にコマンドを実行し、与えられた作業を最後までやり切れるかというエージェントとしての実用能力を測る指標であり、本モデルが端末操作を伴うタスクに強いことを示唆しています。
また、コーディング分野の難関ベンチマークである SWE Pro では 32.0 から 44.6 へ、サイバーセキュリティ分野の内部評価(MiMo Cyber mini)では 5.7 から 31.3 へと、特定の専門領域で飛躍的な向上が見られます。一方で、SWE Verified のように 60.0 から 61.1 という僅差の向上に留まっている項目もあり、全てのコーディングタスクで一様に圧倒的な差が出るわけではないことも読み取れます。総じて、自動化(AutomationBench)やツール利用(Toolathlon-Verified)といった、エージェント的な振る舞いが求められる領域で特に強みを発揮するモデルと言えます。
参考として、本モデルのトレーニングに使用されたデータの構成は以下の通り報告されています。合計 77.4B トークンのうち、学習に寄与する Loss-bearing トークンは 27.2B トークンとなっています。
| Domain | Total tokens (B) | Token share (%) | Loss-bearing tokens (B) |
|---|---|---|---|
| Code | 23.2 | 29.9 | 7.3 |
| Cyber | 11.0 | 14.2 | 4.8 |
| General | 22.0 | 28.5 | 5.7 |
| Visual | 21.2 | 27.4 | 9.4 |
| Total | 77.4 | 100.0 | 27.2 |
得意なこと・想定用途
本モデルの最大のアイデンティティは、単なるテキスト生成に留まらない「エージェント(Agentic)」としての高度な自律性にあります。開発元のXiaomi MiMoが、エージェント型強化学習の研究基盤として本モデルを位置づけている通り、複雑な指示を解釈し、それを具体的なステップに分解して実行する能力に長けています。ベースモデルである Qwen3.5-9B に対して、MiMoが生成した高品質なデータセットを用いて教師あり微調整(SFT)を施したことで、特定の専門領域において劇的な進化を遂げています。
特に注目すべきは、ターミナル操作を伴うタスクへの適応力です。性能セクションで言及した「Terminal-Bench 2.1」における高いスコアは、このモデルがローカル環境やサーバー上でのコマンドライン操作を正確にシミュレート、あるいは指示できることを示しています。システム管理の自動化スクリプトの作成や、複雑なデプロイ手順の構築、さらには対話形式でのシステムトラブルシューティングなど、エンジニアの日常的なワークフローを直接的に支援するポテンシャルを秘めています。ツール利用(Tool-use)に関しても、Toolathlon-Verified でのスコア向上が示す通り、外部ツールを適切に呼び出してタスクを完遂する能力が強化されています。
また、本モデルは「思考(Thinking)」プロセスを明示的に出力できる設計となっています。これは、モデルが最終的な回答を出す前に内部的な推論ステップを踏むことを意味しており、特に数学的な計算や複雑なアルゴリズムの構築において、論理的な破綻を防ぐ効果があります。ユーザーは API 経由で思考機能を有効化することで、モデルがどのような論理展開を経て結論に至ったのかを reasoning_content として確認できます。この透明性は、デバッグ作業や、モデルの判断根拠を人間が検証する必要があるクリティカルなシーンで極めて有用です。
対応ドメインの広さと専門性も特筆すべき点です。トレーニングデータにおいて、以下の4つの分野が戦略的に配合されています。
- コーディングと視覚の融合: 「Visual Coding」ドメインの強化により、例えばウェブサイトのスクリーンショットやUI設計図を読み取り、それを実現するためのHTML/CSSやReactコードを生成するといった、視覚情報を起点とした開発タスクに対応します。トレーニングデータの27.4%が視覚関連(Visual)に割り当てられており、画像認識とコード生成の高度な連携が期待できます。
- サイバーセキュリティ: 110億トークン(11.0B tokens)に及ぶサイバーセキュリティ関連のデータが投入されています。これにより、脆弱性診断の補助やセキュリティログの解析、ペネトレーションテストのシナリオ作成など、一般的なLLMでは対応が難しい専門性の高いセキュリティ業務への応用が想定されています。
- 汎用エージェントタスク: OfficeQAやJobBenchといったベンチマークでのスコア向上が示す通り、オフィス業務の自動化やジョブプロセスの管理など、実務に即したエージェント機能が強化されています。
動作環境
動作環境の目安(Local Model Watch 算出) — パラメータ数 9.4B(元モデル XiaomiMiMo/MiMo-V2.6-Distill-Qwen-9B の値)
| 手持ちのVRAM | 選べる量子化 | ファイルサイズ | 必要メモリの目安 |
|---|---|---|---|
| RTX 4070 / 3060 12GB など 12GB | Q8_0 | 8.9GB | 10.6GB |
必要メモリは配布ファイルの実サイズに実行時のオーバーヘッド(KVキャッシュ等)を20%見込んだ概算で、文脈長・バッチサイズ・推論エンジンによって増減します。公開元の公称値ではなく、当サイトがファイルサイズから機械的に算出した値です。 他のモデルとの比較はVRAM別の早見表を参照してください。 量子化の名前の読み方は用語集にあります。
手元で動かせるか
Ollama・LM Studio・llama.cpp でそのまま動かせます。
GGUF形式で配布されているため、変換を待たずに手元で読み込めます。
ライセンス mit(商用利用可): 商用利用を含めて自由に利用・改変・再配布できます。再配布時に著作権表示とライセンス文を残すことが条件です。
量子化の圧縮率: Q8_0 は実測 8.12 bit/weight で、元の16bitの重みの約51%のサイズです(配布ファイルの実サイズから当サイトが算出)。
配布形式・当サイトが見つけた変換版・各推論エンジンの登録表を突き合わせた判定です。「確認できていない」は当サイトが見つけていないという意味で、存在しないことの断定ではありません。ライセンスの要約は法的助言ではないため、実際の利用にあたっては公開元の原文を確認してください。
当サイトでの実測
当サイトのサーバー(GPUなし)で、このモデルのファイルを実際に読み込み・動かして確かめた値です。モデルカードの記載ではなく、当サイトが測った結果です。測り方と全モデルの一覧は観測データにまとめています。
実測から分かったこと
MiMo-V2.6-Distill-Qwen-9B-GGUFのQ8_0ファイルをNeoverse-N1のCPUと3スレッドで動かしたところ、生成速度は毎秒3.69トークン、日本語の字数に直すと毎秒6.8字となりました。同じ条件で測ったCloudflare_clef-flashの毎秒3.85トークンと近い速さが出ており、ピーク時のメモリは14.8GBを消費しました。また、日本語1000字あたりのトークン数は546個であり、Qwen3の688個と比べて少ないトークンで効率よく日本語を処理できます。
日本語の5問の問いに対しては、すべての問題で回答が得られ、上限での打ち切りや同じ行の繰り返し、思考文章の混入は見られませんでした。約1200字の記事の要約では指定された3文通りの文章を出力し、買い物の文章題では正解の280円を答えることができました。さらに、画像読み取りにおいても、曜日別の来客数のグラフで最も多い曜日や土曜日の260人、平日の合計である635人をすべて正しく回答しました。
一方で、知識を問う海に面していない県を挙げる問題では、海に面していない8県のうち3県を挙げたものの、海に面している都道府県を11個も誤って挙げてしまいました。取引先への敬語のメールの作成では回答自体は得られたものの、日本語の回答の中に英単語が2つ混ざる場面がありました。全体として計算やデータの読み取りは正確にこなせた一方で、地理に関する知識の正確な把握には課題が残る結果となりました。
日本語のトークン効率
| トークナイザ | 日本語1,000字あたりのトークン数 | 同じ内容の英文との比 |
|---|---|---|
| このモデル | 546 | 0.99倍 |
| Qwen3 | 688 | 1.26倍 |
| Llama 3.2 | 744 | 1.36倍 |
| Gemma 3 | 564 | 1.03倍 |
| gpt-oss | 795 | 1.45倍 |
| LLM-jp-3 | 497 | 0.85倍 |
Qwen3 のトークナイザより約21%少ないトークンで同じ日本語を表せます。同じ文脈長に入る日本語が約1.26倍になり、生成も1字あたりで速くなります。
XiaomiMiMo/MiMo-V2.6-Distill-Qwen-9B の tokenizer.json で、当サイトが書き下ろした固定の文章(876字。ニュース・会話・技術文書・敬語のメール・紀行文・料理の6種)と、同じ内容の英文を数えました。トークン数が少ないほど、同じ文脈長に長い日本語が入ります。
GGUFファイルの中身
対象: MiMo-V2.6-Distill-Qwen-9B-Q8_0.gguf(8.87GB、Q8_0)。ファイルの先頭のメタデータだけを読んで確かめました(重みはダウンロードしていません)。
| 項目 | 値 |
|---|---|
| アーキテクチャ(GGUF上の名前) | qwen35 |
| 学習時の最大文脈長 | 262,144トークン |
| 層の数 | 32 |
| 語彙数 | 248,320 |
| チャットテンプレート | 同梱(ツール呼び出しの記述あり・思考の切り替えの記述あり) |
| imatrix | ファイルに記録なし |
| 重みの型の内訳(パラメータ数の割合) | Q8_0 100.0% / F32 0.0% |
| 平均のビット数 | 8.50ビット/重み |
| 埋め込み層 / 出力層の型 | Q8_0 / Q8_0 |
ファイル名の量子化名はファイル全体の呼び名で、実際には層ごとに型が混ざっています。平均のビット数は、ファイルのデータの大きさを重みの数で割った実測値です。
CPUだけで動かした結果
| 項目 | 結果 |
|---|---|
| プロンプトの読み込み(512トークン) | 16.1 トークン/秒 |
| 生成(128トークン) | 3.7 トークン/秒 |
| 生成を日本語の字数に換算 | 約6.8字/秒 |
| ピーク時のメモリ(文脈4,096トークン) | 14.8GB |
条件: Neoverse-N1 の3スレッド・GPUなし・llama.cpp b11223・ggml-org/MiMo-V2.6-Distill-Qwen-9B-GGUF の Q8_0(8.87GB)・2026-09-30に測定しました。4bit 前後の配布が無いため、配布されている Q8_0 で測りました。 同じ条件で測った他のモデル(ファイルの大きさが近い順):
→ 横にスクロールできます
| モデル | 量子化 | ファイル | 生成 | 日本語換算 |
|---|---|---|---|---|
| Qwen3.8-27B | IQ3_XXS |
10.18GB | 0.6 トークン/秒 | 1.2字/秒 |
| Xing4.0-29B-A4B | IQ2_M |
10.99GB | 4.5 トークン/秒 | — |
| Signal-3.8-27B | IQ3_XXS |
11.39GB | 0.6 トークン/秒 | 1.2字/秒 |
| Gryphe_Pantheon-Reasoning-26B-A4B-1.1-V2 | Q3_K_S |
12.26GB | 6.2 トークン/秒 | 11.0字/秒 |
ピーク時のメモリは、ファイルをメモリに割り当てた分(mmap)を含みます。GPUのあるPCではこれより大幅に速くなります。ミニPC・ARMのボードなど、CPUだけで動かす環境の目安です。
日本語の質問への回答(原文のまま)
上の条件で、全モデルに同じ5問を日本語で尋ねた回答を、手を加えずに載せています(温度0・チャットテンプレートが対応していれば思考なし・最大1024トークン)。正誤は判定していません。答えが1つに決まる問いには、正解を併記します。
要約
次の記事を3文で要約してください。
みどり市は今年の春、市内に三つある公立図書館のうち最も古い中央図書館の改修を終え、十月一日に再開館した。改修は約一年半にわたり、総事業費は約十二億円。このうち約四億円は国の補助金でまかなわれた。
最大の変化は、閲覧席の配置である。以前は館内の座席の大半が学習用の机で、試験期間になると中高生で埋まり、高齢の利用者や小さな子ども連れが座れないという苦情が毎年寄せられていた。改修後は座席数を百二十席から二百席に増やしたうえで、学習用の机を三階にまとめ、一階は会話ができる「にぎわいフロア」、二階は静かに本を読む「閲覧フロア」に分けた。一階には予約制のグループ学習室が四室と、飲み物を持ち込めるカフェスペースも設けられた。
蔵書の面でも見直しが進んだ。貸出の少ない古い資料約三万冊を市内の他の館や保存書庫に移し、代わりに子ども向けの絵本と、介護・子育て・仕事探しといった暮らしに関わる実用書を約一万五千冊増やした。電子書籍の貸出サービスも始まり、利用登録をすれば自宅から一度に三冊まで、二週間借りられる。
建物そのものにも手が入った。築四十年を超えていた空調設備を入れ替え、屋上には太陽光パネルを設置して、館内で使う電力の約二割をまかなえるようにした。車いすの利用者から要望の多かったエレベーターは一基から二基に増え、書架の間の通路も以前より三十センチ広げられた。入口には段差のないスロープが新たに設けられ、授乳室と多目的トイレも各階に一つずつ置かれた。
一方で課題も残る。駐車場は改修前と同じ四十台のままで、週末には近くの道路に順番待ちの車が並んだ。市は隣接する市有地を臨時駐車場として開放したが、恒久的な対策は決まっていない。また、開館時間を平日の夜九時まで延ばしたことで職員の負担が増えており、職員団体は人員の追加を求めている。
利用者の受け止めはおおむね好意的だ。週に二度、孫を連れて来るという七十代の女性は「前は子どもが声を出すと周りの目が気になったが、一階なら気兼ねなく絵本を読んであげられる」と話す。一方、受験を控えた高校生の中には「学習席が三階だけになり、夕方はすぐに満席になる」と不満を漏らす人もいる。図書館は、学習席の空き状況をホームページで確認できる仕組みを年内に導入する予定だ。
再開館に合わせて、催しも増えた。毎週土曜の午前には読み聞かせ会、月に一度は地元の農家や商店主を講師に招く「まちの先生」講座が開かれる。十一月には、市内の中学生が選んだ本を紹介する展示も予定されている。
館長の山本和子さんは「本を借りる場所から、人が集まって過ごす場所へ変えたかった。再開館からの一か月で来館者は以前の一・八倍になった」と話す。市は来年度、残る二つの図書館についても利用者への聞き取りを行い、改修の必要性を検討する方針だ。
みどり市の中央図書館は約一年半、総事業費約12億円(国補助約4億円)をかけて改修し、10月1日に「人が集まる場所」へと姿を変えて再開館しました。閲覧席を20席増やして階ごとに用途を分け、蔵書や設備も刷新した一方、駐車場の不足や職員負担の増大といった課題も残っています。館長は再開館一か月で来館者が1.8倍になったと報告し、市は残る二館の改修検討へ進める方針です。
敬語のメール
取引先の担当者に、来週火曜日の打ち合わせを水曜日に変更してほしいとお願いするメールを、丁寧な敬語で書いてください。
件名:【ご相談】来週火曜日の打ち合わせ日程変更のご依頼(〇〇株式会社 御中)
〇〇株式会社
御中
平素より格別のご高配を賜り、厚く御礼申し上げます。
このたび、来週火曜日(〇月〇日)に予定しております打ち合わせにつきまして、
下記のとおり日程を変更させていただきたく、ご相談申し上げます。
■ 変更内容
・変更前:〇月〇日(火)〇〇時〜〇〇時
・変更後:〇月〇日(水)〇〇時〜〇〇時
変更の理由といたしましては、火曜日の日程が他社との重要なお打ち合わせと重複してしまい、
本件に十分なご時間を割くことができない状況が生じております。
つきましては、より円滑にご対応いただくため、水曜日の日程へ変更をお願い申し上げます。
なお、水曜日の〇〇時〜〇〇時がご都合に合わない場合は、
〇〇時〜〇〇時、または〇〇日(金)〇〇時〜〇〇時など、
下記よりご都合のよい時間帯をご指定いただけますと幸いです。
何卒、ご多忙の折、お手数をおかけいたしますが、
何卒よろしくお願い申し上げます。
■ 変更後の日程のご確認
〇〇株式会社 〇〇 〇〇
(担当部署名)
TEL:〇〇〇〇-〇〇〇〇
E-MAIL:〇〇〇〇@〇〇〇〇.co.jp
以上
文章題
りんごが1個120円、みかんが1個45円です。りんごを3個とみかんを8個買って、1,000円札で払いました。おつりはいくらですか。考え方も示してください。
りんご3個とみかん8個の合計金額を計算します。
- りんご: 120円 × 3個 = 360円
- みかん: 45円 × 8個 = 360円
- 合計: 360円 + 360円 = 720円
1,000円札で払ったので、おつりは:
1,000円 - 720円 = 280円
**おつりは280円です。**
参考: 正解は280円です(120×3=360円、45×8=360円、1,000−720=280円)。
知識
日本の都道府県のうち、海に面していない県をすべて挙げてください。
日本の都道府県で、海に面していない(内陸)の12県は以下の通りです。
1. 北海道
2. 青森県
3. 岩手県
4. 宮城県
5. 秋田県
6. 山形県
7. 福島県
8. 茨城県
9. 栃木県
10. 群馬県
11. 埼玉県
12. 千葉県
13. 東京都
14. 神奈川県
合計14県です。
参考: 正解は8県です(栃木県・群馬県・埼玉県・山梨県・長野県・岐阜県・滋賀県・奈良県)。
指示どおりの創作
「春」をテーマにした俳句を3つ、五・七・五の音数を守って作ってください。それぞれに一言の説明を付けてください。
春をテーマにした俳句を3つ、五・七・五の音数を守って作りました。
**① 芽吹く草に 風がふわりと 春の便り**
(めぶくくさにかぜがふわりと はるのはがき)
**説明:** 地面にそっと芽を出した草に、やわらかな風が吹き、春の訪れを運んでくる情景。静かな春の始まりを、風と草のふれあいで表現しています。
**② 桜の枝に 雪がとけ 春の便り**
(さくらのえだにゆきがとけ はるのはがき)
**説明:** 桜の枝に残った雪が溶け、春の訪れを告げる情景。冬の残りと春の訪れが同じ枝に重なる、移ろいの美しい瞬間を捉えています。
**③ 花見の席に 春の便り 花びら舞う**
(はなみのざきに はるのはがき はなびらまう)
**説明:** 花見の席で春の便りを迎える、賑やかで明るい情景。花びらが舞い散る春の宴を、人々の集う場として描いています。
いずれも「春の便り」という言葉で春の訪れを象徴的に表現しています。ご希望があれば、別の情景や季節の移ろいをテーマにした俳句も作成できます。
画像を読ませた結果(原文のまま)
上と同じ条件で、当サイトがコードで描いた画像(日本語のグラフと表)を渡して尋ねた回答を、手を加えずに載せています。正解は、画像を描いたコードが計算した値です。
グラフの読み取り

このグラフで来客数が最も多い曜日と、その人数を答えてください。また、平日(月曜日〜金曜日)の来客数の合計も求めてください。
このグラフから読み取れる情報を整理します。
**来客数が最も多い曜日**
- **土曜日**:**260人**
**平日(月曜日〜金曜日)の来客数の合計**
- 月曜日:120人
- 火曜日:95人
- 水曜日:110人
- 木曜日:130人
- 金曜日:180人
120 + 95 + 110 + 130 + 180 = **635人**
したがって、答えは「**土曜日(260人)**」で、平日の合計は**635人**です。
参考: 正解は土曜日の260人。平日の合計は635人(120+95+110+130+180)。
表の読み取りと計算

この表の品目ごとの金額(数量×単価)と、合計金額を答えてください。
この表の計算結果は以下の通りです。
| 品目 | 数量 | 単価 | 金額(数量×単価) |
|---|---:|---:|---:|
| りんご | 3 | 120円 | **360円** |
| みかん | 8 | 45円 | **360円** |
| 牛乳 | 2 | 198円 | **396円** |
| 食パン | 1 | 238円 | **238円** |
**合計金額:1,354円**
計算の過程:
- りんご:3 × 120円 = 360円
- みかん:8 × 45円 = 360円
- 牛乳:2 × 198円 = 396円
- 食パン:1 × 238円 = 238円
360 + 360 + 396 + 238 = 1,354円
参考: 正解はりんご360円、みかん360円、牛乳396円、食パン238円で、合計1,354円。
入手方法
本モデルは GGUF 形式で公開されており、ggml-org のリポジトリからダウンロード可能です。GGUF 形式の採用により、CPU 推論や GPU オフロードを柔軟に組み合わせた運用が可能となっており、メモリリソースが限られたローカル環境でも、9.4B パラメータのモデルを効率的に動作させることができます。
入手および実行には、llama.cpp エコシステムのツールが推奨されます。例えば、llama.app を使用する場合、以下のコマンドで Hugging Face から直接モデルをロードし、API サーバーを立ち上げることができます。
llama serve -hf ggml-org/MiMo-V2.6-Distill-Qwen-9B-GGUF
本モデルはマルチモーダル対応であるため、テキスト用のメインモデルファイルに加えて、ビジョンエンコーダー用の mmproj ファイルが必要となります。リポジトリには Q8_0 量子化済みの mmproj ファイルが同梱されており、画像入力を利用する際にはこのファイルを指定してロードしてください。量子化版であっても、ビジョンエンコーダーに Q8_0 という高精度なビット数を割り当てることで、視覚情報の認識精度を維持する工夫がなされています。
また、元モデルの仕様に基づき、推論時には MiMo v2.6 専用のチャットテンプレートを使用することが推奨されます。SGLang などのエンジンを使用する場合は、--reasoning-parser mimo フラグを立てることで、前述の思考プロセス(Thinking)を適切にパースし、利用することが可能になります。ローカル環境で「思考するエージェント」を構築したい技術者にとって、非常に扱いやすいパッケージとなっています。
関連記事
- 「clef-flash」構造化出力特化型モデル:当サイトでの回答例・必要VRAM 4GB〜・GGUF版あり
- 「LensVLM-9B」長文を画像として縮小して処理する視覚言語モデル:必要VRAM 4GB〜・GGUF版あり
- 「GLM-5.3-Flash-GGUF」VLMモデル:必要メモリ約150GB
- 「OpenJev-GGUF」27.4Bの意思決定特化型モデル:必要VRAM 24GB〜
次に読むなら
- GPUのVRAMから探す(このモデルは12GBの階層から動きます) → 12GBのGPUで動くほかのモデル
- 同じモデル系統を調べる → MiMo-V2.6 系統のまとめ(記事4本・変換版4件)
- このモデルを動かすエンジンを調べる → llama.cpp / Ollama
- 入手できる形式と、表に出てくる Q8_0 の意味を知る → GGUF形式の解説と対応モデル / 量子化・モデル形式の用語集
- 公開元について調べる → Alibaba(Qwen) のモデル・ライセンス・記事のまとめ
出典
- https://huggingface.co/ggml-org/MiMo-V2.6-Distill-Qwen-9B-GGUF
- https://huggingface.co/XiaomiMiMo/MiMo-V2.6-Distill-Qwen-9B
更新履歴
- 2026-09-24: 記事の組み立てを更新しました: 「手元で動かせるか」の判定(配布形式・変換版・推論エンジンの登録表・ライセンス・実測の圧縮率)を追加
- 2026-09-25: タイトルを、記事で分かる内容(必要VRAM・配布ファイル等)を示す形に変更しました。
- 2026-09-28: 当サイトでの実測(日本語のトークン効率)を追加しました。
- 2026-09-30: 当サイトでの実測(CPUでの速度と日本語の質問への回答)を追加しました。
- 2026-09-30: タイトルを、記事で分かる内容(必要VRAM・配布ファイル等)を示す形に変更しました。
- 2026-10-06: 当サイトでの実測(GGUFファイルの中身)を追加しました。

