「Qwen-2.5-1B-RLCD」並列制約付きデコーディングのテキスト生成モデル：必要VRAM 4GB〜

2026年10月5日

「Qwen-2.5-1B-RLCD」並列制約付きデコーディングのテキスト生成モデル：必要VRAM 4GB〜

基本情報

項目 内容
リポジトリ harshatheg/Qwen-2.5-1B-RLCD
公開元のまとめ Alibaba(Qwen) のモデルとライセンスのまとめ
公開日 2026-09-16
ライセンス apache-2.0
配布形式 MLX
出典の種類 公開元の一次情報(Hugging Face公式モデルページが一次情報)

情報を集めた時点で、当サイトのコードが確定させた値です。日付はJSTで表示しています。

当サイトで確かめたこと

  • 同じ日本語を表すのに要るトークン数は、Qwen3 のトークナイザとほぼ同じです。

詳しい値と条件は、下の「当サイトでの実測」の節にあります。

概要

Apple Silicon環境での高効率な推論を実現するため、MLXフレームワーク向けの実装およびモデル harshatheg/Qwen-2.5-1B-RLCD が公開されました。本リポジトリは、ベースモデルに Qwen/Qwen2.5-1.5B-Instruct を採用し、並列制約付きデコーディング（Parallel Constrained Decoding）の手法を取り入れた推論エンジンを提供します。

従来の自己回帰型デコーディングではトークンを1つずつ順番に生成するため、スキーマが大きくなるにつれてレイテンシが増大していました。本手法では、マルチフィールドのJSONスキーマや選択肢（enum・boolean）を並列に評価することにより、Apple Silicon M4 Max上で5.6倍から7.0倍のレイテンシ削減と、100%のスキーマ妥当性を達成しています。

スペック

  • ベースモデル: Qwen/Qwen2.5-1.5B-Instruct
  • パラメータ数: 1.54B（非埋め込みパラメータ数: 1.31B）
  • コンテキスト長: フル32,768トークン（生成最大8,192トークン）
  • ライセンス: apache-2.0

性能

公開元がApple Silicon M4 Max（macOS Sequoia）環境下で mlx-community/Qwen2.5-1.5B-Instruct-4bit を用いて実施した測定結果によれば、通常の自己回帰ベースラインと並列制約付きデコーディングの比較結果は以下の通りです。

→ 横にスクロールできます

Scenario Fields Autoregressive Baseline Parallel Constrained Latency Speedup Syntax Validity
Fintech Fraud Routing 4 fields 420 ms (120 tok/s) 75 ms 5.6x 100% guaranteed
Code Security Audit 4 fields 380 ms (125 tok/s) 68 ms 5.6x 100% guaranteed
High-Cardinality Tariff 1 field (255 choices) 500 ms (118 tok/s) 89 ms 5.6x 100% guaranteed
Enterprise Support Triage 28 fields 1,900 ms (130 tok/s) 270 ms 7.0x 100% guaranteed

公開元の測定結果から、対象フィールド数が増加するシナリオほど並列処理の効果が顕著になることが示されています。28個のフィールドを抽出する「Enterprise Support Triage」では、従来の自己回帰生成が1,900 msを要したのに対し、本方式では270 msと7.0倍の大幅な高速化を実現しました。

また、選択肢が255項目存在する高カーディナリティの「High-Cardinality Tariff」や、4フィールドの「Fintech Fraud Routing」「Code Security Audit」においても、一貫して5.6倍（75 ms〜89 ms）の高速化を記録しています。いずれの検証ケースにおいても構文の妥当性（Syntax Validity）は100%保証されており、構造化データ出力時の文法エラーやフィールド抜けを完全に防止しながら高速処理を行える点が強みです。

得意なこと・想定用途

ベースモデルである Qwen/Qwen2.5-1.5B-Instruct の高い指示追従性と構造化データの理解能力を基盤としつつ、並列制約付きデコーディング技術を組み合わせることで、情報抽出や分類タスクに特化した強みを発揮します。

具体的には、入力コンテキストとスキーマ定義のテキストをMLXのKVキャッシュ（Key-Value Cache）に一度だけ事前ロード（Prefill）し、その状態を各フィールドの評価へ並列にブロードキャストします。フィールドごとに許可されたトークンIDのみをマスク抽出（Logit Slicing）して事前定義された選択肢（booleanや最大255個のenum）から直接確率を算出するため、無駄なトークン生成ループが発生しません。

これにより以下のような業務シナリオで威力を発揮します：
– 金融取引の不正検知ルーティング（リスクレベルの特定や確認要否の判定）
– セキュリティ監査（脆弱性コードの分類や修正プライオリティの割り当て）
– 大規模な顧客サポートチケットの自動トリアージ（部門振り分けや緊急度設定）
– 多数の分類候補が存在する製品コードや関税分類（HSコード等）の特定

JSONの構文崩れや不必要なキーの出力（ハルシネーション）が原理的に発生しないため、正確性が要求されるバックエンドシステムとの連携や自動パイプラインの構築に極めて適しています。

動作環境

動作環境の目安(Local Model Watch 算出) — パラメータ数 1.5B(元モデル Qwen/Qwen2.5-1.5B-Instruct の値)

手持ちのVRAM 選べる量子化 ファイルサイズ 必要メモリの目安
4GB(ノートPCの内蔵GPU・スマートフォンなど) BF16 2.9GB 3.5GB

必要メモリは配布ファイルの実サイズに実行時のオーバーヘッド(KVキャッシュ等)を20%見込んだ概算で、文脈長・バッチサイズ・推論エンジンによって増減します。公開元の公称値ではなく、当サイトがファイルサイズから機械的に算出した値です。 他のモデルとの比較はVRAM別の早見表を参照してください。 量子化の名前の読み方は用語集にあります。

手元で動かせるか

現時点では Ollama・LM Studio・llama.cpp で動かせません(GGUF版を確認できていない)。

公開元の配布は MLX のみです。現時点で動かすなら MLX (Apple Silicon) で読み込む形になり、必要メモリは上の表のとおりです。

ライセンス apache-2.0(商用利用可): 商用利用を含めて自由に利用・改変・再配布できます。再配布時にライセンス文と変更点の告知が必要で、特許の許諾条項があります。

配布形式・当サイトが見つけた変換版・各推論エンジンの登録表を突き合わせた判定です。「確認できていない」は当サイトが見つけていないという意味で、存在しないことの断定ではありません。ライセンスの要約は法的助言ではないため、実際の利用にあたっては公開元の原文を確認してください。

当サイトでの実測

当サイトのサーバー(GPUなし)で、このモデルのファイルを実際に読み込み・動かして確かめた値です。モデルカードの記載ではなく、当サイトが測った結果です。測り方と全モデルの一覧は観測データにまとめています。

日本語のトークン効率

トークナイザ 日本語1,000字あたりのトークン数 同じ内容の英文との比
このモデル 688 1.26倍
Qwen3 688 1.26倍
Llama 3.2 744 1.36倍
Gemma 3 564 1.03倍
gpt-oss 795 1.45倍
LLM-jp-3 497 0.85倍

同じ日本語を表すのに要るトークン数は、Qwen3 のトークナイザとほぼ同じです。

Qwen/Qwen2.5-1.5B-Instruct の tokenizer.json で、当サイトが書き下ろした固定の文章(876字。ニュース・会話・技術文書・敬語のメール・紀行文・料理の6種)と、同じ内容の英文を数えました。トークン数が少ないほど、同じ文脈長に長い日本語が入ります。

同クラスの既報モデル

当サイトが最近取り上げた、パラメータ数 〜4B のモデルを、比較のために記事ログからコードが並べたものです。VRAM階層は当サイトの概算、ライセンスはモデルカードの記載です。

→ 横にスクロールできます

モデル パラメータ数 最小のVRAM階層 ライセンス 記事
LiquidAI/LFM2.5-350M-Diffusion-Exp 425M 4GB lfm1.0 「LFM2.5-350M-Diffusion-Exp」ブロック拡散型の軽量言語モデル：必要VRAM 4GB〜(2026-10-03)
togethercomputer/Tev1-0.8B-experimental 873M 4GB — 「Tev1-0.8B-experimental」構造化データの選択肢選定に特化した意思決定モデル：必要VRAM 4GB〜(2026-09-25)
pfnet/plamo-3-610m-fin-instruct 890M 4GB plamo-community-license 「plamo-3-610m-fin-instruct」金融特化型の軽量日本語言語モデル：必要VRAM 4GB〜(2026-09-24)
tencent/Simple-Attention-Sparsification 4.0B 12GB — 「Simple-Attention-Sparsification」テキスト生成モデル：必要VRAM 12GB〜(2026-09-14)
openbmb/MiniCPM5-2B 2.5B 4GB apache-2.0 「MiniCPM5-2B」コードや数学に強いオンデバイスモデル：当サイトでの回答例・必要VRAM 4GB〜(2026-09-07)

入手方法

本モデルおよび推論エンジンは、MLXライブラリを通じて利用可能です。セットアップ手順および依存関係のインストールは以下のコマンドで実行できます。

git clone https://github.com/your-org/parallel-constrained-decoding.git
cd parallel-constrained-decoding

python3 -m venv.venv
source.venv/bin/activate
pip install -r requirements.txt

Pythonコードからは StructuredSchema を用いてスキーマを定義し、run_parallel_generation 関数を呼び出すことで並列高速推論を実行できます。また、Webインターフェース（python3 -m uvicorn server.app:app --host 0.0.0.0 --port 8000）を起動して、従来の自己回帰生成とのレイテンシ比較や構造化データ出力をブラウザ上で確認することも可能です。

同じ用途の既報モデル

当サイトが取り上げたテキスト生成のモデルを新しい順に並べています。用途は配布元がHugging Faceに付けたタスク(pipeline_tag)から機械的に分けたもので、最小のVRAM階層は当サイトの概算です。

テキスト生成のモデルをすべて見る →

次に読むなら

出典

更新履歴

  • 2026-09-24: 記事の組み立てを更新しました: 「手元で動かせるか」の判定(配布形式・変換版・推論エンジンの登録表・ライセンス・実測の圧縮率)を追加
  • 2026-09-25: タイトルを、記事で分かる内容(必要VRAM・配布ファイル等)を示す形に変更しました。
  • 2026-09-28: 当サイトでの実測(日本語のトークン効率)を追加しました。

新モデルApple Silicon,harshatheg/Qwen-2.5-1B-RLCD,MLX,Qwen2.5,構造化データ,確認済み