harshatheg/Qwen-2.5-1B-RLCD公開：Apple Silicon向け並列制約付きデコーディング
基本情報
| 項目 | 内容 |
|---|---|
| リポジトリ | harshatheg/Qwen-2.5-1B-RLCD |
| 公開日 | 2026-09-16 |
| ライセンス | apache-2.0 |
| 配布形式 | MLX |
| 出典の種類 | 公開元の一次情報(Hugging Face公式モデルページが一次情報) |
収集・肉付けの時点で当サイトのコードが確定させた値です。日付はJST。
概要
Apple Silicon環境での高効率な推論を実現するため、MLXフレームワーク向けの実装およびモデル harshatheg/Qwen-2.5-1B-RLCD が公開されました。本リポジトリは、ベースモデルに Qwen/Qwen2.5-1.5B-Instruct を採用し、並列制約付きデコーディング（Parallel Constrained Decoding）の手法を取り入れた推論エンジンを提供します。
従来の自己回帰型デコーディングではトークンを1つずつ順番に生成するため、スキーマが大きくなるにつれてレイテンシが増大していました。本手法では、マルチフィールドのJSONスキーマや選択肢（enum・boolean）を並列に評価することにより、Apple Silicon M4 Max上で5.6倍から7.0倍のレイテンシ削減と、100%のスキーマ妥当性を達成しています。
スペック
- ベースモデル: Qwen/Qwen2.5-1.5B-Instruct
- パラメータ数: 1.54B（非埋め込みパラメータ数: 1.31B）
- コンテキスト長: フル32,768トークン（生成最大8,192トークン）
- ライセンス: apache-2.0
性能
公開元がApple Silicon M4 Max（macOS Sequoia）環境下で mlx-community/Qwen2.5-1.5B-Instruct-4bit を用いて実施した測定結果によれば、通常の自己回帰ベースラインと並列制約付きデコーディングの比較結果は以下の通りです。
→ 横にスクロールできます
| Scenario | Fields | Autoregressive Baseline | Parallel Constrained | Latency Speedup | Syntax Validity |
|---|---|---|---|---|---|
| Fintech Fraud Routing | 4 fields | 420 ms (120 tok/s) | 75 ms | 5.6x | 100% guaranteed |
| Code Security Audit | 4 fields | 380 ms (125 tok/s) | 68 ms | 5.6x | 100% guaranteed |
| High-Cardinality Tariff | 1 field (255 choices) | 500 ms (118 tok/s) | 89 ms | 5.6x | 100% guaranteed |
| Enterprise Support Triage | 28 fields | 1,900 ms (130 tok/s) | 270 ms | 7.0x | 100% guaranteed |
公開元の測定結果から、対象フィールド数が増加するシナリオほど並列処理の効果が顕著になることが示されています。28個のフィールドを抽出する「Enterprise Support Triage」では、従来の自己回帰生成が1,900 msを要したのに対し、本方式では270 msと7.0倍の大幅な高速化を実現しました。
また、選択肢が255項目存在する高カーディナリティの「High-Cardinality Tariff」や、4フィールドの「Fintech Fraud Routing」「Code Security Audit」においても、一貫して5.6倍（75 ms〜89 ms）の高速化を記録しています。いずれの検証ケースにおいても構文の妥当性（Syntax Validity）は100%保証されており、構造化データ出力時の文法エラーやフィールド抜けを完全に防止しながら高速処理を行える点が強みです。
得意なこと・想定用途
ベースモデルである Qwen/Qwen2.5-1.5B-Instruct の高い指示追従性と構造化データの理解能力を基盤としつつ、並列制約付きデコーディング技術を組み合わせることで、情報抽出や分類タスクに特化した強みを発揮します。
具体的には、入力コンテキストとスキーマ定義のテキストをMLXのKVキャッシュ（Key-Value Cache）に一度だけ事前ロード（Prefill）し、その状態を各フィールドの評価へ並列にブロードキャストします。フィールドごとに許可されたトークンIDのみをマスク抽出（Logit Slicing）して事前定義された選択肢（booleanや最大255個のenum）から直接確率を算出するため、無駄なトークン生成ループが発生しません。
これにより以下のような業務シナリオで威力を発揮します：
– 金融取引の不正検知ルーティング（リスクレベルの特定や確認要否の判定）
– セキュリティ監査（脆弱性コードの分類や修正プライオリティの割り当て）
– 大規模な顧客サポートチケットの自動トリアージ（部門振り分けや緊急度設定）
– 多数の分類候補が存在する製品コードや関税分類（HSコード等）の特定
JSONの構文崩れや不必要なキーの出力（ハルシネーション）が原理的に発生しないため、正確性が要求されるバックエンドシステムとの連携や自動パイプラインの構築に極めて適しています。
動作環境
動作環境の目安(Local Model Watch 算出) — パラメータ数 1.5B(元モデル Qwen/Qwen2.5-1.5B-Instruct の値)
| 手持ちのVRAM | 選べる量子化 | ファイルサイズ | 必要メモリの目安 |
|---|---|---|---|
| RTX 4060 / 3060 Ti など 8GB | BF16 | 2.9GB | 3.5GB |
必要メモリは配布ファイルの実サイズに実行時のオーバーヘッド(KVキャッシュ等)を20%見込んだ概算で、文脈長・バッチサイズ・推論エンジンによって増減します。公開元の公称値ではなく、当サイトがファイルサイズから機械的に算出した値です。 他のモデルとの比較はVRAM別の早見表を参照してください。 量子化の名前の読み方は用語集にあります。
同クラスの既報モデル
当サイトが最近取り上げた、パラメータ数 〜4B のモデルを、比較のために記事ログからコードが並べたものです。VRAM階層は当サイトの概算、ライセンスはモデルカードの記載です。
→ 横にスクロールできます
| モデル | パラメータ数 | 最小のVRAM階層 | ライセンス | 記事 |
|---|---|---|---|---|
| tencent/Simple-Attention-Sparsification | 4.0B | 12GB | — | Tencent、Qwen3向けSASスパースアテンションチェックポイント公開(2026-09-14) |
| openbmb/MiniCPM5-2B | 2.5B | 4GB | apache-2.0 | OpenBMB、2BクラスでSOTAを達成したオンデバイスモデル「MiniCPM5-2B」公開(2026-09-07) |
入手方法
本モデルおよび推論エンジンは、MLXライブラリを通じて利用可能です。セットアップ手順および依存関係のインストールは以下のコマンドで実行できます。
git clone https://github.com/your-org/parallel-constrained-decoding.git
cd parallel-constrained-decoding
python3 -m venv.venv
source.venv/bin/activate
pip install -r requirements.txt
Pythonコードからは StructuredSchema を用いてスキーマを定義し、run_parallel_generation 関数を呼び出すことで並列高速推論を実行できます。また、Webインターフェース（python3 -m uvicorn server.app:app --host 0.0.0.0 --port 8000）を起動して、従来の自己回帰生成とのレイテンシ比較や構造化データ出力をブラウザ上で確認することも可能です。