MiniCPM-OCR-Jevの量子化版が公開、GPTQとAWQ形式に対応

MiniCPM-OCR-Jevの量子化版が公開、GPTQとAWQ形式に対応

基本情報

項目 内容
リポジトリ openbmb/MiniCPM-OCR-Jev-GPTQ
まとめページ MiniCPM-OCR-Jev のまとめ(記事1本)
公開元のまとめ OpenBMB のモデルとライセンスのまとめ
公開日 2026-10-26
ライセンス apache-2.0
配布形式 safetensors
出典の種類 公開元の一次情報(公式HFリポジトリで裏付けあり)

情報を集めた時点で、当サイトのコードが確定させた値です。日付はJSTで表示しています。

概要

openbmbは、OCRの品質評価を目的としたモデル「MiniCPM-OCR-Jev」の量子化版(GPTQおよびAWQ形式)を公開しました。このモデルは、テキスト、数式、表の領域画像と、そのOCR結果の候補が与えられた際に、その候補が正しい可能性が高いかどうかを0から1のスコアで返します。

本モデルは、信頼できる領域を自動的に受理したり、不確実なものを人間によるレビューに回したり、複数のOCRモデルの中から最適な結果を選択したりするために設計されています。

スペック

元モデルである MiniCPM-OCR-Jev のスペックは以下の通りです。

  • パラメータ数: 2B
  • アーキテクチャ: Qwen3.5-2Bをベースとし、言語モデルの出力ヘッドをバイナリ分類ヘッドに置き換えた構成

性能

公開されている量子化版は、元モデルである MiniCPM-OCR-Jev の性能を継承しています。モデルカードの測定によれば、JevOCRBenchにおける決定AUROC (×100) は 93.6 であり、2Bというパラメータ数ながら、JEV-35B-A3B (90.1) を上回り、Qwen3.5-397B-A17B (93.8) に迫る性能を示しています。

また、他のOCRモデルによる解析結果に対しても安定した汎用性を示しており、MiniCPM-OCR 1.0、GLM-OCR、PaddleOCR-VL-1.6、Xiaomi-OCR-0の各モデルによる解析結果を用いた場合のAUROC (×100) は、91.9–93.4 の範囲に留まっています。

モデルカードに記載されている、各OCRモデルに対する識別性能の比較は以下の通りです。

→ 横にスクロールできます

OCR model MiniCPM-OCR 1.0 GLM-OCR PaddleOCR-VL-1.6 Xiaomi-OCR-0
AUROC (×100) 92.7 91.9 93.4 93.1

この表から、MiniCPM-OCR-Jev は、MiniCPM-OCR 1.0 や PaddleOCR-VL-1.6、Xiaomi-OCR-0 といった既存のOCRモデルが生成した結果に対しても、高い精度で正誤を識別できることが分かります。

得意なこと・想定用途

MiniCPM-OCR-Jevは、ドキュメント解析におけるOCR処理の信頼性を担保するための強力なツールとして機能します。特に、大量の文書を自動でデジタル化する際の品質管理において、その真価を発揮します。

具体的な運用シナリオとしては、以下の3点が挙げられます。
– OCRワークフローの自動化と効率化: 本モデルが算出するスコアに基づき、信頼性の高い結果はそのままシステムへ投入し、スコアが低い「疑わしい」箇所のみを抽出して人間に提示するワークフローを構築できます。これにより、全件を人間が確認する手間を省きつつ、高い解析精度を維持することが可能です。
– アンサンブル手法による精度向上: 同一の画像領域に対して複数のOCRエンジン(MiniCPM-OCR 1.0やPaddleOCR-VL-1.6、Xiaomi-OCR-0など)を走らせ、それぞれの出力を本モデルで評価します。最も高いスコアを獲得した候補を最終結果として採用することで、単一のモデルでは誤読しやすい複雑な数式や表、特殊なフォントのテキストに対しても、より正確な解析結果を得ることができます。
– 多様な領域への対応: テキストだけでなく、数式(formula)や表(table)といった、従来のOCRでは評価が難しかった領域に対しても、画像との整合性を高精度に判定できる点が大きな強みです。

パイプラインへの統合においては、ドキュメントの領域画像、カテゴリ、およびOCRエンジンが出力したテキスト候補を本モデルの推論サービスへ送信する構成となります。サービス側では内部でレンダリングを行い、画像とテキストの照合スコアを返します。開発者はこのスコアとしきい値を照合することで、後続の処理を動的に分岐させることができます。

APIの利用においては、単一の候補を評価する score のほか、複数の候補から最適なものを選択する score_best や、複数のブロックをまとめて処理する score_best_batch といったエンドポイントが用意されています。また、推論結果を利用する際には、単にスコアの数値を見るだけでなく、 verdict (判定ステータス)が scored になっていることを確認することが推奨されています。これにより、レンダリングの失敗やプリチェックでのエラーを誤って低いスコアとして扱ってしまうミスを防ぐことができます。

動作環境

動作環境の目安(Local Model Watch 算出) — パラメータ数 2.2B(元モデル openbmb/MiniCPM-OCR-Jev の値)

手持ちのVRAM 選べる量子化 ファイルサイズ 必要メモリの目安
4GB(ノートPCの内蔵GPU・スマートフォンなど) GPTQ 4bit 2.2GB 2.7GB

推論エンジンの対応状況(各プロジェクトのソースにあるモデル登録表とアーキテクチャ名を当サイトが機械的に照合。2026-11-17 時点): llama.cpp: 未登録、vLLM: 未登録、MLX (mlx-lm): 登録あり。「未登録」はその時点の登録表に名前が無いという意味で、動かないことの断定ではありません。

必要メモリは配布ファイルの実サイズに実行時のオーバーヘッド(KVキャッシュ等)を20%見込んだ概算で、文脈長・バッチサイズ・推論エンジンによって増減します。公開元の公称値ではなく、当サイトがファイルサイズから機械的に算出した値です。 他のモデルとの比較はVRAM別の早見表を参照してください。 量子化の名前の読み方は用語集にあります。

手元で動かせるか

Ollama・LM Studio・llama.cpp で動かせます(変換版を利用)。

公開元の配布は safetensors ですが、openbmb/MiniCPM-OCR-Jev-gguf が GGUF版を公開しているため、そちらを使えば手元で動きます。

ライセンス apache-2.0(商用利用可): 商用利用を含めて自由に利用・改変・再配布できます。再配布時にライセンス文と変更点の告知が必要で、特許の許諾条項があります。

配布形式・当サイトが見つけた変換版・各推論エンジンの登録表を突き合わせた判定です。「確認できていない」は当サイトが見つけていないという意味で、存在しないことの断定ではありません。ライセンスの要約は法的助言ではないため、実際の利用にあたっては公開元の原文を確認してください。

同クラスの既報モデル

当サイトが最近取り上げた、パラメータ数 〜4B のモデルを、比較のために記事ログからコードが並べたものです。VRAM階層は当サイトの概算、ライセンスはモデルカードの記載です。

→ 横にスクロールできます

モデル パラメータ数 最小のVRAM階層 ライセンス 記事
LiquidAI/d1-omni-600M 587M 4GB lfm1.0 「d1-omni-600M」マルチモーダル決定モデル:必要VRAM 4GB〜・GGUF版あり(2026-11-17)
LiquidAI/d1-3B 3.1B 4GB lfm1.0 「d1-3B」テキストや画像の判定に特化した決定モデル:必要VRAM 4GB〜・GGUF版あり(2026-11-17)
baidu/Unlimited-OCR-2 3.3B 8GB mit 「Unlimited-OCR-2」超長文ドキュメント解析特化型ビジョン言語モデル:必要VRAM 8GB〜(2026-11-17)
openbmb/MiniCPM-OCR-1.0-DSpark 297M 4GB apache-2.0 「MiniCPM-OCR-1.0-DSpark」OCRの高速化ドラフトモデル:必要VRAM 4GB〜(2026-11-17)
LiquidAI/d1-2B-GGUF 1.9B 4GB lfm1.0 「d1-2B-GGUF」テキスト・画像・動画対応の意思決定モデル:必要VRAM 4GB〜(2026-11-17)

入手方法

今回公開されたのは、4ビット量子化(W4A16)が施されたGPTQ形式およびAWQ形式のモデルです。配布形式はsafetensorsで、ライセンスはApache-2.0に基づいています。Hugging Face上での利用規約への同意(Gating)は不要であり、どなたでも制限なくダウンロードして利用を開始できます。

推論エンジンとしてはvLLMに対応しており、以下のコマンドを実行することで、モデルをロードしたAPIサーバーをローカル環境やサーバー上に立ち上げることが可能です。

GPTQ版を利用する場合の起動コマンド:

vllm serve openbmb/MiniCPM-OCR-Jev-GPTQ \
  --served-model-name MiniCPM-OCR-Jev \
  --trust-remote-code

AWQ版を利用する場合の起動コマンド:

vllm serve openbmb/MiniCPM-OCR-Jev-AWQ \
  --served-model-name MiniCPM-OCR-Jev \
  --trust-remote-code

また、モデルカードの「Quick start」セクションでは、vLLMのほかにSGLang、llama.cpp(GGUF形式)、Ollama、FlagOSといった各種バックエンドでの展開ガイドへのリンクも提供されています。利用するインフラ環境や好みの推論エンジンに合わせて、最適な形式を選択して導入できる体制が整っています。

派生版・量子化版

→ 横にスクロールできます

追記日 配布元 形式 リポジトリ 最小のVRAM階層(量子化・必要メモリの目安)
2026-10-28 openbmb GGUF openbmb/MiniCPM-OCR-Jev-gguf Q8_0 2.2GB(4GB VRAMで動作)

各リポジトリの量子化とファイルサイズ:

  • openbmb/MiniCPM-OCR-Jev-gguf の量子化: IQ3_XS 1.0GB / IQ3_M 1.0GB / IQ4_XS 1.1GB / Q4_0 1.1GB / Q4_K_S 1.1GB / IQ4_NL 1.2GB / Q4_K_M 1.2GB / Q4_1 1.2GB / Q5_0 1.3GB / Q5_K_S 1.3GB / Q5_K_M 1.3GB / Q5_1 1.4GB / Q6_K 1.4GB / Q8_0 1.9GB / F16 3.5GB

この節は、記事公開後に見つかった変換版を当サイトが機械的に追記したものです。必要メモリは配布ファイルのサイズから算出した概算です。 量子化の名前の読み方は用語集にあります。

関連記事

次に読むなら

出典