「Unlimited-OCR-2」超長文ドキュメント解析特化型ビジョン言語モデル:必要VRAM 8GB〜

基本情報
| 項目 | 内容 |
|---|---|
| リポジトリ | baidu/Unlimited-OCR-2 |
| まとめページ | Unlimited-OCR-2 のまとめ(記事1本) |
| 公開日 | 2026-10-26 |
| ライセンス | mit |
| 配布形式 | safetensors |
| 論文 | arXiv:2606.23050 |
| 出典の種類 | 公開元の一次情報(公式HuggingFaceリポジトリ(baidu)の出典) |
情報を集めた時点で、当サイトのコードが確定させた値です。日付はJSTで表示しています。
概要
Baidu(百度)は、超長文ドキュメントの解析に特化したビジョン言語モデル「Unlimited-OCR-2」を公開しました。前バージョンである「Unlimited-OCR」の設計を発展させ、計算量やメモリ消費を増大させることなく、極めて長い文書をパースすることを目指して開発されています。
本モデルの基盤技術を解説した論文「Unlimited OCR Works」(https://arxiv.org/abs/2606.23050)の要旨によると、近年のエンドツーエンドOCRモデルはLLMをデコーダーに採用することで高い精度を実現している一方で、出力シーケンスが長くなるにつれてKVキャッシュが蓄積し、メモリ消費の急増や生成速度の低下を招くという課題がありました。これに対して人間は長大な書き写し作業でも効率を落とさない点に着目し、人間の作業記憶(ワーキングメモリ)を模倣する「Reference Sliding Window Attention(R-SWA)」を導入することで、デコード処理全体を通してKVキャッシュを一定に保つ手法が提案されました。今回のUnlimited-OCR-2ではこの仕組みをさらに進化させ、有限のコンテキストウィンドウ内で文書全体の「無制限な解析(Unlimited-Horizon Parsing)」を実現したとされています。
スペック
- アーキテクチャ: UnlimitedOCRForCausalLM
性能
モデルカードには詳細なスコア数値を並べた比較表は掲載されていませんが、公開元による定性的な評価結果が報告されています。
公開元によれば、Unlimited-OCR-2は数十ページ規模の文書を評価するベンチマーク「MPDocBench」と、数百ページに及ぶ極端な長文ドキュメントを対象としたベンチマーク「MarathonDocBench」の両方において、最高水準(SOTA)の性能を達成したと主張されています。
この長文処理を可能にしているのが、本バージョンで新しく導入された「Sparse Reference Sliding Window Attention(SR-SWA)」です。公開元の説明によると、超長文シーケンスにおけるテキストと視覚情報のアテンション相互作用を、たとえば512トークンといった固定サイズの作業参照(working references)のセットへと圧縮します。これにより計算量の複雑性を一定の境界内に閉じ込め、ドキュメントの長さにかかわらず、1ステップあたりのデコード遅延やメモリ消費量をほぼ一定に維持できるとされています。
従来の標準的なアテンション機構では、入力や出力が長くなるにつれて計算コストが二次関数的に増大し、KVキャッシュの肥大化によるメモリ不足(OOM)が発生しがちでした。Unlimited-OCR-2ではSR-SWAによってこの二次関数的なスケーリングやメモリのボトルネックを排除し、有限のコンテキスト長を保ったままでも事実上無制限の文書解析が可能になったと説明されています。モデルカード上では、書籍1冊丸ごとのテキスト解析を単一のリクエストで最初から最後まで実行する様子も紹介されています。
ただし、これらの評価結果やSOTAという位置づけはモデルの公開元が自ら報告している主張であり、独立した第三者機関による詳細な検証スコアや他モデルとの数値比較表が提示されているわけではない点には留意が必要です。
得意なこと・想定用途
Unlimited-OCR-2は、数十ページから数百ページ規模におよぶ超長文ドキュメントの一括OCR(光学文字認識)やテキスト抽出処理を得意としています。
モデルカードの記述や機能タグ(ocr、vision-language、multilingual)から分かるとおり、本モデルは多言語ドキュメントの画像からテキストへの変換(image-text-to-text)に特化しています。特に、単一ページを細かく分割して読み取る「gundam mode(動的タイリング)」と、ページ全体を大域的に捉える「base mode」の2つのエンコード方式を備えており、用途に応じた使い分けが可能です。複数ページのドキュメントを一括して渡すことで、ページをまたぐ文脈(cross-page context)を考慮しながら解析を進めることができます。
また、論文の要旨にもあるように、作業記憶を模倣したスライディングウィンドウ型のアテンション設計を採用しているため、ページ数が増えてもデコード速度の低下やKVキャッシュの肥大化が抑制されます。これにより、学術論文、技術仕様書、マニュアル、書籍といったページ数が非常に多い資料を、ページごとに細かく分割して個別にリクエストを送ることなく、1回の推論リクエストでまとめてテキスト化するパイプラインへの組み込みに適しています。
動作環境
動作環境の目安(Local Model Watch 算出) — パラメータ数 3.3B
| 手持ちのVRAM | 選べる量子化 | ファイルサイズ | 必要メモリの目安 |
|---|---|---|---|
| RTX 4060 / 3060 Ti など 8GB | I64 | 6.2GB | 7.5GB |
推論エンジンの対応状況(各プロジェクトのソースにあるモデル登録表とアーキテクチャ名を当サイトが機械的に照合。2026-11-17 時点): llama.cpp: 登録あり、vLLM: 登録あり、MLX (mlx-lm): 未登録。「未登録」はその時点の登録表に名前が無いという意味で、動かないことの断定ではありません。
必要メモリは配布ファイルの実サイズに実行時のオーバーヘッド(KVキャッシュ等)を20%見込んだ概算で、文脈長・バッチサイズ・推論エンジンによって増減します。公開元の公称値ではなく、当サイトがファイルサイズから機械的に算出した値です。 他のモデルとの比較はVRAM別の早見表を参照してください。 量子化の名前の読み方は用語集にあります。
手元で動かせるか
現時点では Ollama・LM Studio・llama.cpp で動かせません(GGUF版を確認できていない)。
公開元の配布は safetensors のみです。ただし llama.cpp の登録表にはこのモデルのアーキテクチャ名があるため、GGUFへの変換自体は可能な状態で、変換版が公開されれば動くようになります。公開元と実績のある量子化担当以外による変換版は 14 件あります。現時点で動かすなら transformers(PyTorch)・vLLM・MLX (Apple Silicon) で読み込む形になり、必要メモリは上の表のとおりです。
ライセンス mit(商用利用可): 商用利用を含めて自由に利用・改変・再配布できます。再配布時に著作権表示とライセンス文を残すことが条件です。
配布形式・当サイトが見つけた変換版・各推論エンジンの登録表を突き合わせた判定です。「確認できていない」は当サイトが見つけていないという意味で、存在しないことの断定ではありません。ライセンスの要約は法的助言ではないため、実際の利用にあたっては公開元の原文を確認してください。
同クラスの既報モデル
当サイトが最近取り上げた、パラメータ数 〜4B のモデルを、比較のために記事ログからコードが並べたものです。VRAM階層は当サイトの概算、ライセンスはモデルカードの記載です。
→ 横にスクロールできます
| モデル | パラメータ数 | 最小のVRAM階層 | ライセンス | 記事 |
|---|---|---|---|---|
| LiquidAI/d1-omni-600M | 587M | 4GB | lfm1.0 | 「d1-omni-600M」マルチモーダル決定モデル:必要VRAM 4GB〜・GGUF版あり(2026-11-17) |
| LiquidAI/d1-3B | 3.1B | 4GB | lfm1.0 | 「d1-3B」テキストや画像の判定に特化した決定モデル:必要VRAM 4GB〜・GGUF版あり(2026-11-17) |
| openbmb/MiniCPM-OCR-1.0-DSpark | 297M | 4GB | apache-2.0 | 「MiniCPM-OCR-1.0-DSpark」OCRの高速化ドラフトモデル:必要VRAM 4GB〜(2026-11-17) |
| openbmb/MiniCPM-OCR-Jev-GPTQ | 2.2B | 4GB | apache-2.0 | MiniCPM-OCR-Jevの量子化版が公開、GPTQとAWQ形式に対応(2026-11-17) |
| LiquidAI/d1-2B-GGUF | 1.9B | 4GB | lfm1.0 | 「d1-2B-GGUF」テキスト・画像・動画対応の意思決定モデル:必要VRAM 4GB〜(2026-11-17) |
入手方法
Unlimited-OCR-2はHugging Face上で公開されており、safetensors形式の重みファイルが配布されています。アクセス制限(Gated)は設定されておらず、MITライセンスのもとで自由にダウンロードして利用できます。
モデルカードでは、動作確認用の軽量な実行手段としてTransformersライブラリを用いたPythonコードが案内されているほか、本番運用やサーバー用途には高速推論フレームワークであるSGLangの利用が推奨されています。
Transformersを利用する場合、必要なライブラリをインストールした上で、以下のようにカスタムコードを許可してモデルとトークナイザーを読み込みます。
import torch
from transformers import AutoModel, AutoTokenizer
model_name = "baidu/Unlimited-OCR-2"
tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)
model = AutoModel.from_pretrained(
model_name,
trust_remote_code=True,
use_safetensors=True,
torch_dtype=torch.bfloat16
).eval().cuda()
複数ページのドキュメントをまとめて解析する際は、ページ画像のリストを渡して infer_multi メソッドを呼び出します。
pages = [f"your_doc/page_{i}.jpg" for i in range(1, 8)]
text, num_tokens = model.infer_multi(
tokenizer,
image_files=pages,
output_path="output/multi",
save_results=True
)
単一ページの画像を対象にする場合は、infer メソッドを使用します。こちらはデフォルトで動的タイリング処理(gundam mode)が有効になります。
text = model.infer(
tokenizer,
image_file="your_doc/page_1.jpg",
output_path="output/single",
save_results=True
)
SGLangを用いて推論サーバーを立ち上げる場合は、モデルカードで案内されているカスタムビルドのwheelや関連パッケージ(PyMuPDF、fastokensなど)をインストールした上で、python -m sglang.launch_server コマンドを実行します。環境変数により、ページウィンドウ単位でのスケジューリング(SGLANG_UOCR_DOC_GUNDAM_PAGE_WINDOW など)や、1ページあたりの出力上限トークン数(SGLANG_UOCR_MAX_PAGE_TOKENS)といった長文ドキュメント処理向けの調整が可能です。サーバー起動後は、OpenAI互換のチャット補完API(/v1/chat/completions)経由で画像データを送信してテキスト解析を実行できます。
派生版・量子化版
→ 横にスクロールできます
| 追記日 | 配布元 | 形式 | リポジトリ | 最小のVRAM階層(量子化・必要メモリの目安) |
|---|---|---|---|---|
| 2026-11-17 | mlx-community | MLX | mlx-community/Unlimited-OCR-2-8bit | MLX 8bit 4.4GB(8GB VRAMで動作) |
| 2026-11-17 | mlx-community | MLX | mlx-community/Unlimited-OCR-2-4bit | MLX 4bit 2.7GB(4GB VRAMで動作) |
各リポジトリの量子化とファイルサイズ:
- mlx-community/Unlimited-OCR-2-8bit の量子化: MLX 8bit 3.7GB
- mlx-community/Unlimited-OCR-2-4bit の量子化: MLX 4bit 2.3GB
このほか、上記以外の投稿者による変換版が 14 件あります(当サイトは公開元自身と、実績のある量子化担当の配布だけを表に載せています)。
この節は、記事公開後に見つかった変換版を当サイトが機械的に追記したものです。必要メモリは配布ファイルのサイズから算出した概算です。 量子化の名前の読み方は用語集にあります。
同じ用途の既報モデル
当サイトが取り上げたVLM・マルチモーダルのモデルを新しい順に並べています。用途は配布元がHugging Faceに付けたタスク(pipeline_tag)から機械的に分けたもので、最小のVRAM階層は当サイトの概算です。
- 「Qwen3.5-4B-GGUF」画像と動画の入力に対応したマルチモーダル言語モデル:必要VRAM 4GB〜(4.7B・4GB)
- 「ZoomGain-9B-GGUF」画像とテキストの対話に対応する視覚言語モデル:必要VRAM 8GB〜(8GB)
- 「SingVL_S1_4B」画像入力対応マルチモーダル判断モデル:必要VRAM 4GB〜・GGUF版あり(4.5B・4GB)
- 「Kimi-K3.1-Pro」VLMモデル:必要メモリ約1128GB・GGUF版あり(80GB超)
次に読むなら
- GPUのVRAMから探す(このモデルは8GBの階層から動きます) → 8GBのGPUで動くほかのモデル
- 同じモデル系統を調べる → Unlimited-OCR-2 系統のまとめ(記事1本・変換版2件)
- このモデルを動かすエンジンを調べる → vLLM
- このモデルを入手できる形式を調べる → MLX形式の解説と対応モデル
出典
- Hugging Face モデルページ: https://huggingface.co/baidu/Unlimited-OCR-2
- 論文(arXiv:2606.23050): https://arxiv.org/abs/2606.23050
更新履歴
- 2026-11-17: 変換版を「派生版・量子化版」に追記しました: mlx-community/Unlimited-OCR-2-8bit, mlx-community/Unlimited-OCR-2-4bit

