「Youtu-Parsing-Omni」オムニモーダル解析モデル:必要VRAM 12GB〜

「Youtu-Parsing-Omni」オムニモーダル解析モデル:必要VRAM 12GB〜

基本情報

項目 内容
リポジトリ tencent/Youtu-Parsing-Omni
公開元のまとめ Tencent のモデルとライセンスのまとめ
公開日 2026-10-09
ライセンス youtu-parsing
配布形式 safetensors
論文 arXiv:2601.20430, arXiv:2601.19798, arXiv:2512.24618
出典の種類 公開元の一次情報(公式HFリポジトリの一次情報)

情報を集めた時点で、当サイトのコードが確定させた値です。日付はJSTで表示しています。

概要

Tencentは、ドキュメント、画像、音声、動画といった多様なメディアを解析し、構造化されたJSON形式で出力できるマルチモーダルモデル「Youtu-Parsing-Omni」を公開しました。5Bというコンパクトなパラメータサイズながら、視覚情報と音声情報の両方を単一のモデルで処理し、レイアウト要素、テキスト、表、数式、タイムスタンプ、音声イベントなどを網羅的に抽出できる「オムニモーダル」な性能を備えています。

併せて公開された論文「Youtu-Parsing: Perception, Structuring and Recognition via High-Parallelism Decoding」によれば、本モデルは高並列デコード戦略を採用することで、従来の自己回帰型デコードと比較して5〜11倍の高速化を実現しつつ、高精度なコンテンツ抽出を行うことを狙って開発されました。本モデルは、ドキュメントインテリジェンスの分野において、実用性と実験的価値の両立を目指しています。

スペック

資料に記載されているスペックは以下の通りです。

  • パラメータ数: 5B
  • アーキテクチャ: YoutuVITAForCausalLM (youtu_vita)
  • コンテキスト長: 65,536

性能

公開元が公表した「OmniDocBench」におけるベンチマークスコアを、主要な比較対象とともに以下の表にまとめました。表が多岐にわたるため、一部のモデルと項目を抜粋しています。

→ 横にスクロールできます

Model Size Overall ↑ Text Edit ↓ Formula CDM ↑ Table TEDS ↑
Youtu-Parsing-Omni 5.0B 96.96 0.0271 96.80 96.79
TeleOCR 1.2B 96.91 0.0267 96.59 96.82
Gemini 3 Pro – 92.91 0.0640 95.99 89.15
Qwen3-VL-235B 235B 89.78 0.0630 92.55 83.07
GPT-5.2 – 86.59 0.1140 88.21 82.95

モデルカードに掲載されたこの比較表から、Youtu-Parsing-Omniは総合スコア(Overall)において96.96を記録し、比較対象の中で最高値を示していることが分かります。特に、235Bという巨大なパラメータ数を持つQwen3-VLや、GPT-5.2、Gemini 3 Proといった主要なモデルをドキュメント解析の分野で上回っている点は特筆すべきです。

詳細な項目を見ると、表構造の認識精度を示すTable TEDSではTeleOCRに僅差で及ばないものの、総合的な解析能力では極めて高い水準にあります。また、資料内の完全な表によれば、読み順の正確さを示すReading Order Edit(0.1104)や、表の構造把握能力を示すTable TEDS-S(98.20)においてもトップクラスの成績を収めています。一方で、テキストの編集距離を示すText Editや数式認識のFormula CDMでは、OvisOCR2やPaddleOCR-VL-1.6といった特定の分野に特化した軽量モデルにわずかに譲る場面も見られますが、全体として非常にバランスの取れた高性能なモデルであると言えます。

得意なこと・想定用途

Youtu-Parsing-Omniは、ドキュメント、画像、音声、動画という異なるモダリティを単一のモデルで処理し、一貫したJSON形式で出力できる「オムニモーダル」な解析能力が最大の強みです。モデルカードに記載されたタスクプロンプト(--task)を切り替えることで、以下のような極めて幅広い用途に対応できます。

ドキュメントおよび静止画の解析

ドキュメント解析(document)では、テキストやレイアウト要素の抽出はもちろん、LaTeX形式の複雑な数式、Markdown形式の表やグラフ、さらにはMermaid形式のフローチャートまで構造化データとして出力できます。自然画像(natural_image)に対しても、画像内のエンティティやテキストの検出に加えて、詳細なキャプション生成やナラティブ(物語的な説明)の作成が可能です。また、幾何学図形(graphics_geometric)の解析では、点、線、円弧といった形状だけでなく、それらの幾何学的な関係性や測定値まで抽出できるため、技術図面のデータ化などにも適しています。

音声および動画のマルチモーダル解析

音声解析(audio)においては、発話内容の書き起こし(ASR)にとどまらず、発話と非発話のセグメント分割、タイムスタンプの付与、話者識別、さらには音色や周囲のシーン、音響イベントのキャプション生成まで行います。動画解析(natural_video, textrich_video)では、視覚的なアクションやオブジェクト間の相互作用、カメラの動きに加え、音声トラックの内容も統合して解析します。特に講義動画のようなテキスト情報が豊富な動画では、OCRとASRを組み合わせた詳細な構造化レポートを作成できるため、長尺動画の要約やインデックス作成に威力を発揮します。

高速な処理と実用性

論文「Youtu-Parsing: Perception, Structuring and Recognition via High-Parallelism Decoding」によれば、本モデルは「トークン並列」と「クエリ並列」という独自のデコード戦略を採用しています。トークン並列では、1回の推論ステップで最大64個の候補トークンを同時に生成し、それを検証する仕組みにより、従来の自己回帰型デコードと比べて5〜11倍の高速化を実現しました。これは特に表認識のような構造化データの生成において効果的です。また、クエリ並列により、最大5つの領域(バウンディングボックス)に対する内容予測を同時に実行でき、品質を損なうことなくさらに2倍の高速化を可能にしています。さらに、多言語対応や手書き文字、希少な文字に対しても強い堅牢性を備えていると報告されています。

動作環境

動作環境の目安(Local Model Watch 算出) — パラメータ数 5.3B

手持ちのVRAM 選べる量子化 ファイルサイズ 必要メモリの目安
RTX 4070 / 3060 12GB など 12GB BF16 9.9GB 11.9GB

推論エンジンの対応状況(各プロジェクトのソースにあるモデル登録表とアーキテクチャ名を当サイトが機械的に照合。2026-11-17 時点): llama.cpp: 未登録、vLLM: 未登録、MLX (mlx-lm): 未登録。「未登録」はその時点の登録表に名前が無いという意味で、動かないことの断定ではありません。

必要メモリは配布ファイルの実サイズに実行時のオーバーヘッド(KVキャッシュ等)を20%見込んだ概算で、文脈長・バッチサイズ・推論エンジンによって増減します。公開元の公称値ではなく、当サイトがファイルサイズから機械的に算出した値です。 他のモデルとの比較はVRAM別の早見表を参照してください。 量子化の名前の読み方は用語集にあります。

手元で動かせるか

現時点では Ollama・LM Studio・llama.cpp で動かせません。

公開元の配布は safetensors のみで、llama.cpp の登録表にもこのモデルのアーキテクチャ名がありません。これらのツールで動かせるようになるには、まず llama.cpp 側が対応する必要があります。公開元と実績のある量子化担当以外による変換版は 2 件あります。現時点で動かすなら transformers(PyTorch) で読み込む形になり、必要メモリは上の表のとおりです。

ライセンス youtu-parsing: 公開元の独自ライセンスです。商用利用の可否を含め、条件は公開元の原文を直接確認してください。

配布形式・当サイトが見つけた変換版・各推論エンジンの登録表を突き合わせた判定です。「確認できていない」は当サイトが見つけていないという意味で、存在しないことの断定ではありません。ライセンスの要約は法的助言ではないため、実際の利用にあたっては公開元の原文を確認してください。

当サイトでの実測

ライセンスの都合で行っていない実測

このモデルのライセンス(youtu-parsing)の商用利用の条件を、当サイトが満たしていることを確認できていません。広告を掲載している当サイトでは、ライセンスの都合上、モデルを動かす実測(CPU での実行・回答・量子化の比較・変換・生成)は行っていません。

同クラスの既報モデル

当サイトが最近取り上げた、パラメータ数 4〜15B のモデルを、比較のために記事ログからコードが並べたものです。VRAM階層は当サイトの概算、ライセンスはモデルカードの記載です。

→ 横にスクロールできます

モデル パラメータ数 最小のVRAM階層 ライセンス 記事
nvidia/Muse-Spark-Open-816B-A42B-DFlash2 4.4B 12GB nvidia-open-model-agreement-license 「Muse-Spark-Open-816B-A42B-DFlash2」VLMモデル:必要VRAM 12GB〜(2026-11-17)
tencent/WeVisOne-VL-4B 4.8B 4GB apache-2.0 Tencent、物体認識と画素処理を統合したビジョン言語モデル「WeVisOne-VL」公開(2026-11-17)
inclusionAI/ZwZ2-9B-GGUF 9.4B 8GB apache-2.0 「ZwZ2-9B-GGUF」空間知覚を強化した視覚言語モデル:必要VRAM 8GB〜(2026-11-17)
inclusionAI/ZwZ2-4B-GGUF 4.5B 4GB apache-2.0 「ZwZ2-4B-GGUF」複数領域の視覚推論を行う視覚言語モデル:必要VRAM 4GB〜(2026-11-17)
microsoft/Mage-VL-Cowork 4.7B 12GB apache-2.0 「Mage-VL-Cowork」GUI操作とコード実行をこなす4Bの視覚言語モデル:必要VRAM 12GB〜(2026-11-17)

入手方法

Youtu-Parsing-Omniのリポジトリは、Hugging Faceにて公開されています。配布形式は safetensors で、ライセンス同意が必要なゲート付きモデルではありません。

推論エンジンの利用

本モデルは vLLM または Transformers を用いて動かすことができます。公開元は、再現性の高い推論結果を得るために vLLM での運用を推奨しており、専用のプラグイン vllm-plugin-vita-omni を提供しています。

vLLMを使用したサーバーの起動は、同梱のスクリプトを利用して以下のように行います。

MODEL=tencent/Youtu-Parsing-Omni DATA_ROOT=/path/to/media GPU=0 bash scripts/vllm.sh

このサーバーはOpenAI互換のAPIを提供し、http://127.0.0.1:8000/v1 でリクエストを受け付けます。

Transformersでの利用

Transformers ライブラリを直接使用する場合は、バージョン 5.10.2 以上が必要です。モデルの読み込み時には trust_remote_code=True を指定して、リポジトリに含まれるカスタムコードを実行できるようにする必要があります。公開元の測定結果は vLLM を使用して算出されています。

リクエストの注意点

推論を実行する際は、モデルに同梱されている prompts/youtu_parsing_omni.json から適切なタスクプロンプトを選択して送信する必要があります。また、座標情報は0〜1000のグリッドに基づいた <box><x_85><y_275>... のような独自トークンで出力され、タイムスタンプには HH:MM:SS 形式が使用されます。APIリクエスト時には、チャットテンプレートの引数として enable_parsing: true を設定し、特殊トークンをスキップせずに取得する設定が必要となります。

関連記事

次に読むなら

出典