「WeMM-Video-2B-NVFP4」音声と映像を統合理解する2Bのマルチモーダルモデル:必要VRAM 8GB〜

「WeMM-Video-2B-NVFP4」音声と映像を統合理解する2Bのマルチモーダルモデル:必要VRAM 8GB〜

基本情報

項目 内容
リポジトリ tencent/WeMM-Video-2B-NVFP4
まとめページ WeMM-Video のまとめ(記事2本)
公開元のまとめ Tencent のモデルとライセンスのまとめ
公開日 2026-11-17
ライセンス apache-2.0
配布形式 safetensors
出典の種類 公開元の一次情報(Tencent公式HFリポジトリで裏付け確認)

情報を集めた時点で、当サイトのコードが確定させた値です。日付はJSTで表示しています。

概要

Tencentが開発したマルチモーダル大規模言語モデル「WeMM-Video-2B」のNVFP4量子化版となる「WeMM-Video-2B-NVFP4」が公開されました。本モデルは、中国語および英語の二言語に対応し、音声と映像の統合的な理解および推論を行うために設計された「WeMM-Video」モデルファミリーの一員です。

本モデルは、テキスト、単体画像、音声のみのデータ、無声動画、そして音声付き動画という多様なメディア入力を受容し、テキスト形式で回答を出力します。動画の映像フレームと付属の音声を組み合わせて状況や出来事を正確に記述したり、音声部分の文字起こしを行ったり、視覚情報と聴覚情報を統合して推論を行ったりすることが可能です。

アーキテクチャ面では、ビジョンエンコーダーおよびオーディオエンコーダーによって各メディアをTokenへ変換し、タイムスタンプが付与された動画フレームと共に言語モデル側でテキストと一括処理する構造を採用しています。事前学習には約1.2兆個のマルチモーダルTokenが使用されており、事後学習にはマルチティーチャーOPD(multi-teacher OPD)、反復防止を目的としたMrDPO(anti-repetition MrDPO)、および専門強化学習(specialist reinforcement learning)が適用されています。

スペック

  • パラメータ数:Dense 2B(元モデルの記述に基づく)
  • アーキテクチャ:WeMMVideoForConditionalGeneration(モデルタイプ:qwen3_5)
  • コンテキスト長:8192

性能

本モデルのモデルカードおよび元モデル「WeMM-Video-2B」の資料には、他モデルとの比較を示す定量的なベンチマークスコアの表や測定結果の数値データは掲載されていません。

そのため、他のオープンウェイトモデルと比較してどのタスクで数値的に優れているかといった定量的な判定をお伝えすることはできませんが、モデルカードには公開元による動作検証の実績が明記されています。

量子化版「WeMM-Video-2B-NVFP4」の検証においては、パッチを適用したvLLM 0.31.0環境を使用し、ModelOpt Mixed PrecisionとMarlin(SM120参照構成)の設定にてモデルをロードした上で、テキスト、画像、音声、無声動画、音声付き動画の5種類の生成テストを実行し、すべて正常に完了したと報告されています。

また、元モデルである「WeMM-Video-2B」(BF16版)の検証段階においても、L20およびH20 GPU上で動作するパッチ済みvLLMにおいてテキスト、画像、音声、音声付き動画の生成チェックをクリアしているほか、CPU環境でのテキスト生成やTransformersライブラリからの直接読み込みテストにも合格しているとされています。

本量子化版の性能や対応タスクは基本的に元モデルの能力を継承していますが、NVFP4 W4A16量子化が施されているため、元モデルと比較して僅かな精度の変化が生じる可能性がある点には留意する必要があります。

得意なこと・想定用途

「WeMM-Video-2B-NVFP4」が得意とするタスクや想定される用途は、ベースとなった元モデル「WeMM-Video-2B」が備えるマルチモーダル処理能力に基づいています。

本モデルは、中国語および英語の2言語において、音声と映像を同時に処理・理解して推論を行う「統合型音声・視覚理解(joint audio-visual understanding and reasoning)」に特化しています。具体的には、以下のような多様な入力形式や処理シナリオに対応しています。

  • 多様な入力メディアの組み合わせ:テキストに加えて、単体の静止画像、音声のみの録音データ、音声を含まない無声動画、そして音声トラックが含まれる動画ファイルを直接入力することが可能です。
  • 映像と音声の統合理解と推論:動画の視覚的なフレーム情報と、それに付属する元の音声トラックを組み合わせて解析できます。画面上で何が起きているかという出来事の記述にとどまらず、話されている音声の文字起こし(トランスクリプション)や、目で見える情報と耳で聞こえる情報を総合した理由付けや推論を行えます。
  • 2つの対話モード(Chat Modes)の切り替え:用途に応じて2つの対話モードを選択できます。通常の対話やダイレクトな応答を得る「Instructモード」がデフォルトとして設定されているほか、チャットテンプレートのオプションで enable_thinking=True (または enable_thinking=true)を指定することで、より深い推論手順を踏んで回答を作成する「Thinkingモード」を利用できます。

このように、動画内の音声対話の解釈や、マルチメディアコンテンツの内容分析、視覚・聴覚情報を複合させたQ&Aシステムなどの用途に適しています。

動作環境

動作環境の目安(Local Model Watch 算出) — パラメータ数 3.3B(元モデル tencent/WeMM-Video-2B の値)

手持ちのVRAM 選べる量子化 ファイルサイズ 必要メモリの目安
RTX 4060 / 3060 Ti など 8GB NVFP4 4.9GB 5.9GB

推論エンジンの対応状況(各プロジェクトのソースにあるモデル登録表とアーキテクチャ名を当サイトが機械的に照合。2026-11-20 時点): llama.cpp: 未登録、vLLM: 未登録、MLX (mlx-lm): 未登録。「未登録」はその時点の登録表に名前が無いという意味で、動かないことの断定ではありません。

必要メモリは配布ファイルの実サイズに実行時のオーバーヘッド(KVキャッシュ等)を20%見込んだ概算で、文脈長・バッチサイズ・推論エンジンによって増減します。公開元の公称値ではなく、当サイトがファイルサイズから機械的に算出した値です。 他のモデルとの比較はVRAM別の早見表を参照してください。 量子化の名前の読み方は用語集にあります。

手元で動かせるか

現時点では Ollama・LM Studio・llama.cpp で動かせません。

公開元の配布は safetensors のみで、llama.cpp の登録表にもこのモデルのアーキテクチャ名がありません。これらのツールで動かせるようになるには、まず llama.cpp 側が対応する必要があります。現時点で動かすなら transformers(PyTorch) で読み込む形になり、必要メモリは上の表のとおりです。

ライセンス apache-2.0(商用利用可): 商用利用を含めて自由に利用・改変・再配布できます。再配布時にライセンス文と変更点の告知が必要で、特許の許諾条項があります。

配布形式・当サイトが見つけた変換版・各推論エンジンの登録表を突き合わせた判定です。「確認できていない」は当サイトが見つけていないという意味で、存在しないことの断定ではありません。ライセンスの要約は法的助言ではないため、実際の利用にあたっては公開元の原文を確認してください。

同クラスの既報モデル

当サイトが最近取り上げた、パラメータ数 〜4B のモデルを、比較のために記事ログからコードが並べたものです。VRAM階層は当サイトの概算、ライセンスはモデルカードの記載です。

→ 横にスクロールできます

モデル パラメータ数 最小のVRAM階層 ライセンス 記事
LiquidAI/d1-omni-600M 587M 4GB lfm1.0 「d1-omni-600M」マルチモーダル決定モデル:必要VRAM 4GB〜・GGUF版あり(2026-11-17)
LiquidAI/d1-3B 3.1B 4GB lfm1.0 「d1-3B」テキストや画像の判定に特化した決定モデル:必要VRAM 4GB〜・GGUF版あり(2026-11-17)
baidu/Unlimited-OCR-2 3.3B 8GB mit 「Unlimited-OCR-2」超長文ドキュメント解析特化型ビジョン言語モデル:必要VRAM 8GB〜(2026-11-17)
openbmb/MiniCPM-OCR-1.0-DSpark 297M 4GB apache-2.0 「MiniCPM-OCR-1.0-DSpark」OCRの高速化ドラフトモデル:必要VRAM 4GB〜・GGUF版あり(2026-11-17)
openbmb/MiniCPM-OCR-Jev-GPTQ 2.2B 4GB apache-2.0 MiniCPM-OCR-Jevの量子化版が公開、GPTQとAWQ形式に対応(2026-11-17)

入手方法

本モデルはHugging FaceにてApache 2.0ライセンスのもと公開されており、誰でも自由にダウンロードして利用できます。利用にあたって事前のライセンス同意やアクセス申請(gated)は不要です。

配布形式はSafetensorsフォーマットとなっており、ModelOptによる「NVFP4 W4A16」の混合精度量子化が適用されています。言語モデル部分のFeed-Forward(FFN)重みにはgroup-16設定のNVFP4が使用され、アクティベーションにはBF16が用いられています。一方で、アテンションの重みや正規化層(Norm)などのその他のテンソルは元モデルの精度を維持した構成になっています。

モデルの稼働およびサービングには、公式が提供するWeMM用のランタイムパッチ(WeMM runtime patch)を適用した vLLM 0.31.0 環境(ModelOpt Mixed Precision および Marlin バックエンド対応)を使用することが推奨されています。

サーバーを起動する際は、以下のように vllm serve コマンドを実行します。

MODEL=tencent/WeMM-Video-2B-NVFP4
vllm serve "$MODEL" --served-model-name "$MODEL" --trust-remote-code --dtype bfloat16 \
  --host 127.0.0.1 --port 8000 --max-model-len 8192 \
  --max-num-seqs 1 --max-num-batched-tokens 8192 \
  --no-enable-prefix-caching --mamba-cache-mode none --mamba-ssm-cache-dtype float32 \
  --mm-processor-cache-gb 0 --skip-mm-profiling \
  --limit-mm-per-prompt '{"image":4,"video":2,"audio":2}' \
  --media-io-kwargs '{"video":{"fps":2,"min_frames":4,"max_frames":16,"total_pixels":262144}}' \
  --attention-config '{"backend":"FLASH_ATTN","flash_attn_version":2}' \
  --mm-encoder-attn-backend FLASH_ATTN \
  --quantization modelopt_mixed --linear-backend marlin --moe-backend marlin

ローカル環境でポート8000番にてサーバーが起動した後は、リポジトリに同梱されているリクエスト用クライアントスクリプト examples/chat.py を使用して、OpenAI互換のチャットエンドポイントへ各種メディアを含むリクエストを送信できます。

MODEL=tencent/WeMM-Video-2B-NVFP4
python examples/chat.py text        --model "$MODEL"
python examples/chat.py image       --model "$MODEL"
python examples/chat.py audio       --model "$MODEL"
python examples/chat.py video       --model "$MODEL"
python examples/chat.py video-audio --model "$MODEL"

動画送信時には、video_url 内の fps や max_frames の値を調整することで、動画クリップのサンプリング動作を制御できます。

関連記事

次に読むなら

出典