Tencent、物体認識と画素処理を統合したビジョン言語モデル「WeVisOne-VL」公開

Tencent、物体認識と画素処理を統合したビジョン言語モデル「WeVisOne-VL」公開

基本情報

項目 内容
リポジトリ tencent/WeVisOne-VL-4B
まとめページ WeVisOne-VL のまとめ(記事2本)
公開元のまとめ Tencent のモデルとライセンスのまとめ
公開日 2026-10-22
ライセンス apache-2.0
配布形式 safetensors
出典の種類 公開元の一次情報(公式Hugging Faceリポジトリが一次情報)

情報を集めた時点で、当サイトのコードが確定させた値です。日付はJSTで表示しています。

概要

TencentのWeChat Visionチームは、画像内の物体認識から画素単位の処理までを統合したビジョン言語モデル「WeVisOne-VL」シリーズとして、「WeVisOne-VL-4B」および「WeVisOne-VL-2B」を公開しました。

本モデル群はQwen3-VLを基盤として開発されており、オープンボキャブラリー物体検出、参照局所化、物体カウント、ポインティング、OCRといったオブジェクトレベルの認識と、参照セグメンテーションやプロンプトによるアルファマッティングといったピクセルレベルの認識を単一の枠組みで実現しています。

構造化された次トークン予測と、約9.6Mパラメータ(4B版)あるいは約9.5Mパラメータ(2B版)の軽量なピクセルデコーダーを組み合わせることで、高精度な視覚知覚タスクの処理を可能にしています。

スペック

公開されているモデルカードおよびリポジトリの構成情報に基づくスペックは以下の通りです。

  • アーキテクチャ: Qwen3VLForConditionalGeneration(Qwen3-VLベース)
  • ピクセルデコーダー(mask_decoder.pt)パラメータ数:
  • WeVisOne-VL-4B: 9,609,764パラメータ(約9.6M) – WeVisOne-VL-2B: 9,511,460パラメータ(約9.5M)

本モデルの内部構造としては、正規化されたバウンディングボックスや座標点を表現するために専用の座標トークンが設計されています。指示された対象が画像内に存在しない場合には「None」を返す仕様となっており、高密度な予測タスク向けには各予測ボックスの直後にトークンID「152678」の専用インスタンス識別トークンを出力します。

また、推論時に必須の構成要素として付属しているピクセルデコーダー「mask_decoder.pt」は、以下の3つの主要コンポーネントで構成されています。

  • Visual Feature Adapter: Qwen3-VLのマルチレベルにおけるマージ前ViT特徴量を統合・適応させるアダプターです。
  • Box-Guided Query Decoder: インスタンス識別トークンの隠れ状態と、フーリエ符号化されたバウンディングボックスの事前分布から初期化される、6つの変形可能交差アテンション(deformable cross-attention)ブロックを備えています。
  • Instance-Conditioned Dense Prediction Head: 「FullCanvasAlphaCascadeHead」を採用しており、S/4、S/2、S/1の各解像度スケールで段階的に予測を洗練させ、ストライド1のフル解像度で滑らかな連続アルファマットを出力します。

なお、推論効率を高める設計として、本モデル群は明示的な思考の連鎖(CoT: Chain-of-Thought)を行わずに直接構造化出力を生成するアプローチをとっています。また、現行リビジョンでは単一画像に対する知覚処理を対象としており、動画グリッド入力はピクセルデコーダー側で拒否される仕様となっています。

得意なこと・想定用途

WeVisOne-VLシリーズは、言語による指示を通じて画像内の物体を正確に特定し、画素単位のマスクや切り抜き(アルファマット)まで一貫して処理することを得意としています。

モデルカードやタグ情報に示されている得意分野および機能は以下の通りです。

  • オープンボキャブラリー物体検出(open-vocabulary object detection)
  • 参照局所化(referring localization / referring expression comprehension)
  • 物体の座標指定・ポインティング(point grounding / object pointing)
  • 物体カウント(object counting)
  • テキスト・文字の認識および位置特定(OCR / OCR localization)
  • 参照表現セグメンテーション(referring expression segmentation)
  • プロンプト指定による画像マッティング(image matting / promptable alpha matting)

本モデル群は、指示文(クエリ)に基づいて特定の被写体を高精度に切り抜くタスクや、自然言語の指示に合致する物体の位置特定、個数の計数など、高度な視覚グラウンディングタスクの研究を想定して設計されています。

一方で、公式のモデルカードには利用上の注意点や限界事項についても明確に記載されています。

まず、自律的な重大な意思決定や、個人の識別を目的とした用途には向いていません。研究用途を前提とした公開となっています。

また、ピクセルレベルの処理における限界として、微細なアルファ境界(輪郭部分)の抽出精度は、画像の解像度や極端な遮蔽(被写体が隠れている度合い)、複雑な透明度、プロンプトの言葉遣いに大きく影響を受けるとされています。さらに、推論の高速化・効率化を重視して思考の連鎖(CoT: Chain-of-Thought)を行わずに直接構造化データを出力する構成となっているため、複雑な多段階の論理的推論を伴う処理には向きません。現行リビジョンは単一画像の知覚タスクに特化しており、動画グリッド入力は非対応です。

動作環境

動作環境の目安(Local Model Watch 算出) — パラメータ数 4.8B

手持ちのVRAM 選べる量子化 ファイルサイズ 必要メモリの目安
4GB(ノートPCの内蔵GPU・スマートフォンなど) Q5_K_S 2.9GB 3.5GB
RTX 4060 / 3060 Ti など 8GB Q8_0 4.4GB 5.3GB
RTX 4070 / 3060 12GB など 12GB F16 8.2GB 9.9GB

推論エンジンの対応状況(各プロジェクトのソースにあるモデル登録表とアーキテクチャ名を当サイトが機械的に照合。2026-11-17 時点): llama.cpp: 登録あり、vLLM: 登録あり、MLX (mlx-lm): 登録あり。

必要メモリは配布ファイルの実サイズに実行時のオーバーヘッド(KVキャッシュ等)を20%見込んだ概算で、文脈長・バッチサイズ・推論エンジンによって増減します。公開元の公称値ではなく、当サイトがファイルサイズから機械的に算出した値です。 ファイルサイズは変換版 mradermacher/WeVisOne-VL-4B-GGUF の配布ファイルの実測値です。 他のモデルとの比較はVRAM別の早見表を参照してください。 量子化の名前の読み方は用語集にあります。

手元で動かせるか

Ollama・LM Studio・llama.cpp で動かせます(変換版を利用)。

公開元の配布は safetensors ですが、mradermacher/WeVisOne-VL-4B-GGUF が GGUF版を公開しているため、そちらを使えば手元で動きます。

ライセンス apache-2.0(商用利用可): 商用利用を含めて自由に利用・改変・再配布できます。再配布時にライセンス文と変更点の告知が必要で、特許の許諾条項があります。

量子化の圧縮率: Q5_K_S は実測 5.16 bit/weight で、元の16bitの重みの約32%のサイズです(配布ファイルの実サイズから当サイトが算出)。

配布形式・当サイトが見つけた変換版・各推論エンジンの登録表を突き合わせた判定です。「確認できていない」は当サイトが見つけていないという意味で、存在しないことの断定ではありません。ライセンスの要約は法的助言ではないため、実際の利用にあたっては公開元の原文を確認してください。

同クラスの既報モデル

当サイトが最近取り上げた、パラメータ数 4〜15B のモデルを、比較のために記事ログからコードが並べたものです。VRAM階層は当サイトの概算、ライセンスはモデルカードの記載です。

→ 横にスクロールできます

モデル パラメータ数 最小のVRAM階層 ライセンス 記事
tencent/Youtu-Parsing-Omni 5.3B 12GB youtu-parsing 「Youtu-Parsing-Omni」オムニモーダル解析モデル:必要VRAM 12GB〜(2026-11-17)
nvidia/Muse-Spark-Open-816B-A42B-DFlash2 4.4B 12GB nvidia-open-model-agreement-license 「Muse-Spark-Open-816B-A42B-DFlash2」VLMモデル:必要VRAM 12GB〜(2026-11-17)
inclusionAI/ZwZ2-9B-GGUF 9.4B 8GB apache-2.0 「ZwZ2-9B-GGUF」空間知覚を強化した視覚言語モデル:必要VRAM 8GB〜(2026-11-17)
inclusionAI/ZwZ2-4B-GGUF 4.5B 4GB apache-2.0 「ZwZ2-4B-GGUF」複数領域の視覚推論を行う視覚言語モデル:必要VRAM 4GB〜(2026-11-17)
microsoft/Mage-VL-Cowork 4.7B 12GB apache-2.0 「Mage-VL-Cowork」GUI操作とコード実行をこなす4Bの視覚言語モデル:必要VRAM 12GB〜(2026-11-17)

入手方法

WeVisOne-VLのモデル重みはHugging Faceにて公開されています。配布形式はsafetensors形式で、追加のピクセルデコーダー重み(mask_decoder.pt)とともに提供されています。ゲート付きモデルではないため、事前の利用申請や同意手続きを行わずにダウンロードして利用できます。ライセンスはApache-2.0が適用されています。

推論を実行するには、公式のGitHubリポジトリから専用の推論パッケージを導入する必要があります。インストール後は、以下のようなPythonスクリプトを用いてモデルのロードとタスク実行を行えます。

WeVisOne-VL-4Bを利用する場合のコード例は以下の通りです。

from PIL import Image
from wevisone_vl import WeVisOneVL

model = WeVisOneVL("tencent/WeVisOne-VL-4B", device="auto", dtype="bfloat16")
image = Image.open("example.jpg").convert("RGB")
result = model.predict(image, task="matting", query="person", temperature=0.0)
print(result.response, len(result.masks))

より軽量なモデルを利用したい場合は、モデル識別子を「tencent/WeVisOne-VL-2B」に切り替えることで同様に実行できます。

from PIL import Image
from wevisone_vl import WeVisOneVL

model = WeVisOneVL("tencent/WeVisOne-VL-2B", device="auto", dtype="bfloat16")
image = Image.open("example.jpg").convert("RGB")
result = model.predict(image, task="matting", query="person", temperature=0.0)
print(result.response, len(result.masks))

派生版・量子化版

→ 横にスクロールできます

追記日 配布元 形式 リポジトリ 最小のVRAM階層(量子化・必要メモリの目安)
2026-11-17 mradermacher GGUF mradermacher/WeVisOne-VL-4B-GGUF Q5_K_S 3.5GB(4GB VRAMで動作)

各リポジトリの量子化とファイルサイズ:

  • mradermacher/WeVisOne-VL-4B-GGUF の量子化: Q2_K 1.7GB / Q3_K_S 1.9GB / Q3_K_M 2.1GB / Q3_K_L 2.2GB / IQ4_XS 2.3GB / Q4_K_S 2.4GB / Q4_K_M 2.5GB / Q5_K_S 2.9GB / Q5_K_M 2.9GB / Q6_K 3.4GB / Q8_0 4.4GB / F16 8.2GB

このほか、上記以外の投稿者による変換版が 3 件あります(当サイトは公開元自身と、実績のある量子化担当の配布だけを表に載せています)。

この節は、記事公開後に見つかった変換版を当サイトが機械的に追記したものです。必要メモリは配布ファイルのサイズから算出した概算です。 量子化の名前の読み方は用語集にあります。

関連記事

次に読むなら

出典

更新履歴

  • 2026-11-17: 変換版を「派生版・量子化版」に追記しました: mradermacher/WeVisOne-VL-4B-GGUF
  • 2026-11-17: 動作環境の表を mradermacher/WeVisOne-VL-4B-GGUF の実ファイルサイズで更新しました。