「WeVisOne-VL」視覚言語モデル:必要VRAM 8GB〜

「WeVisOne-VL」視覚言語モデル:必要VRAM 8GB〜

基本情報

項目 内容
リポジトリ Comfy-Org/WeVisOne-VL
まとめページ WeVisOne-VL のまとめ(記事2本)
公開元のまとめ Tencent のモデルとライセンスのまとめ
公開日 2026-11-09
ライセンス apache-2.0
配布形式 safetensors
出典の種類 未確認(一次情報で裏付けできていない)(Comfy-Orgの再パッケージ版であり、一次情報ではない)

情報を集めた時点で、当サイトのコードが確定させた値です。日付はJSTで表示しています。

概要

画像生成・編集ツールである ComfyUI 向けに最適化・再パッケージングされたモデルファイル Comfy-Org/WeVisOne-VL が公開されたと報告されています。なお、本情報は記事執筆時点において公式な確認が取れていない未確認情報である点にご留意ください。

本リポジトリは、Tencent の WeChat Vision チームが開発した視覚言語モデル(Vision-Language Model)である tencent/WeVisOne-VL-2B をベースに ComfyUI のエコシステムへ導入しやすく調整されたものとされています。モデルカードからリンクされている論文 WeVisOne-VL: Unified Visual Perception from Objects to Pixels によると、本モデルは Qwen3-VL をベースに構築されており、物体レベルのビジョン認識からピクセルレベルの精密な認識までを同一のアーキテクチャで処理することを目的として開発されました。オープンボキャブラリの物体検出や参照ローカライゼーション、物体カウント、ポインティング、OCR といった領域検出タスクに加え、参照セグメンテーションやプロンプト指示によるアルファマッティングといった細部抽出タスクを単一モデルで統合して実行できる設計となっています。ComfyUI ユーザーが画像認識やセグメンテーション処理をノードベースのワークフローに組み込む際の選択肢となることが期待されます。

スペック

資料より確認できるベースモデル tencent/WeVisOne-VL-2B の主な構造スペックは以下の通りです。

  • ベースモデル: tencent/WeVisOne-VL-2B
  • モデルタイプ: qwen3_vl
  • アーキテクチャ: Qwen3VLForConditionalGeneration
  • デコーダ構成: 9.6M-parameter pixel decoder (mask_decoder.pt / 9,609,764 parameters)

性能

モデルカードおよび関連資料において、Open LLM Leaderboard などの定量的なベンチマーク評価スコアや他モデルとの比較数値表は提供されていません。そのため、数値ベースでの客観的な比較やベンチマークにおける優劣を断定することはできません。以下に述べる性能面の特徴は、開発元が公表している技術仕様に基づいた定性的な評価となります。

公開元の説明によれば、元モデル tencent/WeVisOne-VL-2B は、構造化されたネクストトークン予測(structured next-token prediction)と、9.6M パラメータで構成される軽量ピクセルデコーダを統合することで、物体認識とピクセルレベルの抽出をシームレスに行うとされています。視覚特徴抽出の段階では、Qwen3-VL のプレマージ ViT 特徴量を活用する Visual Feature Adapter を備え、さらに Fourier エンコードされたボックス事前分布とバウンディングボックスの隠れ状態から初期化される 6 つの Deformable Cross-Attention ブロックで構築された Box-Guided Query Decoder を採用していると報告されています。

高精度な背景切り抜きやセグメンテーションを行うための高解像度出力機能として、Instance-Conditioned Dense Prediction Head および FullCanvasAlphaCascadeHead が組み込まれています。これにより、S/4、S/2、S/1 の各解像度ステップで予測を段階的に洗練し、ストライド 1 のフル解像度で連続的なアルファマットを出力することが可能とされています。また、正規化されたバウンディングボックスや点を表現するために専用の座標トークンを使用し、指示された対象が画像内に存在しない場合には None を返す挙動が実装されています。

一方で、実用上の限界や精度に関する注意点も報告されています。開発元の記載によると、以下のような制限が存在するとされています。

  • 微細なアルファ境界(被写体の輪郭や髪の毛などの繊細な抜き出し)は、元画像の解像度、重度の遮蔽(オクルージョン)、複雑な透明構造、および入力プロンプトの表現方法に対して影響を受けやすいとされています。
  • 推論速度と効率を重視した設計となっており、明示的な思考チェーン(Chain-of-Thought / CoT)推論を行わずに構造化出力を直接生成します。
  • 現時点では単一フレームの静止画認識をターゲットとして設計されており、複数フレームや動画用のグリッド画像を入力した場合はピクセルデコーダによって処理が拒否される仕様となっています。

第三者による独立したベンチマークスコア表が存在しないため、従来の視覚言語モデルやセグメンテーションモデルと比較してどの程度の精度差があるかは判明していません。ご利用の際は、実際の画像を用いた手元での検証を行うことが推奨されます。

得意なこと・想定用途

元モデルである tencent/WeVisOne-VL-2B のモデルカードおよび能力タグ(capability tags)の情報によると、本モデルは物体レベルの多様な視覚認識からピクセル単位の高度な領域・境界抽出までを統合して処理できる点が最大の強みとされています。具体的な得意分野および想定されている主なタスクは以下の通りです。

  • オープンボキャブラリ物体検出および参照ローカライゼーション: 自由なテキスト指示や説明文に基づいて、画像内に存在する特定の対象物体の位置をバウンディングボックスとして検出・指定します。
  • 視覚的ポインティングおよび物体カウント: 画像内に存在する対象のポイント指定(point grounding)や、指定されたクラス・条件に合致する物体の個数を計数(object counting)します。
  • OCRおよび位置特定(OCR localization): 画像内の文字情報を読み取ると同時に、そのテキストが存在する領域を正確に特定します。
  • 参照セグメンテーション(Referring Segmentation): 自然言語によるプロンプト指示に応じて、対象物体の正確な領域領域(セグメンテーションマスク)をピクセル単位で生成します。
  • プロンプト指示型アルファマッティング(Promptable Alpha Matting): テキストクエリで指定された対象(例: 人物など)に対し、髪の毛や境界線の透過度を含めた高精度なアルファマットを出力し、高度な背景切り抜き処理などをサポートします。

研究開発チームによるモデルカードの記載によると、本モデルの主な利用目的・研究対象として、視覚グラウンディング(visual grounding)、参照ローカライゼーション、ポインティング、カウント、OCRローカライゼーション、参照セグメンテーション、画像マッティングの各領域における検証や開発が挙げられています。

一方で、本モデルは自律的な高リスクの意思決定処理や、個人の特定を目的とした用途には利用できない(意図されていない)と明示されています。ComfyUI のワークフローにおいては、生成画像や入力画像の特定被写体に対する自動マスク作成、背景分離、要素抽出といった画像編集パイプラインの前処理・後処理ノードとしての活用が想定されます。

動作環境

動作環境の目安(Local Model Watch 算出) — パラメータ数 2.4B(元モデル tencent/WeVisOne-VL-2B の値)

手持ちのVRAM 選べる量子化 ファイルサイズ 必要メモリの目安
RTX 4060 / 3060 Ti など 8GB BF16 4.5GB 5.5GB

必要メモリは配布ファイルの実サイズに実行時のオーバーヘッド(KVキャッシュ等)を20%見込んだ概算で、文脈長・バッチサイズ・推論エンジンによって増減します。公開元の公称値ではなく、当サイトがファイルサイズから機械的に算出した値です。 他のモデルとの比較はVRAM別の早見表を参照してください。 量子化の名前の読み方は用語集にあります。

手元で動かせるか

公開元の配布形式は safetensors です。

ライセンス apache-2.0(商用利用可): 商用利用を含めて自由に利用・改変・再配布できます。再配布時にライセンス文と変更点の告知が必要で、特許の許諾条項があります。

配布形式とライセンス表記から当サイトのコードが組み立てた判定です。ライセンスの要約は法的助言ではないため、実際の利用にあたっては公開元の原文を確認してください。

入手方法

Comfy-Org/WeVisOne-VL のモデルファイルは、Hugging Face 上で safetensors 形式の ComfyUI 向けパッケージとして配布されていると報告されています。ライセンスには Apache 2.0 が適用されているとされています。

入手したモデルファイルは、ComfyUI のディレクトリ構造に従って配置して利用します。リポジトリ内の案内によれば、以下のフォルダへ該当するファイル(.safetensors)を設置するよう指定されています。

配置先のフォルダ構造:

📂 ComfyUI/
└── 📂 models/
    └── 📂 text_encoders/
        ├── wevisone_vl_4b_bf16.safetensors
        ├── wevisone_vl_4b_int8_convrot.safetensors
        ├── wevisone_vl_2b_bf16.safetensors
        └── wevisone_vl_2b_int8_convrot.safetensors

上記のように、BF16 精度版および INT8 量子化(convrot)版の wevisone_vl_2b や wevisone_vl_4b に対応する各種モデルファイルが用意されているとされています。利用するワークフローや動作環境に合わせて適切なファイルを選択し、ComfyUI の text_encoders フォルダ配下に配置してご活用ください。

なお、Python から直接呼び出すための公式推論コードやベースモデルの詳細仕様については、Tencent の元モデルリポジトリ tencent/WeVisOne-VL-2B および公式 GitHub リポジトリの案内をご確認ください。

関連記事

次に読むなら

出典

この記事は未確認情報を含みます。 公式の一次情報で裏が取れ次第、更新履歴を追記して反映します。