「Mage-VL-Cowork」GUI操作とコード実行をこなす4Bの視覚言語モデル:必要VRAM 12GB〜

「Mage-VL-Cowork」GUI操作とコード実行をこなす4Bの視覚言語モデル:必要VRAM 12GB〜

基本情報

項目 内容
リポジトリ microsoft/Mage-VL-Cowork
まとめページ Mage-VL のまとめ(記事1本)
公開元のまとめ Microsoft のモデルとライセンスのまとめ
公開日 2026-10-30
ライセンス apache-2.0
配布形式 safetensors
出典の種類 公開元の一次情報(Microsoft公式HFリポジトリで一次情報確認)

情報を集めた時点で、当サイトのコードが確定させた値です。日付はJSTで表示しています。

概要

Microsoftから、コンピュータ操作とコード実行を単一の視覚言語モデルでこなすハイブリッドエージェント「Mage-VL-Cowork」が公開されました。本モデルは4B(40億)パラメータ規模のモデルでありながら、画面のスクリーンショットに基づくGUI操作(computer_use)と、ターミナルでのコード・シェル実行(bash)を外部のオーケストレーターなしで動的に切り替えて実行できます。

元モデルである「Mage-VL」の4Bチェックポイントをベースに、5段階のカリキュラム学習とオンライン強化学習(RL)を経て開発されました。画面上のレイアウト操作と構造化されたファイル編集・検証を適切に使い分け、ローカルおよびオンデバイス環境で複雑なPC操作タスクを効率よく実行することを目的としています。

スペック

  • パラメータ数:4B(4.7B)
  • アーキテクチャ:llava_onevision2
  • コンテキスト長:32,768

性能

公開元によるOSWorld-Verifiedベンチマーク(50ステップ上限、361タスク)の評価結果によれば、Mage-VL-Coworkは4Bクラスのモデルとして優れたスコアを記録しています。以下はモデルカードに掲載された比較表から、主要なモデルを抜粋したものです。

→ 横にスクロールできます

Model Params Steps OS Office Daily Professional Workflow Overall
GPT-5.4-mini† — 50 79.2 68.0 76.6 69.4 63.3 69.6
Claude Sonnet 4.5 — 100 70.8 72.6 61.4 63.2 49.5 62.9
ScaleCUA-Qwen3.5-9B 9B 50 79.2 70.6 74.3 89.5 48.1 68.7
Mage-VL-Cowork-4B (Ours) 4B 50 87.5 64.9 65.0 66.3 62.7 66.0
Muse Glimmer-30B 30B — — — — — — 65.9
Qwen3.6-27B 27B — — — — — — 63.9
OpenCUA-72B 72B 50 45.8 42.7 53.8 75.5 22.3 44.9
Fara1.5-4B 4B 50 25.0 7.6 29.5 12.2 6.6 13.9

※視認性向上のため一部のモデルを抜粋しています。OSWorldは実際のOSの画面を操作してタスクを完了できるかを測定する指標(単位:成功率%)です。

モデルカードの報告によると、本モデルは総合スコア(Overall)で66.0%を記録しており、特にOS操作タスク(OS)で87.5%、複数アプリケーションにまたがる処理(Workflow)で62.7%と高いスコアを出しています。一方で、Office操作(64.9%)や日常タスク(Daily: 65.0%)、専門的タスク(Professional: 66.3%)の項目では、より大きなパラメータ数を持つScaleCUA-Qwen3.5-9BやGPT-5.4-miniに及びません。それでも、同規模帯であるFara1.5-4B(13.9%)や、より大型のQwen3.6-27B(63.9%)を総合で上回る成果を示しています。

また、元モデルであるMage-VL(4B)の基礎性能として、モデルカード記載の検証データでは、請求書などの文書画像を読んで答えるDocVQAで95.14%、グラフ画像から数値を読み取るChartQAで84.88%、画像中の文字を認識するOCRBenchで81.80のスコアを獲得しており、ベースとなる視覚・文書理解能力も高い水準を備えています。

得意なこと・想定用途

本モデルは、PC画面のスクリーンショットを視覚的に理解して行うGUI操作(computer_use)と、ターミナルでのシェルコマンド実行(bash)を単一のモデル内で動的にルーティングしながら実行することを得意としています。

具体的には、画面上のビジュアルレイアウト確認やキャンバスの編集、ライブアプリケーションの操作が必要な場面ではGUI操作を選択します。一方で、スプレッドシートやドキュメント、プレゼンテーションファイルの構造化された編集、ファイルの検索や処理結果の確定的な検証など、シェルを利用した方が確実で高速な作業では自動的に bash でのコマンド実行に切り替えます。

これにより、Webブラウザのナビゲーションや複数アプリケーションにまたがる複雑なデータ処理、システム設定の変更、プログラミングやターミナル作業まで、OS上の多様なPC操作タスクをワンストップでこなすことが可能です。

また、元モデルである Mage-VL の基礎能力として、請求書や帳票などの文書画像理解(DocVQA)、グラフや図表の読み取り(ChartQA)、画像内の文字認識(OCRBench)といった高度な視覚理解能力を備えており、画面上のUI要素や文字情報を高精度に把握した上で操作を行えます。

動作環境

動作環境の目安(Local Model Watch 算出) — パラメータ数 4.7B

手持ちのVRAM 選べる量子化 ファイルサイズ 必要メモリの目安
RTX 4070 / 3060 12GB など 12GB BF16 8.8GB 10.6GB

推論エンジンの対応状況(各プロジェクトのソースにあるモデル登録表とアーキテクチャ名を当サイトが機械的に照合。2026-11-17 時点): llama.cpp: 未登録、vLLM: 未登録、MLX (mlx-lm): 未登録。「未登録」はその時点の登録表に名前が無いという意味で、動かないことの断定ではありません。

必要メモリは配布ファイルの実サイズに実行時のオーバーヘッド(KVキャッシュ等)を20%見込んだ概算で、文脈長・バッチサイズ・推論エンジンによって増減します。公開元の公称値ではなく、当サイトがファイルサイズから機械的に算出した値です。 他のモデルとの比較はVRAM別の早見表を参照してください。 量子化の名前の読み方は用語集にあります。

手元で動かせるか

Ollama・LM Studio・llama.cpp で動かせます(変換版を利用)。

公開元の配布は safetensors ですが、ggml-org/Mage-VL-Cowork-GGUF が GGUF版を公開しているため、そちらを使えば手元で動きます。

ライセンス apache-2.0(商用利用可): 商用利用を含めて自由に利用・改変・再配布できます。再配布時にライセンス文と変更点の告知が必要で、特許の許諾条項があります。

配布形式・当サイトが見つけた変換版・各推論エンジンの登録表を突き合わせた判定です。「確認できていない」は当サイトが見つけていないという意味で、存在しないことの断定ではありません。ライセンスの要約は法的助言ではないため、実際の利用にあたっては公開元の原文を確認してください。

同クラスの既報モデル

当サイトが最近取り上げた、パラメータ数 4〜15B のモデルを、比較のために記事ログからコードが並べたものです。VRAM階層は当サイトの概算、ライセンスはモデルカードの記載です。

→ 横にスクロールできます

モデル パラメータ数 最小のVRAM階層 ライセンス 記事
tencent/Youtu-Parsing-Omni 5.3B 12GB youtu-parsing 「Youtu-Parsing-Omni」オムニモーダル解析モデル:必要VRAM 12GB〜(2026-11-17)
nvidia/Muse-Spark-Open-816B-A42B-DFlash2 4.4B 12GB nvidia-open-model-agreement-license 「Muse-Spark-Open-816B-A42B-DFlash2」VLMモデル:必要VRAM 12GB〜(2026-11-17)
tencent/WeVisOne-VL-4B 4.8B 4GB apache-2.0 Tencent、物体認識と画素処理を統合したビジョン言語モデル「WeVisOne-VL」公開(2026-11-17)
inclusionAI/ZwZ2-9B-GGUF 9.4B 8GB apache-2.0 「ZwZ2-9B-GGUF」空間知覚を強化した視覚言語モデル:必要VRAM 8GB〜(2026-11-17)
inclusionAI/ZwZ2-4B-GGUF 4.5B 4GB apache-2.0 「ZwZ2-4B-GGUF」複数領域の視覚推論を行う視覚言語モデル:必要VRAM 4GB〜(2026-11-17)

入手方法

本モデルは、Hugging Faceの microsoft/Mage-VL-Cowork リポジトリにて safetensors 形式で公開されています。ライセンスは Apache-2.0 です。

モデルの読み込みには llava_onevision2 というカスタムアーキテクチャが使用されているため、transformers や推論エンジンでロードする際には trust_remote_code=True を指定する必要があります。

利用に必要なライブラリは以下のコマンドで導入できます。

pip install "transformers>=4.57.3" accelerate pillow torch torchvision qwen-vl-utils

推論エンジンには SGLang などが対応しており、必要な依存関係がセットアップ済みの公式Dockerコンテナイメージ(xiaoyizhang/mage-vl-cowork:0.1.0)を利用してサーバーを起動することも可能です。

docker run --rm --name mage-vl-cowork \
  --gpus 'device=0' --shm-size=8g \
  -p 127.0.0.1:30001:30001 \
  --mount "type=bind,src=${MODEL_DIR},dst=/models/Mage-VL-Cowork,readonly" \
  xiaoyizhang/mage-vl-cowork:0.1.0

派生版・量子化版

→ 横にスクロールできます

追記日 配布元 形式 リポジトリ 最小のVRAM階層(量子化・必要メモリの目安)
2026-11-07 ggml-org GGUF ggml-org/Mage-VL-Cowork-GGUF Q4_K_M 3.0GB(4GB VRAMで動作)

各リポジトリの量子化とファイルサイズ:

  • ggml-org/Mage-VL-Cowork-GGUF の量子化: Q4_K_M 2.5GB / Q8_0 4.4GB / BF16 8.2GB

このほか、上記以外の投稿者による変換版が 8 件あります(当サイトは公開元自身と、実績のある量子化担当の配布だけを表に載せています)。

この節は、記事公開後に見つかった変換版を当サイトが機械的に追記したものです。必要メモリは配布ファイルのサイズから算出した概算です。 量子化の名前の読み方は用語集にあります。

関連記事

次に読むなら

出典

更新履歴

  • 2026-11-17: タイトルを、記事で分かる内容(必要VRAM・配布ファイル等)を示す形に変更しました。