「SingVL_S1_4B_GGUF」4Bのマルチモーダル意思決定モデル:必要VRAM 4GB〜

「SingVL_S1_4B_GGUF」4Bのマルチモーダル意思決定モデル:必要VRAM 4GB〜

基本情報

項目 内容
リポジトリ inclusionAI/SingVL_S1_4B_GGUF
まとめページ SingVL-S1 のまとめ(記事2本)
公開元のまとめ inclusionAI(Ant Group) のモデルとライセンスのまとめ
公開日 2026-11-12
配布形式 GGUF
出典の種類 公開元の一次情報(公式HFリポジトリで確認)

情報を集めた時点で、当サイトのコードが確定させた値です。日付はJSTで表示しています。

概要

inclusionAIが、4Bパラメータのマルチモーダル意思決定モデル「Sing VL S1」のGGUF版リポジトリ「inclusionAI/SingVL_S1_4B_GGUF」を公開しました。

本モデルはQwen3.5をベースに構築されており、テキストやJSONデータ、および最大4枚の画像を入力として受け取り、1回のフォワードパスで供給された選択肢のスコアリングを行います。

具体的なタスク形式として、以下の3種類の型が用意されています。
– Choice: 選択肢を選び、各候補の確率を返します。
– Noul: はい/いいえの命題が真である確率を返します。
– Score: 入力を低から高へと順序付けられた2〜10段階のレベルで評価し、各レベルの確率と、各レベルインデックスと確率の積の総和による期待値を返します。

内部構造として、フルアテンション層では完全な入力に対して双方向アテンションを使用し、GDN層では因果回帰を保持する仕様となっています。各質問の開始時にはKVキャッシュと回帰状態がクリアされ、入力の最終有効位置から候補ロジットが読み取られます。

スペック

  • パラメータ数: 4B
  • アーキテクチャ: Qwen3.5
  • コンテキスト長: 4096トークン

性能

モデルカードに記載されている元モデル「Sing VL S1」の公開参照スコア「Public Decision Index 0.3」の比較結果は以下の通りです。このテストは、元モデルの全パブリック実行(テキストリクエスト140,178件およびビジョンリクエスト12,210件)に基づいています。

→ 横にスクロールできます

Panel Sing VL S1 TypeSafe Jev 1.14 StartLux-Decision v1.1 4B Perplexity Decider Flash v1.2 (4B)
Text 69.76 60.70 67.8 60.1
Vision 73.94 — 67.90 72.5

公表された比較表から、元モデルであるSing VL S1はテキストパネルで69.76、ビジョンパネルで73.94を達成しており、比較対象となっているモデルの中で両部門ともに最高水準のスコアを記録していることが読み取れます。

特にテキスト評価においては、他の比較モデル(60.1〜67.8)に対して数ポイント以上の差をつけて優れた結果を示しています。一方で、ビジョン評価においてはPerplexity Decider Flash v1.2 (4B)が記録した72.5に対して1.44ポイントの差となっており、テキスト分野と比較すると差はやや小幅にとどまっています。

なお、注意点として上記の数値はすべて元モデル(Sing VL S1)における測定結果です。GGUFバリアントとしての検証は、現時点で9つの例と11の質問(BF16、Q8_0、Q4_K_Mの各量子化)をカバーしている段階であり、GGUF版における完全な公開スコアの計測結果は保留中とされています。

得意なこと・想定用途

本モデルは、テキストやJSONデータ、および最大4枚までの画像入力を解析し、型定義された構造化質問に対する判断を出力する意思決定タスクを得意としています。

具体的には、モデルカードおよび機能タグに基づき、以下のような用途に適しています。

  • 選択型タスク(Choice): 与えられたテキストや画像の内容に対して、定義された選択肢の中から最適なものを確率付きで選定します。画像認識や分類判断に向いています。
  • 真偽判定タスク(Noul): 「指定された条件を満たしているか」といった二者択一の命題に対し、真である確率を算出して客観的に評価します。
  • 多段階スコア評価(Score): 入力内容に対して2〜10段階の定義済みレベルで評価を行い、各レベルの確率分布と期待値を算出します。テキストや画像の品質判定や分類強度の判定などに活用できます。

また、最大4枚までの画像入力をサポートしているため、複数の画像を対象とした比較判定や、画像とテキストを組み合わせた複合的なマルチモーダル解析にも適しています。なお、これらの得意分野や用途は元モデルである「Sing VL S1」の能力に基づいたものです。

動作環境

動作環境の目安(Local Model Watch 算出)

手持ちのVRAM 選べる量子化 ファイルサイズ 必要メモリの目安
4GB(ノートPCの内蔵GPU・スマートフォンなど) Q4_K_M 2.5GB 3.0GB
RTX 4060 / 3060 Ti など 8GB Q8_0 4.2GB 5.0GB
RTX 4070 / 3060 12GB など 12GB BF16 7.8GB 9.4GB

必要メモリは配布ファイルの実サイズに実行時のオーバーヘッド(KVキャッシュ等)を20%見込んだ概算で、文脈長・バッチサイズ・推論エンジンによって増減します。公開元の公称値ではなく、当サイトがファイルサイズから機械的に算出した値です。 他のモデルとの比較はVRAM別の早見表を参照してください。 量子化の名前の読み方は用語集にあります。

当サイトでの実測

ライセンスの都合で行っていない実測

このモデルにはライセンスの表示が無く、利用の許諾を確認できません。広告を掲載している当サイトでは、ライセンスの都合上、モデルを動かす実測(CPU での実行・回答・量子化の比較・変換・生成)は行っていません。

入手方法

本モデルはGGUF形式で公開されており、デコーダー(BF16、Q8_0、Q4_K_M)と共通のビジョンプロジェクター(mmproj-SingVL-4B-F16.gguf)が提供されています。ライセンス同意手続き(Gated)は不要で、そのまま取得して利用可能です。

動作環境としては、Linux x86_64 CPU環境においてllama.cppをバックエンドとした専用のアダプターをビルドして利用します。利用にあたってはPython 3.12および対応するPyTorch、torchvisionのセットアップが必要です。

環境変数を介してモデルやビジョンプロジェクターのパス、CPUスレッド数、コンテキスト長を設定し、PythonスクリプトまたはHTTP APIサービス経由で推論を実行します。

Pythonコードからの利用例は以下の通りです。

import os
from PIL import Image
from examples.llama_cpp.model import SingVLS1

os.environ["JEV_GGUF_MODEL"] = "models/SingVL-4B-Q8_0.gguf"
os.environ["JEV_GGUF_MMPROJ"] = "models/mmproj-SingVL-4B-F16.gguf"
os.environ["JEV_CPU_CONTEXT"] = "4096"
os.environ["JEV_CPU_THREADS"] = "8"

model = SingVLS1("config", device="cpu")
try:
    text, _ = model.predict(
        state="The color is red. ",
        questions={
            "color": {
                "type": "choice",
                "instructions": "Which color is named?",
                "criteria": {"red": "Red", "blue": "Blue"},
            },
            "yesno": {"type": "noul", "instructions": "Is the named color red?"},
            "redness": {
                "type": "score",
                "instructions": "How clearly does the text identify the color as red?",
                "criteria": ["Not red", "Possibly red", "Clearly red"],
            },
        },
    )
    print(text["answers"])
finally:
    model.close()

また、FastAPIを用いたHTTP APIサーバーとして起動する場合は、リポジトリのビルド手順に従ってアダプターを準備した後、以下のコマンドでサーバーを立ち上げます。

export JEV_GGUF_MODEL="$PWD/models/SingVL-4B-Q8_0.gguf"
export JEV_GGUF_MMPROJ="$PWD/models/mmproj-SingVL-4B-F16.gguf"
export JEV_CPU_CONTEXT=4096
export JEV_CPU_THREADS=8
export OMP_NUM_THREADS=8

python examples/llama_cpp/serve.py --model "$PWD/config" \
  --device cpu --port 8173 --image-root "$PWD/examples/images"

サーバー起動後は、/v1/systemone エンドポイントに対し、以下のように curl コマンドを使ってJSONフォーマットでリクエストを送信することで推論結果を取得できます。

curl -fsS http://127.0.0.1:8173/v1/systemone \
  -H 'Content-Type: application/json' -d '{
  "model": "sing-vl-s1",
  "state": "The color is red. ",
  "questions": {
    "color": {
      "type": "choice",
      "instructions": "Which color is named?",
      "criteria": {"red": "Red", "blue": "Blue"}
    },
    "yesno": {"type": "noul", "instructions": "Is the named color red?"},
    "redness": {
      "type": "score",
      "instructions": "How clearly does the text identify the color as red?",
      "criteria": ["Not red", "Possibly red", "Clearly red"]
    }
  }
}'

画像を使用する場合は、images 配列にBase64文字列データ(data_url または base64)や、サーバー上の画像パス(path)を指定して実行します。

関連記事

次に読むなら

出典