「clef-omni」30Bのマルチモーダル意思決定モデル:必要VRAM 80GB〜

「clef-omni」30Bのマルチモーダル意思決定モデル:必要VRAM 80GB〜

基本情報

項目 内容
リポジトリ Cloudflare/clef-omni
公開元のまとめ Alibaba(Qwen) のモデルとライセンスのまとめ
公開日 2026-10-09
ライセンス apache-2.0
配布形式 safetensors
出典の種類 公開元の一次情報(公式HuggingFaceリポジトリとCloudflare公式ブログが一次情報)

情報を集めた時点で、当サイトのコードが確定させた値です。日付はJSTで表示しています。

概要

Cloudflareは、入力情報と型定義された質問スキーマから直接判定を下すマルチモーダル意思決定モデル「Cloudflare/clef-omni」を公開しました。本モデルは「Qwen/Qwen3-Omni-30B-A3B-Instruct」をベースに事後学習(post-trained)されたモデルであり、入力としてテキスト、JSON、画像、音声、動画を読み込みます。自由形式のテキスト生成や出力テキストのパースを介さず、単一のフォワードパスですべての質問の選択肢に対する確率を出力できる点が特徴です。

スペック

  • アーキテクチャ: Mixture of Experts(Qwen3OmniMoeForConditionalGeneration)
  • パラメータ数: 30B-A3B(MoE構成)
  • 最大入力長: デフォルト64,000トークン(encode_recordのmax_length)

性能

公開元であるCloudflareが自社環境で測定した「Decision Index 0.2.1」スイートおよび業務ワークフロー評価「Workflow evals」の結果がモデルカードで公表されています。比較対象モデル(Clef、Clef-flash、Jev)との評価結果は以下の通りです。

→ 横にスクロールできます

Benchmark Clef-Omni Clef Clef-flash Jev
BFCL (case exact accuracy) 98.2 98.5 98.8 95.8
ToolRet (nDCG@10) 66.6 69.2 66.4 65.3
API-Bank (accuracy) 92.7 91.9 93.1 88.2
BANKING77 (macro-F1) 94.8 94.2 90.9 79.7
CLINC150+OOS (macro-F1) 97.7 97.4 66.8 89.3
RouterBench (selected quality) 79.9 79.7 79.9 79.9
Home appliance simulator (case exact accuracy) 69.3 83.0 97.7 52.3
SGD/SGD-X (macro-F1) 39.2 43.8 34.2 43.0
ContractNLI (macro-F1) 80.3 81.4 84.3 71.7
ANLI (macro-F1) 65.5 69.8 59.1 74.8
BPoMP (accuracy) 96.8 96.9 95.4 90.6
Humicroedit (accuracy) 70.1 66.7 75.1 61.9
POP909-CL (accuracy) 2.6 15.8 1.6 18.1
cfcolor (accuracy) 62.9 66.0 65.8 64.7
MMLU (accuracy) 92.7 90.3 91.8 91.7
GPQA Diamond (accuracy) 47.4 48.0 51.0 78.3
ARC-Easy (accuracy) 99.8 99.0 99.5 99.3
ARC-Challenge (accuracy) 97.8 97.7 98.3 97.8
WinoGrande (accuracy) 96.7 93.5 97.5 92.0
HellaSwag (accuracy) 99.1 98.2 98.6 94.5
GSM8K (accuracy) 79.0 80.8 67.3 79.9
ChessBench (accuracy) 22.1 24.7 23.0 17.2
MuSR (accuracy) 83.8 83.5 86.0 66.1
SATA-Bench (case exact accuracy) 31.9 33.8 36.7 26.4
BRIGHT (nDCG@10) 42.0 45.9 39.3 47.5
Amazon ESCI (macro-F1) 57.8 57.5 57.4 55.2
ACOS (per-review F1) 28.4 33.3 25.9 29.5
FinEntity (macro-F1) 96.3 96.2 97.1 87.0
VAST (macro-F1) 50.9 59.5 49.6 64.6
NLI4CT (macro-F1) 76.8 82.9 78.6 84.1
CRUXEval (accuracy) 88.8 86.7 86.1 73.0
CLadder (accuracy) 97.2 94.0 97.7 72.6
ForecastBench (Brier, lower is better) 11.7 13.9 10.6 17.4
Habermas Machine (accuracy) 67.8 68.7 71.8 45.9
PhishNChips (accuracy) 73.2 79.6 75.0 62.5
MMLU-Pro (accuracy) 70.6 65.9 65.3 82.7
BBH (accuracy) 69.0 73.7 68.9 92.9
RAGTruth (hallucination F1) 42.0 79.4 35.6 76.5
HoVer (accuracy) 64.2 65.2 61.2 72.9
When2Call MCQ (accuracy) 63.3 72.4 65.6 81.0
New Yorker (accuracy) 64.2 69.5 66.1 70.1

続いて、4つの実務シナリオにおける意思決定精度を測る「Workflow evals」の結果です。

→ 横にスクロールできます

Workflow Metric Clef-Omni Clef Clef-flash Jev
Invoice processing Exact actions 60.2 64.7 57.1 61.8
Invoice processing Primary action 82.0 86.2 73.3 83.1
Customer service Exact actions 71.6 76.3 77.0 76.0
Security incidents Exact actions 61.7 62.9 61.7 61.7
Agent trace observability Primary action 65.8 68.5 69.8 71.6

公開元の測定結果によると、Clef-Omniは57分野の知識を問うMMLUで92.7%、文の自然な続きを選ぶHellaSwagで99.1%を記録し、比較対象の中で最も高い水準を示しています。関数の選択と引数の組み立て精度を評価するBFCLにおいても98.2%と高い精度を達成しています。一方で、博士課程レベルの難問を扱うGPQA Diamondでは47.4%にとどまり、Jev(78.3%)に対して大きく水をあけられています。難関推論を集めたBBH(69.0%)や選択肢の多いMMLU-Pro(70.6%)でもJevに及ばず、複雑な推論タスクでは課題が残る結果となっています。実務シナリオのワークフロー評価においても、請求書処理や問い合わせ対応の各指標で先行のClefやClef-flashが上位を占めており、用途に応じた得手不得手が見られます。

得意なこと・想定用途

Cloudflare/clef-omniは、入力状態(テキストや構造化データ、各種メディア)と質問スキーマを受け取り、自由文生成を行わずに単一のフォワードパスですべての選択肢の確率を直接算出する「意思決定モデル(decision model)」です。従来のLLMのようにテキストを生成させてから正規表現やJSONパーサーで抽出する手順が不要となっており、高速かつ確実な分類・判定処理を得意としています。

本モデルの具体的な得意分野と想定用途は以下の通りです。

  • マルチモーダル入力を統合した状況判断: テキストやJSONデータだけでなく、画像、音声、動画を同時に扱えます。例えば「通話録音の音声ファイルとドライブレコーダーの映像を同時に読み込ませ、ガラスの破損音があるか、衝突事故が映っているかを判定する」といった複合メディアの監査タスクに対応します。
  • 型定義された質問スキーマへの直接回答: ユーザーが定義した質問リストに対し、一度の推論でまとめてスコアリングを行います。質問の型として、真偽を判定するnoul(true/false)、定義された選択肢から選ぶchoice、順序付けられた評価を行うscoreが用意されており、請求書のステータス判定や問い合わせの緊急度判定などを一度に処理できます。
  • 異種メディアのバッチ処理: テキストのみのデータとマルチモーダルなメディアを含むデータを同一のバッチに混在させて効率的に推論できます。
  • Jev / SystemOne APIとの互換性: JevおよびSystemOneのPOST /v1/systemoneリクエスト形式と完全に互換性があり、既存の意思決定パイプラインへの組み込みが容易です。

ベースモデルであるQwen/Qwen3-Omni-30B-A3B-Instructが備える高い音声・視覚・テキスト理解能力を活かし、カスタマーサポートの自動ルーティング、セキュリティインシデントのトリアージ、請求書処理の自動化など、明確な判断ロジックが求められる定型業務の自動化に適しています。

動作環境

動作環境の目安(Local Model Watch 算出) — パラメータ数 35.3B

手持ちのVRAM 選べる量子化 ファイルサイズ 必要メモリの目安
A100 / H100 80GB クラス BF16 65.7GB 78.8GB

推論エンジンの対応状況(各プロジェクトのソースにあるモデル登録表とアーキテクチャ名を当サイトが機械的に照合。2026-11-17 時点): llama.cpp: 登録あり、vLLM: 登録あり、MLX (mlx-lm): 未登録。「未登録」はその時点の登録表に名前が無いという意味で、動かないことの断定ではありません。

必要メモリは配布ファイルの実サイズに実行時のオーバーヘッド(KVキャッシュ等)を20%見込んだ概算で、文脈長・バッチサイズ・推論エンジンによって増減します。公開元の公称値ではなく、当サイトがファイルサイズから機械的に算出した値です。 他のモデルとの比較はVRAM別の早見表を参照してください。 量子化の名前の読み方は用語集にあります。

手元で動かせるか

現時点では Ollama・LM Studio・llama.cpp で動かせません(GGUF版を確認できていない)。

公開元の配布は safetensors のみです。ただし llama.cpp の登録表にはこのモデルのアーキテクチャ名があるため、GGUFへの変換自体は可能な状態で、変換版が公開されれば動くようになります。公開元と実績のある量子化担当以外による変換版は 12 件あります。現時点で動かすなら transformers(PyTorch)・vLLM・MLX (Apple Silicon) で読み込む形になり、必要メモリは上の表のとおりです。

ライセンス apache-2.0(商用利用可): 商用利用を含めて自由に利用・改変・再配布できます。再配布時にライセンス文と変更点の告知が必要で、特許の許諾条項があります。

配布形式・当サイトが見つけた変換版・各推論エンジンの登録表を突き合わせた判定です。「確認できていない」は当サイトが見つけていないという意味で、存在しないことの断定ではありません。ライセンスの要約は法的助言ではないため、実際の利用にあたっては公開元の原文を確認してください。

同クラスの既報モデル

当サイトが最近取り上げた、パラメータ数 15〜40B のモデルを、比較のために記事ログからコードが並べたものです。VRAM階層は当サイトの概算、ライセンスはモデルカードの記載です。

→ 横にスクロールできます

モデル パラメータ数 最小のVRAM階層 ライセンス 記事
ggml-org/Muse-Glimmer-30B-GGUF 29.8B 24GB apache-2.0 「Muse-Glimmer-30B-GGUF」30Bのマルチモーダルローカルエージェントモデル:必要VRAM 24GB〜(2026-11-17)
ggml-org/vllm-d3-GGUF 26.1B 24GB apache-2.0 意思決定モデル「vllm-d3-GGUF」シリーズ公開(2026-11-17)
inclusionAI/ZwZ2-27B-GGUF 27.4B 24GB — 「ZwZ2-27B-GGUF」視覚言語モデル:必要VRAM 24GB〜(2026-11-17)
Cloudflare/clef 27.4B 12GB apache-2.0 「clef」構造化意思決定モデル:必要VRAM 12GB〜・GGUF版あり(2026-10-01)
ggml-org/OpenJev-GGUF 27.4B 24GB cc-by-nc-4.0 「OpenJev-GGUF」27.4Bの意思決定特化型モデル:必要VRAM 24GB〜(2026-10-01)

入手方法

Cloudflare/clef-omniはHugging FaceにてApache-2.0ライセンスのもとで公開されています。アクセス制限(Gated)は設定されておらず、誰でもダウンロードして利用可能です。モデルウェイトはsafetensors形式で配布されています。

本モデルはHugging Face Transformersとリポジトリに同梱されているカスタムコード(joint_schema_model.py)を組み合わせて動作します。公式検証環境はtorch 2.11およびtransformers 5.10.2とされています。また、画像処理用にpillow、音声・動画処理用にavが必要です。SGLangによる推論サポートも近日対応予定とされています。

モデルの入手とロードは、Pythonからhuggingface_hubを用いて以下のように行います。

import sys
import torch
from huggingface_hub import snapshot_download

# リポジトリのダウンロード
path = snapshot_download("Cloudflare/clef-omni")
sys.path.insert(0, path)

# 同梱スクリプトからモデルとプロセッサを読み込み
from joint_schema_model import load_release_model, encode_record, collate_records

model, processor = load_release_model(path, device="cuda")

質問を送信して判定結果を取得する推論コードの例は以下の通りです。

record = {
    "state": {"invoice": {"vendor": "Acme", "total": 1250.0, "currency": "USD", "status": "overdue"}},
    "questions": {
        "status": {
            "type": "choice",
            "instructions": "What is the invoice status?",
            "criteria": {"paid": "Invoice is paid.", "overdue": "Invoice is past due.", "draft": "Not sent."},
        },
        "large": {"type": "noul", "instructions": "Is the total above 1000 USD?"},
    },
}

encoded = encode_record(processor.tokenizer, record, processor=processor)
batch = collate_records([encoded], processor.tokenizer.pad_token_id, torch.device("cuda"))

with torch.inference_mode():
    logits = model(batch)[0]

for question, question_logits in zip(encoded.questions, logits):
    probabilities = question_logits.float().softmax(-1).tolist()
    print(question.question_id, dict(zip(question.option_ids, probabilities)))

ベースモデルに含まれる音声出力用の重み(talkerおよびcode2wav)は同梱されていますが、本モデルの推論時には使用されず、load_release_model実行時にもロードされません。

派生版・量子化版

→ 横にスクロールできます

追記日 配布元 形式 リポジトリ 最小のVRAM階層(量子化・必要メモリの目安)
2026-11-17 mlx-community MLX mlx-community/clef-omni-4bit MLX 4bit 21.9GB(24GB VRAMで動作)
2026-11-17 mlx-community MLX mlx-community/clef-omni-8bit MLX 8bit 38.9GB(48GB VRAMで動作)

各リポジトリの量子化とファイルサイズ:

  • mlx-community/clef-omni-4bit の量子化: MLX 4bit 18.2GB
  • mlx-community/clef-omni-8bit の量子化: MLX 8bit 32.4GB

このほか、上記以外の投稿者による変換版が 12 件あります(当サイトは公開元自身と、実績のある量子化担当の配布だけを表に載せています)。

この節は、記事公開後に見つかった変換版を当サイトが機械的に追記したものです。必要メモリは配布ファイルのサイズから算出した概算です。 量子化の名前の読み方は用語集にあります。

関連記事

次に読むなら

出典

更新履歴

  • 2026-11-17: 変換版を「派生版・量子化版」に追記しました: mlx-community/clef-omni-4bit, mlx-community/clef-omni-8bit