Tencent Hy4-flashシリーズ公開: マルチモーダル対応のMoEモデル

基本情報
| 項目 | 内容 |
|---|---|
| リポジトリ | tencent/Hy4-flash-base |
| 公開元のまとめ | Tencent のモデルとライセンスのまとめ |
| 公開日 | 2026-11-17 |
| ライセンス | tencent-hy-license |
| 配布形式 | safetensors |
| 出典の種類 | 公開元の一次情報(Tencent公式HFリポジトリで確認) |
情報を集めた時点で、当サイトのコードが確定させた値です。日付はJSTで表示しています。
概要
Tencentが、マルチモーダル対応のMoEモデル「Hy4 flash」シリーズを公開しました。instruct版の tencent/Hy4-flash、FP8量子化版の tencent/Hy4-flash-FP8、事前学習のみの tencent/Hy4-flash-base の3種類です。モデルカードによれば、Hyシリーズで最もコスト効率が高いモデルで、テキストと画像を入力してテキストを出力します。
日常的な業務系タスク(ディープサーチ、文書処理、スライド作成、簡単なフロントエンドのデモ、computer use)向けに推奨されています。長期的なソフトウェアエンジニアリングのような複雑なタスクには、上位のHy4が推奨されています。
スペック
- アーキテクチャ: Mixture-of-Experts(MoE)。総パラメータ220B(うちEngramパラメータ64B)、トークンあたりの活性パラメータ12B
- 表の内訳: 総パラメータ(Engram・ViT・DFly2を除く)155.5B、Engram 63.5B、ViT 0.43B、DFly2 0.85B、トークンあたり活性はテキスト11.3B + 画像0.43B
- コンテキスト長: 1M(1,048,576トークン)
- バックボーン: 42層(Dense層1 + MoE層41)。MoE層ごとにルーティング対象エキスパート512、共有エキスパート1で、トークンごとに16のルーティング対象エキスパートを活性化
- アテンション: スパースアテンションとスライディングウィンドウアテンション(SWA)を1:3で交互に配置
- 内蔵の5層ドラフター「DFly2」(0.85B)による投機的デコーディングに対応
- ビジョンエンコーダ: SigLIP2-So400m-Patch16-Res512を改造
性能
以下はモデルカードに載っている、公開元自身による事前学習モデル(Hy4 flash Base)のfew-shot評価です。第三者による検証ではありません。列が多いため、比較対象はHy4 Base、Hy3 preview Base、DeepSeek-V4-flash-Base、DeepSeek-V4-Pro-Baseに絞り、行もPIQA・Social IQa・KOR-Bench・C³とマルチモーダル項目は省略しています。†付きはカードの注記で、該当するテキスト系ベンチマークはmacro平均の正解率です。
→ 横にスクロールできます
| Category | Benchmark | #Shots | Hy4 flash Base | Hy4 Base | Hy3 preview Base | DeepSeek-V4-flash-Base | DeepSeek-V4-Pro-Base |
|---|---|---|---|---|---|---|---|
| Knowledge | MMLU† | 5 | 88.7 | 91.6 | 87.5 | 89.7 | 91.1 |
| MMLU-Pro† | 5 | 71.1 | 73.9 | 65.8 | 68.6 | 73.4 | |
| MMLU-Redux† | 5 | 87.6 | 90.6 | 87.0 | 88.8 | 90.2 | |
| SuperGPQA† | 5 | 57.8 | 62.7 | 52.3 | 52.5 | 54.8 | |
| C-Eval† | 5 | 92.0 | 95.0 | 90.1 | 91.9 | 93.4 | |
| CMMLU† | 5 | 91.6 | 93.1 | 89.6 | 89.8 | 90.7 | |
| SimpleQA | 5 | 37.5 | 57.2 | 26.4 | 31.3 | 52.1 | |
| Chinese-SimpleQA† | 5 | 74.6 | 83.9 | 69.6 | 71.9 | 76.6 | |
| AGIEval (English)† | 3 | 75.4 | 79.3 | 76.0 | 76.3 | 78.2 | |
| AGIEval (Chinese)† | 3 | 90.6 | 91.2 | 87.8 | 88.5 | 89.8 | |
| Reasoning | HellaSwag (3,000-item subset) | 10 | 85.2 | 87.1 | 85.7 | 85.1 | 86.8 |
| ARC-Challenge | 0 | 95.0 | 97.3 | 96.0 | 97.3 | 97.0 | |
| Math | U-MATH | 5 | 69.8 | 71.6 | 60.9 | 57.4 | 64.8 |
| OCW Courses | 5 | 64.0 | 66.7 | 62.6 | 63.3 | 68.2 | |
| Code | MBPP-plus | 3 | 73.7 | 74.0 | 77.4 | 76.8 | 79.1 |
| BigCodeBench (Full) | 0 | 58.8 | 47.9 | 59.6 | 58.0 | 57.5 | |
| Multilingual | Belebele (5-language subset)† | 5 | 93.8 | 95.0 | 94.2 | 94.4 | 95.2 |
| INCLUDE† | 5 | 82.8 | 88.1 | 84.3 | 84.0 | 84.3 |
この表では、Hy4 flash BaseはMMLU-Pro(71.1)とSuperGPQA(57.8)でDeepSeek-V4-flash-Base(68.6、52.5)を上回ります。U-MATHの69.8も、Hy4 Baseの71.6に次ぐ値です。一方、SimpleQAは37.5で、Hy4 Base(57.2)やDeepSeek-V4-Pro-Base(52.1)に大きく及びません。MBPP-plusは73.7で、DeepSeek-V4-flash-Base(76.8)やHy3 preview Base(77.4)より低い結果です。BigCodeBench (Full)の58.8はHy3 preview Base(59.6)と僅差で、Hy4 Base(47.9)より高い値です。上位のHy4 Baseは多くの知識系項目で上回ります。なお、カードは、中間学習で合成の指示データに触れた影響で、few-shot評価で回答形式に従えずスコアが歪む場合があると注記しています。
実タスクについては、公開元の社内ベンチマークWorkIndexで42.1(Hy4 previewは39.7、Hy4は51.4)とされています。タスクあたりの平均コストはHy4 previewの1/13、Hy4の1/20です。85人の社内ユーザーによるブラインド評価の満足度は2.79/4で、Claude Haiku 5.5の2.81/4に近い値でした。これらは公開元自身の測定です。
得意なこと・想定用途
モデルカードが推奨するのは、日常的な業務系タスクです。具体的には、ディープサーチ、文書処理、スライド作成、簡単なフロントエンドのデモ、computer useが挙げられています。社内ベンチマークWorkIndexは、スライド作成・編集、Markdownの共同執筆、文書編集、表計算の修復、音声・動画処理、視覚理解などを含む8つの評価セットで構成されると説明されています。実際の作業に近いタスクで、品質・出力長・所要時間を重視した設計です。
一方、長期的なソフトウェアエンジニアリングのような複雑なタスクには、カードは上位のHy4を推奨しています。「特定分野で最強」と打ち出すモデルではなく、コストと速度を優先した実用寄りの位置づけです。
画像入力にも対応します(タグは multimodal、image-text-to-text)。カードの例は画像の説明生成です。コンテキスト長は1Mトークンなので、長い文書を扱う用途にも向きます。
効率面について、カードは次のように説明しています(いずれも公開元の主張で、第三者による検証ではありません)。
- ハイブリッドアテンション、LatentMoE、Engramの採用で、KVキャッシュサイズはHy3の1/24、Hy4の1/6になったとされています
- 強化学習により、平均のエンドツーエンド出力トークン数を50%削減したとされています
- megakernel、4-bit量子化、DFly2を組み合わせたデコード速度は、150 tokens/sを超えるとされています
推論モードは reasoning_effort で切り替えます。"high"(既定、thinking有効)と "no_think"(直接回答)があります。推奨サンプリングパラメータは temperature=0.9、top_p=1.0 です。
Hy4-flash-base は事前学習のみのベースモデルで、チャット用ではありません。会話や推論の例が当てはまるのは、Hy4-flash と Hy4-flash-FP8 です。ファインチューニング用のパイプラインとガイドも各リポジトリに用意されています。
動作環境
動作環境の目安(Local Model Watch 算出) — パラメータ数 220.3B
| 手持ちのVRAM | 選べる量子化 | ファイルサイズ | 必要メモリの目安 |
|---|---|---|---|
| 492GB超のVRAMが必要(複数GPUまたはCPUオフロードが前提) | BF16 | 410.3GB | 492.3GB |
推論エンジンの対応状況(各プロジェクトのソースにあるモデル登録表とアーキテクチャ名を当サイトが機械的に照合。2026-11-18 時点): llama.cpp: 未登録、vLLM: 未登録、MLX (mlx-lm): 未登録。「未登録」はその時点の登録表に名前が無いという意味で、動かないことの断定ではありません。
必要メモリは配布ファイルの実サイズに実行時のオーバーヘッド(KVキャッシュ等)を20%見込んだ概算で、文脈長・バッチサイズ・推論エンジンによって増減します。公開元の公称値ではなく、当サイトがファイルサイズから機械的に算出した値です。 他のモデルとの比較はVRAM別の早見表を参照してください。 量子化の名前の読み方は用語集にあります。
手元で動かせるか
現時点では Ollama・LM Studio・llama.cpp で動かせません。
公開元の配布は safetensors のみで、llama.cpp の登録表にもこのモデルのアーキテクチャ名がありません。これらのツールで動かせるようになるには、まず llama.cpp 側が対応する必要があります。現時点で動かすなら transformers(PyTorch) で読み込む形になり、必要メモリは上の表のとおりです。
ライセンス tencent-hy-license: 公開元の独自ライセンスです。商用利用の可否を含め、条件は公開元の原文を直接確認してください。
配布形式・当サイトが見つけた変換版・各推論エンジンの登録表を突き合わせた判定です。「確認できていない」は当サイトが見つけていないという意味で、存在しないことの断定ではありません。ライセンスの要約は法的助言ではないため、実際の利用にあたっては公開元の原文を確認してください。
当サイトでの実測
ライセンスの都合で行っていない実測
このモデルのライセンス(tencent-hy-license)の商用利用の条件を、当サイトが満たしていることを確認できていません。広告を掲載している当サイトでは、ライセンスの都合上、モデルを動かす実測(CPU での実行・回答・量子化の比較・変換・生成)は行っていません。
同クラスの既報モデル
当サイトが最近取り上げた、パラメータ数 40B超 のモデルを、比較のために記事ログからコードが並べたものです。VRAM階層は当サイトの概算、ライセンスはモデルカードの記載です。
→ 横にスクロールできます
| モデル | パラメータ数 | 最小のVRAM階層 | ライセンス | 記事 |
|---|---|---|---|---|
| nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-BF16 | 124.5B | 80GB | openmdw-1.1 | 「NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-BF16」:必要VRAM 80GB〜(2026-11-17) |
| deepseek-ai/DeepSeek-V4.1-Flash-1017 | 763.2B | — | mit | 「DeepSeek-V4.1-Flash-1017」VLMモデル:必要メモリ約570GB・GGUF版あり(2026-11-17) |
| Qwen/Qwen3.8-Flash-Next | 180.0B | — | qwen-community-1.0 | 「Qwen3.8-Flash-Next」マルチモーダル対応のMoEモデル:必要メモリ約402GB(2026-10-04) |
| ggml-org/GLM-5.3-Flash-GGUF | 321.3B | — | other | 「GLM-5.3-Flash-GGUF」VLMモデル:必要メモリ約150GB(2026-10-03) |
| bartowski/Intern-S2-397B-GGUF | 403.4B | — | apache-2.0 | 「Intern-S2-397B-GGUF」科学分野向けマルチモーダル基盤モデル:必要メモリ約102GB(2026-09-15) |
入手方法
配布形式はsafetensorsです。Hugging Face、ModelScope、GitCodeで公開されています。ゲートは設定されておらず、Hugging Face上でライセンス同意なしにダウンロードできます。ライセンスはTencent Hy Licenseです(カード上の表記は license:other)。利用条件の詳細は、今回の資料からは確認できていません。商用利用などを予定している場合は、リポジトリのライセンス文面を確認してください。
| モデル | 内容 |
|---|---|
tencent/Hy4-flash |
instruct版 |
tencent/Hy4-flash-FP8 |
FP8量子化instruct版 |
tencent/Hy4-flash-base |
事前学習ベース版 |
ダウンロードの例です。
huggingface-cli download tencent/Hy4-flash-FP8
GGUF版は、AngelSlimが AngelSlim/Hy4-flash-GGUF として提供しています。カードは「end-to-endテスト用」と位置づけており、本番運用向けとはされていません。llama.cppやOllama、LM Studioでの対応状況は、資料に記載がなく未確認です。
Transformers
Hy4 flashへの対応はtransformersのmainブランチに「まもなくマージされる」とされています。それまでは、次のコミットからインストールする必要があります。
pip install "transformers[torch,vision] @ git+https://github.com/huggingface/transformers.git@refs/pull/50903/head"
vLLM
本番サービング向けには、vLLMまたはSGLangが推奨されています。vLLMの公式プリビルドイメージは vllm/vllm-openai:hy4-flash です。カードのコマンドは次のとおりです。
docker run --gpus all \
-p 8000:8000 \
--ipc=host \
-v ~/.cache/huggingface:/root/.cache/huggingface \
vllm/vllm-openai:hy4-flash tencent/Hy4-flash-FP8 \
--tensor-parallel-size 8 \
--speculative-config '{"num_speculative_tokens":5,"method":"dfly"}' \
--attention-backend FLASHMLA_SPARSE \
--tool-call-parser hy_v4 \
--reasoning-parser hy_v4 \
--enable-auto-tool-choice \
--port 8000 \
--served-model-name hy4-flash
SGLang
SGLangの公式イメージは lmsysorg/sglang:hy4-flash です(x86とArmのマルチアーキテクチャ)。
docker pull lmsysorg/sglang:hy4-flash
docker run --gpus all \
-p 8000:8000 \
--ipc=host \
lmsysorg/sglang:hy4-flash \
sglang serve \
--trust-remote-code \
--model-path tencent/Hy4-flash-FP8 \
--tp 8 \
--cuda-graph-backend-prefill disabled \
--speculative-algorithm DFLY \
--speculative-dfly-block-size 6 \
--host 127.0.0.1 \
--port 8000
どちらの例も --tensor-parallel-size 8(SGLangでは --tp 8)を指定しており、複数GPUでの構成が前提です。サーバーを起動すれば、OpenAI互換APIでアクセスできます。DFly2による投機的デコーディングは、起動オプションで有効にします。
関連記事
- 「Qwen3.8-27B-DSpine-b16」投機的デコーディング用ドラフトモデル:必要VRAM 8GB〜
- 「Qwen3-8B-DSpine-b16」投機的デコード向け並列ドラフトモデル:必要VRAM 4GB〜
- 「Hy-Memory-30B-A3B」テキスト生成モデル:必要VRAM 12GB〜・GGUF版あり
- 「Youtu-Parsing-Omni」オムニモーダル解析モデル:必要VRAM 12GB〜
次に読むなら
- GPUのVRAMから探す(このモデルは80GBの階層にも収まりません。最小構成でも約492GB) → 80GB超のモデルも並べたVRAM別の早見表
- このモデルを入手できる形式を調べる → Safetensors形式の解説と対応モデル
- 公開元について調べる → Tencent のモデル・ライセンス・記事のまとめ
- 同じ用途の他のモデルを探す → VLM・マルチモーダルのモデル一覧
- 記事に出てくる MMLU・MMLU-Pro・SuperGPQA の読み方を知る → ベンチマーク用語集

