MetaのマルチモーダルMoEモデル「Muse Spark Open」公開

MetaのマルチモーダルMoEモデル「Muse Spark Open」公開

基本情報

項目 内容
公開元 Hugging Face Blog
公開日 2026-10-15
出典の種類 未確認(一次情報で裏付けできていない)(Meta公式ソースが不在でHFブログのみ)

情報を集めた時点で、当サイトのコードが確定させた値です。日付はJSTで表示しています。

概要

Metaが、オープンウェイトの最先端マルチモーダルMixture-of-Experts (MoE) モデルである「Muse Spark Open」を公開したと報告されています。ただし、この情報は現時点では公式に確認されていません。

このモデルは、テキスト、画像、音声、および動画を一つのモデルで扱うことができ、開発者がさまざまな種類の入力に対して質問を行うための共通のインターフェースを提供します。Muse Spark Openは、以前にMetaからリリースされた小型のDenseモデルである「Muse Glimmer」のシリーズにおけるフルサイズモデルとなります。両モデルは同じトークナイザーと語彙を使用しており、Muse Spark Openはより大規模なスケールでMoEアーキテクチャを導入しています。

スペック

  • 総パラメータ数: 約8,160億
  • トークンあたりの活性パラメータ数: 約420億
  • アーキテクチャ: Mixture-of-Experts (MoE)
  • レイヤー数: 62レイヤー
  • 隠れ層の次元数: 8192
  • クエリヘッド数: 128
  • キー・バリューヘッド数: 16 (Grouped-query attention)
  • ヘッドの次元数: 64
  • MoE構成: 1レイヤーあたり256のエキスパート、1トークンあたり8個を選択
  • コンテキスト長: 最大100万トークン
  • 入力形式: テキスト、画像、音声、動画
  • 出力形式: テキスト
  • 入力・出力埋め込み層: それぞれ約16.6億パラメータの独立した行列
  • 正規化手法: QK-norm、および出力層への正規化レイヤー
  • 残差接続: 学習可能な残差ゲート(learned residual gate)による結合
  • Perception Encoderのパラメータ数: 18億
  • Perception Encoderのレイヤー数: 50レイヤー
  • Perception Encoderの隠れ層の次元数: 1536
  • Perception Encoderのアテンションヘッド数: 16
  • Audio Encoderの構造: Convolutional pyramid

性能

モデルカードの記述によれば、Muse Spark Openはコーディングに最適化されたモデルです。複数ファイルにわたるリファクタリングや、長時間のデバッグセッションといった、実際の開発ワークフローに基づいて学習されています。具体的には、コードベース全体の読み取り、コードの記述やデバッグ、さらにはツールの呼び出しまでを行うことが想定されています。

また、エージェントとしての能力に特化しており、計画、実行、観察、そして自己修正を伴う長期的なタスクをこなすことが可能です。これには、画像を用いたウェブブラウジングも含まれます。

マルチモーダルな入力への対応により、コードの作業中にスクリーンショットを読み取ったり、ボイスメモを聞いたり、画面録画を視聴したりといった、多様なコンテキストを理解しながら作業を進めることができるとされています。これにより、開発者はテキストだけでなく、視覚的・聴覚的な情報を組み合わせた高度な指示をモデルに与えることができるようになると報告されています。

得意なこと・想定用途

Muse Spark Openは、コーディングに特化したエージェントとしての能力を備えていると報告されています。具体的には、コードベースの読み取り、コードの記述、デバッグ、そしてツールの呼び出しといった、実際の開発ワークフローに基づいたタスクをこなすように設計されています。複数ファイルにわたるリファクタリングや、長時間のデバッグセッションといった複雑な作業にも対応できるとされています。

また、強力なマルチモーダル機能を備えており、テキストだけでなく、画像、音声、動画を同時に扱うことができます。これにより、コードの作業中にスクリーンショットを確認したり、ボイスメモを聞いたり、あるいは画面録画を視聴したりしながら、視覚的・聴覚的な情報を組み合わせた高度な指示に従うことが可能です。さらに、画像を用いたウェブブラウジングを含む、計画・実行・観察・自己修正を伴う長期的なタスクの遂行も想定されています。

入手方法

モデルは、以下の形式で配布されていると報告されています。

  • 配布形式: BF16、NVFP4 (NVIDIA Blackwell GPU向け)
  • 入手コマンド:
  • llama.cppを利用する場合: bash curl -LsSf https://llama.app/install.sh | sh llama serve -hf ggml-org/Muse-Spark-Open-816B-A42B-GGUF:Q2_K * SGLangを利用する場合: bash export MODEL_ID=meta-models/Muse-Spark-Open-816B-A42B-NVFP4 export CKPT="$(hf download "$MODEL_ID")" SGLANG_FLASHINFER_NVFP4_PER_TOKEN_ACTIVATION=1 \ uv run sglang_meta serve \ --model-path "$CKPT" \ --served-model-name "$MODEL_ID" \ --quantization modelopt_fp4 \ --moe-runner-backend flashinfer_trtllm \ --tp-size 4 \ --ep-size 4 \ --chat-template "$CKPT/muse_spark_1_2_oss.jinja" \ --port 30000
  • 対応エンジン: llama.cpp, SGLang, vLLM (NVFP4はBlackwellシリーズが必要)

関連記事

出典

この記事は未確認情報を含みます。 公式の一次情報で裏が取れ次第、更新履歴を追記して反映します。