ByteDance-Seed/Cola2 Language Model: Continuous Compression…

ByteDance-Seed/Cola2 Language Model: Continuous Compression…

基本情報

項目 内容
リポジトリ ByteDance-Seed/Cola2
公開元のまとめ ByteDance Seed のモデルとライセンスのまとめ
公開日 2026-11-06
配布形式 safetensors
論文 arXiv:2610.31305
出典の種類 公開元の一次情報(公式HFアカウントとarXiv論文リンクが一次情報)

情報を集めた時点で、当サイトのコードが確定させた値です。日付はJSTで表示しています。

概要

ByteDance-Seedより、連続潜在空間による意味圧縮と離散テキスト生成を組み合わせた新たな言語モデル「Cola2」が公開されました。本モデルは、動的圧縮VAE、ブロック因果Diffusion Transformer(DiT)、および潜在フィードバックを備えたスパン因果トークンデコーダを組み合わせたアーキテクチャ構造を備えています。

モデルの基礎となる研究論文は「Cola2: Co-Adaptive Hierarchical Language Modeling with Continuous Semantic Compression and Balanced Discrete Generation」として公開されています。論文の要旨によると、Cola2はテキストを動的に意味スパンへグループ化してコンパクトな連続潜在変数として表現し、DiTで潜在ブロックを生成した後に離散トークンとして復元することで、連続的意味圧縮とバランスの取れた離散生成の共適応を実現することを目的として開発されました。

スペック

  • アーキテクチャ:動的圧縮VAE、ブロック因果Diffusion Transformer(DiT)、潜在フィードバック付きスパン因果トークンデコーダ(DiT部分は約4Bパラメータ)

性能

公開元がモデルカード上で公表している事前学習後の評価結果、および同規模のオープンウェイトモデル等との比較表は以下の通りです。表内の数値は、事前学習トークン数の行を除き正解率(%)を示しています。また、Cola2の各タスク数値は3回の潜在ノイズサンプリング評価における平均値となっています。

→ 横にスクロールできます

Task Llama-3-8B Qwen2.5-7B Qwen3-8B-Base LLaDA-8B-Base Cola2
Pretraining tokens 15T+ 18T ~36T 2.3T 346B
RACE 75.77 89.95 90.65 87.40 69.91
NarrativeQA 42.70 32.90 37.30 36.00 32.70
HellaSwag 39.21 75.67 68.13 69.65 41.75
StoryCloze 79.49 95.09 97.44 95.94 80.42
LAMBADA 75.70 71.82 71.20 67.90 63.00
ARC-Easy 90.86 96.00 97.35 93.85 87.62
TruthfulQA 63.04 69.03 72.58 64.87 54.10
MMLU 63.19 70.16 72.31 61.27 51.32
8-task average 66.25 75.08 75.87 72.11 60.10

公開元の測定結果によれば、Cola2は346.03Bソーストークンという比較的少ない事前学習データ量でありながら、文の自然な続きを選ぶ常識推論能力を測るHellaSwag(41.75)やStoryCloze(80.42)において、43倍以上のデータ量で学習されたLlama-3-8B(それぞれ39.21、79.49)を上回る数値を記録しています。

一方で、8タスク全体の平均スコア(60.10)においては比較されたすべてのモデルの中で最も低い結果となっています。特に、広く浅い一般知識を評価するMMLU(51.32)や、誤解への耐性といった事実性を測るTruthfulQA(54.10)、ARC-Easy(87.62)などの項目では、QwenシリーズやLLaDA-8B-Base、Llama-3-8Bに対して及ばない結果となっています。

なお、潜在変数の生成過程に確率的な要素が含まれるため、個々の実行ごとに評価結果が異なる可能性があると説明されています。

得意なこと・想定用途

Cola2は指示チューニング済みのチャットアシスタントではなく、ベースモデルとして提供されています。そのため、一般的な対話アプリの応答エンジンとしてそのまま使うのではなく、連続潜在空間を利用した階層的言語モデリングや、Diffusion Transformer(DiT)に基づくテキスト生成アルゴリズムの研究・実験、特徴抽出などの用途に適しています。

モデルカードの記述によると、比較的少ない事前学習データ量でありながらHellaSwagやStoryClozeといった常識推論タスクで効率的な成果を示しており、連続的な意味圧縮と離散生成の共適応メカニズムの検証や、新しい生成アーキテクチャの性能評価を行う環境に向いています。

動作環境

動作環境の目安(Local Model Watch 算出) — パラメータ数 8.8B

手持ちのVRAM 選べる量子化 ファイルサイズ 必要メモリの目安
RTX 6000 Ada / A6000 など 48GB F32 32.7GB 39.2GB

推論エンジンの対応状況(各プロジェクトのソースにあるモデル登録表とアーキテクチャ名を当サイトが機械的に照合。2026-11-17 時点): llama.cpp: 未登録、vLLM: 未登録、MLX (mlx-lm): 未登録。「未登録」はその時点の登録表に名前が無いという意味で、動かないことの断定ではありません。

必要メモリは配布ファイルの実サイズに実行時のオーバーヘッド(KVキャッシュ等)を20%見込んだ概算で、文脈長・バッチサイズ・推論エンジンによって増減します。公開元の公称値ではなく、当サイトがファイルサイズから機械的に算出した値です。 表のファイルは F32(32bit)で配布されたものの実サイズです。BF16 や量子化など低い精度で読み込めば必要なメモリは小さくなるため、最低条件ではなく配布そのままの大きさとして読んでください。低い精度での値は当サイトでは測っていません。 他のモデルとの比較はVRAM別の早見表を参照してください。 量子化の名前の読み方は用語集にあります。

手元で動かせるか

現時点では Ollama・LM Studio・llama.cpp で動かせません。

公開元の配布は safetensors のみで、llama.cpp の登録表にもこのモデルのアーキテクチャ名がありません。これらのツールで動かせるようになるには、まず llama.cpp 側が対応する必要があります。現時点で動かすなら transformers(PyTorch) で読み込む形になり、必要メモリは上の表のとおりです。

配布形式・当サイトが見つけた変換版・各推論エンジンの登録表を突き合わせた判定です。「確認できていない」は当サイトが見つけていないという意味で、存在しないことの断定ではありません。

当サイトでの実測

ライセンスの都合で行っていない実測

このモデルにはライセンスの表示が無く、利用の許諾を確認できません。広告を掲載している当サイトでは、ライセンスの都合上、モデルを動かす実測(CPU での実行・回答・量子化の比較・変換・生成)は行っていません。

同クラスの既報モデル

当サイトが最近取り上げた、パラメータ数 4〜15B のモデルを、比較のために記事ログからコードが並べたものです。VRAM階層は当サイトの概算、ライセンスはモデルカードの記載です。

→ 横にスクロールできます

モデル パラメータ数 最小のVRAM階層 ライセンス 記事
microsoft/UserRepGen-4B 4.5B 4GB mit 「UserRepGen-4B」ユーザー表現生成用の4B級言語モデル:必要VRAM 4GB〜・GGUF版あり(2026-11-17)
IFM/Jais-3-7B-GGUF 9.0B 8GB apache-2.0 「Jais-3-7B-GGUF」アラビア語と英語対応の7B推論モデル:必要VRAM 8GB〜(2026-11-17)
IFM/Jais-3-3.7B-GGUF 5.1B 4GB apache-2.0 「Jais-3-3.7B-GGUF」512Kコンテキストの言語モデル:必要VRAM 4GB〜(2026-11-17)
ibm-granite/granite-switch-4.1-8b 8.8B 24GB apache-2.0 IBM、モジュール型LLM「Granite Switch 4.1」公開(2026-11-17)
ggml-org/NVIDIA-Nemotron-3.5-Bolt-E4B-GGUF 8.0B 12GB apache-2.0 「NVIDIA-Nemotron-3.5-Bolt-E4B-GGUF」テキスト生成モデル:必要VRAM 12GB〜(2026-11-17)

入手方法

Cola2のモデルファイルは8分割のsafetensors形式で公開されており、Hugging Faceから取得可能です。ダウンロードにあたって特別なライセンス同意手続き(gated)は必要ありません。

実行環境として、Python 3.10以上、PyTorch 2.2以上、Transformers 4.51以上5未満、safetensors 0.4以上、および accelerate パッケージが必要とされており、bfloat16に対応したCUDA環境が推奨されています。また、本モデルは独自の構造を持つため、Transformersから読み込む際には trust_remote_code=True を指定する必要があります。

Pythonコードからモデルを読み込んで推論を行う場合の最小コード例は以下の通りです。

import torch
from transformers import AutoModel, AutoTokenizer

model_id = "ByteDance-Seed/Cola2"
tokenizer = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True)
model = AutoModel.from_pretrained(
    model_id,
    trust_remote_code=True,
    torch_dtype=torch.bfloat16,
    low_cpu_mem_usage=True,
).to("cuda").eval()

コマンドラインからモデルを一式ダウンロードし、ファイルのチェックサムを確認する場合は以下の手順で行えます。

hf download ByteDance-Seed/Cola2 --local-dir /path/to/cola2
cd /path/to/cola2
sha256sum -c SHA256SUMS

なお、コマンドライン対話スクリプトやベンチマーク実行ツール、各種ドキュメントは公式の GitHubリポジトリ にて管理されています。

関連記事

次に読むなら

出典