観測データ: 日本語のトークン効率・CPUでの実測・GGUFの中身・エンジンの対応の早さ

2026年9月28日2026年9月29日

このページは、モデルカードの記載ではなく、当サイトが自分で測り、記録した値をまとめたものです。記事にしたモデルのトークナイザと GGUF ファイルの先頭を読み、小さなモデルは GPU の無い当サイトのサーバーで実際に動かし、Hugging Face と各推論エンジンの登録表を毎日記録しています。以下の数値はすべてその記録からコードが集計したもので、言語モデルに書かせたり採点させたりはしていません。各モデルの記事の「当サイトでの実測」の節にも同じ値と、5問の日本語の質問への回答(温度0・最大1024トークン)を原文のまま載せています。

日本語のトークン効率

各モデルのトークナイザが、当サイトが書き下ろした固定の文章(876字・6種の文体)と、同じ内容の英文を何トークンに分けるかを数えました。少ないほど、同じ文脈長に長い日本語が入り、生成も1字あたりで速くなります。同じトークナイザを使うモデルは1行にまとめています。「参考」は比較のために測った有名なモデルのトークナイザです。

CPUだけで動かした速度

当サイトのサーバー(Neoverse-N1 の3スレッド・GPUなし)で、llama.cpp の公式配布(b11223)を使って測りました。速度は llama-bench(プロンプト512トークン・生成128トークン)、ピーク時のメモリは文脈4,096トークンで日本語の質問に答えさせている間の値で、ファイルをメモリに割り当てた分を含みます。各モデルの回答は記事に原文のまま載せています。

量子化ごとの劣化

モデルごとに量子化を1つずつダウンロードし、F16(無ければ Q8_0)を基準に、固定の日本語の文章(夏目漱石「坊っちゃん」の冒頭。青空文庫のパブリックドメインのテキスト)で llama.cpp のKL ダイバージェンスの計測を行いました(文脈512トークン)。各欄は、次のトークンの第1候補が基準と一致した割合です。「坊っちゃん」は有名な作品で学習データに含まれている可能性があるため、モデルどうしではなく、同じモデルの量子化どうしで比べてください。

GGUFファイルの中身

各 GGUF ファイルの先頭(メタデータ)だけを HTTP の範囲指定で読みました(重みはダウンロードしていません)。18ファイルのうち、imatrix を使って量子化したと記録しているのは12ファイル、チャットテンプレートにツール呼び出しの記述があるのは18ファイルです。平均のビット数は、ファイルのデータの大きさを重みの数で割った実測値です。

GGUF版が出るまでの時間

当サイトが記事にしたモデルについて、元モデルの Hugging Face のリポジトリが作られてから、最初の GGUF 版のリポジトリが作られるまでの時間です(公開日時ではなく作成日時の差です。リポジトリは公開前に非公開で作られることが多く、マイナスは GGUF 版の方が先に作られていた= 事前に提供を受けていたと見られるものです)。11モデルの中央値は15.2時間でした。

新しいアーキテクチャが推論エンジンに登録されるまで

各エンジンのソースにあるモデルの登録表を毎日取得し、アーキテクチャ名を初めて見た日を記録しています(2026-09-18から)。記事にしたモデルについて、その日とモデルのリポジトリが作られた日を比べました。「未登録」は今日の登録表に名前が無いという意味で、動かないことの断定ではありません。

推論エンジンのリリースの頻度

各プロジェクトの GitHub のリリースを記録したもののうち、2026-09-28までの30日間の数です。