推論モデル「ELYZA-Thinking-1.0」の32B/33Bモデル公開

基本情報
| 項目 | 内容 |
|---|---|
| リポジトリ | elyza/ELYZA-Thinking-1.0-llm-jp-4-32b-a3b |
| 公開元のまとめ | ELYZA のモデルとライセンスのまとめ |
| 公開日 | 2026-10-02 |
| ライセンス | apache-2.0 |
| 配布形式 | safetensors |
| 出典の種類 | 公開元の一次情報(公式HFリポジトリが一次情報) |
情報を集めた時点で、当サイトのコードが確定させた値です。日付はJSTで表示しています。
当サイトで確かめたこと
- 配布元のコード(transformers 5.18.0・bfloat16・版
5260ecc249)を Modal のクラウドの GPU(NVIDIA A100-SXM4-80GB・ピーク時の VRAM 60.1GB)で動かし、回答を原文のまま載せています。 - Qwen3 のトークナイザより約40%少ないトークンで同じ日本語を表せます。同じ文脈長に入る日本語が約1.66倍になり、生成も1字あたりで速くなります。
詳しい値と条件は、下の「当サイトでの実測」の節にあります。
概要
ELYZA, Inc.は、完全国内産の基盤モデルであるllm-jp-4シリーズをベースにした推論モデル「ELYZA-Thinking-1.0」の32B/33Bモデルを公開しました。公開されたモデルのうち、32Bモデル(elyza/ELYZA-Thinking-1.0-llm-jp-4-32b-a3b)はMoEアーキテクチャを採用しており、日本語と英語の言語理解および生成能力の向上を目的として、ミッドトレーニングとポストトレーニングが実施されています。日本語固有の知識想起や、複雑な制約を持つ指示追従、数学・コーディング・STEM分野の推論能力に特化しています。
スペック
- パラメータ数: 32.1B (32B-A3B) / 33B (33Bモデル)
- アーキテクチャ: Qwen3MoeForCausalLM (32B) / LlamaForCausalLM (33B)
- コンテキスト長: 65,536
- 活性パラメータ: 3,827,476,992 (32B)
- ルートエキスパート: 128 (32B)
- アクティブエキスパート: 8 (32B)
- 隠れサイズ: 2,560 (32B) / 5,120 (33B)
- レイヤー: 32 (32B) / 64 (33B)
- ヘッド: 40 (32B) / 40 (33B)
性能
モデルカードに記載されている、MoEモデル(ELYZA-thinking-1.0-llm-jp-4-32b-a3b)のベンチマーク比較表は以下のとおりです。比較対象として、同系統のモデルや他のオープンウェイトモデルのスコアが示されています。
→ 横にスクロールできます
| Benchmark | ELYZA-thinking-1.0- llm-jp-4- 32b-a3b | llm-jp-4- 32b-a3b- thinking | llm-jp-4.1- 32b-a3b- thinking | Qwen3- 30B-A3B | gpt-oss-20b | Nemotron 3.5 Lightning 30B-A3B | Qwen3.5- 35B-A3B | Gemma 4 26B-A4B |
|---|---|---|---|---|---|---|---|---|
| Knowledge & STEM | ||||||||
| MMLU-Pro (en) | 73.14 | 69.70 | 73.90 | 78.29 | 75.50 | 79.70 | 84.12 | 82.90 |
| JMMLU (ja) | 81.05 | 81.32 | 83.09 | 84.25 | 82.79 | 85.88 | 89.76 | 88.33 |
| GPQA-Diamond (en) | 63.86 | 51.93 | 60.80 | 63.26 | 68.59 | 75.98 | 84.38 | 78.60 |
| GPQA (ja) | 57.24 | 51.03 | 57.06 | 56.57 | 63.80 | 67.30 | 77.08 | 74.82 |
| Math | ||||||||
| MATH-500 (en) | 95.20 | 84.20 | 93.80 | 97.20 | 97.40 | 98.00 | 99.00 | 98.80 |
| JMATH-500 (ja) | 88.20 | 83.20 | 87.40 | 91.60 | 92.20 | 94.00 | 93.20 | 92.00 |
| AIME 2024+2025 (en) | 62.29 | 34.48 | 57.71 | 76.25 | 88.23 | 89.90 | 92.92 | 90.62 |
| PolyMath (ja, high+top) | 34.60 | 12.80 | 27.40 | 43.45 | 55.10 | 58.20 | 56.40 | 65.10 |
| Japanese QA | ||||||||
| JamC-QA (ja) | 59.51 | 53.75 | 53.79 | 45.30 | 41.10 | 55.17 | 60.29 | 66.18 |
| JEMHopQA (ja) | 71.59 | 62.71 | 65.51 | 55.20 | 54.16 | 55.17 | 58.88 | 61.93 |
| Instruction Following | ||||||||
| IFEval (en) | 93.70 | 83.12 | 92.75 | 89.21 | 88.85 | 94.96 | 88.13 | 95.35 |
| IFBench (en) | 59.16 | 49.64 | 56.18 | 36.55 | 60.10 | 71.95 | 59.96 | 71.95 |
| M-IFEval-ja (ja) | 81.75 | 63.05 | 77.32 | 63.72 | 73.12 | 79.76 | 76.88 | 87.72 |
| JFBench (ja) | 38.15 | 27.14 | 30.87 | 24.23 | 18.38 | 34.39 | 28.83 | 30.30 |
| Translation | ||||||||
| WMT20 en→ja (ja) | 23.98 | 23.53 | 23.76 | 22.17 | 23.20 | 20.29 | 24.89 | 27.90 |
| WMT20 ja→en (en) | 22.00 | 20.28 | 20.41 | 21.58 | 21.35 | 20.34 | 23.70 | 26.22 |
| Coding | ||||||||
| LiveCodeBench v6 (en) | 53.66 | 26.86 | 32.40 | 56.40 | 59.94 | 75.94 | 74.91 | 77.09 |
| JHumanEval (ja) | 95.37 | 91.52 | 92.38 | 93.72 | 74.63 | 96.83 | 93.54 | 98.35 |
| Function Calling | ||||||||
| BFCL v4 (en) | 36.31 | 13.29 | 27.96 | 42.65 | 48.09 | 62.37 | 67.03 | 66.88 |
| Nejumi BFCL (ja) | 41.89 | 11.58 | 39.19 | 49.03 | 47.10 | 52.12 | 60.62 | 57.34 |
| Average | ||||||||
| Overall | 58.46 | 46.38 | 53.89 | 56.31 | 57.26 | 64.52 | 66.37 | 68.58 |
| Japanese | 59.61 | 49.16 | 56.65 | 56.73 | 55.04 | 62.02 | 64.24 | 66.68 |
| English | 55.94 | 41.16 | 49.72 | 56.84 | 61.45 | 68.98 | 69.98 | 71.55 |
公開元の測定によれば、ELYZA-Thinking-1.0-llm-jp-4-32b-a3bは日本語関連のタスクで高いパフォーマンスを発揮しています。特に指示追従能力を測るIFEvalやM-IFEval-ja、日本語コーディングのJHumanEvalにおいて優れた数値を記録しており、ベースとなったモデル群と比較して全体的なスコアが向上しています。一方で、Function Callingや英語の高度な数学・競技プログラミング系のベンチマーク(AIMEやLiveCodeBench v6など)では、一部の海外製大規模モデルや他モデルと比較して低い数値となっており、英語圏の特定タスクやツール選択の正確さにおいては改善の余地が見られます。
得意なこと・想定用途
ELYZA-Thinking-1.0シリーズは、日本語と英語の言語理解および生成能力を高めるため、ミッドトレーニング、SFT(教師あり微調整)、強化学習(RLVR)の3段階のトレーニングを経て構築されています。数学、コーディング、STEM分野の推論データを日本語にローカライズして学習しており、特に日本語の指示追従や知識想起に特化しています。また、日本語のWikipediaやWikidataから合成した知識データを活用することで、日本語固有の知識の理解と想起を強化しています。さらに、ツール呼び出し(Function Calling)やエージェントとしての利用にも対応しており、エージェント用データはツール呼び出し、関数名、引数、JSON構造を維持したまま日本語にローカライズされています。
動作環境
動作環境の目安(Local Model Watch 算出) — パラメータ数 32.1B
| 手持ちのVRAM | 選べる量子化 | ファイルサイズ | 必要メモリの目安 |
|---|---|---|---|
| A100 / H100 80GB クラス | BF16 | 59.9GB | 71.8GB |
推論エンジンの対応状況(各プロジェクトのソースにあるモデル登録表とアーキテクチャ名を当サイトが機械的に照合。2026-11-17 時点): llama.cpp: 登録あり、vLLM: 登録あり、MLX (mlx-lm): 登録あり。
必要メモリは配布ファイルの実サイズに実行時のオーバーヘッド(KVキャッシュ等)を20%見込んだ概算で、文脈長・バッチサイズ・推論エンジンによって増減します。公開元の公称値ではなく、当サイトがファイルサイズから機械的に算出した値です。 他のモデルとの比較はVRAM別の早見表を参照してください。 量子化の名前の読み方は用語集にあります。
手元で動かせるか
現時点では Ollama・LM Studio・llama.cpp で動かせません(GGUF版を確認できていない)。
公開元の配布は safetensors のみです。ただし llama.cpp の登録表にはこのモデルのアーキテクチャ名があるため、GGUFへの変換自体は可能な状態で、変換版が公開されれば動くようになります。公開元と実績のある量子化担当以外による変換版は 3 件あります。現時点で動かすなら transformers(PyTorch)・vLLM で読み込む形になり、必要メモリは上の表のとおりです。
ライセンス apache-2.0(商用利用可): 商用利用を含めて自由に利用・改変・再配布できます。再配布時にライセンス文と変更点の告知が必要で、特許の許諾条項があります。
配布形式・当サイトが見つけた変換版・各推論エンジンの登録表を突き合わせた判定です。「確認できていない」は当サイトが見つけていないという意味で、存在しないことの断定ではありません。ライセンスの要約は法的助言ではないため、実際の利用にあたっては公開元の原文を確認してください。
当サイトでの実測
モデルカードの記載ではなく、当サイトが測った結果です。ファイルの中身は当サイトのサーバー(GPUなし)で読み込んで確かめ、このモデルはそのサーバーでは動かせないため、クラウドの GPU を借りて動かしました(条件は下記)。測り方と全モデルの一覧は観測データにまとめています。
日本語のトークン効率
| トークナイザ | 日本語1,000字あたりのトークン数 | 同じ内容の英文との比 |
|---|---|---|
| このモデル | 414 | 0.74倍 |
| Qwen3 | 688 | 1.26倍 |
| Llama 3.2 | 744 | 1.36倍 |
| Gemma 3 | 564 | 1.03倍 |
| gpt-oss | 795 | 1.45倍 |
| LLM-jp-3 | 497 | 0.85倍 |
Qwen3 のトークナイザより約40%少ないトークンで同じ日本語を表せます。同じ文脈長に入る日本語が約1.66倍になり、生成も1字あたりで速くなります。
elyza/ELYZA-Thinking-1.0-llm-jp-4-32b-a3b の tokenizer.json で、当サイトが書き下ろした固定の文章(876字。ニュース・会話・技術文書・敬語のメール・紀行文・料理の6種)と、同じ内容の英文を数えました。トークン数が少ないほど、同じ文脈長に長い日本語が入ります。
配布元のコードで動かした結果(クラウドのGPU)
このモデルは GGUF 版が確認できておらず、llama.cpp b11541 の変換スクリプトではトークナイザを変換できなかったため(トークナイザの設定が配布元のコードを要求します)(2026-10-11に確認)、配布元が Hugging Face で配っている Python のコード(transformers の trust_remote_code)で、元の重み(BF16)のまま動かしました。配布元のコードは、ネットワークを遮断したクラウドのコンテナの中だけで実行しています。
| 項目 | 結果 |
|---|---|
| 重みを読み込んだ直後のVRAM(BF16) | 59.9GB |
| 5問に答えている間の最大のVRAM | 60.1GB |
| 生成(5問の回答の中央値・transformers) | 13.7 トークン/秒 |
| 生成を日本語の字数に換算 | 約33.0字/秒 |
条件: Modal の NVIDIA A100-SXM4-80GB(VRAM 79GB)・transformers 5.18.0・PyTorch 2.14.1+cu130・elyza/ELYZA-Thinking-1.0-llm-jp-4-32b-a3b の版 5260ecc249・BF16・2026-10-11に測定しました。
VRAM は、量子化していない BF16 の重みのまま PyTorch が確保した量です。GGUF などに量子化すれば大幅に小さくなります。transformers での生成は llama.cpp などの推論エンジンより大幅に遅いため、速さは参考値です。
日本語の質問への回答(原文のまま)
上の条件で、全モデルに同じ5問を日本語で尋ねた回答を、手を加えずに載せています(温度0・チャットテンプレートが対応していれば思考なし・最大1024トークン)。正誤は判定していません。答えが1つに決まる問いには、正解を併記します。
要約
次の記事を3文で要約してください。
みどり市は今年の春、市内に三つある公立図書館のうち最も古い中央図書館の改修を終え、十月一日に再開館した。改修は約一年半にわたり、総事業費は約十二億円。このうち約四億円は国の補助金でまかなわれた。
最大の変化は、閲覧席の配置である。以前は館内の座席の大半が学習用の机で、試験期間になると中高生で埋まり、高齢の利用者や小さな子ども連れが座れないという苦情が毎年寄せられていた。改修後は座席数を百二十席から二百席に増やしたうえで、学習用の机を三階にまとめ、一階は会話ができる「にぎわいフロア」、二階は静かに本を読む「閲覧フロア」に分けた。一階には予約制のグループ学習室が四室と、飲み物を持ち込めるカフェスペースも設けられた。
蔵書の面でも見直しが進んだ。貸出の少ない古い資料約三万冊を市内の他の館や保存書庫に移し、代わりに子ども向けの絵本と、介護・子育て・仕事探しといった暮らしに関わる実用書を約一万五千冊増やした。電子書籍の貸出サービスも始まり、利用登録をすれば自宅から一度に三冊まで、二週間借りられる。
建物そのものにも手が入った。築四十年を超えていた空調設備を入れ替え、屋上には太陽光パネルを設置して、館内で使う電力の約二割をまかなえるようにした。車いすの利用者から要望の多かったエレベーターは一基から二基に増え、書架の間の通路も以前より三十センチ広げられた。入口には段差のないスロープが新たに設けられ、授乳室と多目的トイレも各階に一つずつ置かれた。
一方で課題も残る。駐車場は改修前と同じ四十台のままで、週末には近くの道路に順番待ちの車が並んだ。市は隣接する市有地を臨時駐車場として開放したが、恒久的な対策は決まっていない。また、開館時間を平日の夜九時まで延ばしたことで職員の負担が増えており、職員団体は人員の追加を求めている。
利用者の受け止めはおおむね好意的だ。週に二度、孫を連れて来るという七十代の女性は「前は子どもが声を出すと周りの目が気になったが、一階なら気兼ねなく絵本を読んであげられる」と話す。一方、受験を控えた高校生の中には「学習席が三階だけになり、夕方はすぐに満席になる」と不満を漏らす人もいる。図書館は、学習席の空き状況をホームページで確認できる仕組みを年内に導入する予定だ。
再開館に合わせて、催しも増えた。毎週土曜の午前には読み聞かせ会、月に一度は地元の農家や商店主を講師に招く「まちの先生」講座が開かれる。十一月には、市内の中学生が選んだ本を紹介する展示も予定されている。
館長の山本和子さんは「本を借りる場所から、人が集まって過ごす場所へ変えたかった。再開館からの一か月で来館者は以前の一・八倍になった」と話す。市は来年度、残る二つの図書館についても利用者への聞き取りを行い、改修の必要性を検討する方針だ。
みどり市は春、最古・中央図書館を約1年半・12億円で改修し、10月1日に再開館した。
座席配置を見直し、学習席を3階に集約、1階は会話可能な「にぎわいフロア」、2階は静かな「閲覧フロア」にし、カフェやグループ学習室、電子書籍サービスなどを新設した。
設備更新やバリアフリー化で利用者満足度は上がったが、駐車場不足や職員負担増といった課題が残り、今後も他館改修の検討が続く。
敬語のメール
取引先の担当者に、来週火曜日の打ち合わせを水曜日に変更してほしいとお願いするメールを、丁寧な敬語で書いてください。
件名:打ち合わせ日程変更のお願い(○月○日)
○○株式会社
△△部 □□様
いつも大変お世話になっております。
株式会社○○の△△(自分の名前)です。
さて、来週火曜日(○月○日)に予定しております打ち合わせにつきまして、
誠に恐縮ですが、同日のご都合がつかなくなったため、
**水曜日(○月○日)に変更させていただくことは可能でしょうか**。
もし水曜日もご都合が悪い場合は、別途ご調整いただける日時をご提示いただけますと幸いです。
ご多忙のところ恐れ入りますが、何卒ご検討のほどよろしくお願い申し上げます。
---
**株式会社○○**
△△部 △△(自分の名前)
電話:00-0000-0000
メール:example@company.co.jp
---
ご返信をお待ちしております。
よろしくお願いいたします。
文章題
りんごが1個120円、みかんが1個45円です。りんごを3個とみかんを8個買って、1,000円札で払いました。おつりはいくらですか。考え方も示してください。
**計算手順**
1. **りんごの代金**
1個 120円 × 3個 = 120円 × 3 = **360円**
2. **みかんの代金**
1個 45円 × 8個 = 45円 × 8 = **360円**
3. **合計金額**
りんご 360円 + みかん 360円 = **720円**
4. **支払った金額**
1,000円札で支払ったので **1,000円**
5. **おつり**
1,000円 - 720円 = **280円**
---
**答え**
おつりは **280円** です。
参考: 正解は280円です(120×3=360円、45×8=360円、1,000−720=280円)。
知識
日本の都道府県のうち、海に面していない県をすべて挙げてください。
(思考だけで上限に達し、回答は出ませんでした)
参考: 正解は8県です(栃木県・群馬県・埼玉県・山梨県・長野県・岐阜県・滋賀県・奈良県)。
指示どおりの創作
「春」をテーマにした俳句を3つ、五・七・五の音数を守って作ってください。それぞれに一言の説明を付けてください。
(思考だけで上限に達し、回答は出ませんでした)
環境構築・ダウンロード・実行の手順(当サイトで実行したもの)
当サイトでは、ダウンロードと実行を Modal の2つのコンテナに分けました。どちらも Debian(slim)・Python 3.12 のイメージです。ダウンロードのコンテナでは配布元のコードを実行せず、配布元のコードを実行するコンテナはネットワークを遮断しています。入れたパッケージは次のとおりです(版は指定していません。実際に入った版は下の一覧)。
# 1. ダウンロード用の実行環境を作る(GPU なし)
python -m pip install huggingface_hub
# 2. 実行用の実行環境を作る(GPU あり・ネットワークなし)
python -m pip install torch transformers accelerate safetensors sentencepiece tiktoken protobuf einops compressed-tensors
そのうえで、次のスクリプト(remote_code_remote.py、当サイトが書いたもの。全文)の download(job) をダウンロードのコンテナで、run(job) を実行のコンテナで呼びました。ファイルの置き場所は /models/<dir> です。
"""
Modal のコンテナの中で動く、配布元のコード(trust_remote_code)による実測(2026-09-30)。
lmw/lab/gpu_modal.py の download_weights / run_remote_code から呼ばれる。**標準ライブラリだけを先頭で読み**、
huggingface_hub・torch・transformers は各関数の中で読む(コンテナごとに入っているものが違う)。
【2つのコンテナに分ける】
- download: GPU の無いコンテナ・ネットワークあり。ファイルを落とすだけで、**配布元のコードは実行しない**
(import もしない)。重みは safetensors だけ(呼び出し側が渡すファイル名の一覧に pickle は入らない)。
- run: GPU のコンテナ・**ネットワーク遮断**(block_network)・Modal の機能も使えない(restrict_modal_access)・
Volume は読み取り専用。ここでだけ配布元のコードを実行する。外へ送ることも、ほかのコンテナを起動することもできない。
記事執筆用の LLM は呼ばない。回答の良し悪しも判定しない(原文を返すだけ)。
"""
import json
import os
import re
import platform
import time
from datetime import datetime, timezone
MOUNT = "/models"
# コンテナのイメージ(lmw/lab/gpu_modal.py が使い、記事の手順にも同じ値を載せる)
PYTHON_VERSION = "3.12"
DOWNLOAD_PACKAGES = ("huggingface_hub",)
# compressed-tensors は量子化済みの配布(NVFP4 等。2026-10-01、K2-Horizon-32B-NVFP4)を transformers が読むために入れる
RUN_PACKAGES = ("torch", "transformers", "accelerate", "safetensors", "sentencepiece", "tiktoken", "protobuf", "einops",
"compressed-tensors")
def installed_packages() -> list[str]:
"""このコンテナに入っているパッケージの版(pip freeze と同じ形)。記事の手順に載せる。"""
from importlib import metadata
seen = {}
for dist in metadata.distributions():
name = dist.metadata["Name"]
if name and name.lower() not in seen:
seen[name.lower()] = f"{name}=={dist.version}"
return sorted(seen.values(), key=str.lower)
def _log(t0: float, message: str) -> None:
print(f"[rc {time.time() - t0:6.0f}s] {message}", flush=True)
def download(job: dict) -> dict:
"""job: {"repo", "revision", "files": [...], "dir"}。戻り値: {"bytes", "seconds", "packages"}。"""
from huggingface_hub import hf_hub_download
t0 = time.time()
target = os.path.join(MOUNT, job["dir"])
os.makedirs(target, exist_ok=True)
total = 0
for name in job["files"]:
path = hf_hub_download(job["repo"], name, revision=job["revision"], local_dir=target)
total += os.path.getsize(path)
seconds = round(time.time() - t0)
_log(t0, f"ダウンロード {total / 1024 ** 3:.1f}GB・{seconds}秒({total / 1024 ** 2 / max(seconds, 1):.0f}MB/秒)")
return {"bytes": int(total), "seconds": int(seconds), "packages": installed_packages()}
def _chat_ids(tok, text: str):
messages = [{"role": "user", "content": text}]
try:
out = tok.apply_chat_template(messages, add_generation_prompt=True, enable_thinking=False,
return_tensors="pt")
except TypeError:
out = tok.apply_chat_template(messages, add_generation_prompt=True, return_tensors="pt")
# 版によっては dict(BatchEncoding)が返る
return out["input_ids"] if hasattr(out, "keys") else out
# 思考の目印。<think> に限らない(K2-Horizon は <ifm|think>・<ifm|think_fast> と </ifm|think>。2026-09-30)
_THINK_OPEN_RE = re.compile(r"<(?!/)([^<>\s]*think[^<>\s]*)>")
# Harmony 形式(gpt-oss・LLM-jp-4)の1つのメッセージ: <|channel|>チャンネル名<|message|>本文。本文は次の記号の前まで。
# LLM-jp-4 は記号の後に空白が入る(llama.cpp の common/parsers/llm-jp-harmony.cpp)
_HARMONY_RE = re.compile(r"<\|channel\|>\s*([A-Za-z]+)[^<]*?<\|message\|>(.*?)(?=<\|end\|>|<\|return\|>|<\|call\|>|<\|start\|>|$)",
re.S)
def split_thinking(generated: str, prompt_text: str = "") -> tuple[str, str]:
"""
生成した文字列(特別な記号を残したもの)を (回答, 思考) に分ける。llama-server の reasoning_content と同じ扱い。
チャットテンプレートがプロンプトの末尾で思考の目印を開けている場合は、生成は思考の途中から始まる。
閉じる目印は、開けた目印の名前から決める(<X> → </X>。ただし think_fast 等の変種は </…think> でも閉じる)。
2026-09-30、特別な記号ごと消して文字にし、次に <think> だけを前提にしたため、K2-Horizon の英語の思考が
2度「回答」として記録された。
Harmony 形式(<|channel|>analysis が思考、<|channel|>final が回答)はチャンネルで分ける(2026-10-03、
ELYZA-Thinking-1.0-llm-jp-4。<think> の目印が無いので、そのままでは思考が回答に混ざる)。
"""
if "<|channel|>" in generated:
parts = _HARMONY_RE.findall(generated)
answer = "".join(body for channel, body in parts if channel == "final")
thinking = "".join(body for channel, body in parts if channel != "final")
return answer, thinking
text = generated
opened = None
tail = prompt_text.rstrip()
for m in _THINK_OPEN_RE.finditer(tail):
if m.end() == len(tail):
opened = m
if opened:
text = opened.group(0) + text
m = _THINK_OPEN_RE.search(text)
if not m:
return text, ""
before, rest = text[:m.start()], text[m.end():]
name = m.group(1)
closers = [f"</{name}>"]
if "|" in name or "_" in name:
# 変種(think_fast)の閉じ方が本体(</ifm|think>)と同じテンプレートがある
closers.append("</" + re.sub(r"(think)[^|<>]*$", r"\1", name) + ">")
found = [(rest.find(c), c) for c in closers if c in rest]
if found:
at, closer = min(found)
return before + rest[at + len(closer):], rest[:at]
return before, rest
def run(job: dict) -> dict:
"""
job: {"dir", "prompts": [{"id", "ja"}], "max_tokens"}。
戻り値は記録の一部。チャットテンプレートが無ければ {"no_chat_template": True}。
"""
import torch
import transformers
from transformers import AutoModelForCausalLM, AutoTokenizer
os.environ["HF_HUB_OFFLINE"] = "1"
os.environ["TRANSFORMERS_OFFLINE"] = "1"
t0 = time.time()
path = os.path.join(MOUNT, job["dir"])
gpu = torch.cuda.get_device_name(0)
vram_total = torch.cuda.get_device_properties(0).total_memory
_log(t0, f"GPU: {gpu}・transformers {transformers.__version__}・torch {torch.__version__}")
# 版は str にする(torch.__version__ は torch の型で、torch の無いホストで結果を読めない。2026-09-30、1本ぶん失った)
record = {"gpu": gpu, "vram_total": int(vram_total), "transformers": str(transformers.__version__),
"torch": str(torch.__version__), "dtype": "bfloat16", "packages": installed_packages(),
"python": platform.python_version(),
"measured_at": datetime.now(timezone.utc).isoformat()}
# 量子化済みの配布なら、その形式を記録する(記事に「BF16 のまま」と書かない)
with open(os.path.join(path, "config.json"), encoding="utf-8") as f:
quant = json.load(f).get("quantization_config") or {}
if quant:
groups = list((quant.get("config_groups") or {}).values())
record["quantization"] = {"quant_method": quant.get("quant_method"),
"format": quant.get("format") or (groups[0].get("format") if groups else None),
"weights_bits": ((groups[0].get("weights") or {}).get("num_bits") if groups else None)}
_log(t0, f"量子化済みの配布: {record['quantization']}")
tok = AutoTokenizer.from_pretrained(path, trust_remote_code=True, local_files_only=True)
if not getattr(tok, "chat_template", None):
_log(t0, "チャットテンプレートがありません")
return plain({**record, "no_chat_template": True})
model = AutoModelForCausalLM.from_pretrained(path, trust_remote_code=True, local_files_only=True,
use_safetensors=True, dtype=torch.bfloat16,
device_map="cuda")
model.eval()
torch.cuda.synchronize()
# 読み込んだ後の重みの持ち方(型ごとの要素数と、重みを持つ末端の層のクラス)。量子化済みの配布が 4bit のまま
# 読まれたのか、BF16 へ展開されたのかを、推測ではなく数えて記録する
dtypes, classes = {}, {}
for tensor in list(model.parameters()) + list(model.buffers()):
name = str(tensor.dtype).replace("torch.", "")
dtypes[name] = dtypes.get(name, 0) + int(tensor.numel())
for module in model.modules():
if not list(module.children()) and list(module.parameters(recurse=False)):
cls = type(module).__name__
classes[cls] = classes.get(cls, 0) + 1
record["loaded_weights"] = {"dtypes": dtypes, "leaf_classes": classes}
record["vram_loaded"] = int(torch.cuda.memory_allocated())
record["load_sec"] = round(time.time() - t0)
_log(t0, f"読み込み: VRAM {record['vram_loaded'] / 1024 ** 3:.1f}GB・{record['load_sec']}秒")
torch.cuda.reset_peak_memory_stats()
outputs = []
# 打ち切り(Modal の timeout)の前に、答えた分だけで返す。打ち切られると答えた分も全て失う
# 次の1問が最長(max_tokens)まで書いたときの時間を、ここまでで最も遅かった速さで見積もって判定する
stop_at = t0 + job.get("answer_budget_sec", 10 ** 9)
for prompt in job["prompts"]:
slowest = min((o["gen_tps"] for o in outputs if o.get("gen_tps")), default=None)
worst = job["max_tokens"] / slowest if slowest else 0
if time.time() + worst > stop_at:
_log(t0, f"時間の上限が近いため、残りの問い({prompt['id']} から)は尋ねません")
record["unanswered"] = [p["id"] for p in job["prompts"][len(outputs):]]
break
ids = _chat_ids(tok, prompt["ja"]).to("cuda")
started = time.time()
with torch.no_grad():
generated = model.generate(ids, max_new_tokens=job["max_tokens"], do_sample=False)
torch.cuda.synchronize()
seconds = time.time() - started
new = generated[0][ids.shape[1]:]
count = int(new.shape[0])
# 特別な記号(<think> 等)を残して文字にし、思考と回答を分けてから、残りの特別な記号を消す
prompt_text = tok.decode(ids[0][-8:], skip_special_tokens=False)
answer, thinking = split_thinking(tok.decode(new, skip_special_tokens=False), prompt_text)
for special in control_tokens(tok):
answer = answer.replace(special, "")
outputs.append({
"id": prompt["id"],
"content": answer.strip(),
"reasoning_chars": len(thinking.strip()),
"finish_reason": "length" if count >= job["max_tokens"] else "stop",
"completion_tokens": count,
"gen_tps": round(count / seconds, 2) if seconds > 0 else None,
"prompt_tokens": int(ids.shape[1]),
})
_log(t0, f"回答 {prompt['id']}: {count}トークン・{outputs[-1]['gen_tps']} トークン/秒")
record["vram_peak"] = int(torch.cuda.max_memory_allocated())
record["outputs"] = outputs
gen = sorted(o["gen_tps"] for o in outputs if o.get("gen_tps"))
if gen:
record["tg_tps"] = gen[len(gen) // 2]
return plain(record)
_CONTROL_RE = re.compile(r"^<\|[^<>\s]{1,40}?\|>$")
def control_tokens(tok) -> list[str]:
"""
回答から外すテンプレートの記号。特別な記号(all_special_tokens)に加え、追加の語彙のうち <|…|> の形のもの
(K2-Horizon の <|ifm|im_end|> は特別な記号に登録されておらず、回答の末尾に残って公開された。2026-10-02)。
長いものから外す(短い記号が長い記号の一部を先に消さないように)。
"""
found = set(tok.all_special_tokens)
found |= {t for t in (tok.get_added_vocab() or {}) if _CONTROL_RE.match(t)}
return sorted(found, key=len, reverse=True)
def plain(value):
"""JSON に通して、標準の型だけにする(ホストには torch も transformers も無い)。"""
return json.loads(json.dumps(value, default=str))
download に渡した job(実際に使った値):
{
"repo": "elyza/ELYZA-Thinking-1.0-llm-jp-4-32b-a3b",
"revision": "5260ecc249f32ef5005ef940c78f41f130d9c468",
"files": [
"chat_template.jinja",
"config.json",
"generation_config.json",
"llmjp4_harmony.py",
"llmjp4_tokenizer.py",
"model-00001-of-00002.safetensors",
"model-00002-of-00002.safetensors",
"model.safetensors.index.json",
"tokenizer.json",
"tokenizer_config.json"
],
"dir": "run-1791653766"
}
run に渡した job(実際に使った値):
{
"dir": "run-1791653766",
"max_tokens": 1024,
"answer_budget_sec": 3420,
"prompts": [
{
"id": "summary",
"ja": "次の記事を3文で要約してください。\n\nみどり市は今年の春、市内に三つある公立図書館のうち最も古い中央図書館の改修を終え、十月一日に再開館した。改修は約一年半にわたり、総事業費は約十二億円。このうち約四億円は国の補助金でまかなわれた。\n\n最大の変化は、閲覧席の配置である。以前は館内の座席の大半が学習用の机で、試験期間になると中高生で埋まり、高齢の利用者や小さな子ども連れが座れないという苦情が毎年寄せられていた。改修後は座席数を百二十席から二百席に増やしたうえで、学習用の机を三階にまとめ、一階は会話ができる「にぎわいフロア」、二階は静かに本を読む「閲覧フロア」に分けた。一階には予約制のグループ学習室が四室と、飲み物を持ち込めるカフェスペースも設けられた。\n\n蔵書の面でも見直しが進んだ。貸出の少ない古い資料約三万冊を市内の他の館や保存書庫に移し、代わりに子ども向けの絵本と、介護・子育て・仕事探しといった暮らしに関わる実用書を約一万五千冊増やした。電子書籍の貸出サービスも始まり、利用登録をすれば自宅から一度に三冊まで、二週間借りられる。\n\n建物そのものにも手が入った。築四十年を超えていた空調設備を入れ替え、屋上には太陽光パネルを設置して、館内で使う電力の約二割をまかなえるようにした。車いすの利用者から要望の多かったエレベーターは一基から二基に増え、書架の間の通路も以前より三十センチ広げられた。入口には段差のないスロープが新たに設けられ、授乳室と多目的トイレも各階に一つずつ置かれた。\n\n一方で課題も残る。駐車場は改修前と同じ四十台のままで、週末には近くの道路に順番待ちの車が並んだ。市は隣接する市有地を臨時駐車場として開放したが、恒久的な対策は決まっていない。また、開館時間を平日の夜九時まで延ばしたことで職員の負担が増えており、職員団体は人員の追加を求めている。\n\n利用者の受け止めはおおむね好意的だ。週に二度、孫を連れて来るという七十代の女性は「前は子どもが声を出すと周りの目が気になったが、一階なら気兼ねなく絵本を読んであげられる」と話す。一方、受験を控えた高校生の中には「学習席が三階だけになり、夕方はすぐに満席になる」と不満を漏らす人もいる。図書館は、学習席の空き状況をホームページで確認できる仕組みを年内に導入する予定だ。\n\n再開館に合わせて、催しも増えた。毎週土曜の午前には読み聞かせ会、月に一度は地元の農家や商店主を講師に招く「まちの先生」講座が開かれる。十一月には、市内の中学生が選んだ本を紹介する展示も予定されている。\n\n館長の山本和子さんは「本を借りる場所から、人が集まって過ごす場所へ変えたかった。再開館からの一か月で来館者は以前の一・八倍になった」と話す。市は来年度、残る二つの図書館についても利用者への聞き取りを行い、改修の必要性を検討する方針だ。"
},
{
"id": "keigo",
"ja": "取引先の担当者に、来週火曜日の打ち合わせを水曜日に変更してほしいとお願いするメールを、丁寧な敬語で書いてください。"
},
{
"id": "arithmetic",
"ja": "りんごが1個120円、みかんが1個45円です。りんごを3個とみかんを8個買って、1,000円札で払いました。おつりはいくらですか。考え方も示してください。"
},
{
"id": "prefectures",
"ja": "日本の都道府県のうち、海に面していない県をすべて挙げてください。"
},
{
"id": "haiku",
"ja": "「春」をテーマにした俳句を3つ、五・七・五の音数を守って作ってください。それぞれに一言の説明を付けてください。"
}
]
}
実行のコンテナに入っていたパッケージの版(全文)
accelerate==1.15.0 aiohappyeyeballs==2.6.1 aiohttp==3.12.7 aiosignal==1.3.2 annotated-doc==0.0.5 annotated-types==0.8.0 anyio==4.15.1 attrs==25.3.0 cbor2==5.7.0 certifi==2026.7.22 charset-normalizer==3.5.2 click==8.5.0 compressed-tensors==0.19.0 cuda-bindings==13.4.3 cuda-pathfinder==1.8.2 cuda-toolkit==13.0.3.0 einops==0.8.2 filelock==4.0.8 frozenlist==1.6.0 fsspec==2026.9.0 grpclib==0.4.8 h11==0.16.0 h2==4.2.0 hf-xet==1.6.0 hpack==4.1.0 httpcore==1.0.9 httpx==0.28.1 huggingface_hub==1.33.0 hyperframe==6.1.0 idna==3.20 Jinja2==3.1.6 loguru==0.7.3 markdown-it-py==4.2.0 MarkupSafe==3.0.3 mdurl==0.1.2 mpmath==1.3.0 multidict==6.4.4 networkx==3.7 numpy==2.5.3 nvidia-cublas==13.1.1.3 nvidia-cuda-cupti==13.0.85 nvidia-cuda-nvrtc==13.0.88 nvidia-cuda-runtime==13.0.96 nvidia-cudnn-cu13==9.24.0.43 nvidia-cufft==12.0.0.61 nvidia-cufile==1.15.1.6 nvidia-curand==10.4.0.35 nvidia-cusolver==12.0.4.66 nvidia-cusparse==12.6.3.3 nvidia-cusparselt-cu13==0.8.1 nvidia-nccl-cu13==2.30.7 nvidia-nvjitlink==13.4.92 nvidia-nvshmem-cu13==3.4.5 nvidia-nvtx==13.0.85 packaging==26.3 pip==25.1.1 propcache==0.3.1 protobuf==7.36.2 psutil==7.2.2 pydantic==2.13.5 pydantic_core==2.46.5 Pygments==2.21.0 PyYAML==6.0.3 regex==2026.9.29 requests==2.34.2 rich==15.0.0 safetensors==0.8.0 sentencepiece==0.2.2 setuptools==84.0.0 shellingham==1.5.4 sympy==1.14.0 tiktoken==0.14.0 tokenizers==0.23.2 torch==2.14.1 tqdm==4.70.1 transformers==5.18.0 triton==3.8.0 typer==0.27.2 typing-inspection==0.4.4 typing_extensions==4.16.0 urllib3==2.8.0 uv==0.7.19 wheel==0.45.1 yarl==1.20.0
ダウンロードのコンテナに入っていたパッケージの版(全文)
aiohappyeyeballs==2.6.1 aiohttp==3.12.7 aiosignal==1.3.2 anyio==4.15.1 attrs==25.3.0 cbor2==5.7.0 certifi==2025.4.26 click==8.5.0 filelock==4.0.7 frozenlist==1.6.0 fsspec==2026.9.0 grpclib==0.4.8 h11==0.16.0 h2==4.2.0 hf-xet==1.6.0 hpack==4.1.0 httpcore2==2.13.1 httpx2==2.13.1 huggingface_hub==2.0.0 hyperframe==6.1.0 idna==3.20 multidict==6.4.4 packaging==26.3 pip==25.1.1 propcache==0.3.1 protobuf==6.31.1 PyYAML==6.0.3 tqdm==4.70.1 truststore==0.10.4 typing_extensions==4.16.0 uv==0.7.19 wheel==0.45.1 yarl==1.20.0
同クラスの既報モデル
当サイトが最近取り上げた、パラメータ数 15〜40B のモデルを、比較のために記事ログからコードが並べたものです。VRAM階層は当サイトの概算、ライセンスはモデルカードの記載です。
→ 横にスクロールできます
| モデル | パラメータ数 | 最小のVRAM階層 | ライセンス | 記事 |
|---|---|---|---|---|
| LiquidAI/LFM2.5-24B-A2B-Base | 24.0B | 80GB | lfm1.0 | LiquidAI、超軽量推論モデル「LFM2.5-24B-A2B」を公開(2026-11-17) |
| LiquidAI/LFM2.5-24B-A2B-FP8 | 24.0B | 32GB | lfm1.0 | 「LFM2.5-24B-A2B-FP8」FP8量子化済みのエージェント向けMoEモデル:必要VRAM 32GB〜(2026-11-17) |
| LiquidAI/LFM2.5-24B-A2B-MLX-bf16 | 24.0B | 80GB | lfm1.0 | 「LFM2.5-24B-A2B-MLX-bf16」Apple Silicon向け推論モデル:必要VRAM 80GB〜(2026-11-17) |
| LiquidAI/LFM2.5-24B-A2B-MLX-8bit | 24.0B | 32GB | lfm1.0 | 「LFM2.5-24B-A2B-MLX-8bit」ツール呼び出しに強い推論特化のMoEモデル:必要VRAM 32GB〜(2026-11-17) |
| LiquidAI/LFM2.5-24B-A2B | 24.0B | 12GB | lfm1.0 | 「LFM2.5-24B-A2B」エージェント特化のMoE推論モデル:必要VRAM 12GB〜・GGUF版あり(2026-11-17) |
入手方法
配布形式としてはsafetensors形式が採用されており、Hugging Faceから入手可能です。ライセンスはApache-2.0です。利用にあたってHugging Face上でアクセス制限や追加のライセンス同意(gated)は設定されていません。
vLLMやTransformers等のエンジンに対応しており、推奨されるvLLMを用いたサーバー起動のコマンド例は以下のとおりです。
vllm serve elyza/ELYZA-Thinking-1.0-llm-jp-4-32b-a3b \
--max-model-len 65536 \
--trust-remote-code \
--moe-backend triton \
--reasoning-parser-plugin vllm_plugins/multi_parser_loader.py \
--reasoning-parser llmjp4 \
--tool-parser-plugin vllm_plugins/llmjp_harmony_tool_parser.py \
--tool-call-parser llmjp_harmony \
--enable-auto-tool-choice
同じ用途の既報モデル
当サイトが取り上げたテキスト生成のモデルを新しい順に並べています。用途は配布元がHugging Faceに付けたタスク(pipeline_tag)から機械的に分けたもので、最小のVRAM階層は当サイトの概算です。
- 「plamo-3-8b-fin-instruct」テキスト生成モデル:必要VRAM 4GB〜・GGUF版あり(8.5B・4GB)
- 「Qwen3.8-27B-DSpine-b16」投機的デコーディング用ドラフトモデル:必要VRAM 8GB〜(2.0B・8GB)
- 「Arete-27B」アライメント調整済みの27Bテキスト生成モデル:必要VRAM 12GB〜・GGUF版あり(27.4B・12GB)
- ByteDance-Seed/Cola2 Language Model: Continuous Compression…(8.8B・48GB)
次に読むなら
- GPUのVRAMから探す(このモデルは80GBの階層から動きます) → VRAM別 ローカルモデル早見表
- このモデルを動かすエンジンを調べる → vLLM
- このモデルを入手できる形式を調べる → Safetensors形式の解説と対応モデル
- 公開元について調べる → ELYZA のモデル・ライセンス・記事のまとめ
- 記事に出てくる MMLU-Pro・GPQA Diamond・MATH の読み方を知る → ベンチマーク用語集
出典
- https://huggingface.co/elyza/ELYZA-Thinking-1.0-llm-jp-4-32b-a3b
- https://huggingface.co/elyza/ELYZA-Thinking-1.0-llm-jp-4-33b
- https://huggingface.co/llm-jp/llm-jp-4-33b-base
更新履歴
- 2026-10-03: 当サイトでの実測(日本語のトークン効率)を追加しました。
- 2026-10-11: 当サイトでの実測(配布元のコードで動かしたVRAMと日本語の質問への回答)を追加しました。

