ELYZA Releases ELYZA-Thinking-1.0 32B/33B Reasoning Models

At a Glance
| Item | Value |
|---|---|
| Repository | elyza/ELYZA-Thinking-1.0-llm-jp-4-32b-a3b |
| Publisher guide | ELYZA: models and licenses |
| Published | 2026-10-02 |
| License | apache-2.0 |
| Formats | safetensors |
| Source type | Primary source (the publisher itself) |
Values determined by this site’s code when the information was collected. Dates are JST.
What we checked ourselves
- Ran the publisher’s own code (transformers 5.18.0, bfloat16, revision
5260ecc249) on a cloud GPU on Modal (NVIDIA A100-SXM4-80GB, peak VRAM 60.1GB) and show its answers verbatim. - It needs about 40% fewer tokens than the Qwen3 tokenizer for the same Japanese text, so about 1.66× as much Japanese fits in the same context length, and generation is faster per character.
Details and conditions are in “Our Own Measurements” below.
Overview
ELYZA, Inc. has released ELYZA-Thinking-1.0, a reasoning model in 32B and 33B sizes based on the llm-jp-4 series of fully domestic Japanese foundational models. Among the released models, the 32B model (elyza/ELYZA-Thinking-1.0-llm-jp-4-32b-a3b) adopts an MoE architecture and has undergone mid-training and post-training to improve Japanese and English language understanding and generation capabilities. It specializes in Japanese-specific knowledge retrieval, instruction following with complex constraints, and reasoning capabilities in mathematics, coding, and STEM fields.
Specifications
- Parameters: 32.1B (32B-A3B) / 33B (33B model)
- Architecture: Qwen3MoeForCausalLM (32B) / LlamaForCausalLM (33B)
- Context Length: 65,536
- Active Parameters: 3,827,476,992 (32B)
- Routed Experts: 128 (32B)
- Active Experts: 8 (32B)
- Hidden Size: 2,560 (32B) / 5,120 (33B)
- Layers: 32 (32B) / 64 (33B)
- Heads: 40 (32B) / 40 (33B)
Performance
The benchmark comparison table for the MoE model (ELYZA-thinking-1.0-llm-jp-4-32b-a3b) as listed in the model card is as follows. Scores for same-family models and other open-weight models are shown for comparison.
→ Scroll horizontally to see all columns
| Benchmark | ELYZA-thinking-1.0- llm-jp-4- 32b-a3b | llm-jp-4- 32b-a3b- thinking | llm-jp-4.1- 32b-a3b- thinking | Qwen3- 30B-A3B | gpt-oss-20b | Nemotron 3.5 Lightning 30B-A3B | Qwen3.5- 35B-A3B | Gemma 4 26B-A4B |
|---|---|---|---|---|---|---|---|---|
| Knowledge & STEM | ||||||||
| MMLU-Pro (en) | 73.14 | 69.70 | 73.90 | 78.29 | 75.50 | 79.70 | 84.12 | 82.90 |
| JMMLU (ja) | 81.05 | 81.32 | 83.09 | 84.25 | 82.79 | 85.88 | 89.76 | 88.33 |
| GPQA-Diamond (en) | 63.86 | 51.93 | 60.80 | 63.26 | 68.59 | 75.98 | 84.38 | 78.60 |
| GPQA (ja) | 57.24 | 51.03 | 57.06 | 56.57 | 63.80 | 67.30 | 77.08 | 74.82 |
| Math | ||||||||
| MATH-500 (en) | 95.20 | 84.20 | 93.80 | 97.20 | 97.40 | 98.00 | 99.00 | 98.80 |
| JMATH-500 (ja) | 88.20 | 83.20 | 87.40 | 91.60 | 92.20 | 94.00 | 93.20 | 92.00 |
| AIME 2024+2025 (en) | 62.29 | 34.48 | 57.71 | 76.25 | 88.23 | 89.90 | 92.92 | 90.62 |
| PolyMath (ja, high+top) | 34.60 | 12.80 | 27.40 | 43.45 | 55.10 | 58.20 | 56.40 | 65.10 |
| Japanese QA | ||||||||
| JamC-QA (ja) | 59.51 | 53.75 | 53.79 | 45.30 | 41.10 | 55.17 | 60.29 | 66.18 |
| JEMHopQA (ja) | 71.59 | 62.71 | 65.51 | 55.20 | 54.16 | 55.17 | 58.88 | 61.93 |
| Instruction Following | ||||||||
| IFEval (en) | 93.70 | 83.12 | 92.75 | 89.21 | 88.85 | 94.96 | 88.13 | 95.35 |
| IFBench (en) | 59.16 | 49.64 | 56.18 | 36.55 | 60.10 | 71.95 | 59.96 | 71.95 |
| M-IFEval-ja (ja) | 81.75 | 63.05 | 77.32 | 63.72 | 73.12 | 79.76 | 76.88 | 87.72 |
| JFBench (ja) | 38.15 | 27.14 | 30.87 | 24.23 | 18.38 | 34.39 | 28.83 | 30.30 |
| Translation | ||||||||
| WMT20 en→ja (ja) | 23.98 | 23.53 | 23.76 | 22.17 | 23.20 | 20.29 | 24.89 | 27.90 |
| WMT20 ja→en (en) | 22.00 | 20.28 | 20.41 | 21.58 | 21.35 | 20.34 | 23.70 | 26.22 |
| Coding | ||||||||
| LiveCodeBench v6 (en) | 53.66 | 26.86 | 32.40 | 56.40 | 59.94 | 75.94 | 74.91 | 77.09 |
| JHumanEval (ja) | 95.37 | 91.52 | 92.38 | 93.72 | 74.63 | 96.83 | 93.54 | 98.35 |
| Function Calling | ||||||||
| BFCL v4 (en) | 36.31 | 13.29 | 27.96 | 42.65 | 48.09 | 62.37 | 67.03 | 66.88 |
| Nejumi BFCL (ja) | 41.89 | 11.58 | 39.19 | 49.03 | 47.10 | 52.12 | 60.62 | 57.34 |
| Average | ||||||||
| Overall | 58.46 | 46.38 | 53.89 | 56.31 | 57.26 | 64.52 | 66.37 | 68.58 |
| Japanese | 59.61 | 49.16 | 56.65 | 56.73 | 55.04 | 62.02 | 64.24 | 66.68 |
| English | 55.94 | 41.16 | 49.72 | 56.84 | 61.45 | 68.98 | 69.98 | 71.55 |
According to evaluations by the publishers, ELYZA-Thinking-1.0-llm-jp-4-32b-a3b demonstrates high performance on Japanese-related tasks. In particular, it records excellent figures in IFEval and M-IFEval-ja, which measure instruction-following capability, as well as in Japanese coding via JHumanEval, showing overall score improvements compared to the base model group. On the other hand, in Function Calling and advanced English mathematics/competitive programming benchmarks (such as AIME and LiveCodeBench v6), it scores lower than some overseas large-scale models and other models, indicating room for improvement in specific English-language tasks and tool selection accuracy.
Strengths and Use Cases
The ELYZA-Thinking-1.0 series is built through a three-stage training process consisting of mid-training, SFT (supervised fine-tuning), and reinforcement learning (RLVR) to enhance Japanese and English language understanding and generation capabilities. It has been trained on localized Japanese reasoning data for mathematics, coding, and STEM fields, specializing in Japanese instruction following and knowledge retrieval. Additionally, it leverages synthetic knowledge data from Japanese Wikipedia and Wikidata to strengthen the understanding and retrieval of Japanese-specific knowledge. Furthermore, it supports tool calling and agent use cases, with agent data localized into Japanese while maintaining tool calls, function names, arguments, and JSON structures.
Hardware Requirements
Estimated requirements (calculated by Local Model Watch) — 32.1B parameters
| Your VRAM | Quantization | File size | Est. memory needed |
|---|---|---|---|
| 80GB class (A100 / H100) | BF16 | 59.9GB | 71.8GB |
Inference engine support (architecture name matched against each project’s own model registry in its source code, checked 2026-11-17): llama.cpp: registered, vLLM: registered, MLX (mlx-lm): registered.
Memory estimates add a 20% runtime overhead (KV cache, etc.) to the actual size of the distributed files. Actual usage varies with context length, batch size and inference engine. These figures are computed by this site from file sizes, not published by the model’s authors. Compare with other models in our VRAM quick reference. What the quantization names mean: glossary.
Can You Run It Locally?
Not usable in Ollama, LM Studio and llama.cpp yet — we have found no GGUF build.
The publisher ships safetensors only. However, llama.cpp’s registry does list this architecture, so conversion to GGUF is possible and the model will run once someone publishes a converted build. 3 converted build(s) from other uploaders exist. Today it can be run with transformers or vLLM, using the memory figures in the table above.
License — apache-2.0 (Commercial use allowed): Permits commercial use, modification and redistribution. Redistribution requires including the license and stating changes; includes a patent grant.
Compiled by this site’s code from the published formats, converted builds we have found, and each engine’s own model registry. “Not found" means we have not seen such a build, not that none exists. License summaries are not legal advice — check the publisher’s original terms before relying on them.
Our Own Measurements
Values we measured ourselves — not figures copied from the model card. We read this model’s files on our own server (no GPU), and because we cannot run this model on that server, we ran it on a rented cloud GPU (conditions below). How we measure, and the results for every model: Our Measurements.
Japanese Token Efficiency
| Tokenizer | Tokens per 1,000 Japanese characters | Ratio to the same text in English |
|---|---|---|
| This model | 414 | 0.74× |
| Qwen3 | 688 | 1.26× |
| Llama 3.2 | 744 | 1.36× |
| Gemma 3 | 564 | 1.03× |
| gpt-oss | 795 | 1.45× |
| LLM-jp-3 | 497 | 0.85× |
It needs about 40% fewer tokens than the Qwen3 tokenizer for the same Japanese text, so about 1.66× as much Japanese fits in the same context length, and generation is faster per character.
Counted with the tokenizer.json of elyza/ELYZA-Thinking-1.0-llm-jp-4-32b-a3b on a fixed text we wrote ourselves (876 Japanese characters across news, conversation, technical docs, a formal email, travel writing and a recipe) and its English translation. Fewer tokens mean more Japanese fits in the context window.
Running It With the Publisher’s Own Code (Cloud GPU)
We have not found a GGUF version of this model, and the conversion script of llama.cpp b11541 could not convert its tokenizer (the tokenizer settings require the publisher’s own code) when we tried on 2026-10-11, so we ran the original weights (BF16) with the Python code the publisher ships on Hugging Face (transformers with trust_remote_code). That code ran only inside a cloud container with its network cut off.
| Item | Result |
|---|---|
| VRAM right after loading the weights (BF16) | 59.9GB |
| Peak VRAM while answering the five questions | 60.1GB |
| Generation (median over the five answers, transformers) | 13.7 tokens/s |
| Generation in Japanese characters | about 33.0 characters/s |
Conditions: NVIDIA A100-SXM4-80GB (VRAM 79GB) on Modal, transformers 5.18.0, PyTorch 2.14.1+cu130, elyza/ELYZA-Thinking-1.0-llm-jp-4-32b-a3b at revision 5260ecc249, BF16, measured 2026-10-11 (JST).
VRAM is what PyTorch allocated for the unquantized BF16 weights; a quantized GGUF would need far less. transformers generates much more slowly than engines such as llama.cpp, so treat the speed as a reference only.
Answers to Our Japanese Questions (Verbatim)
We ask every model the same five questions in Japanese under the conditions above (temperature 0, thinking turned off where the chat template allows it, up to 1024 tokens) and publish the answers unedited. We do not grade them; where a question has a single correct answer, we show it for comparison.
Summarization
次の記事を3文で要約してください。
みどり市は今年の春、市内に三つある公立図書館のうち最も古い中央図書館の改修を終え、十月一日に再開館した。改修は約一年半にわたり、総事業費は約十二億円。このうち約四億円は国の補助金でまかなわれた。
最大の変化は、閲覧席の配置である。以前は館内の座席の大半が学習用の机で、試験期間になると中高生で埋まり、高齢の利用者や小さな子ども連れが座れないという苦情が毎年寄せられていた。改修後は座席数を百二十席から二百席に増やしたうえで、学習用の机を三階にまとめ、一階は会話ができる「にぎわいフロア」、二階は静かに本を読む「閲覧フロア」に分けた。一階には予約制のグループ学習室が四室と、飲み物を持ち込めるカフェスペースも設けられた。
蔵書の面でも見直しが進んだ。貸出の少ない古い資料約三万冊を市内の他の館や保存書庫に移し、代わりに子ども向けの絵本と、介護・子育て・仕事探しといった暮らしに関わる実用書を約一万五千冊増やした。電子書籍の貸出サービスも始まり、利用登録をすれば自宅から一度に三冊まで、二週間借りられる。
建物そのものにも手が入った。築四十年を超えていた空調設備を入れ替え、屋上には太陽光パネルを設置して、館内で使う電力の約二割をまかなえるようにした。車いすの利用者から要望の多かったエレベーターは一基から二基に増え、書架の間の通路も以前より三十センチ広げられた。入口には段差のないスロープが新たに設けられ、授乳室と多目的トイレも各階に一つずつ置かれた。
一方で課題も残る。駐車場は改修前と同じ四十台のままで、週末には近くの道路に順番待ちの車が並んだ。市は隣接する市有地を臨時駐車場として開放したが、恒久的な対策は決まっていない。また、開館時間を平日の夜九時まで延ばしたことで職員の負担が増えており、職員団体は人員の追加を求めている。
利用者の受け止めはおおむね好意的だ。週に二度、孫を連れて来るという七十代の女性は「前は子どもが声を出すと周りの目が気になったが、一階なら気兼ねなく絵本を読んであげられる」と話す。一方、受験を控えた高校生の中には「学習席が三階だけになり、夕方はすぐに満席になる」と不満を漏らす人もいる。図書館は、学習席の空き状況をホームページで確認できる仕組みを年内に導入する予定だ。
再開館に合わせて、催しも増えた。毎週土曜の午前には読み聞かせ会、月に一度は地元の農家や商店主を講師に招く「まちの先生」講座が開かれる。十一月には、市内の中学生が選んだ本を紹介する展示も予定されている。
館長の山本和子さんは「本を借りる場所から、人が集まって過ごす場所へ変えたかった。再開館からの一か月で来館者は以前の一・八倍になった」と話す。市は来年度、残る二つの図書館についても利用者への聞き取りを行い、改修の必要性を検討する方針だ。
(Summarize the following article in three sentences. (The article, about 1,200 Japanese characters, describes the renovation and reopening of a city’s central library: the budget, the new floor layout and seating, changes to the collection and e-book lending, building and accessibility work, remaining issues such as parking and staff workload, users’ reactions, new events, and the city’s next steps.))
みどり市は春、最古・中央図書館を約1年半・12億円で改修し、10月1日に再開館した。
座席配置を見直し、学習席を3階に集約、1階は会話可能な「にぎわいフロア」、2階は静かな「閲覧フロア」にし、カフェやグループ学習室、電子書籍サービスなどを新設した。
設備更新やバリアフリー化で利用者満足度は上がったが、駐車場不足や職員負担増といった課題が残り、今後も他館改修の検討が続く。
Formal business email
取引先の担当者に、来週火曜日の打ち合わせを水曜日に変更してほしいとお願いするメールを、丁寧な敬語で書いてください。
(Write an email in polite Japanese (keigo) asking a client’s contact person to move next Tuesday’s meeting to Wednesday.)
件名:打ち合わせ日程変更のお願い(○月○日)
○○株式会社
△△部 □□様
いつも大変お世話になっております。
株式会社○○の△△(自分の名前)です。
さて、来週火曜日(○月○日)に予定しております打ち合わせにつきまして、
誠に恐縮ですが、同日のご都合がつかなくなったため、
**水曜日(○月○日)に変更させていただくことは可能でしょうか**。
もし水曜日もご都合が悪い場合は、別途ご調整いただける日時をご提示いただけますと幸いです。
ご多忙のところ恐れ入りますが、何卒ご検討のほどよろしくお願い申し上げます。
---
**株式会社○○**
△△部 △△(自分の名前)
電話:00-0000-0000
メール:example@company.co.jp
---
ご返信をお待ちしております。
よろしくお願いいたします。
Word problem
りんごが1個120円、みかんが1個45円です。りんごを3個とみかんを8個買って、1,000円札で払いました。おつりはいくらですか。考え方も示してください。
(Apples cost 120 yen each and mandarins cost 45 yen each. You buy 3 apples and 8 mandarins and pay with a 1,000-yen bill. How much change do you get? Show your reasoning.)
**計算手順**
1. **りんごの代金**
1個 120円 × 3個 = 120円 × 3 = **360円**
2. **みかんの代金**
1個 45円 × 8個 = 45円 × 8 = **360円**
3. **合計金額**
りんご 360円 + みかん 360円 = **720円**
4. **支払った金額**
1,000円札で支払ったので **1,000円**
5. **おつり**
1,000円 - 720円 = **280円**
---
**答え**
おつりは **280円** です。
Reference: The correct answer is 280 yen (120×3 = 360, 45×8 = 360, 1,000 − 720 = 280).
Knowledge
日本の都道府県のうち、海に面していない県をすべて挙げてください。
(List all of Japan’s prefectures that do not border the sea.)
(The model spent the whole token budget thinking and gave no answer.)
Reference: The correct answer is eight prefectures: Tochigi, Gunma, Saitama, Yamanashi, Nagano, Gifu, Shiga and Nara.
Constrained writing
「春」をテーマにした俳句を3つ、五・七・五の音数を守って作ってください。それぞれに一言の説明を付けてください。
(Write three haiku on the theme of spring, keeping the 5-7-5 syllable pattern, each with a one-line explanation.)
(The model spent the whole token budget thinking and gave no answer.)
Setup, Download and Run Steps (What We Actually Ran)
We split the work into two containers on Modal, both built from the Debian (slim) image with Python 3.12. The container that downloads the files never runs the publisher’s code; the container that runs it has no network access. These are the packages we installed (without version pins; the versions actually installed are listed below).
# 1. Environment for downloading (no GPU)
python -m pip install huggingface_hub
# 2. Environment for running (GPU, network blocked)
python -m pip install torch transformers accelerate safetensors sentencepiece tiktoken protobuf einops compressed-tensors
We then called download(job) in the first container and run(job) in the second one from the script below (remote_code_remote.py, written by us; full text). Files go under /models/<dir>. Comments are in Japanese as in our repository:
"""
Modal のコンテナの中で動く、配布元のコード(trust_remote_code)による実測(2026-09-30)。
lmw/lab/gpu_modal.py の download_weights / run_remote_code から呼ばれる。**標準ライブラリだけを先頭で読み**、
huggingface_hub・torch・transformers は各関数の中で読む(コンテナごとに入っているものが違う)。
【2つのコンテナに分ける】
- download: GPU の無いコンテナ・ネットワークあり。ファイルを落とすだけで、**配布元のコードは実行しない**
(import もしない)。重みは safetensors だけ(呼び出し側が渡すファイル名の一覧に pickle は入らない)。
- run: GPU のコンテナ・**ネットワーク遮断**(block_network)・Modal の機能も使えない(restrict_modal_access)・
Volume は読み取り専用。ここでだけ配布元のコードを実行する。外へ送ることも、ほかのコンテナを起動することもできない。
記事執筆用の LLM は呼ばない。回答の良し悪しも判定しない(原文を返すだけ)。
"""
import json
import os
import re
import platform
import time
from datetime import datetime, timezone
MOUNT = "/models"
# コンテナのイメージ(lmw/lab/gpu_modal.py が使い、記事の手順にも同じ値を載せる)
PYTHON_VERSION = "3.12"
DOWNLOAD_PACKAGES = ("huggingface_hub",)
# compressed-tensors は量子化済みの配布(NVFP4 等。2026-10-01、K2-Horizon-32B-NVFP4)を transformers が読むために入れる
RUN_PACKAGES = ("torch", "transformers", "accelerate", "safetensors", "sentencepiece", "tiktoken", "protobuf", "einops",
"compressed-tensors")
def installed_packages() -> list[str]:
"""このコンテナに入っているパッケージの版(pip freeze と同じ形)。記事の手順に載せる。"""
from importlib import metadata
seen = {}
for dist in metadata.distributions():
name = dist.metadata["Name"]
if name and name.lower() not in seen:
seen[name.lower()] = f"{name}=={dist.version}"
return sorted(seen.values(), key=str.lower)
def _log(t0: float, message: str) -> None:
print(f"[rc {time.time() - t0:6.0f}s] {message}", flush=True)
def download(job: dict) -> dict:
"""job: {"repo", "revision", "files": [...], "dir"}。戻り値: {"bytes", "seconds", "packages"}。"""
from huggingface_hub import hf_hub_download
t0 = time.time()
target = os.path.join(MOUNT, job["dir"])
os.makedirs(target, exist_ok=True)
total = 0
for name in job["files"]:
path = hf_hub_download(job["repo"], name, revision=job["revision"], local_dir=target)
total += os.path.getsize(path)
seconds = round(time.time() - t0)
_log(t0, f"ダウンロード {total / 1024 ** 3:.1f}GB・{seconds}秒({total / 1024 ** 2 / max(seconds, 1):.0f}MB/秒)")
return {"bytes": int(total), "seconds": int(seconds), "packages": installed_packages()}
def _chat_ids(tok, text: str):
messages = [{"role": "user", "content": text}]
try:
out = tok.apply_chat_template(messages, add_generation_prompt=True, enable_thinking=False,
return_tensors="pt")
except TypeError:
out = tok.apply_chat_template(messages, add_generation_prompt=True, return_tensors="pt")
# 版によっては dict(BatchEncoding)が返る
return out["input_ids"] if hasattr(out, "keys") else out
# 思考の目印。<think> に限らない(K2-Horizon は <ifm|think>・<ifm|think_fast> と </ifm|think>。2026-09-30)
_THINK_OPEN_RE = re.compile(r"<(?!/)([^<>\s]*think[^<>\s]*)>")
# Harmony 形式(gpt-oss・LLM-jp-4)の1つのメッセージ: <|channel|>チャンネル名<|message|>本文。本文は次の記号の前まで。
# LLM-jp-4 は記号の後に空白が入る(llama.cpp の common/parsers/llm-jp-harmony.cpp)
_HARMONY_RE = re.compile(r"<\|channel\|>\s*([A-Za-z]+)[^<]*?<\|message\|>(.*?)(?=<\|end\|>|<\|return\|>|<\|call\|>|<\|start\|>|$)",
re.S)
def split_thinking(generated: str, prompt_text: str = "") -> tuple[str, str]:
"""
生成した文字列(特別な記号を残したもの)を (回答, 思考) に分ける。llama-server の reasoning_content と同じ扱い。
チャットテンプレートがプロンプトの末尾で思考の目印を開けている場合は、生成は思考の途中から始まる。
閉じる目印は、開けた目印の名前から決める(<X> → </X>。ただし think_fast 等の変種は </…think> でも閉じる)。
2026-09-30、特別な記号ごと消して文字にし、次に <think> だけを前提にしたため、K2-Horizon の英語の思考が
2度「回答」として記録された。
Harmony 形式(<|channel|>analysis が思考、<|channel|>final が回答)はチャンネルで分ける(2026-10-03、
ELYZA-Thinking-1.0-llm-jp-4。<think> の目印が無いので、そのままでは思考が回答に混ざる)。
"""
if "<|channel|>" in generated:
parts = _HARMONY_RE.findall(generated)
answer = "".join(body for channel, body in parts if channel == "final")
thinking = "".join(body for channel, body in parts if channel != "final")
return answer, thinking
text = generated
opened = None
tail = prompt_text.rstrip()
for m in _THINK_OPEN_RE.finditer(tail):
if m.end() == len(tail):
opened = m
if opened:
text = opened.group(0) + text
m = _THINK_OPEN_RE.search(text)
if not m:
return text, ""
before, rest = text[:m.start()], text[m.end():]
name = m.group(1)
closers = [f"</{name}>"]
if "|" in name or "_" in name:
# 変種(think_fast)の閉じ方が本体(</ifm|think>)と同じテンプレートがある
closers.append("</" + re.sub(r"(think)[^|<>]*$", r"\1", name) + ">")
found = [(rest.find(c), c) for c in closers if c in rest]
if found:
at, closer = min(found)
return before + rest[at + len(closer):], rest[:at]
return before, rest
def run(job: dict) -> dict:
"""
job: {"dir", "prompts": [{"id", "ja"}], "max_tokens"}。
戻り値は記録の一部。チャットテンプレートが無ければ {"no_chat_template": True}。
"""
import torch
import transformers
from transformers import AutoModelForCausalLM, AutoTokenizer
os.environ["HF_HUB_OFFLINE"] = "1"
os.environ["TRANSFORMERS_OFFLINE"] = "1"
t0 = time.time()
path = os.path.join(MOUNT, job["dir"])
gpu = torch.cuda.get_device_name(0)
vram_total = torch.cuda.get_device_properties(0).total_memory
_log(t0, f"GPU: {gpu}・transformers {transformers.__version__}・torch {torch.__version__}")
# 版は str にする(torch.__version__ は torch の型で、torch の無いホストで結果を読めない。2026-09-30、1本ぶん失った)
record = {"gpu": gpu, "vram_total": int(vram_total), "transformers": str(transformers.__version__),
"torch": str(torch.__version__), "dtype": "bfloat16", "packages": installed_packages(),
"python": platform.python_version(),
"measured_at": datetime.now(timezone.utc).isoformat()}
# 量子化済みの配布なら、その形式を記録する(記事に「BF16 のまま」と書かない)
with open(os.path.join(path, "config.json"), encoding="utf-8") as f:
quant = json.load(f).get("quantization_config") or {}
if quant:
groups = list((quant.get("config_groups") or {}).values())
record["quantization"] = {"quant_method": quant.get("quant_method"),
"format": quant.get("format") or (groups[0].get("format") if groups else None),
"weights_bits": ((groups[0].get("weights") or {}).get("num_bits") if groups else None)}
_log(t0, f"量子化済みの配布: {record['quantization']}")
tok = AutoTokenizer.from_pretrained(path, trust_remote_code=True, local_files_only=True)
if not getattr(tok, "chat_template", None):
_log(t0, "チャットテンプレートがありません")
return plain({**record, "no_chat_template": True})
model = AutoModelForCausalLM.from_pretrained(path, trust_remote_code=True, local_files_only=True,
use_safetensors=True, dtype=torch.bfloat16,
device_map="cuda")
model.eval()
torch.cuda.synchronize()
# 読み込んだ後の重みの持ち方(型ごとの要素数と、重みを持つ末端の層のクラス)。量子化済みの配布が 4bit のまま
# 読まれたのか、BF16 へ展開されたのかを、推測ではなく数えて記録する
dtypes, classes = {}, {}
for tensor in list(model.parameters()) + list(model.buffers()):
name = str(tensor.dtype).replace("torch.", "")
dtypes[name] = dtypes.get(name, 0) + int(tensor.numel())
for module in model.modules():
if not list(module.children()) and list(module.parameters(recurse=False)):
cls = type(module).__name__
classes[cls] = classes.get(cls, 0) + 1
record["loaded_weights"] = {"dtypes": dtypes, "leaf_classes": classes}
record["vram_loaded"] = int(torch.cuda.memory_allocated())
record["load_sec"] = round(time.time() - t0)
_log(t0, f"読み込み: VRAM {record['vram_loaded'] / 1024 ** 3:.1f}GB・{record['load_sec']}秒")
torch.cuda.reset_peak_memory_stats()
outputs = []
# 打ち切り(Modal の timeout)の前に、答えた分だけで返す。打ち切られると答えた分も全て失う
# 次の1問が最長(max_tokens)まで書いたときの時間を、ここまでで最も遅かった速さで見積もって判定する
stop_at = t0 + job.get("answer_budget_sec", 10 ** 9)
for prompt in job["prompts"]:
slowest = min((o["gen_tps"] for o in outputs if o.get("gen_tps")), default=None)
worst = job["max_tokens"] / slowest if slowest else 0
if time.time() + worst > stop_at:
_log(t0, f"時間の上限が近いため、残りの問い({prompt['id']} から)は尋ねません")
record["unanswered"] = [p["id"] for p in job["prompts"][len(outputs):]]
break
ids = _chat_ids(tok, prompt["ja"]).to("cuda")
started = time.time()
with torch.no_grad():
generated = model.generate(ids, max_new_tokens=job["max_tokens"], do_sample=False)
torch.cuda.synchronize()
seconds = time.time() - started
new = generated[0][ids.shape[1]:]
count = int(new.shape[0])
# 特別な記号(<think> 等)を残して文字にし、思考と回答を分けてから、残りの特別な記号を消す
prompt_text = tok.decode(ids[0][-8:], skip_special_tokens=False)
answer, thinking = split_thinking(tok.decode(new, skip_special_tokens=False), prompt_text)
for special in control_tokens(tok):
answer = answer.replace(special, "")
outputs.append({
"id": prompt["id"],
"content": answer.strip(),
"reasoning_chars": len(thinking.strip()),
"finish_reason": "length" if count >= job["max_tokens"] else "stop",
"completion_tokens": count,
"gen_tps": round(count / seconds, 2) if seconds > 0 else None,
"prompt_tokens": int(ids.shape[1]),
})
_log(t0, f"回答 {prompt['id']}: {count}トークン・{outputs[-1]['gen_tps']} トークン/秒")
record["vram_peak"] = int(torch.cuda.max_memory_allocated())
record["outputs"] = outputs
gen = sorted(o["gen_tps"] for o in outputs if o.get("gen_tps"))
if gen:
record["tg_tps"] = gen[len(gen) // 2]
return plain(record)
_CONTROL_RE = re.compile(r"^<\|[^<>\s]{1,40}?\|>$")
def control_tokens(tok) -> list[str]:
"""
回答から外すテンプレートの記号。特別な記号(all_special_tokens)に加え、追加の語彙のうち <|…|> の形のもの
(K2-Horizon の <|ifm|im_end|> は特別な記号に登録されておらず、回答の末尾に残って公開された。2026-10-02)。
長いものから外す(短い記号が長い記号の一部を先に消さないように)。
"""
found = set(tok.all_special_tokens)
found |= {t for t in (tok.get_added_vocab() or {}) if _CONTROL_RE.match(t)}
return sorted(found, key=len, reverse=True)
def plain(value):
"""JSON に通して、標準の型だけにする(ホストには torch も transformers も無い)。"""
return json.loads(json.dumps(value, default=str))
The job passed to download (as used):
{
"repo": "elyza/ELYZA-Thinking-1.0-llm-jp-4-32b-a3b",
"revision": "5260ecc249f32ef5005ef940c78f41f130d9c468",
"files": [
"chat_template.jinja",
"config.json",
"generation_config.json",
"llmjp4_harmony.py",
"llmjp4_tokenizer.py",
"model-00001-of-00002.safetensors",
"model-00002-of-00002.safetensors",
"model.safetensors.index.json",
"tokenizer.json",
"tokenizer_config.json"
],
"dir": "run-1791653766"
}
The job passed to run (as used):
{
"dir": "run-1791653766",
"max_tokens": 1024,
"answer_budget_sec": 3420,
"prompts": [
{
"id": "summary",
"ja": "次の記事を3文で要約してください。\n\nみどり市は今年の春、市内に三つある公立図書館のうち最も古い中央図書館の改修を終え、十月一日に再開館した。改修は約一年半にわたり、総事業費は約十二億円。このうち約四億円は国の補助金でまかなわれた。\n\n最大の変化は、閲覧席の配置である。以前は館内の座席の大半が学習用の机で、試験期間になると中高生で埋まり、高齢の利用者や小さな子ども連れが座れないという苦情が毎年寄せられていた。改修後は座席数を百二十席から二百席に増やしたうえで、学習用の机を三階にまとめ、一階は会話ができる「にぎわいフロア」、二階は静かに本を読む「閲覧フロア」に分けた。一階には予約制のグループ学習室が四室と、飲み物を持ち込めるカフェスペースも設けられた。\n\n蔵書の面でも見直しが進んだ。貸出の少ない古い資料約三万冊を市内の他の館や保存書庫に移し、代わりに子ども向けの絵本と、介護・子育て・仕事探しといった暮らしに関わる実用書を約一万五千冊増やした。電子書籍の貸出サービスも始まり、利用登録をすれば自宅から一度に三冊まで、二週間借りられる。\n\n建物そのものにも手が入った。築四十年を超えていた空調設備を入れ替え、屋上には太陽光パネルを設置して、館内で使う電力の約二割をまかなえるようにした。車いすの利用者から要望の多かったエレベーターは一基から二基に増え、書架の間の通路も以前より三十センチ広げられた。入口には段差のないスロープが新たに設けられ、授乳室と多目的トイレも各階に一つずつ置かれた。\n\n一方で課題も残る。駐車場は改修前と同じ四十台のままで、週末には近くの道路に順番待ちの車が並んだ。市は隣接する市有地を臨時駐車場として開放したが、恒久的な対策は決まっていない。また、開館時間を平日の夜九時まで延ばしたことで職員の負担が増えており、職員団体は人員の追加を求めている。\n\n利用者の受け止めはおおむね好意的だ。週に二度、孫を連れて来るという七十代の女性は「前は子どもが声を出すと周りの目が気になったが、一階なら気兼ねなく絵本を読んであげられる」と話す。一方、受験を控えた高校生の中には「学習席が三階だけになり、夕方はすぐに満席になる」と不満を漏らす人もいる。図書館は、学習席の空き状況をホームページで確認できる仕組みを年内に導入する予定だ。\n\n再開館に合わせて、催しも増えた。毎週土曜の午前には読み聞かせ会、月に一度は地元の農家や商店主を講師に招く「まちの先生」講座が開かれる。十一月には、市内の中学生が選んだ本を紹介する展示も予定されている。\n\n館長の山本和子さんは「本を借りる場所から、人が集まって過ごす場所へ変えたかった。再開館からの一か月で来館者は以前の一・八倍になった」と話す。市は来年度、残る二つの図書館についても利用者への聞き取りを行い、改修の必要性を検討する方針だ。"
},
{
"id": "keigo",
"ja": "取引先の担当者に、来週火曜日の打ち合わせを水曜日に変更してほしいとお願いするメールを、丁寧な敬語で書いてください。"
},
{
"id": "arithmetic",
"ja": "りんごが1個120円、みかんが1個45円です。りんごを3個とみかんを8個買って、1,000円札で払いました。おつりはいくらですか。考え方も示してください。"
},
{
"id": "prefectures",
"ja": "日本の都道府県のうち、海に面していない県をすべて挙げてください。"
},
{
"id": "haiku",
"ja": "「春」をテーマにした俳句を3つ、五・七・五の音数を守って作ってください。それぞれに一言の説明を付けてください。"
}
]
}
Package versions in the running container (full list)
accelerate==1.15.0 aiohappyeyeballs==2.6.1 aiohttp==3.12.7 aiosignal==1.3.2 annotated-doc==0.0.5 annotated-types==0.8.0 anyio==4.15.1 attrs==25.3.0 cbor2==5.7.0 certifi==2026.7.22 charset-normalizer==3.5.2 click==8.5.0 compressed-tensors==0.19.0 cuda-bindings==13.4.3 cuda-pathfinder==1.8.2 cuda-toolkit==13.0.3.0 einops==0.8.2 filelock==4.0.8 frozenlist==1.6.0 fsspec==2026.9.0 grpclib==0.4.8 h11==0.16.0 h2==4.2.0 hf-xet==1.6.0 hpack==4.1.0 httpcore==1.0.9 httpx==0.28.1 huggingface_hub==1.33.0 hyperframe==6.1.0 idna==3.20 Jinja2==3.1.6 loguru==0.7.3 markdown-it-py==4.2.0 MarkupSafe==3.0.3 mdurl==0.1.2 mpmath==1.3.0 multidict==6.4.4 networkx==3.7 numpy==2.5.3 nvidia-cublas==13.1.1.3 nvidia-cuda-cupti==13.0.85 nvidia-cuda-nvrtc==13.0.88 nvidia-cuda-runtime==13.0.96 nvidia-cudnn-cu13==9.24.0.43 nvidia-cufft==12.0.0.61 nvidia-cufile==1.15.1.6 nvidia-curand==10.4.0.35 nvidia-cusolver==12.0.4.66 nvidia-cusparse==12.6.3.3 nvidia-cusparselt-cu13==0.8.1 nvidia-nccl-cu13==2.30.7 nvidia-nvjitlink==13.4.92 nvidia-nvshmem-cu13==3.4.5 nvidia-nvtx==13.0.85 packaging==26.3 pip==25.1.1 propcache==0.3.1 protobuf==7.36.2 psutil==7.2.2 pydantic==2.13.5 pydantic_core==2.46.5 Pygments==2.21.0 PyYAML==6.0.3 regex==2026.9.29 requests==2.34.2 rich==15.0.0 safetensors==0.8.0 sentencepiece==0.2.2 setuptools==84.0.0 shellingham==1.5.4 sympy==1.14.0 tiktoken==0.14.0 tokenizers==0.23.2 torch==2.14.1 tqdm==4.70.1 transformers==5.18.0 triton==3.8.0 typer==0.27.2 typing-inspection==0.4.4 typing_extensions==4.16.0 urllib3==2.8.0 uv==0.7.19 wheel==0.45.1 yarl==1.20.0
Package versions in the downloading container (full list)
aiohappyeyeballs==2.6.1 aiohttp==3.12.7 aiosignal==1.3.2 anyio==4.15.1 attrs==25.3.0 cbor2==5.7.0 certifi==2025.4.26 click==8.5.0 filelock==4.0.7 frozenlist==1.6.0 fsspec==2026.9.0 grpclib==0.4.8 h11==0.16.0 h2==4.2.0 hf-xet==1.6.0 hpack==4.1.0 httpcore2==2.13.1 httpx2==2.13.1 huggingface_hub==2.0.0 hyperframe==6.1.0 idna==3.20 multidict==6.4.4 packaging==26.3 pip==25.1.1 propcache==0.3.1 protobuf==6.31.1 PyYAML==6.0.3 tqdm==4.70.1 truststore==0.10.4 typing_extensions==4.16.0 uv==0.7.19 wheel==0.45.1 yarl==1.20.0
Recent Models in the Same Size Class
Models with 15–40B parameters that Local Model Watch covered recently, listed by code from our article log for comparison. VRAM tiers are this site’s estimates; licenses are as stated on the model cards.
→ Scroll horizontally to see all columns
| Model | Parameters | Smallest VRAM tier | License | Our article |
|---|---|---|---|---|
| LiquidAI/LFM2.5-24B-A2B-Base | 24.0B | 80GB | lfm1.0 | LiquidAI Releases LFM2.5-24B-A2B for On-Device Agents (2026-11-17) |
| LiquidAI/LFM2.5-24B-A2B-FP8 | 24.0B | 32GB | lfm1.0 | LFM2.5-24B-A2B-FP8 Text Generation Model: 32GB+ VRAM (2026-11-17) |
| LiquidAI/LFM2.5-24B-A2B-MLX-bf16 | 24.0B | 80GB | lfm1.0 | LFM2.5-24B-A2B-MLX-bf16 Reasoning Model for Apple Silicon: 80GB+ VRAM (2026-11-17) |
| LiquidAI/LFM2.5-24B-A2B-MLX-8bit | 24.0B | 32GB | lfm1.0 | LFM2.5-24B-A2B-MLX-8bit Text Generation Model: 32GB+ VRAM (2026-11-17) |
| LiquidAI/LFM2.5-24B-A2B | 24.0B | 12GB | lfm1.0 | LFM2.5-24B-A2B Agent-Optimized MoE Reasoning Model: 12GB+ VRAM (2026-11-17) |
How to Get It
The model is distributed in safetensors format and is available on Hugging Face under the Apache-2.0 license. There are no access restrictions or gated license agreements required on Hugging Face to use it.
It is compatible with engines such as vLLM and Transformers, and an example command for launching a server using vLLM is as follows:
vllm serve elyza/ELYZA-Thinking-1.0-llm-jp-4-32b-a3b \
--max-model-len 65536 \
--trust-remote-code \
--moe-backend triton \
--reasoning-parser-plugin vllm_plugins/multi_parser_loader.py \
--reasoning-parser llmjp4 \
--tool-parser-plugin vllm_plugins/llmjp_harmony_tool_parser.py \
--tool-call-parser llmjp_harmony \
--enable-auto-tool-choice
Other Models for the Same Task
Recent text generation models covered by Local Model Watch, newest first. Grouped by the task each publisher declares on Hugging Face (pipeline_tag); the smallest VRAM tier is this site’s estimate.
- plamo-3-8b-fin-instruct Text Generation Model: 4GB+ VRAM, GGUF Builds (8.5B, 4GB)
- Qwen3.8-27B-DSpine-b16 Draft Model for Speculative Decoding: 8GB+ VRAM (2.0B, 8GB)
- Arete-27B Text Generation Model: 12GB+ VRAM, GGUF Builds (27.4B, 12GB)
- ByteDance-Seed Releases Cola2 Language Model (8.8B, 48GB)
See all text generation models →
What to Read Next
- Find models by VRAM (This model needs at least 80GB) → VRAM quick reference
- Engines that run this model → vLLM
- Formats this model is available in → Safetensors format guide and models
- Learn about the publisher → ELYZA: models, licenses and articles
- How to read MMLU-Pro, GPQA Diamond, MATH → Benchmark glossary
Sources
- https://huggingface.co/elyza/ELYZA-Thinking-1.0-llm-jp-4-32b-a3b
- https://huggingface.co/elyza/ELYZA-Thinking-1.0-llm-jp-4-33b
- https://huggingface.co/llm-jp/llm-jp-4-33b-base
Update History
- 2026-10-03: Added our own measurements: Japanese token efficiency.
- 2026-10-11: Added our own measurements: VRAM and answers to Japanese questions with the publisher’s own code.

