「Aion-1.0-Instruct-2.3B」2.3Bのテキスト生成モデル:必要VRAM 8GB〜

基本情報
| 項目 | 内容 |
|---|---|
| リポジトリ | microsoft/Aion-1.0-Instruct-2.3B |
| まとめページ | Aion-1.0 のまとめ(記事2本) |
| 公開元のまとめ | Microsoft のモデルとライセンスのまとめ |
| 公開日 | 2026-11-19 |
| ライセンス | mit |
| 配布形式 | safetensors |
| 出典の種類 | 公開元の一次情報(Microsoft公式HFアカウントによる公開) |
情報を集めた時点で、当サイトのコードが確定させた値です。日付はJSTで表示しています。
当サイトで確かめたこと
- Qwen3 のトークナイザより約16%多いトークンが要ります。同じ文脈長に入る日本語は約0.87倍(少なくなります)で、生成も1字あたりで遅くなります。
詳しい値と条件は、下の「当サイトでの実測」の節にあります。
概要
MicrosoftのWindows Applied Sciences Groupは、オンデバイス環境向けのスモール言語モデル(SLM)「Aion-1.0-Instruct-2.3B」を公開しました。
本モデルは、Windowsエコシステムにおける基盤SLMとして位置づけられており、常時クラウドに接続することなく、端末上で安全かつ高速に応答するテキスト処理やOS連携のユースケースに特化して最適化されています。2027年1月末までに、Microsoftのコンテンツモデレーションモデルと組み合わせた最適化版がWindows OSのSLMとして導入される予定となっており、今回のHugging Faceでの公開は、今後の機能導入に向けた透明性の確保やユーザーからのフィードバック収集を目的としています。まずは非量子化版のモデルが公開されており、今後は量子化版の提供も予定されています。
スペック
モデルカードに記載されているスペックは以下の通りです。
- パラメータ数: 約22.9億(~2.29B、tied input/output embeddings)
- アーキテクチャ: Causal language model (instruction-tuned)
- レイヤー数: 28
- Hidden size: 2048
- MLP intermediate size: 8192 (SiLU)
- アテンション: GQA(24 query heads, 8 key/value heads, head dim 128)
- アテンションパターン: ハイブリッド構成(21層のsliding-window layers [window 2048] + 7層のfull-attention layers)
- 位置エンコーディング: RoPE (θ = 32000)、full-attention層でYaRNスケーリング(factor 16)
- コンテキスト長: 32,768トークン
- 語彙サイズ: 200,029
- 精度: bfloat16
性能
公開元であるMicrosoftが自ら測定し、モデルカードで公表している評価スコアは以下の通りです。ベンチマークの測定には主にEleutherAIのlm-evaluation-harnessが使用され、LLMによる判定が必要なタスクではGPT-4oがジャッジモデルとして用いられています。
| Category | Benchmark | Score | Notes |
|---|---|---|---|
| Knowledge | MMLU | 55.15 | |
| Knowledge | MMLU-Pro | 33.35 | |
| Knowledge | MMMLU | 45.51 | Multilingual MMLU |
| Knowledge | GPQA | 28.18 | |
| Math | GSM8K | 74.91 | Loose matching |
| Math | GSMPlus | 49.56 | |
| Math | MATH-500 | 48.00 | |
| Instruction following | IFEval | 83.90 | Mean of prompt-level strict and instruction-level strict |
| Instruction following | IFBench | 32.00 | Prompt-level loose |
| Instruction following | Multi-IF | 64.70 | |
| Translation | chrF++ | 43.18 |
この測定結果から、形式的な制約を守る指示追従能力や基礎的な計算処理において良好なスコアを示していることが分かります。特に「300語以内で」「JSON形式で」といった形式の指示を守れるかを測るIFEvalでは83.90という高いスコアを記録しており、日常的なテキスト処理や指示遂行において実用的な精度を備えています。また、小学校レベルの算数文章題を手順通りに解く能力を測るGSM8Kでも74.91を記録しています。
その一方で、知識や高度な推論を要求される分野ではスコアが伸び悩んでいます。幅広い知識を問うMMLUでは55.15にとどまり、推論重視の難化版であるMMLU-Proでは33.35、博士課程レベルの科学の難問を扱うGPQAでは28.18と低い水準にとどまっています。公開元自身も言及している通り、23億パラメータという小型サイズゆえに膨大な事実知識の保持や複雑な多段階推論には限界があり、一般的な世界知識を網羅する用途よりも、明確な指示に基づく文章処理や要約などのタスクに向いた性能傾向となっています。
得意なこと・想定用途
モデルカードによれば、Aion Instructは文書の読解、内容の分析、質問応答、自然言語理解といった汎用的なテキスト用途を主眼に学習されています。タグにはsummarization、rewriting、chatが付いており、要約・書き換え・対話が想定用途です。コンテキスト長は32Kトークンで、複数ページの文書や長いメールスレッド、複雑な技術仕様書を、端末内だけで処理できるとされています。
対応言語は英語、ドイツ語、スペイン語、ポルトガル語、イタリア語、フランス語、中国語、日本語の8言語です。ただし多言語データは学習データ全体の約6%で、言語によって出力品質に差が出る可能性があると公開元が述べています。
ツール呼び出しにも対応しています。apply_chat_template(..., tools=tools) でツール定義を渡すと、モデルが <|tool_call|> 形式で呼び出しを出力します。
注意点もあります。カードは、このモデルが世界知識で優れるようには学習されていないと明記しています。23億パラメータの小型モデルのため、細部の取りこぼしや誤った記述、複雑な多段階推論の失敗がありえます。敵対的な攻撃を受けやすい可能性もあり、XPIA、DIC、ECIが今後改善すべき主要な安全性指標として挙げられています。医療診断や法的判断のような重大な場面での自動意思決定には使わないよう求められています。
類似モデルとの違い
当サイトの「Aion-1.0-Instruct-2.3B-GGUF」2.3Bのテキスト生成モデル:必要VRAM 4GB〜は、同じモデルをAtomicChatがGGUF形式に変換したとされる版を扱っています。この記事では出典が未確認で、非公式の変換版として扱われています。今回はMicrosoft自身が公開した非量子化のsafetensors版で、公式の一次情報に基づいています。変換版は、より軽い形式で手軽に動かしたい場合の選択肢になります。ただし量子化版の品質は、本記事の公式スコアとは別に確認する必要があります。
動作環境
動作環境の目安(Local Model Watch 算出) — パラメータ数 2.3B
| 手持ちのVRAM | 選べる量子化 | ファイルサイズ | 必要メモリの目安 |
|---|---|---|---|
| RTX 4060 / 3060 Ti など 8GB | BF16 | 4.3GB | 5.1GB |
推論エンジンの対応状況(各プロジェクトのソースにあるモデル登録表とアーキテクチャ名を当サイトが機械的に照合。2026-11-20 時点): llama.cpp: 未登録、vLLM: 未登録、MLX (mlx-lm): 未登録。「未登録」はその時点の登録表に名前が無いという意味で、動かないことの断定ではありません。
必要メモリは配布ファイルの実サイズに実行時のオーバーヘッド(KVキャッシュ等)を20%見込んだ概算で、文脈長・バッチサイズ・推論エンジンによって増減します。公開元の公称値ではなく、当サイトがファイルサイズから機械的に算出した値です。 他のモデルとの比較はVRAM別の早見表を参照してください。 量子化の名前の読み方は用語集にあります。
手元で動かせるか
現時点では Ollama・LM Studio・llama.cpp で動かせません。
公開元の配布は safetensors のみで、llama.cpp の登録表にもこのモデルのアーキテクチャ名がありません。これらのツールで動かせるようになるには、まず llama.cpp 側が対応する必要があります。公開元と実績のある量子化担当以外による変換版は 2 件あります。現時点で動かすなら transformers(PyTorch) で読み込む形になり、必要メモリは上の表のとおりです。
ライセンス mit(商用利用可): 商用利用を含めて自由に利用・改変・再配布できます。再配布時に著作権表示とライセンス文を残すことが条件です。
配布形式・当サイトが見つけた変換版・各推論エンジンの登録表を突き合わせた判定です。「確認できていない」は当サイトが見つけていないという意味で、存在しないことの断定ではありません。ライセンスの要約は法的助言ではないため、実際の利用にあたっては公開元の原文を確認してください。
当サイトでの実測
当サイトのサーバー(GPUなし)で、このモデルのファイルを実際に読み込み・動かして確かめた値です。モデルカードの記載ではなく、当サイトが測った結果です。測り方と全モデルの一覧は観測データにまとめています。
日本語のトークン効率
| トークナイザ | 日本語1,000字あたりのトークン数 | 同じ内容の英文との比 |
|---|---|---|
| このモデル | 795 | 1.45倍 |
| Qwen3 | 688 | 1.26倍 |
| Llama 3.2 | 744 | 1.36倍 |
| Gemma 3 | 564 | 1.03倍 |
| gpt-oss | 795 | 1.45倍 |
| LLM-jp-3 | 497 | 0.85倍 |
Qwen3 のトークナイザより約16%多いトークンが要ります。同じ文脈長に入る日本語は約0.87倍(少なくなります)で、生成も1字あたりで遅くなります。
microsoft/Aion-1.0-Instruct-2.3B の tokenizer.json で、当サイトが書き下ろした固定の文章(876字。ニュース・会話・技術文書・敬語のメール・紀行文・料理の6種)と、同じ内容の英文を数えました。トークン数が少ないほど、同じ文脈長に長い日本語が入ります。
同クラスの既報モデル
当サイトが最近取り上げた、パラメータ数 〜4B のモデルを、比較のために記事ログからコードが並べたものです。VRAM階層は当サイトの概算、ライセンスはモデルカードの記載です。
→ 横にスクロールできます
| モデル | パラメータ数 | 最小のVRAM階層 | ライセンス | 記事 |
|---|---|---|---|---|
| ggml-org/LFM3-1.7B-GGUF | 1.7B | 4GB | lfm1.0 | 「LFM3-1.7B-GGUF」テキスト生成モデル:当サイトでの回答例・必要VRAM 4GB〜(2026-11-18) |
| openbmb/MiniCPM-V-4.7-35B-A3B-DSpark-gguf | 389M | 4GB | apache-2.0 | 「MiniCPM-V-4.7-35B-A3B-DSpark-gguf」高速化用ドラフトモデル:必要VRAM 4GB〜(2026-11-17) |
| openbmb/MiniCPM-V-4.7-1B-DSpark-gguf | 214M | 4GB | apache-2.0 | 「MiniCPM-V-4.7-1B-DSpark-gguf」テキスト生成モデル:必要VRAM 4GB〜(2026-11-17) |
| IFM/Jais-3-0.9B-GGUF | 1.1B | 4GB | apache-2.0 | 「Jais-3-0.9B-GGUF」バイリンガル対応のDenseモデル:当サイトでの回答例・必要VRAM 4GB〜(2026-11-17) |
| nvidia/NVIDIA-Nemotron-Labs-Dory1.0-4B-BF16 | 4.0B | 4GB | openmdw-1.1 | NVIDIA、ループ型LLM「Dory1.0-4B」を公開。最大256K対応(2026-11-17) |
入手方法
配布形式はsafetensors(bfloat16)で、ライセンスはMITです。ゲート(利用規約への同意)は設定されておらず、同意なしにダウンロードできます。カードはライブラリ形式としてPyTorch、ONNX、GGUFを挙げていますが、Microsoftはまず非量子化版を公開し、量子化版は後から出す予定だと述べています。現時点でリポジトリにあるのはsafetensorsです。
カスタムモデリングコードを使うため、trust_remote_code=True が必須です。transformers 5.xで書き出されています。
from transformers import AutoModelForCausalLM, AutoTokenizer
model_id = "microsoft/Aion-1.0-Instruct-2.3B"
tokenizer = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
model_id,
dtype="auto",
device_map="auto",
trust_remote_code=True,
)
チャットテンプレートは <|system|>、<|user|>、<|assistant|> を使い、各ターンは <|end|> で終わります。<|end|> はEOSトークンでもあります。カードにはllama.cppやOllama、vLLMでの動作に関する記載はありません。そのためこれらのエンジンでの対応状況は未確認です。関連GitHubリポジトリとして microsoft/Aion-Instruct-Preview-Sample がカードに挙げられています。
派生版・量子化版
→ 横にスクロールできます
| 追記日 | 配布元 | 形式 | リポジトリ | 最小のVRAM階層(量子化・必要メモリの目安) |
|---|---|---|---|---|
| 2026-11-19 | microsoft | INT4 | microsoft/Aion-1.0-Instruct-2.3B-ONNX-WebGPU | – |
このほか、上記以外の投稿者による変換版が 2 件あります(当サイトは公開元自身と、実績のある量子化担当の配布だけを表に載せています)。
この節は、記事公開後に見つかった変換版を当サイトが機械的に追記したものです。必要メモリは配布ファイルのサイズから算出した概算です。 量子化の名前の読み方は用語集にあります。
関連記事
- 「Aion-1.0-Instruct-2.3B-GGUF」2.3Bのテキスト生成モデル:必要VRAM 4GB〜
- 「Mage-VL-Cowork」GUI操作とコード実行をこなす4Bの視覚言語モデル:必要VRAM 12GB〜
- 「UserRepGen-4B」ユーザー表現生成用の4B級言語モデル:当サイトでの回答例・必要VRAM 4GB〜
- 「SingVL_S1_4B」画像入力対応マルチモーダル判断モデル:必要VRAM 4GB〜・GGUF版あり
次に読むなら
- GPUのVRAMから探す(このモデルは8GBの階層から動きます) → 8GBのGPUで動くほかのモデル
- 同じモデル系統を調べる → Aion-1.0 系統のまとめ(記事2本・変換版1件)
- このモデルを入手できる形式を調べる → Safetensors形式の解説と対応モデル
- 公開元について調べる → Microsoft のモデル・ライセンス・記事のまとめ
- 同じ用途の他のモデルを探す → テキスト生成のモデル一覧
出典
- microsoft/Aion-1.0-Instruct-2.3B(Hugging Face)
- 「Aion-1.0-Instruct-2.3B-GGUF」2.3Bのテキスト生成モデル:必要VRAM 4GB〜(Local Model Watch)
更新履歴
- 2026-11-19: 変換版を「派生版・量子化版」に追記しました: microsoft/Aion-1.0-Instruct-2.3B-ONNX-WebGPU
- 2026-11-20: 当サイトでの実測(日本語のトークン効率)を追加しました。

