「Aion-1.0-Instruct-2.3B-GGUF」2.3Bのテキスト生成モデル:必要VRAM 4GB〜

「Aion-1.0-Instruct-2.3B-GGUF」2.3Bのテキスト生成モデル:必要VRAM 4GB〜

基本情報

項目 内容
リポジトリ AtomicChat/Aion-1.0-Instruct-2.3B-GGUF
公開元のまとめ Microsoft のモデルとライセンスのまとめ
公開日 2026-11-19
ライセンス mit
配布形式 GGUF
出典の種類 未確認(一次情報で裏付けできていない)(非公式のGGUF変換版)

情報を集めた時点で、当サイトのコードが確定させた値です。日付はJSTで表示しています。

概要

Microsoftの次世代WindowsオンデバイスSLM(Small Language Model)になるとされている「Aion 1.0 Instruct 2.3B」のGGUF版が、AtomicChatによって公開されたと報告されています。なお、この情報は公式に確認されたものではありません。このモデルは、2027年1月末までにWindows OSのSLMとして最適化されたバージョンが導入される予定のモデルの、導入および透明性確保を目的とした公開版とされています。

スペック

  • パラメータ数: 2.29B (うち0.41Bはtied embedding / head)
  • レイヤー数: 28 (21層のsliding-window (2048) + 7層のfull attention)
  • アテンション: GQA, 24 query heads, 8 KV heads, head dim 128, QK RMSNorm
  • Hidden / FFN: 2048 / 8192 (SwiGLU)
  • RoPE: theta 32000; YaRN x16 from 2048 on the full-attention layers
  • コンテキスト長: 32,768 tokens
  • Vocabulary: 200,029 (o200k)

性能

元モデルである microsoft/Aion-1.0-Instruct-2.3B の性能は、公開元の測定によれば以下の通りです。

Category Benchmark Score
Knowledge MMLU 55.15
Knowledge MMLU-Pro 33.35
Knowledge MMMLU 45.51
Knowledge GPQA 28.18
Math GSM8K 74.91
Math GSMPlus 49.56
Math MATH-500 48.00
Instruction following IFEval 83.90
Instruction following IFBench 32.00
Instruction following Multi-IF 64.70
Translation chrF++ 43.18

この表から、元モデルは数学の文章題を解く能力を測るGSM8Kで74.91、また形式の指示を守れるかを測るIFEvalで83.90と、高いスコアを示していることが分かります。一方で、科学の難問を扱うGPQAでは28.18となっており、他の指標と比較すると相対的に低い数値です。全体として、軽量ながら特定のタスクにおいて高い性能を発揮するように設計されていることが伺えます。

また、公開されたGGUF版の量子化精度については、以下の比較表が示されています。

file mean KLD same top token
BF16 0 100%
Q8_0 0.0029 96.6%
AD-Q5_K_M 0.0062 95.1%
AD-Q4_K_M 0.0131 93.0%
AD-IQ3_S 0.0705 84.1%

この表によれば、AtomicChatが推奨する AD-Q4_K_M は、元のBF16と比較して「same top token(元のモデルと同じ次トークンを選択できる割合)」が93.0%を維持しており、量子化による劣化を抑えつつ軽量化されています。KLD(KLダイバージェンス)は、量子化後の分布が元の分布からどれだけ離れているかを示す指標ですが、AD-Q4_K_M では0.0131と、比較的低い値に抑えられています。最も軽量な AD-IQ3_S では、元のモデルと同じトークンを選択できる確率が84.1%まで低下します。

得意なこと・想定用途

元モデルである microsoft/Aion-1.0-Instruct-2.3B は、要約、書き換え、文書の質問応答、チャットなどの汎用的なテキストシナリオを主目的として訓練されています。対応言語は英語、ドイツ語、スペイン語、ポルトガル語、イタリア語、フランス語、中国語、日本語の8言語です。また、32Kトークンのコンテキスト長を備えているため、複数ページの文書や長文のメールスレッドなどを手元で処理することが可能です。ただし、元モデルのモデルカードでは、世界知識に特化して訓練されているわけではない点や、高度な多段階推論には限界がある点が指摘されています。

動作環境

動作環境の目安(Local Model Watch 算出) — パラメータ数 2.3B(元モデル microsoft/Aion-1.0-Instruct-2.3B の値)

手持ちのVRAM 選べる量子化 ファイルサイズ 必要メモリの目安
4GB(ノートPCの内蔵GPU・スマートフォンなど) Q8_0 2.3GB 2.7GB
RTX 4060 / 3060 Ti など 8GB BF16 4.3GB 5.1GB

必要メモリは配布ファイルの実サイズに実行時のオーバーヘッド(KVキャッシュ等)を20%見込んだ概算で、文脈長・バッチサイズ・推論エンジンによって増減します。公開元の公称値ではなく、当サイトがファイルサイズから機械的に算出した値です。 他のモデルとの比較はVRAM別の早見表を参照してください。 量子化の名前の読み方は用語集にあります。

手元で動かせるか

Ollama・LM Studio・llama.cpp でそのまま動かせます。

GGUF形式で配布されているため、変換を待たずに手元で読み込めます。

ライセンス mit(商用利用可): 商用利用を含めて自由に利用・改変・再配布できます。再配布時に著作権表示とライセンス文を残すことが条件です。

量子化の圧縮率: Q8_0 は実測 8.63 bit/weight で、元の16bitの重みの約54%のサイズです(配布ファイルの実サイズから当サイトが算出)。

配布形式・当サイトが見つけた変換版・各推論エンジンの登録表を突き合わせた判定です。「確認できていない」は当サイトが見つけていないという意味で、存在しないことの断定ではありません。ライセンスの要約は法的助言ではないため、実際の利用にあたっては公開元の原文を確認してください。

同クラスの既報モデル

当サイトが最近取り上げた、パラメータ数 〜4B のモデルを、比較のために記事ログからコードが並べたものです。VRAM階層は当サイトの概算、ライセンスはモデルカードの記載です。

→ 横にスクロールできます

モデル パラメータ数 最小のVRAM階層 ライセンス 記事
ggml-org/LFM3-1.7B-GGUF 1.7B 4GB lfm1.0 「LFM3-1.7B-GGUF」テキスト生成モデル:当サイトでの回答例・必要VRAM 4GB〜(2026-11-18)
openbmb/MiniCPM-V-4.7-35B-A3B-DSpark-gguf 389M 4GB apache-2.0 「MiniCPM-V-4.7-35B-A3B-DSpark-gguf」高速化用ドラフトモデル:必要VRAM 4GB〜(2026-11-17)
openbmb/MiniCPM-V-4.7-1B-DSpark-gguf 214M 4GB apache-2.0 「MiniCPM-V-4.7-1B-DSpark-gguf」テキスト生成モデル:必要VRAM 4GB〜(2026-11-17)
IFM/Jais-3-0.9B-GGUF 1.1B 4GB apache-2.0 「Jais-3-0.9B-GGUF」バイリンガル対応のDenseモデル:当サイトでの回答例・必要VRAM 4GB〜(2026-11-17)
nvidia/NVIDIA-Nemotron-Labs-Dory1.0-4B-BF16 4.0B 4GB openmdw-1.1 NVIDIA、ループ型LLM「Dory1.0-4B」を公開。最大256K対応(2026-11-17)

入手方法

AtomicChatによって公開されたGGUF版のファイルは、Hugging Faceのリポジトリから入手できます。なお、元モデルおよびこのGGUF版はMITライセンスの下で公開されています。

入手には huggingface-cli などを利用してダウンロードすることができます。ただし、Aionの新しいアーキテクチャは現行のアップストリーム版 llama.cpp ではまだサポートされていないため、利用には専用のパッチを適用してビルドする必要があります。リポジトリに含まれる aion-port.patch を適用するための手順は以下の通りです。

git clone https://github.com/ggml-org/llama.cpp && cd llama.cpp
git checkout bafa0420c1e57edf04d71587d32fe57d45df7b95
curl -LO https://huggingface.co/AtomicChat/Aion-1.0-Instruct-2.3B-GGUF/resolve/main/aion-port.patch
git apply aion-port.patch
cmake -B build -DGGML_CUDA=ON
cmake --build build -j --config Release --target llama-server llama-cli

ビルド後は、チャットテンプレートが埋め込まれているため --jinja オプションを指定して実行します。

./build/bin/llama-server -hf AtomicChat/Aion-1.0-Instruct-2.3B-GGUF:AD-Q4_K_M --jinja -c 32768 -ngl 99

関連記事

次に読むなら

出典

この記事は未確認情報を含みます。 公式の一次情報で裏が取れ次第、更新履歴を追記して反映します。