「Jais-3-3.7B-GGUF」512Kコンテキストの言語モデル:必要VRAM 4GB〜

「Jais-3-3.7B-GGUF」512Kコンテキストの言語モデル:必要VRAM 4GB〜

基本情報

項目 内容
リポジトリ IFM/Jais-3-3.7B-GGUF
まとめページ Jais-3 のまとめ(記事4本)
公開元のまとめ IFM(MBZUAI) のモデルとライセンスのまとめ
公開日 2026-10-13
ライセンス apache-2.0
配布形式 GGUF
出典の種類 公開元の一次情報(公式リポジトリIFMが公開、一次情報)

情報を集めた時点で、当サイトのコードが確定させた値です。日付はJSTで表示しています。

概要

IFMより、アラビア語および英語に対応したオープンウェイトモデル「inception42/Jais-3-3.7B」のGGUF変換版である「IFM/Jais-3-3.7B-GGUF」が公開されました。

本モデルは、3.7Bクラスの小規模なDense型言語モデルでありながら、512Kトークンという非常に長いコンテキストウィンドウを備えています。推論フレームワーク「llama.cpp」で動作させることが可能となっており、ローカル環境における推論処理やツール呼び出しを伴うエージェント用途に向けて提供されています。

スペック

  • パラメータ数: 3.7B
  • 活性パラメータ数: 3.7B
  • アーキテクチャ: Dense(K2HorizonForCausalLM / デコーダオンリー)
  • コンテキスト長: 512K

性能

以下の表は、公開元であるIFMがモデルカード上で公開したベンチマークスコアです。本モデルはBF16精度の元モデルにおける測定結果であり、量子化版モデル自体の個別評価はまだ実施されていない点に留意する必要があります。比較対象として、同等規模帯のオープンウェイトモデルなどの列をそのまま掲載しています。

→ 横にスクロールできます

Jais-3-3.7B Reference models / Qwen3.5-4B Reference models / Gemma 4 E2B Reference models / granite-4.0-h-3b-ar Reference models / Falcon-H1-3B-Instruct
# Params 3.7B 4B 5B 3B 3B
# Activated params 3.7B 4B 2.3B 3B 3B
Architecture Dense Dense Dense Dense Dense
Open-ended Generation
AraGen
AraGen v3 (3C3H) 09-2025 49.6 45.8 39.6 27.1 13.0
Correctness 57.9 57.2 46.5 30.8 16.8
Completeness 56.9 56.3 46.4 30.4 15.3
Conciseness 18.2 10.3 11.5 14.4 3.5
Helpfulness 51.9 45.5 41.5 27.6 13.4
Honesty 55.6 49.0 45.2 28.9 13.8
Harmlessness 56.9 56.3 46.5 30.6 15.4
Knowledge & Reasoning
General Knowledge & Comprehension
Arabic MMLU* Accuracy 83.3 75.2 69.4 59.8 51.0
Belebele Accuracy 91.9 84.0 79.6 61.9 57.9
STEM & Math
AraSTEM* Accuracy 91.7 91.4 85.1 66.5 64.9
Arabic GSM8K* Accuracy 91.9 88.7 81.7 67.2 72.2
GATmath* Accuracy 96.2 95.9 90.5 45.3 41.3
Professional Domains
MedAraBench* Accuracy 74.1 74.1 57.2 38.1 34.5
Arabic Legal (HELM)* Accuracy 66.7 63.3 57.1 56.1 53.0
Arabic Language & Culture
Islamic Knowledge & Arab Culture
IslamicQA Accuracy (mean of the 4 below) 81.7 61.6 63.0 41.2 48.2
PaLM-X 2025-2* Accuracy 88.9 79.6 79.2 57.5 66.6
QIAS-1* Accuracy 83.3 50.7 51.6 18.2 27.5
QIAS-2* Accuracy 80.0 69.9 65.3 66.5 54.3
IslamicEval2025-1B* Accuracy 74.5 46.3 55.8 22.5 44.6
Arab Culture Accuracy (mean of the 3 below) 81.2 68.8 66.8 60.2 54.8
ArabCulture* Accuracy 84.3 76.2 74.7 68.4 64.2
AraDiCE-Culture* Accuracy 76.5 61.5 56.4 53.6 45.8
Arabic Cuisine^ Accuracy 82.6 68.9 69.2 58.6 54.4
Dialects
Dialectal Arabic MMLU* Accuracy 81.6 76.5 65.1 50.7 43.8
Dialect Identification (QADI) Accuracy 68.8 37.4 44.4 42.2 28.5
Alyah* Accuracy 79.7 63.3 69.7 66.0 58.9
Linguistics & Literature
Arabic MMLU with diacritics Accuracy 80.7 70.8 64.7 53.3 34.6
FannOrFlop-MCQ Accuracy 66.2 50.9 60.0 48.8 41.1
Arabic Linguistics^ Accuracy (mean of the 2 below) 92.1 72.7 77.9 49.3 42.1
Diacritization Accuracy 86.9 79.2 74.2 64.1 51.2
Parsing Accuracy 97.3 66.3 81.6 34.6 32.9
Assistant Capabilities
Instruction Following
Arabic IFBench^ Accuracy (prompt-level strict) 92.6 53.7 37.6 14.7 18.4
Arabic IFEval Accuracy 79.0 73.0 69.6 43.1 55.7
Factuality & Hallucination
HalluScore Accuracy 48.3 37.5 33.3 16.4 13.2
SimpleQA Verified (Ar) Aggregate (2/3 F-score + 1/3 non-hallucination rate) 29.1 7.0 29.8 3.5 2.5
F-score 1.5 7.4 2.2 4.5 2.3
Non-hallucination rate 84.2 6.3 84.8 1.4 3.0
Agentic
Terminal Bench 2.1 Accuracy (Avg@3) 41.2 25.8 0.4 0.0 0.0
GDPVal Accuracy (@ 75% threshold) 54.5 15.0 3.2 0.0 0.0
MCPMark Accuracy (Pass@1) 30.7 25.2 1.6 0.0 0.0
WildClawBench Mean Score@3 40.9 33.3 18.2 8.2 0.1
Apex-Agents Accuracy (Pass@1) 16.7 6.4 0.0 0.5 0.2
GAIA v2 lit AR Accuracy (Pass@1) 45.5 27.9 18.2 0.0 0.0

公表された測定結果を見ると、本モデルは57分野の4択問題で一般知識を測るArabic MMLU(正解率83.3%)や、小学校レベルの算数問題を解くArabic GSM8K(正解率91.9%)において、比較対象のモデルを上回る結果を示しています。また、形式的な指示の遵守率を測るArabic IFEval(79.0%)、ターミナル上でコマンドを実行して作業を行う能力を測るTerminal Bench 2.1(41.2%)、調査課題を解く能力を測るGAIA v2 lit AR(45.5%)など、エージェント系や指示追従の指標でも高い数値を記録しています。

一方で、答えが1つに定まる短い事実質問で作り話の有無を見るSimpleQA Verified (Ar)では、Non-hallucination rate(84.2%)こそ高いものの、F-scoreは1.5%にとどまっており、Qwen3.5-4Bの7.4%やgranite-4.0-h-3b-arの4.5%を下回っています。アラビア語圏の知識やエージェントタスク全般に強みを持つ反面、特定の短い事実確認課題における適合率・再現率のバランスには課題が残る点が見て取れます。

得意なこと・想定用途

Jais-3-3.7Bは、アラビア語および英語を対象とした対話アシスタントや、自律的に外部ツールを呼び出してタスクを遂行するエージェント用途を想定して開発されています。小規模な3.7Bクラスのモデルでありながら、512Kトークンに及ぶ長大なコンテキスト長を備えており、長文の読み込みや複雑な文脈を維持した対話に適しています。

モデルカードによると、本モデルの具体的な得意領域と運用上のポイントとして以下の点が挙げられています。

  • 高度な推論と思考プロセスの分離: モデル内部で論理展開を行う思考モードを備えており、APIレスポンスにおいて思考内容(reasoning_content)と最終回答(content)を分けて出力できます。公開元では、推論性能を十分に引き出すためにリクエストごとのパラメータとして reasoning_effort="high" を指定することを推奨しています。
  • ツール呼び出しとエージェント機能: 関数呼び出し(Function Calling)を自律的に行う機能を備えています。ツール呼び出しの出力形式はデフォルトの xml に加え、json や xml_typed にも対応しており、設定によって切り替えが可能です。
  • 言語別の推奨生成パラメータ: 思考モード利用時のサンプリング設定として、英語では temperature=1.0、アラビア語では temperature=0.7 が推奨されています(デフォルト時は temperature=0.2、共通で top_p=0.95、top_k=20)。

一方で、アラビア語と英語以外の言語での利用は想定対象外(Out of scope)と明記されています。また、事実と異なる内容の出力(ハルシネーション)や学習データ由来のバイアスを含む可能性があるため、医療・法務・金融などの重大な判断を人間の監視なしに委ねる用途には適さないとされています。

動作環境

動作環境の目安(Local Model Watch 算出) — パラメータ数 5.1B(元モデル inception42/Jais-3-3.7B の値)

手持ちのVRAM 選べる量子化 ファイルサイズ 必要メモリの目安
4GB(ノートPCの内蔵GPU・スマートフォンなど) Q5_0 3.3GB 4.0GB
RTX 4060 / 3060 Ti など 8GB Q8_0 5.0GB 6.0GB
RTX 4070 / 3060 12GB など 12GB BF16 9.4GB 11.3GB

必要メモリは配布ファイルの実サイズに実行時のオーバーヘッド(KVキャッシュ等)を20%見込んだ概算で、文脈長・バッチサイズ・推論エンジンによって増減します。公開元の公称値ではなく、当サイトがファイルサイズから機械的に算出した値です。 他のモデルとの比較はVRAM別の早見表を参照してください。 量子化の名前の読み方は用語集にあります。

手元で動かせるか

Ollama・LM Studio・llama.cpp でそのまま動かせます。

GGUF形式で配布されているため、変換を待たずに手元で読み込めます。

ライセンス apache-2.0(商用利用可): 商用利用を含めて自由に利用・改変・再配布できます。再配布時にライセンス文と変更点の告知が必要で、特許の許諾条項があります。

量子化の圧縮率: Q5_0 は実測 5.6 bit/weight で、元の16bitの重みの約35%のサイズです(配布ファイルの実サイズから当サイトが算出)。

配布形式・当サイトが見つけた変換版・各推論エンジンの登録表を突き合わせた判定です。「確認できていない」は当サイトが見つけていないという意味で、存在しないことの断定ではありません。ライセンスの要約は法的助言ではないため、実際の利用にあたっては公開元の原文を確認してください。

同クラスの既報モデル

当サイトが最近取り上げた、パラメータ数 4〜15B のモデルを、比較のために記事ログからコードが並べたものです。VRAM階層は当サイトの概算、ライセンスはモデルカードの記載です。

→ 横にスクロールできます

モデル パラメータ数 最小のVRAM階層 ライセンス 記事
microsoft/UserRepGen-4B 4.5B 4GB mit 「UserRepGen-4B」ユーザー表現生成用の4B級言語モデル:必要VRAM 4GB〜・GGUF版あり(2026-11-17)
IFM/Jais-3-7B-GGUF 9.0B 8GB apache-2.0 「Jais-3-7B-GGUF」アラビア語と英語対応の7B推論モデル:必要VRAM 8GB〜(2026-11-17)
ibm-granite/granite-switch-4.1-8b 8.8B 24GB apache-2.0 IBM、モジュール型LLM「Granite Switch 4.1」公開(2026-11-17)
ggml-org/NVIDIA-Nemotron-3.5-Bolt-E4B-GGUF 8.0B 12GB apache-2.0 「NVIDIA-Nemotron-3.5-Bolt-E4B-GGUF」テキスト生成モデル:必要VRAM 12GB〜(2026-11-17)
ByteDance-Seed/Cola2 8.8B 48GB — ByteDance-Seed/Cola2 Language Model: Continuous Compression…(2026-11-17)

入手方法

本モデルのリポジトリはゲート付き(Gated)ではないため、Hugging Faceのアカウントによる事前申請や利用規約への同意なしでダウンロードできます。ライセンスはApache 2.0です。

配布形式

本リポジトリ(IFM/Jais-3-3.7B-GGUF)では、llama.cpp向けにGGUF形式で量子化されたファイルが配布されています。選択可能なバリアントは以下の通りです。

  • BF16
  • Q8_0
  • Q6_K
  • Q5_K_M
  • Q5_0
  • Q4_K_M

なお、同コレクション内にはFP8形式や、Apple Silicon環境向けのMLX形式(4bit、8bit、bf16)も別途用意されています。

動作エンジンと起動方法

本モデルが採用しているK2 Horizonアーキテクチャへの対応は、llama.cppのプルリクエスト(ggml-org/llama.cpp#29535)にてマージされています。そのため、動作にはK2 Horizonをサポートする最新のllama.cppビルド(masterブランチ等)を使用する必要があります。

CUDA環境でビルドして llama-server を起動するコマンド例は以下の通りです。

cmake -B build -DGGML_CUDA=ON
cmake --build build -j --target llama-server
./build/bin/llama-server -hf IFM/Jais-3-3.7B-GGUF:Q8_0 --jinja -ngl 99 -c 32768

起動オプションの -hf には、上記バリアントの中から :Q8_0 や :Q4_K_M などを指定して直接取得・実行できます。また、思考プロセスやツール呼び出しのテンプレートを正しく処理するため、サーバー起動時に --jinja オプションを付与することが推奨されています。

APIからの利用例

起動したサーバーに対してOpenAI互換のPythonクライアントからアクセスする実装例です。思考プロセスを含めた推論を実行できます。

from openai import OpenAI

client = OpenAI(base_url="http://localhost:8080/v1", api_key="EMPTY")
response = client.chat.completions.create(
    model="Jais-3-3.7B",
    messages=[
        {
            "role": "user",
            "content": "لدينا عددان مجموعهما 50 وحاصل ضربهما 600. ما هما العددان؟ اشرح خطوات الحل。",
        }
    ],
    temperature=0.7,
    top_p=0.95,
    max_tokens=32768,
    extra_body={
        "top_k": 20,
        "chat_template_kwargs": {"reasoning_effort": "high"},
    },
)

message = response.choices[0].message
print("Reasoning:", getattr(message, "reasoning_content", None))
print("Answer:", message.content)

関連記事

次に読むなら

出典