推論エンジン「Magnitude」公開、公式はllama.cpp比で最大2倍速、当サイトのCPU実測では約21倍遅い

2026年10月6日

推論エンジン「Magnitude」公開、公式はllama.cpp比で最大2倍速、当サイトのCPU実測では約21倍遅い

基本情報

項目 内容
公開日 2026-10-01
ライセンス Apache-2.0
出典の種類 公開元の一次情報(公式GitHubリポジトリがソースに含まれているため一次情報として裏付け可能)

情報を集めた時点で、当サイトのコードが確定させた値です。日付はJSTで表示しています。

当サイトで確かめたこと

  • GPU の無い当サイトのサーバー(Neoverse-N1・3コア)で同じモデルファイル(Qwen3.5-4B-UD-Q4_K_XL.gguf)を動かすと、Magnitude 0.2.3 の生成は毎秒 0.24〜0.41 トークンで、llama.cpp b11223(毎秒 4.92〜6.19 トークン)より約21倍遅くなりました(固定の質問5問の中央値)。
  • CPU だけの環境では、Magnitude はおすすめしません。 公式の「llama.cpp より最大2倍速い」は Metal と CUDA での値です。

条件と、当サイトが実行した手順は、下の「当サイトでの実測」の節にあります。

概要

Magnitudeの初期リリースが公開されました。Magnitudeは、Rustで開発されたAIエージェント向けのオープンソース推論エンジン(Apache-2.0ライセンス)であり、実行環境のハードウェアに合わせてカーネルを自動的に最適化する機能を備えています。

本バージョンでは、デバイス上でのカーネルコンパイルとチューニングにより、llama.cppと比較して最大2倍の推論速度を実現しており、ローカル環境でのエージェントの動作を劇的に高速化したいユーザーにとって、非常に強力な選択肢となっています。

主な変更点

デバイスごとのカーネル自動最適化機能の導入

Magnitudeは、一般的な推論エンジンが広範なハードウェア向けに事前コンパイルされたカーネルを配布するのに対し、実行時にユーザーの実際のデバイスに合わせてカーネルをコンパイルおよびチューニングします。

このプロセスにより、特定のチップの特性に完全に適合したコードが生成されます。Apple Silicon、NVIDIA、AMDの各GPU、あるいはCPUのみの環境であっても、そのハードウェアが持つ本来の性能を限界まで引き出すことができます。モデルを実行する前にチューニングが行われるため、初回の起動時に最適化プロセスが走りますが、その後の推論速度は劇的に向上します。既存の汎用エンジンでは性能を出しきれなかった特殊な構成のハードウェアを使用しているユーザーに、特に大きな恩恵があります。

llama.cppを凌駕する推論パフォーマンスの実現

ベンチマークにおいて、llama.cppなどの既存エンジンを大きく上回るスコアを記録しています。具体的には、Metal(Apple Silicon)環境でのデコード速度が92%向上し、CUDA(NVIDIA)環境でも19%の高速化が確認されています。

このパフォーマンス向上は、特に逐次的なトークン生成が重要となるエージェントのタスクにおいて、ユーザー体験を直接的に改善します。汎用的なエンジンでは到達できなかった速度域でオープンウェイトモデルを動かせるようになるため、より複雑な推論を短時間で完了させることが可能です。導入後は、アプリ内の「Discover」セクションから推奨モデルを選択するだけで、この高速な推論環境を利用できます。

エージェント並列実行のためのメモリ最適化とキャッシュ共有

複数のエージェントを同時に動作させるワークロードを想定し、高度なメモリ管理機能が実装されました。1エージェントあたりのメモリ使用量を従来比で27%削減しており、エージェントがタスクを終了すると即座にメモリが解放される仕組みになっています。

また、高速な並列セッションを実現するために、セッション間でプレフィックスキャッシュ(Prefix Cache)を共有する機能を備えています。これにより、同じシステムプロンプトや背景知識を使用する複数のエージェントを起動した際でも、メモリの重複消費を抑え、処理の停滞を防ぐことができます。複数のエージェントをローカルで同時に走らせる開発者にとって、リソース管理の負担を大幅に軽減する機能です。

主要エージェントとのシームレスな連携機能

Pi、OpenCode、Hermes、OpenClaw、Codex、Claude Code、Oh My Pi、Clineといった、現在広く利用されているオープンウェイトモデルベースのエージェントと、ワンクリックで接続できる機能が導入されました。

これらのエージェントを既に利用しているユーザーは、Magnitudeの「Connections」設定から接続するだけで、設定の手間なく高速な推論環境の恩恵を受けられます。また、OpenAI互換のAPIを提供しているため、これら以外の独自エージェントやツールからも、標準的なインターフェースを通じて簡単に利用することができます。

完全ローカルかつプライベートな実行環境の提供

Magnitudeはプライバシーを重視して設計されており、プロンプト、ファイル、モデルのすべてがユーザーのローカルマシン内に留まります。モデルのダウンロード時を除き、インターネット接続は必要ありません。

トークン課金が発生しないだけでなく、機密性の高いデータを扱うエージェントの運用においても、外部サーバーにデータが送信される心配がないため、セキュアな開発環境を構築したい技術者にとって最適なソリューションとなります。導入にあたって特別な外部サービスへの登録は不要で、デスクトップアプリをインストールするだけで、CLIを含めたすべての機能が利用可能になります。

対応モデル・ハードウェア

Magnitudeは、多種多様なハードウェア環境および主要なオープンウェイトモデルに対して最適化された実行環境を提供します。

ハードウェアの面では、動作に必要な固定の最小スペック要件が設定されていません。Apple Silicon(Mac)、NVIDIAのGPU、AMDのGPUといった多様なグラフィックアクセラレータに対応しているほか、GPUを備えていないCPUのみの環境であっても問題なく動作させることができます。実行環境のマシンリソースに合わせて柔軟に動作するため、メモリの少ない小型マシンでは小さめのモデルを実行し、大容量メモリを搭載した高度なマシンでは大型のモデルを実行するといった形で、それぞれの環境に応じた最適な運用を行うことが可能です。

モデル対応においては、すべてのアーキテクチャを一網打尽にする汎用的なアプローチではなく、開発者コミュニティで特に人気を集めているオープンウェイトモデルのファミリーに焦点を当てています。これらのモデルに対して個別に手作業で最適化された専用カーネル(ハンドオプティマイズド・カーネル)を書き起こすことで、汎用推論エンジンを大きく上回る推論速度を実現しています。具体的な対応モデルの完全なリストは、公式Webサイト( magnitude.dev/models )にて順次確認および更新が行われています。

さらに、AIエージェントの利用シーンに対応するため、幅広いエコシステムとの接続性が確保されています。ワンクリックの操作だけで簡単に連携できるエージェントとして、Pi、OpenCode、Hermes、OpenClaw、Codex、Claude Code、Oh My Pi、Clineが対応しています。リストに含まれていないサードパーティ製のエージェントや独自開発されたツールであっても、標準的なOpenAI互換APIを介して通信を行うことで、同様にMagnitudeの高速な推論エンジンを利用することが可能です。

アップデート方法

Magnitudeのセットアップおよび利用開始の手順は極めてシンプルに整理されており、主要なデスクトップOSに対応した統合アプリケーションとして提供されています。

インストールから使い始めるまでの具体的な手順は以下の通りとなります。

  1. デスクトップアプリのダウンロードと起動
    macOS、Windows、Linuxの各オペレーティングシステム向けに提供されている Magnitude をダウンロードし、お使いの環境にインストールした上でアプリケーションを起動します。このデスクトップアプリには magnitude CLI が最初から同梱されているため、ターミナル等で操作するための追加のCLIツールを個別にインストール・設定する手間は一切発生しません。

  2. モデルの選択とダウンロード
    アプリ内のナビゲーションにある「Discover」セクションを開きます。ここで推奨されているモデルの中から、ご自身のハードウェア環境や用途に合ったオープンウェイトモデルを選択し、ローカル環境へダウンロードを行います。

  3. エージェントの接続と実行開始
    アプリ内の「Connections」セクションへ移動し、普段利用しているエージェント(Pi、OpenCode、Hermes、Codexなど)を選択して接続を行います。ワンクリックで連携設定が完了するため、すぐにエージェントを通じた推論処理を開始することができます。

一度モデルのダウンロードを完了すれば、それ以降のプロンプト処理やファイル参照、モデル実行のすべてがローカルマシン内で閉じて行われます。外部ネットワークへのデータ送信は一切発生しないため、プライベートかつ高速な環境でセットアップと運用を即座に開始できます。

当サイトでの実測

CPU だけで Magnitude と llama.cpp を比べた結果

Magnitude は「llama.cpp より最大2倍速い」と公表していますが、その値は Metal(Apple Silicon)とCUDA(NVIDIA)でのもので、CPU だけで動かしたときの数値は公表されていません。当サイトは GPU の無いサーバーで動かし、llama.cpp にも同じモデルファイルを読ませて、同じ質問を同じ方法で送りました。

CPU だけの環境では、Magnitude はおすすめしません。 この条件では、生成の速さが llama.cpp の約21分の1(質問ごとに15〜22分の1)、プロンプトの処理は16〜38分の1でした。CPU で動かすなら、ここでは llama.cpp(または llama.cpp を使うツール)の方がはるかに速く動きました。

項目 条件
CPU Neoverse-N1(GPU なし)・3コア
モデル unsloth/Qwen3.5-4B-MTP-GGUF の Qwen3.5-4B-UD-Q4_K_XL.gguf(版 86835bf9)。Magnitude のカタログが qwen3.5-4b:gguf:q4 として使うファイルで、2つのエンジンに同じファイルを読ませました
Magnitude 0.2.3(推論部品 magnitude-inference・ネイティブのビルド 0.1.0+src.3cc3838e83767a1f232f223b)。文脈長は 262,144 に固定(変えられません)・MTP の投機的デコードあり(自動)
llama.cpp b11223(公式の ubuntu-arm64 の配布)・文脈長 4,096。MTP の投機的デコード(--spec-type draft-mtp)なしと、ありの2通り
質問 当サイトの固定の日本語の質問5問(第2版)・temperature 0・最大 512 トークン・思考なし・ストリーミング
測った日 2026-10-01

→ 横にスクロールできます

質問 Magnitude の生成 llama.cpp の生成 llama.cpp + MTP の生成 Magnitude の1問の時間 llama.cpp の1問の時間
要約 0.24 トークン/秒 4.92 トークン/秒 4.83 トークン/秒 33分 67秒
敬語のメール 0.25 トークン/秒 5.68 トークン/秒 5.04 トークン/秒 28分 93秒
文章題 0.41 トークン/秒 5.99 トークン/秒 6.64 トークン/秒 18分 89秒
知識 0.31 トークン/秒 5.72 トークン/秒 6.27 トークン/秒 9分 92秒
指示どおりの創作 0.29 トークン/秒 6.19 トークン/秒 5.08 トークン/秒 11分 38秒

ほかに分かったこと:

  • プロンプトの処理: Magnitude は毎秒 0.49〜0.79 トークン、llama.cpp は毎秒 12.91〜18.65 トークンでした。
  • 読み込みの準備: 読み込むたびに、この CPU に合わせたカーネルのコンパイルとチューニングが先に走り、3回の読み込みで33〜48分かかりました。
  • メモリ: 文脈長がモデルの最大(262,144)に固定され、読み込みの計画は 9.9GB を求めました。メモリの上限を 12GB・14GB にした読み込みは、準備が終わった後にメモリ不足で断られ、16GB で読み込めました(ピーク 12.2GB)。
  • ストリーミング: ストリーミングで頼んでも、Magnitude の本文は回答の最後にまとめて届きました(最初の文字まで9〜33分)。llama.cpp は2〜39秒で最初の文字が届きました。
  • Magnitude の MTP は、下書きしたトークンの 12%〜45% を採用しました。

注意:

  • GPU の無い ARM のサーバー1台での値です。Mac(Metal)や NVIDIA の GPU での速さの目安ではなく、それらでの公式の数値を否定するものでもありません。
  • Magnitude は通常デスクトップアプリか magnitude serve から使います。当サイトは、その中で推論を受け持つ部品 magnitude-inference を単体で起動して測りました。
  • Magnitude(配布元のビルド済みのバイナリ)は、当サイトのほかのサービスから隔離した箱(専用のユーザー・ネットワークなし・CPU 3コア)で動かし、llama.cpp も同じ箱で動かしました。
  • 比べたのは速さだけで、回答の中身は比べていません。

環境構築・ダウンロード・実行の手順(当サイトで実行したもの)

空の作業フォルダで実行します。icn/installation.json は当サイトが書いたファイルです(形はソースの inference/service/server/src/installation.rs から)。どの python3 bench.py も、上に書いた箱の中で実行しました(箱の設定は最後にあります)。

# 1. Magnitude 0.2.3 の推論部品(Linux ARM64)を落とし、リリースの記録と SHA-256 を照合して置く
curl -LO 'https://github.com/magnitudedev/magnitude/releases/download/%40magnitudedev%2Fcli%400.2.3/magnitude-release.json'
curl -LO 'https://github.com/magnitudedev/magnitude/releases/download/%40magnitudedev%2Fcli%400.2.3/magnitude-icn-base-linux-arm64-gnu.tar.gz'
echo 'b0824a230b1b90542a3a4d2d95d278d5f655ef3305b918b88964e1e48ed34c1a  magnitude-icn-base-linux-arm64-gnu.tar.gz' | sha256sum -c -
mkdir -p icn && tar xzf magnitude-icn-base-linux-arm64-gnu.tar.gz -C icn
echo '{"schemaVersion":1,"nativeBuild":"0.1.0+src.3cc3838e83767a1f232f223b"}' > icn/installation.json
mkdir -p store cache out

# 2. llama.cpp b11223(公式の ubuntu-arm64 の配布)
curl -LO 'https://github.com/ggml-org/llama.cpp/releases/download/b11223/llama-b11223-bin-ubuntu-arm64.tar.gz'
echo 'e4280e5c71369a04bef5a171e50ab77fd923f6c86318106b19942397c4ded75f  llama-b11223-bin-ubuntu-arm64.tar.gz' | sha256sum -c -
tar xzf llama-b11223-bin-ubuntu-arm64.tar.gz && mv llama-b11223 llama

# 3. モデル(Magnitude のカタログが固定している版)を Hugging Face のキャッシュの形で置く
REV=86835bf9949e4d14d6860f7910b1340ad4f271a9
H=hf/hub/models--unsloth--Qwen3.5-4B-MTP-GGUF
mkdir -p $H/blobs $H/snapshots/$REV $H/refs && echo -n $REV > $H/refs/main
curl -s "https://huggingface.co/api/models/unsloth/Qwen3.5-4B-MTP-GGUF/revision/$REV?blobs=true" | python3 -c "
import json,sys;d=json.load(sys.stdin)
for s in d['siblings']:
  if s['rfilename'] in ('Qwen3.5-4B-UD-Q4_K_XL.gguf','mmproj-BF16.gguf'): print(s['rfilename'], s['lfs']['sha256'], s['size'])" > files.txt
while read name sha size; do
  curl -sfL -o $H/blobs/$sha "https://huggingface.co/unsloth/Qwen3.5-4B-MTP-GGUF/resolve/$REV/$name"
  echo "$sha  $H/blobs/$sha" | sha256sum -c -
  ln -sfn ../../blobs/$sha $H/snapshots/$REV/$name
done < files.txt

# 4. 同じ質問を3つの設定に送る(下の bench.py)
python3 bench.py magnitude 2 512
python3 bench.py llama 1 512
python3 bench.py llama-mtp 1 512

bench.py(当サイトが書いたもの。全文)は、エンジンを起動して5問をストリーミングで送り、各エンジンが報告した速さを記録します。ファイルの置き場所は作業フォルダです。

"""Magnitude と llama-server に同じ質問を同じ方法で送り、速さを比べる(箱の中で動かす)。"""
import json, subprocess, sys, time, urllib.request, os
M = os.path.abspath(".")
GGUF = f"{M}/hf/hub/models--unsloth--Qwen3.5-4B-MTP-GGUF/snapshots/86835bf9949e4d14d6860f7910b1340ad4f271a9/Qwen3.5-4B-UD-Q4_K_XL.gguf"
engine = sys.argv[1]
rounds = int(sys.argv[2]) if len(sys.argv) > 2 else 2
max_tokens = int(sys.argv[3]) if len(sys.argv) > 3 else 512
PORT = 18080
if engine == "magnitude":
    cmd = [f"{M}/icn/bin/magnitude-inference", "serve", "--bind", f"127.0.0.1:{PORT}",
           "--model-store", f"{M}/store", "--cache-root", f"{M}/cache",
           "--hf-cache", f"{M}/hf/hub", "--installation", f"{M}/icn/installation.json"]
    env = dict(os.environ)
else:
    b = f"{M}/llama"
    cmd = [f"{b}/llama-server", "-m", GGUF, "-t", "3", "-c", "4096", "--jinja", "--no-mmproj",
           "--host", "127.0.0.1", "--port", str(PORT)]
    if engine == "llama-mtp":
        cmd += ["--spec-type", "draft-mtp"]
    env = dict(os.environ, LD_LIBRARY_PATH=b)
log = open(f"{M}/out/{engine}.log", "w")
p = subprocess.Popen(cmd, stdout=log, stderr=subprocess.STDOUT, env=env)

def call(path, data=None, timeout=60):
    req = urllib.request.Request(f"http://127.0.0.1:{PORT}{path}",
                                 data=json.dumps(data).encode() if data is not None else None,
                                 headers={"Content-Type": "application/json"},
                                 method="POST" if data is not None else "GET")
    with urllib.request.urlopen(req, timeout=timeout) as r:
        return json.loads(r.read() or b"null")

def ask(model, text):
    body = {"model": model, "messages": [{"role": "user", "content": text}], "temperature": 0, "seed": 0,
            "max_tokens": max_tokens, "stream": True, "stream_options": {"include_usage": True}}
    if engine == "magnitude":
        body["reasoning_effort"] = "none"
    else:
        body["chat_template_kwargs"] = {"enable_thinking": False}
    req = urllib.request.Request(f"http://127.0.0.1:{PORT}/v1/chat/completions", data=json.dumps(body).encode(),
                                 headers={"Content-Type": "application/json"}, method="POST")
    t0 = time.time(); first = None; last = None; chunks = 0; usage = None; timings = None; text_out = []; finish = None
    with urllib.request.urlopen(req, timeout=3600) as r:
        for raw in r:
            line = raw.decode("utf-8", "replace").strip()
            if not line.startswith("data:"):
                continue
            payload = line[5:].strip()
            if payload == "[DONE]":
                break
            ev = json.loads(payload)
            usage = ev.get("usage") or usage
            timings = ev.get("timings") or timings
            for ch in ev.get("choices") or []:
                d = ch.get("delta") or {}
                piece = (d.get("content") or "") + (d.get("reasoning_content") or d.get("reasoning") or "")
                finish = ch.get("finish_reason") or finish
                if piece:
                    now = time.time()
                    first = first or now
                    last = now
                    chunks += 1
                    text_out.append(d.get("content") or "")
    n = (usage or {}).get("completion_tokens") or chunks
    res = {"ttft_s": round(first - t0, 3) if first else None,
           "completion_tokens": n, "chunks": chunks, "finish": finish,
           "prompt_tokens": (usage or {}).get("prompt_tokens"),
           "decode_tps": round((n - 1) / (last - first), 2) if first and last and last > first else None,
           "wall_s": round(time.time() - t0, 2), "head": "".join(text_out)[:80]}
    if timings:
        res["native"] = {k: timings.get(k) for k in ("prompt_n", "prompt_per_second", "predicted_n", "predicted_per_second", "draft_n", "draft_n_accepted")}
    return res

out = {"engine": engine, "rounds": []}
try:
    t_start = time.time()
    for _ in range(600):
        if p.poll() is not None:
            raise SystemExit("server exited")
        try:
            if call("/health", timeout=5): break
        except Exception:
            time.sleep(1)
    if engine == "magnitude":
        model = "qwen3.5-4b:gguf:q4"
        try: print("plan", json.dumps(call(f"/api/v1/models/{model}/load-plan", {}), ensure_ascii=False)[:1500], flush=True)
        except Exception as e: print("plan ERR", e, getattr(e, "read", lambda: b"")()[:800], flush=True)
        t = time.time()
        inst = call("/api/v1/instances", {"modelId": model}, timeout=7200)
        out["load_s"] = round(time.time() - t, 1)
        print("instance", json.dumps(inst, ensure_ascii=False)[:1500], flush=True)
    else:
        model = "qwen"
    out["ready_s"] = round(time.time() - t_start, 1)
    prompts = json.load(open(f"{M}/prompts.json"))["prompts"]
    for r in range(rounds):
        rows = []
        for pr in prompts:
            res = ask(model, pr["ja"]); res["id"] = pr["id"]; rows.append(res)
            print(r, json.dumps(res, ensure_ascii=False), flush=True)
        out["rounds"].append(rows)
finally:
    p.terminate()
    try: p.wait(60)
    except Exception: p.kill()
    json.dump(out, open(f"{M}/out/{engine}.json", "w"), ensure_ascii=False, indent=1)

作業フォルダに置いた prompts.json(当サイトの固定の質問。全文):

{
  "version": 2,
  "note": "当サイトでの実測(lmw/lab/cpu_bench.py)で全モデルに同じ条件で尋ねる日本語の質問。変えるときは version を上げる(過去の回答と比べられなくなるため、実測は取り直しになる)。reference は答えが1つに決まる質問の正解で、人間が確かめた事実だけを書く。採点には使わず、読者が見比べるために表示する。 2026-09-28 v2: 要約の元の文章を短い段落(約200字)から書き下ろしの記事(約1,200字)に替えた(ユーザーの指摘: 短すぎて要約できたか判断できない)。",
  "prompts": [
    {
      "id": "summary",
      "label": {
        "ja": "要約",
        "en": "Summarization"
      },
      "ja": "次の記事を3文で要約してください。\n\nみどり市は今年の春、市内に三つある公立図書館のうち最も古い中央図書館の改修を終え、十月一日に再開館した。改修は約一年半にわたり、総事業費は約十二億円。このうち約四億円は国の補助金でまかなわれた。\n\n最大の変化は、閲覧席の配置である。以前は館内の座席の大半が学習用の机で、試験期間になると中高生で埋まり、高齢の利用者や小さな子ども連れが座れないという苦情が毎年寄せられていた。改修後は座席数を百二十席から二百席に増やしたうえで、学習用の机を三階にまとめ、一階は会話ができる「にぎわいフロア」、二階は静かに本を読む「閲覧フロア」に分けた。一階には予約制のグループ学習室が四室と、飲み物を持ち込めるカフェスペースも設けられた。\n\n蔵書の面でも見直しが進んだ。貸出の少ない古い資料約三万冊を市内の他の館や保存書庫に移し、代わりに子ども向けの絵本と、介護・子育て・仕事探しといった暮らしに関わる実用書を約一万五千冊増やした。電子書籍の貸出サービスも始まり、利用登録をすれば自宅から一度に三冊まで、二週間借りられる。\n\n建物そのものにも手が入った。築四十年を超えていた空調設備を入れ替え、屋上には太陽光パネルを設置して、館内で使う電力の約二割をまかなえるようにした。車いすの利用者から要望の多かったエレベーターは一基から二基に増え、書架の間の通路も以前より三十センチ広げられた。入口には段差のないスロープが新たに設けられ、授乳室と多目的トイレも各階に一つずつ置かれた。\n\n一方で課題も残る。駐車場は改修前と同じ四十台のままで、週末には近くの道路に順番待ちの車が並んだ。市は隣接する市有地を臨時駐車場として開放したが、恒久的な対策は決まっていない。また、開館時間を平日の夜九時まで延ばしたことで職員の負担が増えており、職員団体は人員の追加を求めている。\n\n利用者の受け止めはおおむね好意的だ。週に二度、孫を連れて来るという七十代の女性は「前は子どもが声を出すと周りの目が気になったが、一階なら気兼ねなく絵本を読んであげられる」と話す。一方、受験を控えた高校生の中には「学習席が三階だけになり、夕方はすぐに満席になる」と不満を漏らす人もいる。図書館は、学習席の空き状況をホームページで確認できる仕組みを年内に導入する予定だ。\n\n再開館に合わせて、催しも増えた。毎週土曜の午前には読み聞かせ会、月に一度は地元の農家や商店主を講師に招く「まちの先生」講座が開かれる。十一月には、市内の中学生が選んだ本を紹介する展示も予定されている。\n\n館長の山本和子さんは「本を借りる場所から、人が集まって過ごす場所へ変えたかった。再開館からの一か月で来館者は以前の一・八倍になった」と話す。市は来年度、残る二つの図書館についても利用者への聞き取りを行い、改修の必要性を検討する方針だ。",
      "en": "Summarize the following article in three sentences. (The article, about 1,200 Japanese characters, describes the renovation and reopening of a city's central library: the budget, the new floor layout and seating, changes to the collection and e-book lending, building and accessibility work, remaining issues such as parking and staff workload, users' reactions, new events, and the city's next steps.)"
    },
    {
      "id": "keigo",
      "label": {
        "ja": "敬語のメール",
        "en": "Formal business email"
      },
      "ja": "取引先の担当者に、来週火曜日の打ち合わせを水曜日に変更してほしいとお願いするメールを、丁寧な敬語で書いてください。",
      "en": "Write an email in polite Japanese (keigo) asking a client's contact person to move next Tuesday's meeting to Wednesday."
    },
    {
      "id": "arithmetic",
      "label": {
        "ja": "文章題",
        "en": "Word problem"
      },
      "ja": "りんごが1個120円、みかんが1個45円です。りんごを3個とみかんを8個買って、1,000円札で払いました。おつりはいくらですか。考え方も示してください。",
      "en": "Apples cost 120 yen each and mandarins cost 45 yen each. You buy 3 apples and 8 mandarins and pay with a 1,000-yen bill. How much change do you get? Show your reasoning.",
      "reference": {
        "ja": "正解は280円です(120×3=360円、45×8=360円、1,000−720=280円)。",
        "en": "The correct answer is 280 yen (120×3 = 360, 45×8 = 360, 1,000 − 720 = 280)."
      }
    },
    {
      "id": "prefectures",
      "label": {
        "ja": "知識",
        "en": "Knowledge"
      },
      "ja": "日本の都道府県のうち、海に面していない県をすべて挙げてください。",
      "en": "List all of Japan's prefectures that do not border the sea.",
      "reference": {
        "ja": "正解は8県です(栃木県・群馬県・埼玉県・山梨県・長野県・岐阜県・滋賀県・奈良県)。",
        "en": "The correct answer is eight prefectures: Tochigi, Gunma, Saitama, Yamanashi, Nagano, Gifu, Shiga and Nara."
      }
    },
    {
      "id": "haiku",
      "label": {
        "ja": "指示どおりの創作",
        "en": "Constrained writing"
      },
      "ja": "「春」をテーマにした俳句を3つ、五・七・五の音数を守って作ってください。それぞれに一言の説明を付けてください。",
      "en": "Write three haiku on the theme of spring, keeping the 5-7-5 syllable pattern, each with a one-line explanation."
    }
  ]
}
箱の設定(systemd のユニットのプロパティ。実際に使った値)
User=lmw-sandbox Group=lmw-sandbox Slice=lmw-lab.slice StateDirectory=lmw-sandbox Environment=HOME=/var/lib/lmw-sandbox/magnitude AllowedCPUs=1-3 MemoryMax=16G TasksMax=512 Nice=10 IOSchedulingClass=idle PrivateNetwork=yes RestrictAddressFamilies=AF_UNIX AF_INET AF_INET6 ProtectHome=yes ProtectSystem=strict PrivateTmp=yes PrivateDevices=yes PrivateIPC=yes NoNewPrivileges=yes CapabilityBoundingSet= AmbientCapabilities= RestrictSUIDSGID=yes ProtectKernelTunables=yes ProtectKernelModules=yes ProtectKernelLogs=yes ProtectControlGroups=yes ProtectClock=yes ProtectHostname=yes ProtectProc=invisible LockPersonality=yes RestrictRealtime=yes RestrictNamespaces=yes SystemCallArchitectures=native InaccessiblePaths=-/run/docker.sock -/var/run/docker.sock -/run/containerd -/var/lib/docker -/etc/sudoers -/etc/sudoers.d

関連記事

次に読むなら

出典

更新履歴

  • 2026-10-02: 当サイトでの実測(CPUでのllama.cppとの速さの比較)を追加しました。
  • 2026-10-02: タイトルに当サイトでの実測の結果を加えました。