ローカルLLMの動作速度を体感・推計できるシミュレータ「llmspeed」公開

基本情報
| 項目 | 内容 |
|---|---|
| 公開日 | 2026-10-17 |
| ライセンス | MIT |
| 出典の種類 | 未確認(一次情報で裏付けできていない)(公式一次情報なし、HN投稿のみ) |
情報を集めた時点で、当サイトのコードが確定させた値です。日付はJSTで表示しています。
概要
ハードウェアを購入する前にローカルLLMの動作速度を体感・推計できるシミュレータツール「llmspeed」が公開されたと報告されています。なお、本情報はHacker Newsへの投稿に基づくものであり、公式な検証が完全に取れていない未確認の情報を含んでいます。
llmspeedは、TypeScriptで開発されているMITライセンスのオープンソースプロジェクトです。PCやサーバー向けのGPU、Mac、CPUなどのハードウェア環境と、各種オープンウェイトモデルの組み合わせを指定することで、単一デバイス上で短いプロンプトを実行した際の生成速度を見積もることができます。ローカルLLMの導入にあたって高額なハードウェア投資を検討している技術者や、巨大なモデルファイルをダウンロードする前にどの程度の速度が出るか事前に把握したい技術者にとって、構成選定の判断材料となるツールとされています。
主な変更点
多様なハードウェア環境の推計に対応
llmspeedでは、デスクトップ向けGPUからMac、ワークステーション向け製品、クラウドGPUまで幅広いハードウェアを選択して速度を試算できるとされています。具体的には、NVIDIA RTX 3060 12GB、RTX 4070 12GB、RTX 4070 Ti Super 16GB、RTX 4090 24GB、RTX 5060 Ti 16GB、RTX 5070 Ti 16GB、RTX 5080 16GB、RTX 5090 32GB、RTX PRO 6000 96GB、DGX Spark 128GBがリストに含まれています。また、AMD製品としてはRX 7900 XT 20GB、RX 7900 XTX 24GB、RX 9070 XT 16GB、Radeon AI PRO R9700 32GB、Ryzen AI Max+ 395 128GB (Strix Halo)が挙げられています。さらにApple Silicon環境としてMacBook M2 Pro 16GB、MacBook M3 Max 48GB、Mac Studio M3 Ultra 512GB、MacBook M4 Pro 24GB、Mac Mini M4 Pro 64GB、Mac Studio M4 Max 128GB、MacBook Pro M5 Pro 48GB、MacBook Pro M5 Max 128GB、Mac Studio M5 Ultra 512GBが並び、Intel Arc Pro B70 32GBやCPU単体環境(Ryzen 9 9950X, 96GB DDR5)、クラウド向けのA100 80GB、H100 80GB、H200 141GBも選択肢として提示されています。これから機材を調達しようとしている技術者が、手元の想定ハードウェアでどの程度の処理能力が得られるかを比較検討する際に役立ちます。
最新のオープンウェイトモデルを網羅
試算対象となるモデルとして、各種サイズやアーキテクチャのLLMが指定可能とされています。ラインナップにはLlama 3.1 8Bをはじめ、Qwen 3.5 9B、Qwen 3.6/3.8 27B、Qwen 3.5/3.6 35B A3B、Qwen3 30B A3B、Ornith 1.5 9B、Ornith 1.5 35B A3B、Gemma 4 26B A4B、Gemma 4 31B、DeepSeek V4 Flash、DeepSeek R1 Distill 14B、GLM-5.3 Flash、GPT-OSS 20B、GPT-OSS 120B、Muse Glimmer 30Bなどが含まれています。利用者は動かしたいモデルを選択するだけで、それぞれのモデルアーキテクチャやパラメータ規模に応じた挙動の目安を確認できます。
コミュニティ計測値とスペック推計値の統合
llmspeedに表示される数値は、単一デバイスにおける短いプロンプト時の推計値として算出されています。測定値の一部はr/LocalLLaMAやlocalscore.aiなどのコミュニティベンチマークから取得されており、その他の数値は類似の構成からの派生やハードウェアスペックからの推計値に基づいていると説明されています。コミュニティからは、実際の長大なコンテキスト長(60k〜140kトークンなど)や投機的デコード、マルチGPU構成など実際の運用環境と差異がある点も指摘されていますが、モデルとハードウェアの組み合わせによる大まかな速度感を迅速に掴む手段として活用できます。
メモリ不足の組み合わせに対する警告表示
選択したモデルの要求メモリ量がハードウェアの使用可能メモリを超える場合、実行不可である旨の警告が表示されます。たとえば、AMD RX 9070 XT 16GB(使用可能メモリ14.9 GB)でQwen 3.6/3.8 27BのFP16(必要メモリ54.6 GB)を選択した場合などに、モデルが収まらないため量子化の変更やモデル・ハードウェアの再選定を促す案内が出されます。これにより、購入後やダウンロード後にメモリ不足で動作しないといった失敗を未然に防ぐことができます。
対応モデル・ハードウェア
本ツールで推計対象として選択可能なハードウェアおよびモデルの対応状況は以下の通りとされています。なお、本情報はコミュニティへの投稿に基づくものであり、公式に確認が取れていない未確認情報を含んでいます。
対応ハードウェア
llmspeedでは、デスクトップPC向けGPUからノートPC、大容量ユニファイドメモリを備えたMac、サーバー・クラウド向けGPUまで、多様な計算資源の選択肢が用意されています。単一デバイス環境における動作推計を目的としており、具体的には以下のハードウェアがリストアップされています。
- NVIDIA GeForce / デスクトップ向け: NVIDIA RTX 3060 12GB、NVIDIA RTX 3090 24GB、NVIDIA RTX 4070 12GB、NVIDIA RTX 4070 Ti Super 16GB、NVIDIA RTX 4090 24GB、NVIDIA RTX 5060 Ti 16GB、NVIDIA RTX 5070 Ti 16GB、NVIDIA RTX 5080 16GB、NVIDIA RTX 5090 32GB
- NVIDIA ワークステーション / システム: NVIDIA RTX PRO 6000 96GB、NVIDIA DGX Spark 128GB
- Apple Silicon (Mac): MacBook M2 Pro 16GB、MacBook M3 Max 48GB、Mac Studio M3 Ultra 512GB、MacBook M4 Pro 24GB、Mac Mini M4 Pro 64GB、Mac Studio M4 Max 128GB、MacBook Pro M5 Pro 48GB、MacBook Pro M5 Max 128GB、Mac Studio M5 Ultra 512GB
- AMD GPU / APU: AMD RX 7900 XT 20GB、AMD RX 7900 XTX 24GB、AMD RX 9070 XT 16GB、AMD Radeon AI PRO R9700 32GB、AMD Ryzen AI Max+ 395 128GB (Strix Halo)
- Intel GPU: Intel Arc Pro B70 32GB
- CPU単体: CPU-only (Ryzen 9 9950X, 96GB DDR5)
- クラウド向けアクセラレータ: A100 80GB (cloud)、H100 80GB (cloud)、H200 141GB (cloud)
対応モデル
推計の対象となるオープンウェイトモデルには、標準的な高密度(Dense)モデルから最新のMoE(Mixture of Experts)モデル、蒸留モデルまで、幅広いアーキテクチャが含まれています。
- Llama / Gemma シリーズ: Llama 3.1 8B、Gemma 4 26B A4B、Gemma 4 31B
- Qwen シリーズ: Qwen 3.5 9B、Qwen 3.6/3.8 27B、Qwen 3.5/3.6 35B A3B、Qwen3 30B A3B
- DeepSeek シリーズ: DeepSeek R1 Distill 14B、DeepSeek V4 Flash
- GPT-OSS / Ornith / その他: GPT-OSS 20B、GPT-OSS 120B、Ornith 1.5 9B、Ornith 1.5 35B A3B、GLM-5.3 Flash、Muse Glimmer 30B
本ツールでは、これらのハードウェアとモデル、および量子化精度(FP16やQ4など)を組み合わせることで、単一デバイス上での生成速度(tok/s)やTime to first token(TTFT)、KVキャッシュおよびPrefill処理にかかる各ステップの内訳秒数を推計できるとされています。例えば、Mac Studio M4 Max 128GB環境において5,687トークンのプロンプトを与えた場合、Gemma 4 31BのQ4ではTTFTが36秒かかるのに対し、Gemma 4 26B A4BのQ4では4.7秒で済むといったシミュレーション結果が得られると報告されています。また、MacBook Pro M5 Max 128GB環境における同設定のGemma 4 31Bでは、TTFTが19秒と表示される事例が報告されています。
一方で、Hacker Newsのユーザーコミュニティからは、マルチGPU構成(同一構成や異種混合構成、NVLinkの有無)、PCIe世代の選択、投機的デコード(speculative decoding)への対応、長大なコンテキスト長(60k〜140kトークンなど)の考慮、さらにはGTX 1070やRX 580といった旧世代ハードウェアの追加などを望む声も上がっています。
アップデート方法
llmspeedはWebベースのツールとして提供されており、Webブラウザから以下の公式サイトに直接アクセスすることで利用できます。
手元の端末に推論エンジンをセットアップしたり、大規模なモデルデータをダウンロードしたりすることなく、ブラウザ上でハードウェアとモデルを選択するだけで推計結果を確認できます。
また、llmspeedはTypeScriptで記述されたオープンソースソフトウェア(MITライセンス)として開発されており、ソースコードはGitHub上のリポジトリ(nicorobinreal/llmspeed)にて公開されています。
出典
この記事は未確認情報を含みます。 公式の一次情報で裏が取れ次第、更新履歴を追記して反映します。

