llama-modchip v2.4.0公開:64GB RAMで284B DeepSeek-V4-FlashのCPU推…

llama-modchip v2.4.0公開:64GB RAMで284B DeepSeek-V4-FlashのCPU推…

基本情報

項目 内容
公開日 2026-11-08
ライセンス Apache-2.0
出典の種類 未確認(一次情報で裏付けできていない)(公式一次情報なし、GitHubとHNのみで裏付け不足)

情報を集めた時点で、当サイトのコードが確定させた値です。日付はJSTで表示しています。

概要

なお、本記事で取り上げる内容は公式や第三者による独立した検証が完了しておらず、開発者による報告に基づく未確認の情報を含んでいます。

「synchopate/llama-modchip」のバージョン v2.4.0 が公開されました。llama-modchipは、主にPythonで開発されているApache-2.0ライセンスのプロジェクトであり、GPUを搭載しない一般的なPCやサーバーのCPU環境において、超大規模なMoE(Mixture of Experts)モデルを大容量コンテキスト長で推論させるためのツールおよびパッチ群です。

本バージョンにおける最大の特徴は、64GBのメインメモリを搭載した純粋なCPU環境において、パラメータ数284.33Bの「DeepSeek-V4-Flash」をコンテキスト長256Kで推論可能にしたと報告されている点です。独自の圧縮技術とキャッシュ最適化を導入したとされ、GPUを持たない環境での大規模ローカルモデル実行に新たな選択肢を提示しています。

破壊的変更・非推奨

本バージョンで導入された独自テンソル形式について、既存の推論エンジンとの互換性に注意が必要です。

項目 従来の環境(未パッチのllama.cpp / Ollama / LM Studio) llama-modchip v2.4.0 環境
テンソル型認識 unknown tensor type 40 エラーが発生して読み込み不可 GGML_TYPE_Q2_0(type ID 40)および専用カーネルにより正常動作
実行バイナリ 通常の llama-server など 専用パッチ済み単一バイナリ llama-server-modchip-linux-x86_64 または ./modchip

この変更は、本プロジェクトが提供する「Fractal-64」形式のGGUFモデルを利用するすべてのユーザーに影響します。未パッチのllama.cppやOllama、LM Studioなどのツールから直接モデルファイルを読み込むことはできず、専用のスクリプトや同梱の事前ビルド済みバイナリを利用する必要があります。

主な変更点

284B MoEモデルの64GB RAM環境への適合

パラメータ数284.33B(アクティブ13.17B)の「DeepSeek-V4-Flash」を、ディスク上56.56 GiB、フル256Kコンテキスト時のピークVmRSSを57.61〜58.9 GiBに抑えて動作させることが可能になったと報告されています。解析的2次ヘッシアン圧縮「SwiGLU-H2」、Fractal-64(Q2_0、3.75 bpw)MLAトランスコーディング、AVX-512BWレジスタおよびL1D/L2/L3の全モデルタイリング、L2求積法によるMoE枝刈りなどが組み合わされています。64GB RAMを搭載したAMD Ryzen 9 9955HX環境において、プリフィル43.16〜44.36 tok/s、デコード9.06〜10.74 tok/s(PVS適用時11.5〜14.7 tok/s)を達成したと主張されています。64GB RAM搭載のデスクトップやサーバーで巨大モデルを動作させたいユーザーに影響します。

30B MoEモデルにおけるCPU推論の高速化

「NVIDIA-Nemotron-3.5-30B-A3B」(30.2B/アクティブ3.0B)をディスク容量14.35 GiBで格納し、純粋なCPU環境で25.0〜60.4 tok/s(Zen 5 16コア)や111.62 tok/s(Threadripper)で実行できるとされています。チェスエンジンの探索手法を応用した「Stockfish-PVS v2」と「RouteCrack」による1.64MBのL2/L3ドラフター、および _MM_HINT_NTA によるL3キャッシュ分離(HARPCache)が実装されています。16〜32GBのRAMを搭載したノートPCやミニPC、ワークステーションで高速なエージェント推論を行いたい利用者に影響します。

Claude Code連携時のKVキャッシュ高速復元

エージェントCLIツール「Claude Code」(40種類のツール)と連携する際、/dev/shm のSlot-0を用いたKVキャッシュのウォーム復元機能が追加されました。Nemotron-30Bでは18.9 ms、DeepSeek-284Bでは13.1〜32.6 msでコンテキストを復元できるとされ、CPU環境におけるプロンプト再評価のオーバーヘッドを大幅に削減したと報告されています。ローカルLLMをコーディングエージェントとして利用する技術者に影響します。

プロセッサおよびハイブリッド環境向けのチューニング

Zen 5、Zen 4 Multi-CCD(Threadripper)、AMD 3D V-CacheとRadeon(Vulkan)のハイブリッド構成、Windows環境におけるNVIDIA RTX(CUDA 12.4)とCPUのハイブリッド分散(--n-cpu-moe)、Apple Silicon(Metal)、AWS Graviton3(ARM64)向けなど、ハードウェア固有の最適化パッチとスクリプトが追加・整理されました。各環境に応じたCPUコアのピン留めやキャッシュサイズの自動調整が行われます。

対応モデル・ハードウェア

本バージョンにおいて動作および最適化が報告されている主なモデルと、サポート対象のハードウェアプラットフォームは以下の通りです。

対応モデルアーキテクチャ

  • DeepSeek-V4-Flash-0731-Fractal
    総パラメータ数284.33B、アクティブパラメータ数13.17Bの超大規模MoEモデルです。独自技術である SwiGLU-H2 と Fractal-64 量子化(3.75 bpw)を用いることで、ディスク上のGGUFファイルサイズが56.56 GiBまで削減され、64GBのRAMを搭載した環境でフル256Kコンテキスト長の推論が可能になったと説明されています。
  • NVIDIA-Nemotron-3.5-30B-A3B
    総パラメータ数30.2B、アクティブパラメータ数3.0B(23 SSM + 23 MoE + 6 GQA)のモデルです。Fractal-64(3.75 bpw)、Fractal-MXFP4(4.25 bpw)、Q4_0 の量子化形式に対応し、GGUFファイルサイズは14.35〜17.59 GiBとなります。16〜32GBのRAM環境において、CPUのみで25.0〜60.4 tok/sの高速動作が可能とされています。
  • Qwen3-30B-A3B および Qwen3-14B
    Q3_K_M や Q4_K_M といった量子化形式に対応しています。ノルムを維持する動的なMoE Top-K制御(8から4への変更)や、3:1で交互に配置されるSWAセーフティロックなどの最適化が報告されています。
  • NVIDIA-Nemotron-H-8B-128K
    8.0Bパラメータのデンスモデルで、Q8_0 や Q4_K_M 形式に対応しています。48レイヤーの Mamba-2 SSM をバックボーンとしており、8〜11GBのVRAMを搭載したGPUにおいて100% VRAM保持が可能とされています。

対応プロセッサおよびハードウェアプラットフォーム

本プロジェクトでは、多彩なプロセッサアーキテクチャやハイブリッド構成に対応したカーネルおよび自動チューニングが用意されていると報告されています。

  • AMD Zen 5(Ryzen 9 9955HX / 9950X、EPYC 9005 Turin)
    シングルサイクルの512ビット AVX-512 命令(VPDPBUSD、VPRORVQ、VBMI、BF16)や、48 KB L1D 3Dタイリング、2MB Transparent HugePages(THP)などを活用した最適化が適用されます。
  • AMD Zen 4 Multi-CCD(Threadripper PRO 7985WX)
    sysfs を介した動的な L3 CCD トポロジ検出と、CCD あたり4コアへの決定論的ストライド指定(-t 32)により、Infinity Fabric の帯域飽和を回避して処理性能を向上させるとされています。
  • AMD 3D V-Cache + Radeon Vulkan ハイブリッド(Ryzen 9 7945HX3D + RX 9070 XT)
    注目を集めるアテンション部分をGPU(Vulkan SSM_SCAN シェーダー)に割り当て、ルーティングされた MoE エキスパートを CPU DDR5 メモリ側で処理するハイブリッド構成に対応しています。
  • Intel / AMD CPU + NVIDIA RTX(Windows 10/11)
    CUDA 12.4 や Vulkan バイナリを自動検出し、空き VRAM に応じて最適な --n-cpu-moe の分割比率を自動算出して実行する仕組みが提供されています。
  • Apple Silicon(M1 / M2 / M3 / M4)
    Apple M4 Pro などの環境において、Unified Memory を活かした Metal シェーダーと ARM64 NEON/AMX 命令を組み合わせ、スワップを発生させずに長文コンテキストを処理できるとされています。
  • ARM64 クラウド・エッジ(AWS Graviton3 m7g.2xlarge)
    ARMv8.4-A DotProd(SDOT)命令や 256-Bit SVE、vCPU のコアピン留め(-t 8)などの最適化により、高いデコード速度を実現したと報告されています。

アップデート方法

Linux および macOS の環境では、リポジトリをクローンして付属のスクリプトを実行することで、自動セットアップからインタラクティブチャットの開始までを一括で行うことができると案内されています。具体的な手順は以下の通りです。

git clone https://github.com/synchopate/llama-modchip.git
cd llama-modchip
./modchip chat

なお、事前コンパイル済みの Linux x86_64 用単一バイナリ(llama-server-modchip-linux-x86_64)を使用して Hugging Face から直接ダウンロードした GGUF モデルを単体起動する方法や、Windows 環境向けに windows/AVVIA_MODCHIP.bat をダブルクリックして Web チャット UI を起動する手順なども用意されています。

出典

この記事は未確認情報を含みます。 公式の一次情報で裏が取れ次第、更新履歴を追記して反映します。