推論エンジンの更新とQwopus等の実用GGUFモデル登場

2026年9月18日

推論エンジンの更新とQwopus等の実用GGUFモデル登場

今週のハイライト

今週は、ローカル環境での推論効率や分散処理を大幅に強化する推論エンジンのアップデートと、手元で動かしやすいGGUF形式モデルの公開が中心となりました。

  1. 主要推論エンジンの大幅な機能追加と最適化
    ggml v0.23.0によるスパースアテンションや非同期RPCへの対応、ExLlamaV3の連続アップデート（v1.4.7およびv1.4.8）によるMoE処理性能の改善やVRAM最適化など、手元の計算リソースを限界まで引き出す基盤整備が進みました。

  2. 実用志向モデルのGGUF展開
    エージェント向けを掲げるQwopus3.8-27B-Flashや、MoEアーキテクチャを採用したK2-Horizon-MoVA-36B-A4BのGGUF版が公開され、llama.cppなどの軽量環境で扱える選択肢が広がっています。

  3. ローカル計算の拡張・分散化の進展
    NVIDIA PAIR仮想推論ルーターが公開され、ローカル環境における計算拡張やAIエージェントの分散処理に向けた仕組みが提示されました。

分野別トレンド

エンジン・ツール

推論効率の向上と新しいモデル構造への追従が同時に進んだ1週間でした。

SGLangはv0.5.19をリリースし、Qwen3.8や新規拡散モデルへの対応を行いました。ggmlはv0.23.0にてスパースアテンションおよび非同期RPCに対応し、分散環境や長文処理への適応を進めています。また、高速推論ライブラリであるExLlamaV3は短期間で2回の更新を実施しました。v1.4.7ではCPU MoE性能の改善とDRYサンプラーの追加が行われ、続くv1.4.8ではVRAM最適化とFlashAttention-2コードパスの完全削除が実施されています。さらに、ローカル計算を拡張するNVIDIA PAIR仮想推論ルーターの公開もあり、推論フレームワーク全体の最適化と分散処理への関心が高まっています。

画像生成ツールでは、InvokeAIがv6.14.1をリリースし、メモリ管理の改善とKrea-2 LoRAサポートを追加しました。VRAM消費の最適化が進み、手元の環境での画像生成ワークフローの安定化が図られています。

テキスト生成

実運用を見据えたモデルの量子化形式での公開が目立ちました。

llama.cpp環境で扱いやすいGGUF形式として、エージェント向け軽量化モデルとされる「Qwopus3.8-27B-Flash」や、IFMによるMoEモデル「K2-Horizon-MoVA-36B-A4B」の提供が始まっています。単なる基本モデルの公開にとどまらず、手元のPCやサーバーですぐに実行可能なGGUF版が揃うことで、ローカルでの試行環境が整いつつあります。

画像・動画・音声

メディア生成分野では、動画生成モデル「WarmBloodAban/Minimax-h3_Singularity」がHugging Face上で公開され、ComfyUI等でのText-to-Video活用に関心が集まっています。

コミュニティ

ローカルモデルを活用した実践的な連携手法の模索も見られます。macOS環境においてコーディングエージェントと3DCGソフトウェアのBlenderを連携させる手法がコミュニティで話題となりました。ただし、本件はコミュニティ発の報告であり公式に確認が取れていない未確認情報を含みます。手元での作業自動化に向けた関心を示す事例として注目されています。

今週の記事

出典

週次まとめexllamav3,ggml,GGUF,MoE,Qwopus,SGLang,確認済み