GGUF

機械学習テンソルライブラリggmlのv0.24.0がリリース。新しい精度制御APIの導入や、Vulkan、CUDA、Metalなど各種バックエンドの改善・パフォーマンス向上の詳細をお伝えします。

bartowski氏によるマルチモーダル対応モデル「Orion-26B-A4B-v1.1」のGGUF量子化版公開について、ファイルサイズや必要メモリ、対応環境を解説します。

DeepSeek-V4.1-FlashやMiniCPM5-2Bなどの新型モデルの公開、vLLM v0.29.0やUnslothのアップデートなど、ローカル推論・学習環境の最新動向を振り返ります。

ローカルLLM推論ライブラリ「ExLlamaV3 1.5.0」が公開。MoEモデルの推論速度向上やLinux向けCPUオフロードの高速化、Nemotron-3-Superのサポートなどのアップデート内容を解説します。

Qwen3.8-27Bをベースに回答品質を維持したままトークン数を大幅削減し高速化したGGUFモデル「Signal-3.8-27B-GGUF」のスペックや動作環境を解説します。

Grypheの推論・ロールプレイ特化型26Bモデル「Pantheon-Reasoning-26B-A4B-1.1-V2」のGGUF版がbartowski氏より公開。必要メモリや対応環境を速報。

Qwen3.8 27BのGGUF量子化モデルにおける性能検証結果を解説。4bitでは性能が維持される一方、1bitで崩壊する非線形な低下やVRAM制約と量子化の境界線を技術者向けに速報。

OpenBMBが公開した2Bクラスのオンデバイス向け大規模言語モデル「MiniCPM5-2B」のスペック、ベンチマーク性能、動作環境、利用方法を解説します。

ggml v0.23.0やExLlamaV3などの推論エンジンアップデートと、QwopusやK2-Horizon-MoVAのGGUF版公開など、ローカルAIの最新動向をまとめます。

IFMが公開したMoEモデル「K2-Horizon-MoVA-36B-A4B」のGGUF版について、スペックや動作環境、必要メモリの目安を解説します。