llama.cpp

Hugging Faceの推論ライブラリtransformersがllama.cppのGGUFフォーマットモデルの直接実行に対応。Apple Silicon向けの最適化やPythonエコシステムでの活用方法を解説。

27Bクラスの3値量子化モデルの登場や、Apple Silicon・ARM64環境向け推論・学習ツールのアップデートを振り返る週次まとめ。

単一ファイルでLLMを実行できる「llamafile」のバージョン0.10.6がリリース。llama.cppのb10441への更新やCUDA/HIPのグラフ機能有効化、セキュリティ強化などの変更点を解説します。

上海AIラボのマルチモーダル基盤モデル「Intern-S2-397B」のGGUF量子化版が公開。llama.cppやLM Studio等でのローカル実行手順やスペックを解説。

llama.cpp v0.4.1がリリース。モデルロード方式の変更やMaple 20B、Tencent Hy 4などの新モデルアーキテクチャのサポート情報を解説します。

bartowski氏によるマルチモーダル対応モデル「Orion-26B-A4B-v1.1」のGGUF量子化版公開について、ファイルサイズや必要メモリ、対応環境を解説します。

Qwen3.8-27Bをベースに回答品質を維持したままトークン数を大幅削減し高速化したGGUFモデル「Signal-3.8-27B-GGUF」のスペックや動作環境を解説します。

IFMが公開したMoEモデル「K2-Horizon-MoVA-36B-A4B」のGGUF版について、スペックや動作環境、必要メモリの目安を解説します。

Qwen3.8-27Bをベースにしたエージェント向けファインチューンモデル「Jackrong/Qwopus3.8-27B-Flash-GGUF」のスペックや性能、動作環境を解説します。