llama.cpp

LLM推論エンジンllama.cpp v0.6.0が公開。llama_batch_extの導入、Metalバックエンドの大幅な高速化、GLM-5.3-Flashなどの新モデルサポートについて解説します。

llama.cppの基盤となるC++製テンソルライブラリ「ggml v0.26.0」が公開されました。Vulkan/SYCL/MetalのスパースFlash Attention最適化やWebGPUの量子化形式追加、各ハードウェアの高速 ...

llama.cpp等のローカル環境で動かせる、総パラメータ数320Bのネイティブマルチモーダル対応MoEモデル「ggml-org/GLM-5.3-Flash-GGUF」の概要や特徴を解説します。

ggml-orgが公開した、意思決定に特化した27.4Bのオープンウェイトモデル「OpenJev」のGGUF量子化版のスペックや特徴、llama.cppでの動かし方を解説します。

Rust製のオープンソース推論エンジン「Magnitude」の初期リリースが公開されました。デバイスごとのカーネル自動最適化により、llama.cppを凌駕する推論速度と効率的なメモリ管理を実現しています。

今週のオープンウェイトモデル動向を速報。Qwen3.8-27Bや軽量意思決定モデルTev1、llama.cpp v0.5.0など、ローカルで動く最新モデルとツールのアップデート情報をまとめてお届けします。

GGUFモデル向け推論エンジン「KoboldCpp v1.122」が公開。9種類の内蔵ツールを備えた軽量エージェント機能「KoboldCpp Agent」の追加や破壊的変更の解説、アップデート手順を解説します。

AIモデルのローカルサービングを簡素化する開発者ツール「ramalama v0.25.0」が公開。serveコマンドのデフォルトバインド変更やllama.cpp v0.4.1へのアップデート、NVIDIA環境でのVulkanサポートな ...

LiquidAIが「LFM2.5-VL-3B」向けの実験的なDSparkドラフトモデル「LFM2.5-VL-DSpark」を公開しました。推論速度の高速化手順や対応エンジンを解説します。

C/C++ LLM推論ライブラリllama.cpp v0.5.0が公開。CUDAのconv2d加速やMetalでのMoE最適化、マルチアドレス対応サーバー機能の拡張などを詳しく解説。