llama.cpp v0.6.0リリース：新バッチAPIやMetal高速化、新モデル対応
LLM推論エンジンllama.cpp v0.6.0が公開。llama_batch_extの導入、Metalバックエンドの大幅な高速化、GLM-5.3-Flashなどの新モデルサポートについて解説します。
推論基盤ライブラリ「ggml v0.26.0」公開、各バックエンドの最適化と対応拡大
llama.cppの基盤となるC++製テンソルライブラリ「ggml v0.26.0」が公開されました。Vulkan/SYCL/MetalのスパースFlash Attention最適化やWebGPUの量子化形式追加、各ハードウェアの高速 ...
推論エンジン vllm v0.31.0公開、高速再起動やDeepSeek最適化
推論エンジン「vllm v0.31.0」がリリースされました。GPUメモリ上に重みを保持するFast restart機能の導入や、DeepSeek-V4.1-Flashへの最適化、破壊的変更、アップデート方法について詳しく解説します。 ...
意思決定モデルの台頭と推論エンジン高速化：オープンウェイトAI週報
CloudflareのclefやELYZA-Thinking-1.0など意思決定・推論モデルの台頭、Ollama v0.35.0やRust製推論エンジンMagnitudeの高速化競争など、今週のローカルAIの動きを速報でお届けします。 ...
「DiarizationLM-Gemma-4-E4B-v1」音声処理向け大規模言語モデル：必要VRAM 8GB〜
GoogleのGemma 4 E4Bをベースにした音声処理向け大規模言語モデル「google/DiarizationLM-Gemma-4-E4B-v1」のスペックや推論手順を解説します。
「GLM-5.3-Flash-GGUF」VLMモデル：必要メモリ約150GB
llama.cpp等のローカル環境で動かせる、総パラメータ数320Bのネイティブマルチモーダル対応MoEモデル「ggml-org/GLM-5.3-Flash-GGUF」の概要や特徴を解説します。
Aleph AlphaがオープンウェイトMoEモデル「Kolibri」公開、VRAM要件や性能を議論
ドイツのAleph Alphaが英語・ドイツ語対応のオープンウェイトMoEモデル「Kolibri」を公開。総パラメータ数781億、アクティブパラメータ数34.6億のハードウェア要件や技術的特徴、コミュニティの反応を速報でお届けします。 ...
AIエンジン「LocalAI v4.11.0」公開、フェイルオーバー機能や音声認識・3Dモーション生成に対応
オープンソースのAIエンジン「LocalAI v4.11.0」がリリース。モデルのフェイルオーバーチェーン、NeMo音声認識・話者分離、3D骨格アニメーション生成などが追加されました。
推論エンジン「Magnitude CLI 0.2.4」公開、メモリ削減と初回ロード高速化を実現
エージェント向け推論エンジン「Magnitude CLI 0.2.4」がリリース。メモリ使用量の大幅な削減と、最大約1分への初回カーネルチューニング時間短縮が行われました。
高速推論エンジン「SGLang v0.5.21」公開、PDインスタンスの動的切り替えに対応
LLM・マルチモーダルモデル向け高速サービングフレームワーク「SGLang」のv0.5.21がリリース。PDインスタンスの動的ロール切り替えやRustコア化、新APIの追加などの詳細を解説。