推論エンジン「magnitude」v0.2.6公開、Macでのプロンプト処理が大幅高速化
Rust製のオープンソース推論エンジン「magnitude」のCLI v0.2.6がリリース。Apple Silicon環境でのプロンプト処理の高速化や長文処理時のクラッシュ修正、Metalコンパイルエラーの解消などが行われています。 ...
Reflectionが総パラメータ数501Bのオープンウェイトモデル「Beam」発表
Reflectionが発表した総パラメータ数5,010億のオープンウェイトモデル「Beam」について、性能やベンチマークを巡る議論を速報でお伝えします。
音声付き動画生成モデル「FastH3 V2」のFP8およびNVFP4版公開
FastVideoチームによる音声付き動画生成モデル「FastH3 V2」のFP8およびNVFP4量子化版2種について、特徴、動作環境、導入手順を詳しく解説します。
音声付き動画生成モデル「FastH3 Trim」8ステップ版が公開
テキストから同期した音声付き動画をわずか8ステップで生成できる小型化モデル「FastH3 Trim」のBF16、NVFP4、FP8の各量子化版のスペックや導入方法を解説します。
llama.cpp v0.6.0リリース：新バッチAPIやMetal高速化、新モデル対応
LLM推論エンジンllama.cpp v0.6.0が公開。llama_batch_extの導入、Metalバックエンドの大幅な高速化、GLM-5.3-Flashなどの新モデルサポートについて解説します。
推論基盤ライブラリ「ggml v0.26.0」公開、各バックエンドの最適化と対応拡大
llama.cppの基盤となるC++製テンソルライブラリ「ggml v0.26.0」が公開されました。Vulkan/SYCL/MetalのスパースFlash Attention最適化やWebGPUの量子化形式追加、各ハードウェアの高速 ...
「Naive-N0.5-Flash」AI研究とコーディング向けMoEモデル：必要メモリ約690GB
NaiveAIが総309B/活性15.5BのMoEモデル「Naive-N0.5-Flash」を公開。100万トークンの文脈長とMITライセンスに対応。
推論エンジン vllm v0.31.0公開、高速再起動やDeepSeek最適化
推論エンジン「vllm v0.31.0」がリリースされました。GPUメモリ上に重みを保持するFast restart機能の導入や、DeepSeek-V4.1-Flashへの最適化、破壊的変更、アップデート方法について詳しく解説します。 ...
意思決定モデルの台頭と推論エンジン高速化：オープンウェイトAI週報
CloudflareのclefやELYZA-Thinking-1.0など意思決定・推論モデルの台頭、Ollama v0.35.0やRust製推論エンジンMagnitudeの高速化競争など、今週のローカルAIの動きを速報でお届けします。 ...
「DiarizationLM-Gemma-4-E4B-v1」音声処理向け大規模言語モデル：必要VRAM 8GB〜
GoogleのGemma 4 E4Bをベースにした音声処理向け大規模言語モデル「google/DiarizationLM-Gemma-4-E4B-v1」のスペックや推論手順を解説します。