推論エンジン「magnitude」v0.2.6公開、Macでのプロンプト処理が大幅高速化
Rust製のオープンソース推論エンジン「magnitude」のCLI v0.2.6がリリース。Apple Silicon環境でのプロンプト処理の高速化や長文処理時のクラッシュ修正、Metalコンパイルエラーの解消などが行われています。 ...
llama.cpp v0.6.0リリース：新バッチAPIやMetal高速化、新モデル対応
LLM推論エンジンllama.cpp v0.6.0が公開。llama_batch_extの導入、Metalバックエンドの大幅な高速化、GLM-5.3-Flashなどの新モデルサポートについて解説します。
推論基盤ライブラリ「ggml v0.26.0」公開、各バックエンドの最適化と対応拡大
llama.cppの基盤となるC++製テンソルライブラリ「ggml v0.26.0」が公開されました。Vulkan/SYCL/MetalのスパースFlash Attention最適化やWebGPUの量子化形式追加、各ハードウェアの高速 ...
推論エンジン vllm v0.31.0公開、高速再起動やDeepSeek最適化
推論エンジン「vllm v0.31.0」がリリースされました。GPUメモリ上に重みを保持するFast restart機能の導入や、DeepSeek-V4.1-Flashへの最適化、破壊的変更、アップデート方法について詳しく解説します。 ...
推論エンジン「@magnitudedev/cli」v0.2.5公開、M5 Mac対応やMoE高速化
オープンソース推論エンジン「@magnitudedev/cli」v0.2.5がリリース。M5 Macでのプロンプト処理約2倍高速化、MoEモデルの生成速度向上、M1/M2 MacやVulkan環境でのバグ修正が行われています。 ...
AIエンジン「LocalAI v4.11.0」公開、フェイルオーバー機能や音声認識・3Dモーション生成に対応
オープンソースのAIエンジン「LocalAI v4.11.0」がリリース。モデルのフェイルオーバーチェーン、NeMo音声認識・話者分離、3D骨格アニメーション生成などが追加されました。
推論エンジン「Magnitude CLI 0.2.4」公開、メモリ削減と初回ロード高速化を実現
エージェント向け推論エンジン「Magnitude CLI 0.2.4」がリリース。メモリ使用量の大幅な削減と、最大約1分への初回カーネルチューニング時間短縮が行われました。
高速推論エンジン「SGLang v0.5.21」公開、PDインスタンスの動的切り替えに対応
LLM・マルチモーダルモデル向け高速サービングフレームワーク「SGLang」のv0.5.21がリリース。PDインスタンスの動的ロール切り替えやRustコア化、新APIの追加などの詳細を解説。
意思決定特化型モデル「OpenJev」のテスト用GGUFモデル公開
ggml-orgが公開した意思決定特化型オープンウェイトモデル「OpenJev」のテスト用GGUFモデル「tinyopenjev-for-testing-gguf」の仕様や、元モデルの推論環境構築手順を解説します。
Unsloth v0.1.901-beta公開、4-bit学習のメモリ削減とデスクトップUI強化
LLMや拡散モデルの実行・ファインチューニングツール「unsloth」の最新版v0.1.901-betaが公開。事前量子化4-bitチェックポイントのメモリ削減やコマンドパレットの導入、多数の新モデル対応について解説します。