推論エンジン「magnitude」v0.2.6公開、Macでのプロンプト処理が大幅高速化
Rust製のオープンソース推論エンジン「magnitude」のCLI v0.2.6がリリース。Apple Silicon環境でのプロンプト処理の高速化や長文処理時のクラッシュ修正、Metalコンパイルエラーの解消などが行われています。 ...
llama.cpp v0.6.0リリース：新バッチAPIやMetal高速化、新モデル対応
LLM推論エンジンllama.cpp v0.6.0が公開。llama_batch_extの導入、Metalバックエンドの大幅な高速化、GLM-5.3-Flashなどの新モデルサポートについて解説します。
推論基盤ライブラリ「ggml v0.26.0」公開、各バックエンドの最適化と対応拡大
llama.cppの基盤となるC++製テンソルライブラリ「ggml v0.26.0」が公開されました。Vulkan/SYCL/MetalのスパースFlash Attention最適化やWebGPUの量子化形式追加、各ハードウェアの高速 ...
推論エンジン「@magnitudedev/cli」v0.2.5公開、M5 Mac対応やMoE高速化
オープンソース推論エンジン「@magnitudedev/cli」v0.2.5がリリース。M5 Macでのプロンプト処理約2倍高速化、MoEモデルの生成速度向上、M1/M2 MacやVulkan環境でのバグ修正が行われています。 ...
推論エンジン「Magnitude CLI 0.2.4」公開、メモリ削減と初回ロード高速化を実現
エージェント向け推論エンジン「Magnitude CLI 0.2.4」がリリース。メモリ使用量の大幅な削減と、最大約1分への初回カーネルチューニング時間短縮が行われました。
C/C++ LLM推論ライブラリ「llama.cpp v0.5.0」リリース
C/C++ LLM推論ライブラリllama.cpp v0.5.0が公開。CUDAのconv2d加速やMetalでのMoE最適化、マルチアドレス対応サーバー機能の拡張などを詳しく解説。
Hugging Face transformers、GGUFモデルの直接実行をサポート
Hugging Faceの推論ライブラリtransformersがllama.cppのGGUFフォーマットモデルの直接実行に対応。Apple Silicon向けの最適化やPythonエコシステムでの活用方法を解説。
3値量子化モデルとARM・Apple最適化が加速【週次まとめ】
27Bクラスの3値量子化モデルの登場や、Apple Silicon・ARM64環境向け推論・学習ツールのアップデートを振り返る週次まとめ。
Apple Silicon向けローカル推論エンジン「Splash Engine」公開、Qwen3.8を高速化
Inco AIがApple Silicon搭載Mac専用のオープンソースローカルLLM推論エンジン「Splash Engine」を公開。Qwen3.8-27BやQwen3.6-35B-A3Bに対応し、LM Studio Bionicに ...
「Qwen-2.5-1B-RLCD」並列制約付きデコーディングのテキスト生成モデル：必要VRAM 4GB〜
Apple Silicon環境での高速な構造化データ出力を実現する「harshatheg/Qwen-2.5-1B-RLCD」のスペックや推論性能、MLXを用いた実装について解説します。