「Simple-Attention-Sparsification」テキスト生成モデル:必要VRAM 12GB〜
Tencentが公開したQwen3モデル向けSAS(Simple Attention Sparsification)チェックポイントの仕様や導入方法、動作環境を解説します。
DeepSeek-V4.1-FlashとMiniCPM5-2Bの登場:週次オープンモデルまとめ
DeepSeek-V4.1-FlashやMiniCPM5-2Bなどの新型モデルの公開、vLLM v0.29.0やUnslothのアップデートなど、ローカル推論・学習環境の最新動向を振り返ります。
ExLlamaV3 1.5.0リリース:MoEモデル推論の高速化と新機能
ローカルLLM推論ライブラリ「ExLlamaV3 1.5.0」が公開。MoEモデルの推論速度向上やLinux向けCPUオフロードの高速化、Nemotron-3-Superのサポートなどのアップデート内容を解説します。
「YuE2」:必要VRAM 12GB〜・ComfyUIの配置先
Comfy-Orgより音楽生成モデル「YuE2-3B」のComfyUI向けリパッケージ版「Comfy-Org/YuE2」が公開されました。導入に必要なファイル構成や動作環境、モデルのスペックを解説します。
軽量LLMルーティングライブラリ「litelm」公開、vLLMやOllamaに対応
軽量なLLMルーティングライブラリ「litelm」が公開されました。litellmのコア機能のみを抽出し、約2,900行のコードと最小限の依存関係でvLLMやOllama、各社APIへのルーティングやメッセージ変換を実現します。
「Signal-3.8-27B-GGUF」VLMモデル:当サイトでの回答例・必要VRAM 16GB〜
Qwen3.8-27Bをベースに回答品質を維持したままトークン数を大幅削減し高速化したGGUFモデル「Signal-3.8-27B-GGUF」のスペックや動作環境を解説します。
「Gryphe_Pantheon-Reasoning-26B-A4B-1.1-V2-GGUF」:当サイトでの回答例
Grypheの推論・ロールプレイ特化型26Bモデル「Pantheon-Reasoning-26B-A4B-1.1-V2」のGGUF版がbartowski氏より公開。必要メモリや対応環境を速報。
「Edge0-35B-A3B-preview」スマホクラスで動く35BのMoEモデル:必要VRAM 24GB〜
Edge0が公開した、35BクラスのスパースMoEモデル「Edge0-35B-A3B-preview」のスペック、ベンチマーク性能、動作環境を解説。4-bit量子化とストリーミング推論で省メモリ動作を実現。
Lightricks、動画生成モデル「LTX-2.5」向けのLoRA・IC-LoRA複数種を公開
Lightricksは、オープンウェイトの動画生成モデル「Lightricks/LTX-2.5」に対応するLoRAおよびIC-LoRAアダプターを複数公開しました。キャラクターの一貫性保持、シネマグラフ制作、カラー化、映像修復などの機 ...
「YuE2-3B」歌詞とスタイルから楽曲を作る音楽生成モデル:必要VRAM 12GB〜・配布ファイル一覧
m-a-pがオープンな音楽生成モデル「YuE2-3B」を公開。AR-NAR Mixture-of-Transformersを採用し、48kHzステレオ音声を生成。スペックや動作環境、ベンチマーク結果を解説します。