Unsloth v0.1.908-betaリリース:Nemotron 3.5やMuse Spark Openに対応

Unsloth v0.1.908-betaリリース:Nemotron 3.5やMuse Spark Openに対応

基本情報

項目 内容
リポジトリ unslothai/unsloth
版 v0.1.908-beta
公開日 2026-10-16
ライセンス Apache-2.0
出典の種類 公開元の一次情報(公式GitHubリポジトリのリリースノート)

情報を集めた時点で、当サイトのコードが確定させた値です。日付はJSTで表示しています。

概要

Unsloth v0.1.908-betaがリリースされました。Unslothは、LLM(大規模言語モデル)や拡散モデルをローカル環境で実行・学習するためのUIツールです。

今回のアップデートにおける最も大きな変更点は、NVIDIAの最新モデル「Nemotron 3.5」シリーズやMetaの「Muse Spark Open」への対応、およびテキスト拡散モデル(text-diffusion LLMs)の学習・チャット機能の追加です。これにより、非常に大規模なMoE(Mixture of Experts)モデルや、新しいアーキテクチャの拡散モデルをローカル環境で扱うための選択肢が大幅に広がりました。

主な変更点

NVIDIA Nemotron 3.5およびMeta Muse Spark Openへの対応

NVIDIAの新しいNemotron 3.5モデルと、MetaのMuse Spark OpenがUnsloth上で動作するようになりました。

NVIDIA Nemotron 3.5 Super VLは、120B(アクティブパラメータ12B)のモデルで、最大1Mトークンのコンテキストをサポートしています。メモリ使用量は、1-bitで約64GB、4-bitで約128GBとなります。また、Super VLから圧縮されたNemotron 3.5 Bolt(74B、アクティブパラメータ9B、コンテキスト128K)は、1-bitまたは2-bitで約32GBのメモリで動作します。なお、デフォルトではNemotron 3.5 BoltはDSpark drafterを使用し、Super VLは組み込みのMTPを使用して高速な出力を行いますが、これらは設定でオフにすることが可能です。

さらに、MetaのMuse Spark Openは、816BのMoEモデルで、アクティブパラメータは約42.7B、コンテキストは1Mトークンです。こちらは2-bitで約256GBのメモリを使用して動作します。これらのモデルは、マルチモーダルな推論、コーディング、エージェント的なワークフロー向けに構築されています。

テキスト拡散モデル(Text-Diffusion LLMs)の学習とチャット

LLaDA、Dream、SDAR、LLaDA2、Nemotron-Labs-Diffusion、DiffusionGemmaといったテキスト拡散モデルの学習とチャットが、Unslothアプリ内で可能になりました。チャットの回答時には、ライブ・デノイジング・キャンバス(live denoising canvas)が表示されるのが特徴です。

DeepSpeedによる学習機能の強化

DeepSpeed ZeRO-2およびZeRO-3を用いた学習がサポートされました。これには、4-bit QLoRA、フルファインチューニング、DPO、およびCPUオフロードが含まれます。また、DDP(Distributed Data Parallel)を用いたLoRA学習において、グラディエント・チェックポインティングを使用してもクラッシュしないよう改善されています。

コーディングエージェント向けのプロンプト・キャッシュ改善

Claude CodeやCodexなどのコーディングエージェントをローカルのGGUFモデルで利用する場合、プロンプト・キャッシュの仕組みが改善されました。これにより、会話の継続時に再処理されるプロンプトの量が大幅に削減されます。具体的には、新しいClaude Codeセッションの最初の回答開始が最大4倍速くなると報告されています。

推論パフォーマンスの向上

Python環境において、LlamaおよびQwen3モデルの32Kコンテキストにおけるシングルプロンプトのmodel.generateが最大2.7倍高速化されました。また、一部のNVIDIA GPUでは、bitsandbytes 4-bitモデルを使用して2〜4個のプロンプトを同時に生成する場合、最大2.8倍の高速化が確認されています。

ブラウザ操作と画像生成の拡張

「Browser use」機能において、モデルがクリックやタイピングを行う際にカーソルを表示できるようになりました(設定でオフにすることも可能です)。また、サイトごとに「Always allow(常に許可)」を設定できる機能も追加されています。

画像生成については、sd-server、Ollama、Lemonade、vLLM、llama.cpp、またはカスタムのOpenAI互換URLなどの接続された画像サーバーを通じて、Imagesページから生成できるようになりました。

対応モデル・ハードウェア

今回のアップデートにより、以下のモデルアーキテクチャおよび量子化形式への対応が強化されました。

対応モデル

  • NVIDIA Nemotron 3.5 シリーズ:
    • Nemotron 3.5 Super VL: 120B(アクティブ12B)モデル。ドキュメント理解やコンピュータ操作向け。1-bitで約64GB、4-bitで約128GBのメモリを使用します。 – Nemotron 3.5 Bolt: 74B(アクティブ9B)モデル。Super VLを圧縮したもので、1-bitまたは2-bitで約32GBのメモリで動作します。
  • Meta Muse Spark Open: 816BのMoEモデル(アクティブ42.7B)。マルチモーダル推論やコーディング向けで、2-bitで約256GBのメモリを使用します。
  • テキスト拡散モデル(Text-Diffusion LLMs): LLaDA、Dream、SDAR、LLaDA2、Nemotron-Labs-Diffusion、DiffusionGemmaなどの学習とチャットに対応しました。
  • MLXリポジトリの量子化形式: GGUFと同様に、MLXリポジトリが公開している2-bit、4-bit、6-bit、8-bitの精度を選択可能です。

ハードウェア・互換性

  • AMD GPU: ROCmがサポートしていないRDNA 1やPolarisなどのGPUでも、Vulkan llama.cppビルドを利用して動作するようになっています。
  • Windows環境: CUDA 12未満のNVIDIAドライバを使用している場合、エラーで停止せずにVulkanまたはCPU用のllama.cppビルドがインストールされます。
  • マルチGPU: 異なる世代のGPUを混在させているマシンにおいて、各GPUに適したアテンション・バックエンドを選択できるようになりました。

アップデート方法

Unsloth Studio(Web UI版)のデベロッパー向け、またはナイトリービルドを利用している場合は、以下の手順でアップデートを行ってください。

macOS, Linux, WSLの場合

cd unsloth && git pull
./install.sh --local
unsloth studio -p 8888

Windows PowerShellの場合

cd unsloth; git pull
.\install.ps1 --local
unsloth studio -p 8888

詳細なインストール手順については、公式サイトのドキュメントを参照してください。

関連記事

次に読むなら

出典