BotPsy: 0.8Bのオンデバイス向けエージェント言語モデル

基本情報
| 項目 | 内容 |
|---|---|
| 公開元 | Hugging Face Blog |
| 公開日 | 2026-11-11 |
| 出典の種類 | 公開元の一次情報(Hugging Face公式ブログ記事のため一次情報) |
情報を集めた時点で、当サイトのコードが確定させた値です。日付はJSTで表示しています。
概要
Tether AI Researchは、関数呼び出しとエージェント処理に特化した0.8Bパラメータのモデル「BotPsy」を発表しました。Qwen3.5-0.8Bをベースにしており、オンデバイスでの動作を想定しています。ブログによれば、重みはsafetensorsとGGUF(bf16、Q8、Q4)で提供される予定とされています。ブログには「will be released」という記述があるため、公開状況はリポジトリで確認してください。
Web検索、旅行、決済、デバイス操作、ファイル、カレンダー、メールなど、ツールを使う簡単なパーソナルアシスタント作業が対象です。公開元自身が、難易度が低〜中のタスク向けで、高リスク用途には向かないと述べています。
スペック
- パラメータ数: 0.8B
- ベースモデル: Qwen3.5-0.8B
- 学習手順: SFT、Multi-teacher On-Policy Distillation(MOPD)、強化学習(RL)2回の計4段階の後学習
- 蒸留の教師: ツール利用・一般推論・指示追従をそれぞれRLで鍛えた3つのQwen3.5-4B
性能
以下の数値はすべて公開元のブログによる自社測定値で、第三者による検証ではありません。Table 1(ツール利用・エージェント系、0〜100、高いほど良い)は、掲載されている5列をそのまま載せます。
→ 横にスクロールできます
| Benchmark | BotPsy-0.8B | Qwen3.5-0.8B-Think(ベース) | Qwen3.5-2B-Think | LFM2.5-1.2B-Think | MiniCPM5-1B-Think |
|---|---|---|---|---|---|
| BFCL v4 | 44.0 | 23.4 | 37.7 | 28.1 | 22.8 |
| ACEBench | 58.7 | 30.1 | 55.4 | 39.4 | 24.5 |
| τ-bench | 51.5 | 23.2 | 46.5 | 6.5 | 28.8 |
| Claw-Eval | 46.5 | 39.3 | 48.9 | 31.6 | 31.0 |
| BrowseComp-Plus | 4.5 | 1.9 | 2.8 | 0.2 | 0.8 |
| ToolSandbox | 64.6 | 30.5 | 41.2 | 45.7 | 28.1 |
| Average | 45.0 | 24.7 | 38.8 | 25.3 | 22.7 |
知識と指示追従の表(Table 2、3)は、BotPsy、ベース、Qwen3.5-2B-Thinkの3列に絞って載せます。
| Benchmark | BotPsy-0.8B | Qwen3.5-0.8B-Think | Qwen3.5-2B-Think |
|---|---|---|---|
| GPQA Diamond | 38.1 | 33.2 | 59.9 |
| MMLU-Pro | 48.9 | 41.6 | 65.5 |
| IFEval | 90.8 | 59.7 | 80.0 |
| IFBench | 55.9 | 22.0 | 40.9 |
| Multi-IF | 67.2 | 43.2 | 66.9 |
表から言えること
BotPsyは6つのエージェント系ベンチマークのうち5つで最高値です。BFCL v4(関数の選択と引数の組み立ての正確さ)は44.0で、2.5倍の大きさのQwen3.5-2B-Thinkの37.7を上回ります。τ-bench(ポリシーを守った対話とツール呼び出しの両立)も51.5対46.5で上回っています。ベースからは多くの項目でほぼ倍の伸びです。
一方、Claw-Evalだけは46.5で、Qwen3.5-2B-Thinkの48.9に届いていません。BrowseComp-Plusも最高値ですが4.5と絶対値は低く、ブログ自身がオープンエンドな検索を弱点としています。
知識面では、GPQA DiamondとMMLU-Proがベースより伸びました。ただしQwen3.5-2B-Thinkの59.9と65.5には大きく及びません。ブログも、事実はツールで調べさせる設計であり、知識モデルではないと説明しています。IFEvalは90.8と比較対象の中で最高で、形式指示を守る力は高い結果です。Multi-IFは同等水準で、ブログによればヒンディー語(24.5)やロシア語(57.6)など低リソース言語は弱いとされています。
ブログはこのほか、red-teamingでの有害応答率が21%(ベースは36%)になったと報告しています。
得意なこと・想定用途
BotPsyは、ツールを呼び出して作業する「パーソナルアシスタント」を狙ったモデルです。ブログが挙げる領域は、Web検索・リサーチ、旅行・ライフスタイル、コマース・金融、業務・カスタマー対応、デバイス・車両操作、ファイル・ドキュメント、カレンダー、メール・メッセージングです。
- 単発のツール呼び出し: ブログによれば、単純なシナリオ(1ターン・1回の呼び出し)は、サンプル数が十分あるアプリ群のすべてで70〜79点です。全体では75点で、ベースの54点、Qwen3.5-2B-Thinkの70点を上回ると報告されています。
- マルチターンの対話: τ²-benchのtelecomで82.5(Qwen3.5-2B-Thinkは69.3)、BFCL v4のmulti-turnでは7.5から46.1に上がったとされています。
- 呼ぶべきでない場面の判断: 適切なツールが無い場合に断るかを見るBFCL v4のhallucinationテストで86.1と、テストした中で最高です。
- 指示追従: IFEvalやIFBenchが大きく伸びています。
- 安全性: プロンプトインジェクション下の有害応答率は、ベースの46%から31%に下がったと報告されています。
苦手な点も公開元自身が挙げています。
- 多段の情報収集: 複雑なInformation Retrieval & Researchのシナリオは15点にとどまります(単発は79点)。
- Web検索とメモリ: BFCLのweb searchは14.0、memoryは16.3で、Qwen3.5-2B-Thinkの19.8と26.1に及びません。
- 知識: 知識量は主にパラメータ数に依存します。事実はツールで調べさせる設計で、知識モデルとしては使わないでください。
- 多言語: Multi-IFではヒンディー語が24.5と低めです。
- 複雑なタスク: 複雑なシナリオ全体は39.5で、単発より低いままです。
公開元は、小型モデルのためミスがあり、高リスク用途は想定していないとしています。難易度が低〜中のタスク向けと考えてください。
推論効率も特徴とされています。全モデルが正解した問題で比べると、GPQA Diamondでは推論トークン数がベースの約3分の1(3,690対11,563)です。IFBenchで反復ループに陥る率は22.9%から1.4%に下がったと報告されています。オンデバイスでの遅延低減が期待できると、ブログは述べています。ただし、これは公開元の測定です。
入手方法
ブログによれば、BotPsyはApache 2.0ライセンスのオープンウェイトで公開される予定です。ただしブログは「research and educational use(研究・教育用)」と記しており、商用利用の可否は資料から読み取れません。ライセンス条件はリポジトリで確認してください。
- 配布形式: Hugging Faceのsafetensors、およびGGUF。GGUFの精度はbf16、Q8、Q4の3種類です。
- 対応エンジン: GGUFはQVAC SDKとllama.cpp向けと説明されています。
- 入手先: ブログ内に、モデル(safetensors)とGGUFへのリンクがあります。ただし資料にはリポジトリ名が書かれていません。そのためダウンロードコマンドは記載しません。ブログ記事から辿ってください。
ブログには「will be released」とあります。公開時期の確認が取れていないため、実際のダウンロード可否は先にリポジトリで確かめてください。
関連記事
- Mistral Large 4公開:マルチモーダル対応のMoEモデル
- AnyLanguageModel 1.0公開:Swift向けローカル推論・API統合ライブラリ
- MetaのマルチモーダルMoEモデル「Muse Spark Open」公開
- LiquidAI、超軽量推論モデル「LFM2.5-24B-A2B」を公開
次に読むなら
- 記事に出てくる BFCL・τ-bench・GPQA Diamond の読み方を知る → ベンチマーク用語集

