「Flint-GGUF」コーディング向けMoE言語モデル:必要VRAM 32GB〜

「Flint-GGUF」コーディング向けMoE言語モデル:必要VRAM 32GB〜

基本情報

項目 内容
リポジトリ ggml-org/Flint-GGUF
まとめページ flint のまとめ(記事2本)
公開日 2026-10-22
ライセンス apache-2.0
配布形式 GGUF
出典の種類 公開元の一次情報(ggml-org公式リポジトリで裏付けあり)

情報を集めた時点で、当サイトのコードが確定させた値です。日付はJSTで表示しています。

概要

ggml-orgより、Recursive社が開発したコーディングエージェント向けMixture-of-Experts(MoE)言語モデル「Flint」のGGUF変換版リポジトリ「ggml-org/Flint-GGUF」が公開されました。

元モデルのFlintは、総パラメータ数39.8B、トークンあたりの活性パラメータ数が約2.5Bの大規模言語モデルです。コードベースの調査、バグ修正、新機能の実装、テストコードの作成といったソフトウェア開発エージェントとしての実務をこなすことを狙って開発されました。llama.cppエコシステムに対応したGGUF形式が提供されたことで、262K(262,144トークン)という非常に長いコンテキスト長を持つ同モデルを、ローカルPCやサーバー環境で扱いやすくなっています。

スペック

元モデルおよびGGUF版のモデルカードに記載されている仕様は以下の通りです。

  • アーキテクチャ: Decoder-only mixture-of-experts Transformer
  • 総パラメータ数: 39.8B
  • 活性パラメータ数: トークンあたり約2.5B(出力ヘッドを含む。アクティブボディ単体は約2.2B)
  • レイヤー数: 49レイヤー(Denseレイヤー2層 + MoEレイヤー47層)
  • アテンション構成: 35スライディングウィンドウレイヤー、14フルアテンションレイヤー
  • スライディングウィンドウ長: 513トークン(現在のトークンと先行する512トークン)
  • アテンションヘッド数: クエリヘッド32、キー/バリューヘッド4、ヘッド次元128
  • アテンション正規化: ヘッドごとのQK RMSNormおよび学習されたヘッドごとのアテンションシンク
  • 位置エンコーディング: スライディングウィンドウレイヤーはRoPEを採用、フルアテンションレイヤーは位置エンコーディングなし
  • エキスパート構成: 256ルーティングエキスパート(トークンごとに6エキスパートを選択)+ 常時稼働する共有エキスパート1つ
  • コンテキスト長: 262,144トークン(プロンプトと生成出力の合計)
  • 語彙数: 150,144トークン
  • 入出力形式: テキスト入力 / テキスト出力
  • 知識カットオフ: 2026年6月

性能

今回公開されたリポジトリはGGUF量子化版のため、性能ベンチマークの数値は元モデルである「RecursiveSI/flint」(BF16版)のモデルカードに基づいています。量子化版を運用する際は、量子化処理に伴い精度が多少劣化する可能性がある点にご留意ください。

元モデルの公開元であるRecursive社が公表した評価結果は以下の通りです。

ベンチマーク スコア
Terminal-Bench 2.1 54.9%
SWE-bench Pro v2 89.7%
SWE-bench Verified 74.2%

この評価結果から、Flintはソフトウェア開発タスクやターミナルでの自律作業において際立って高い性能を示していることが分かります。特にSWE-bench Pro v2では89.7%、SWE-bench Verifiedでは74.2%という極めて高い水準を記録しており、実践的なコーディングや問題解決能力に優れています。

また、Terminal-Bench 2.1における54.9%という結果について公開元は、ウェブ検索による情報取得を行って解決に至ったケースを「不成功」として厳格に扱っていると注記しています。開発元が公表する他モデルのスコアとは集計条件が同一でない可能性があるため、比較の際には注意が必要です。

なお、これらのエージェント系スコアは少なくとも5回の試行にわたる平均pass@1として算出されており、推論時の生成設定には温度(Temperature)1.0、top-p 0.95、top-k 20が指定されています。評価ツールにはTerminal-BenchでTerminus 2、SWE-benchでmini-swe-agentが用いられています。これらの数値は公開元自身が公表した測定結果であり、第三者による独立した追試結果ではない点をご承知おきください。

得意なこと・想定用途

Flintは、ソフトウェア開発におけるエージェントタスク全般に特化して設計されたモデルです。元モデルである「RecursiveSI/flint」のモデルカードによると、主に以下のような開発作業が想定用途として挙げられています。

  • 既存のコードベースの構造調査や仕様の把握
  • ソフトウェアの不具合(バグ)の調査および修正
  • 新しい機能やモジュールの実装
  • ユニットテストをはじめとするテストコードの作成

本モデルはテキストの入出力に対応しており、長文の推論プロセス(reasoning)と複数ターンにわたるツール呼び出し(multi-turn tool use)をサポートしています。OpenAI互換の形式でツールを呼び出すことが可能であり、外部ツールと連携して自律的にタスクを遂行するエージェント環境の構築に適しています。

また、262,144トークンという広大なコンテキストウィンドウを備えているため、大規模なソースコードファイル群や長大な対話履歴を一度に読み込ませて作業を進める用途に向いています。

公開元が推奨する生成パラメータは、Temperatureが1.0、Top-pが0.95、Top-kが20です。難度の高い問題に取り組む場合は、思考プロセス(reasoning)を含めて少なくとも32,768トークンの出力バジェットを確保することが推奨されています。対話を行う際はモデル付属のチャットテンプレートを使用し、モデルから返された reasoning_content を会話履歴にそのまま保持して送信することが求められています。

なお、学習プロセスは事前学習から中間学習、教師ありファインチューニング(SFT)、強化学習(RL)に至るまでスクラッチで行われており、テキストやコード、指示追従、エージェントタスクが含まれています。一方で、モデルカードでは以下の運用上の注意点が挙げられています。

  • 安全性を考慮したデータセットで訓練されているものの、誤った情報や有害な内容、バグを含むコード、不適切なツール呼び出しを生成する可能性があります。生成されたコードはテストを実行し、重要な変更を加える前には人間の手によるレビューを行う必要があります。
  • ツール呼び出しを許可するアプリケーション側で、実行権限やアクセスの境界を厳格に管理する必要があります。構造化されたツール呼び出しの構文規則自体は、モデルが安全でないアクションを選択することを防ぐものではありません。
  • 思考プロセスが長引くことで応答遅延が増大したり、回答が完了する前に出力トークン数の上限に達してしまう可能性があります。
  • 262,144トークンというコンテキスト設定は容量の上限を示すものであり、あらゆるシーケンス長やタスクにおいて均一な精度を保証するものではありません。

動作環境

動作環境の目安(Local Model Watch 算出) — パラメータ数 39.8B(元モデル RecursiveSI/flint の値)

手持ちのVRAM 選べる量子化 ファイルサイズ 必要メモリの目安
RTX 5090 など 32GB Q4_K_M 21.8GB 26.1GB
RTX 6000 Ada / A6000 など 48GB Q8_0 39.4GB 47.3GB

必要メモリは配布ファイルの実サイズに実行時のオーバーヘッド(KVキャッシュ等)を20%見込んだ概算で、文脈長・バッチサイズ・推論エンジンによって増減します。公開元の公称値ではなく、当サイトがファイルサイズから機械的に算出した値です。 他のモデルとの比較はVRAM別の早見表を参照してください。 量子化の名前の読み方は用語集にあります。

手元で動かせるか

Ollama・LM Studio・llama.cpp でそのまま動かせます。

GGUF形式で配布されているため、変換を待たずに手元で読み込めます。

ライセンス apache-2.0(商用利用可): 商用利用を含めて自由に利用・改変・再配布できます。再配布時にライセンス文と変更点の告知が必要で、特許の許諾条項があります。

量子化の圧縮率: Q4_K_M は実測 4.71 bit/weight で、元の16bitの重みの約29%のサイズです(配布ファイルの実サイズから当サイトが算出)。

配布形式・当サイトが見つけた変換版・各推論エンジンの登録表を突き合わせた判定です。「確認できていない」は当サイトが見つけていないという意味で、存在しないことの断定ではありません。ライセンスの要約は法的助言ではないため、実際の利用にあたっては公開元の原文を確認してください。

同クラスの既報モデル

当サイトが最近取り上げた、パラメータ数 15〜40B のモデルを、比較のために記事ログからコードが並べたものです。VRAM階層は当サイトの概算、ライセンスはモデルカードの記載です。

→ 横にスクロールできます

モデル パラメータ数 最小のVRAM階層 ライセンス 記事
LiquidAI/LFM2.5-24B-A2B-Base 24.0B 80GB lfm1.0 LiquidAI、超軽量推論モデル「LFM2.5-24B-A2B」を公開(2026-11-17)
LiquidAI/LFM2.5-24B-A2B-FP8 24.0B 32GB lfm1.0 「LFM2.5-24B-A2B-FP8」FP8量子化済みのエージェント向けMoEモデル:必要VRAM 32GB〜(2026-11-17)
LiquidAI/LFM2.5-24B-A2B-MLX-bf16 24.0B 80GB lfm1.0 「LFM2.5-24B-A2B-MLX-bf16」Apple Silicon向け推論モデル:必要VRAM 80GB〜(2026-11-17)
LiquidAI/LFM2.5-24B-A2B-MLX-8bit 24.0B 32GB lfm1.0 「LFM2.5-24B-A2B-MLX-8bit」ツール呼び出しに強い推論特化のMoEモデル:必要VRAM 32GB〜(2026-11-17)
LiquidAI/LFM2.5-24B-A2B 24.0B 12GB lfm1.0 「LFM2.5-24B-A2B」エージェント特化のMoE推論モデル:必要VRAM 12GB〜・GGUF版あり(2026-11-17)

入手方法

今回公開されたGGUF版は、Hugging Faceの ggml-org/Flint-GGUF リポジトリにて配布されています。Apache 2.0ライセンスのもとで公開されており、利用規約への事前同意(Gated申請)を必要とせず直接ダウンロードが可能です。

配布されているバリエーションは以下の通りです。

  • BF16
  • Q8_0
  • Q4_K_M

なお、Q4_K_M においては、埋め込み層やアテンション、共有エキスパートといったエキスパート以外の小さなテンソルは Q8_0 の精度で保持される仕様になっています。また、本モデルはテキスト専用であり、マルチモーダルプロジェクタ(mmproj)やMTP、DFlashなどの追加コンポーネントは付属していません。

本モデルを実行するには、Flintのアーキテクチャサポートが追加されたllama.cpp(Pull Request #30928 に対応したビルド)が必要です。モデルの変換にはggml-orgの自動変換スクリプトが使用されています。

llama.cppのサーバー機能を使用する場合、ターミナルから以下のコマンドを実行することで、モデルを取得してローカルサーバーを起動できます。

llama serve -hf ggml-org/Flint-GGUF

また、GUI環境で利用したいユーザー向けに、Llama app上での実行も案内されています。

関連記事

次に読むなら

出典