flint まとめ:必要VRAM・GGUF版

当サイトが flint 系統について公開した記事(2本)と、記事の公開後に見つかった変換版(GGUF・MLX等)、必要メモリの判定を1ページにまとめたものです。必要メモリはモデルカードの公称値ではなく、当サイトが配布ファイルのサイズから機械的に算出した値です。モデル系統別まとめの1ページです。

基本情報

項目 内容
元のモデル RecursiveSI/flint
公開元 RecursiveSI
パラメータ数 39.8B
ライセンス(モデルカード) apache-2.0
最小のVRAM階層 16GB
記事数 2本

動作環境

動作環境の目安(Local Model Watch 算出) — パラメータ数 39.8B

手持ちのVRAM 選べる量子化 ファイルサイズ 必要メモリの目安
RTX 5060 Ti 16GB / 4060 Ti 16GB など 16GB Q2_K_XL 12.6GB 15.2GB
RTX 4090 / 3090 など 24GB Q3_K_XL 17.2GB 20.7GB
RTX 5090 など 32GB Q4_K_XL 23.3GB 28.0GB
RTX 6000 Ada / A6000 など 48GB Q8_0 39.4GB 47.3GB

必要メモリは配布ファイルの実サイズに実行時のオーバーヘッド(KVキャッシュ等)を20%見込んだ概算で、文脈長・バッチサイズ・推論エンジンによって増減します。公開元の公称値ではなく、当サイトがファイルサイズから機械的に算出した値です。 ファイルサイズは変換版 unsloth/flint-GGUF の配布ファイルの実測値です。 他のモデルとの比較はVRAM別の早見表を参照してください。 量子化の名前の読み方は用語集にあります。

手元で動かせるか

Ollama・LM Studio・llama.cpp で動かせます(変換版を利用)。

公開元の配布は safetensors ですが、bartowski/RecursiveSI_flint-GGUF が GGUF版を公開しているため、そちらを使えば手元で動きます。

ライセンス apache-2.0(商用利用可): 商用利用を含めて自由に利用・改変・再配布できます。再配布時にライセンス文と変更点の告知が必要で、特許の許諾条項があります。

量子化の圧縮率: Q8_0 は実測 8.51 bit/weight で、元の16bitの重みの約53%のサイズです(配布ファイルの実サイズから当サイトが算出)。

配布形式・当サイトが見つけた変換版・各推論エンジンの登録表を突き合わせた判定です。「確認できていない」は当サイトが見つけていないという意味で、存在しないことの断定ではありません。ライセンスの要約は法的助言ではないため、実際の利用にあたっては公開元の原文を確認してください。

派生版・量子化版

→ 横にスクロールできます

追記日 配布元 形式 リポジトリ 最小のVRAM階層(量子化・必要メモリの目安)
2026-11-17 unsloth GGUF(imatrix) unsloth/flint-GGUF Q2_K_XL 15.2GB(16GB VRAMで動作)
2026-11-17 lmstudio-community GGUF lmstudio-community/flint-GGUF Q4_K_M 27.0GB(32GB VRAMで動作)
2026-11-17 RecursiveSI MLX RecursiveSI/flint-int4 –
2026-11-17 mlx-community MLX mlx-community/flint-OptiQ-4bit MLX 4bit 30.7GB(32GB VRAMで動作)
2026-10-24 bartowski GGUF(imatrix) bartowski/RecursiveSI_flint-GGUF IQ2_S 15.0GB(16GB VRAMで動作)

各リポジトリの量子化とファイルサイズ:

  • unsloth/flint-GGUF の量子化: IQ1_M 10.6GB / IQ2_XXS 11.0GB / Q2_K_XL 12.6GB / IQ3_XXS 13.5GB / Q3_K_XL 17.2GB / Q4_K_XL 23.3GB / Q5_K_XL 27.9GB / Q6_K_XL 33.8GB / Q8_0 39.4GB / BF16 74.1GB
  • lmstudio-community/flint-GGUF の量子化: Q4_K_M 22.5GB / Q6_K 30.5GB / Q8_0 39.4GB
  • mlx-community/flint-OptiQ-4bit の量子化: MLX 4bit 25.6GB
  • bartowski/RecursiveSI_flint-GGUF の量子化: IQ2_XXS 11.2GB / IQ2_XS 11.9GB / IQ2_S 12.5GB / IQ2_M 13.9GB / Q2_K 14.4GB / IQ3_XXS 16.3GB / IQ3_XS 17.1GB / Q3_K_S 17.2GB / Q3_K_M 18.2GB / Q3_K_L 19.2GB / IQ3_M 19.6GB / IQ4_XS 20.9GB / Q4_0 21.3GB / Q4_K_S 22.2GB / Q4_1 23.5GB / IQ4_NL 23.6GB / Q4_K_M 23.6GB / Q4_K_L 25.4GB / Q5_K_S 26.6GB / Q5_K_M 28.7GB / Q6_K_S 31.3GB / Q6_K 32.8GB / Q6_K_L 34.4GB / Q8_0 39.4GB / BF16 74.2GB

この節は、記事公開後に見つかった変換版を当サイトが機械的に追記したものです。必要メモリは配布ファイルのサイズから算出した概算です。

記事(シリーズ自身のモデルを先に、新しい順)

リポジトリ

最終更新 2026-11-17(JST)。記事ログからコードが組み立てたページで、AIモデルが書いた文章はありません。