DeepSeek V4 Flashをllama.cppで動かせる？対応状況とベンチマーク設計
DeepSeek V4 Flashのllama.cpp対応状況を公式・本流・コミュニティに分け、モデル規模、必要メモリの下限、導入判断と再現可能な測定方法を解説します。
結論：本流はまだWIP
2026年7月12日時点で、DeepSeek V4 Flashをllama.cpp公式本流で安定運用できるとは言えません。公式GitHubではモデル対応要望とWIP discussionが公開され、コミュニティforkとGGUFによる実験は進んでいますが、本流の標準機能とは分けて扱う必要があります。
すぐに公式サポート経路で試すならvLLMが現実的です。llama.cppで試す場合は、検証専用環境、forkとコミットの固定、出力品質の比較が前提です。
DeepSeek V4 Flashの規模
DeepSeek公式モデルカードによると、V4 Flashは総284B、活性13BのMoEモデルで、最大1Mトークンのコンテキストを掲げています。Instruct重みはFP4とFP8の混合です。
| 項目 | V4 Flash |
|---|---|
| 総パラメータ | 284B |
| 活性パラメータ | 13B |
| 最大コンテキスト | 1Mトークン |
| 主な構造 | CSA + HCAのハイブリッドattention、MoE |
| 公式推論例 | vLLM |
MoEの「活性13B」は、重み全体を13B分だけ保存すればよいという意味ではありません。推論時に使うexpertは一部でも、全体の重みをどこかのRAM・VRAM・ストレージから利用可能にする必要があります。
理論上の重み容量
単純計算の下限は、284Bパラメータに1パラメータ当たりのビット数を掛けた値です。
| 仮定 | 重みだけの概算 | 注意 |
|---|---|---|
| 16bit | 約568GB | 実行バッファ等を含まない |
| 8bit | 約284GB | スケールやメタデータを含まない |
| 4bit | 約142GB | 実ファイルは量子化方式で増減 |
| 2bit | 約71GB | 品質低下と実装対応を要検証 |
これは10進GBの理論値で、KV cache、テンソルの一時領域、量子化スケール、OS、長文コンテキストを含みません。一般的な24GB GPU一枚へ収めるモデルではありません。
llama.cpp側の対応状況
公式リポジトリのModel request #22319とDeepSeek V4 Support (WIP) #22376では、混合FP4/FP8、新しいattention構造、GGUF変換などへの対応が議論されています。公開された動作報告の多くは、本流ではなく個別forkを使ったものです。
したがって、Hugging FaceにGGUFファイルが存在することだけでは「公式llama.cppで対応済み」の証明になりません。次の3点をそろえて確認します。
- どのllama.cpp fork・コミットを要求するGGUFか
- CUDA、Metal、CPUなど自分のバックエンドで実装されているか
- 短い生成だけでなく、長文・ツール利用・日本語で正しいか
公式ベンチマークをどう読むか
DeepSeek公式モデルカードには、FlashのNon-Think、Think High、Think Maxが分けて掲載されています。
| ベンチマーク | Non-Think | Think High | Think Max |
|---|---|---|---|
| MMLU-Pro | 83.0 | 86.4 | 86.2 |
| GPQA Diamond | 71.2 | 87.4 | 88.1 |
| LiveCodeBench | 55.2 | 88.4 | 91.6 |
| SWE-bench Verified | 73.7 | 78.6 | 79.0 |
| MRCR 1M | 37.5 | 76.9 | 78.7 |
これらは公式公開値であり、llama.cpp上の量子化GGUFで再測定した値ではありません。ランタイム、量子化、thinking設定、コンテキストが違えば結果も変わります。
llama.cppで検証するなら測る項目
llama-bench \
-m DeepSeek-V4-Flash.gguf \
-p 512,4096 \
-n 128 \
-r 5 \
-o jsonこのコマンドは、そのforkにllama-benchが正しく実装されている場合の測定テンプレートです。最低限、次を併記します。
- fork URLとコミット
- GGUFの配布元・量子化・SHA256
- CPU、RAM、GPU、VRAM、ドライバー
- ppとtgのtokens/s
- thinkingモードとsampling設定
- 日本語、コード、長文検索の正答例
導入判断
| 目的 | 推奨 |
|---|---|
| すぐAPIとして使いたい | 公式対応済みのvLLMを検討 |
| GGUF・CPU offloadを研究したい | llama.cpp forkを隔離環境で検証 |
| 一般的なPCでローカルLLMを使いたい | Qwen3.6など本流対応モデルを優先 |
| 本番サービス | 本流マージと回帰試験を待つ |
まとめ
DeepSeek V4 Flashは高性能ですが、284Bという総規模と新しい構造のため、llama.cppでは通常の新モデル追加より難しい対応になっています。2026年7月12日時点では「動作例あり」と「公式本流で安定対応」を混同せず、研究用途と本番用途を分けるのが妥当です。公式対応での実行はDeepSeek V4 FlashをvLLMで動かすガイドで扱います。
