DeepSeek V4 FlashをvLLMで動かす：v0.25対応と公式ベンチマーク

結論

DeepSeek V4 FlashはvLLMで公式サポートされており、2026年7月のv0.25.0ではkernel、parser、AMD、分散KV transferまで改善が続いています。ただし総284Bの巨大MoEであり、一般的な単一GPU向けモデルではありません。

1M contextはモデル仕様上の上限で、起動時から確保する推奨値ではありません。まず実用長で動作と品質を確認し、必要に応じて段階的に伸ばします。

モデル仕様

項目	内容
総パラメータ	284B
活性パラメータ	13B
context	最大1M
attention	CSA + HCAのhybrid
Instruct重み	FP4 + FP8 mixed
ライセンス	MIT

活性13Bは計算されるexpertの規模で、全重みの保存容量ではありません。4bitだけで単純計算しても重み下限は約142GBで、実行バッファやKV cacheは別に必要です。

vLLMでの起動

DeepSeek公式モデルカードには次の基本形が掲載されています。

vllm serve "deepseek-ai/DeepSeek-V4-Flash"

実運用ではハードウェアに合わせてtensor parallel、model length、量子化backend、attention backendを指定します。DeepSeek V4はハードウェア別実装があるため、NVIDIA・AMD・Intel XPUで同じ引数・同じ性能になるとは限りません。

vllm serve deepseek-ai/DeepSeek-V4-Flash \
  --tensor-parallel-size 8 \
  --max-model-len 32768 \
  --host 127.0.0.1 \
  --port 8000

上は構成テンプレートであり、8 GPUなら必ず収まるという保証ではありません。使用するcheckpoint形式とGPU容量に応じて公式recipeを優先してください。

v0.25.0での進展

• DeepSeek V4向けtoken-to-request index cacheのkernel高速化
• MXFP8 kernel改善
• DeepSeek V4 parserのStreaming Parser Engine移植
• AMD AITERのMoE最適化
• Mooncake connectorのMLA対応
• sparse MLA backendの追加・改善

vLLM teamのDeepSeek V4実装解説では、hybrid KV cache、kernel fusion、disaggregated servingが主要課題として説明されています。

公式品質ベンチマーク

指標	Non-Think	Think High	Think Max
MMLU-Pro	83.0	86.4	86.2
GPQA Diamond	71.2	87.4	88.1
LiveCodeBench	55.2	88.4	91.6
SWE-bench Verified	73.7	78.6	79.0
Terminal-Bench 2.0	49.1	56.6	56.9

これはDeepSeek公式公開値です。自分のvLLM構成のtokens/s、TTFT、量子化後の品質を示す値ではありません。Think Maxは公式カードで少なくとも384K contextが推奨されているため、短いcontext設定で同じ条件を再現したとは言えません。

性能測定

vllm bench serve \
  --backend openai-chat \
  --base-url http://127.0.0.1:8000 \
  --model deepseek-ai/DeepSeek-V4-Flash \
  --dataset-name random \
  --num-prompts 200 \
  --request-rate 2

次を必ず記録します。

• vLLM、PyTorch、CUDA/ROCm、driver
• GPU型番・台数・接続
• checkpointと量子化
• attention backend、TP/DP/EP設定
• 入力・出力長、thinking mode
• TTFT、TPOT、throughput、OOM・error率

llama.cppとの違い

vLLMは公式モデルカードの起動例に含まれ、上流でDeepSeek V4専用実装が継続改善されています。一方、2026年7月12日時点のllama.cpp本流対応はWIPです。GGUFやCPU offloadの実験はllama.cpp対応状況の記事で分けて解説しています。

まとめ

DeepSeek V4 Flashを現在の公式経路でセルフホストするなら、vLLMが有力です。ただし「Flash」という名前に反して総284Bの大規模モデルです。小さなcontext、固定version、公式recipeから始め、品質ベンチマークと配信性能を別々に測ってください。

公式資料

• DeepSeek-V4-Flash公式モデルカード
• vLLM DeepSeek V4 implementation
• vLLM v0.25.0 release