DeepSeek V4 FlashをvLLMで動かす：v0.25対応と公式ベンチマーク

情報再監査日: 2026年8月12日。DeepSeek公式model card（最終更新2026年6月22日）、vLLM v0.25.0 releaseとversion固定実装資料を再確認しました。
検証区分: 公式仕様・公開benchmark・実装資料による机上調査です。この記事ではDeepSeek V4 Flashを実機起動せず、配信速度や最大contextを再現していません。

モデル仕様

活性13Bは計算されるexpertの規模で、全重みの保存容量ではありません。4bitだけで単純計算しても重み下限は約142GBで、実行バッファやKV cacheは別に必要です。

vLLMでの起動

vLLMの公式実装がmodel registryへDeepSeek V4を収録しているため、最小形は次のように書けます。ただしDeepSeek公式model cardは現在、local deploymentの詳細を付属inference資料へ案内しており、この1行だけをhardware別の検証済みrecipeとは扱えません。

vllm serve "deepseek-ai/DeepSeek-V4-Flash" --host 127.0.0.1

実運用ではハードウェアに合わせてtensor parallel、model length、量子化backend、attention backendを指定します。DeepSeek V4はvLLM内でもhardware別実装へ分かれるため、NVIDIA・AMD・Intel XPUで同じ引数・同じ性能になるとは限りません。

vllm serve deepseek-ai/DeepSeek-V4-Flash \
  --tensor-parallel-size 8 \
  --max-model-len 32768 \
  --host 127.0.0.1 \
  --port 8000

上は構成テンプレートであり、8 GPUなら必ず収まるという保証ではありません。使用するcheckpoint形式とGPU容量に応じて公式recipeを優先してください。

v0.25.0での進展

• DeepSeek V4向けtoken-to-request index cacheのkernel高速化
• MXFP8 kernel改善
• DeepSeek V4 parserのStreaming Parser Engine移植
• AMD AITERのMoE最適化
• Mooncake connectorのMLA対応
• sparse MLA backendの追加・改善

vLLM teamのDeepSeek V4実装解説では、hybrid KV cache、kernel fusion、disaggregated servingが主要課題として説明されています。

公式品質ベンチマーク

これはDeepSeek公式公開値です。自分のvLLM構成のtokens/s、TTFT、量子化後の品質を示す値ではありません。Think Maxは公式カードで少なくとも384K contextが推奨されているため、短いcontext設定で同じ条件を再現したとは言えません。

性能測定

vllm bench serve \
  --backend openai-chat \
  --endpoint /v1/chat/completions \
  --base-url http://127.0.0.1:8000 \
  --model deepseek-ai/DeepSeek-V4-Flash \
  --dataset-name random \
  --num-prompts 200 \
  --request-rate 2 \
  --metric-percentiles 50,95,99

次を必ず記録します。

• vLLM、PyTorch、CUDA/ROCm、driver
• GPU型番・台数・接続
• checkpointと量子化
• attention backend、TP/DP/EP設定
• 入力・出力長、thinking mode
• TTFT、TPOT、throughput、OOM・error率

llama.cppとの違い

vLLM v0.25.0はmodel registryにDeepSeek V4専用実装を含みますが、DeepSeek公式model cardが案内する推論手順は付属repositoryのinference/README.mdであり、vLLMの起動例ではありません。llama.cppもPR #24162が2026年6月29日にmergeされ、本流へmodel実装が入りました。ただし、どちらも任意のcheckpoint、量子化、backend、最大contextでの安定動作を保証しません。GGUFやCPU offloadの検証方法はllama.cpp対応状況の記事で分けて解説しています。

まとめ

DeepSeek V4 FlashをvLLM上流の対応実装でセルフホストする構成は有力です。ただし「Flash」という名前に反して総284Bの大規模モデルです。小さなcontext、固定version、公開された実装資料から始め、品質ベンチマークと配信性能を別々に測ってください。

公式資料

• DeepSeek-V4-Flash公式モデルカード
• vLLM DeepSeek V4 implementation
• vLLM v0.25.0 release
• llama.cpp DeepSeek V4対応PR #24162