DeepSeek V4 FlashをvLLMで動かす：v0.25対応と公式ベンチマーク
DeepSeek V4 FlashをvLLMで起動する構成例、284B MoEと1M contextの要件、v0.25.0の最適化、公式品質スコアと性能測定方法を解説します。
ARTICLE ARCHIVE
記事一覧
ローカルAI、GPU、LLM、Dockerの実践記事を新しい順にまとめています。
vLLM本番APIサーバー運用：OpenAI互換・監視・負荷試験の実践
vLLMのOpenAI互換サーバーを安全に運用するため、起動、TLS、認証、Prometheus監視、vllm bench serve、更新と障害切り分けを解説します。
vLLM V1入門｜Prefix Cache・Prefill・投機的デコード
vLLM V1のscheduler、automatic prefix caching、chunked prefill、speculative decoding、KV cacheの関係と設定時の注意点を解説します。
vLLM v0.25.0の主要変更｜v0.27.1時点で再確認
vLLM v0.25.0で導入されたModel Runner V2全denseモデル標準化、旧PagedAttention削除、Transformers backend高速化を、v0.27.1時点の公式リリースで再確認します。
Qwen3.6 27Bと35B-A3Bをllama.cppで比較：GGUFベンチマーク手順
Qwen3.6-27Bと35B-A3Bの公式性能、モデル構造、GGUF容量を比較し、llama.cppで再現可能な速度・品質ベンチマークを行う方法を解説します。
DeepSeek V4 Flash×llama.cpp｜対応状況と測定方法
DeepSeek V4 Flashのllama.cpp本流対応を公式PRとリリースで確認し、モデル規模、GGUF準備、vLLMとの選択、再現可能な測定方法と未検証範囲を整理します。