vLLM v0.32.0公開：PythonとCORSの更新前確認 2026年10月19日
vLLM v0.32.0は2026年10月18日に公開。Python 3.10の終了、CORS既定値の変更、依存条件を公式releaseから確認し、更新前に環境差分を照合する順番をまとめます。
TAG
#vLLM
vLLMの導入、設定、ベンチマーク、活用方法に関する記事をまとめています。 全24件。
Qwen3.8-Flash-Next：DGX Spark 2台の各2・4並列とTP=2実測
ASUS GX10を2台使い、Qwen3.8-Flash-Nextの各台2・4並列とTP=2を実測。4K／32K入力での全体出力速度、TTFT、利用可能メモリを比較し、測定CSVと図を公開します。
GLM-5.3-FlashのGPU・API選び
GLM-5.3-Flashの320B総parameter・18B active、FP8／BF16、Transformers 5.16.1・vLLM・SGLang対応を確認し、複数GPUとAPIの分岐を判断します。
GLM-5.3-Flashのdtype・runtime比較
GLM-5.3-FlashのFP8／BF16をrevision固定し、Transformers 5.16.1、vLLM、SGLangと複数GPU・APIの適用範囲を未測定の性能と分けて比較します。
Llama 4 Scout・MaverickのH100選び
Llama 4 ScoutとMaverickを、正確なmodel ID、109B／400B total、10M／1M context、Int4／BF16／FP8、H100構成、画像入力、Community Licenseから選ぶ実用ガイドです。
Llama 4 Scout・MaverickのH100適性比較
Llama 4 ScoutとMaverickを、static model revision、109B／400B total、Int4／BF16／FP8、H100 80GB／DGX host、10M／1M context、vLLM／Transformers条件へ固定し、未測定の性能と機器適性を分けます。
Mistral Small 4のAPI・GPU選び
Mistral Small 4のAPI、BF16、NVFP4、EAGLEを、119B、256K context、公式artifact容量、H100／H200／B200要件から選ぶ実用ガイドです。未測定の速度とpeak memoryも分けます。
vLLM 0.28がKimi-K3とGPU対応を更新
2026年8月26日公開のvLLM 0.28.0を公式releaseで確認し、Kimi-K3・DeepSeek V4・ROCm対応、KV offload、互換性変更、更新前に固定すべき条件を整理します。
gpt-oss 20b・120bのruntime機器適性比較
gpt-oss-20bと120bのMXFP4 weight、128K context、Harmony、Metal・vLLM・ONNX Runtimeを固定し、16GB、H100 80GB、Windowsへの適用範囲と未測定のpeak memory・速度を比較します。
Gemma 4 12Bと26B-A4Bの選び方
Gemma 4 12Bと26B-A4Bを、32GB Mac、24GB GPU、H100 80GBで選ぶ実用ガイドです。公式memory表、現行revision、対応runtime、未実測範囲を分けて判断できます。
Gemma 4 12Bと26B-A4Bの機器適性比較
Gemma 4 12Bと26B-A4Bの現行revision、BF16・量子化artifact、MLX・Transformers・vLLM、公式load memoryを固定し、32GB Mac、24GB GPU、H100へ適用できる判断と未測定範囲を比較します。
vLLMでLoRAをリクエスト別に切り替える入門
vLLM v0.26.0で互換LoRA adapterを起動時に固定読込し、モデル一覧と同じAPIからbase／LoRAを切り替える最短手順、成功確認、失敗時の戻し方を解説します。
vLLM Multi-LoRAのメモリと信頼境界検証
vLLM v0.26.0のMulti-LoRAを対象に、rank、同時adapter数、CPU保持数、request混在率を固定し、VRAM、TTFT、throughput、品質と動的loadの信頼境界を評価する机上検証計画です。
ChatGPT広告が日本開始、vLLM 0.27更新
2026年8月12日に確認した公式更新から、ChatGPT広告の日本開始、vLLM 0.27.0の破壊的環境変更、llama.cppのEXAONE修正、Ollamaの新architecture対応を整理します。
vLLMのPrefill/Decode分離を理解する入門
vLLMで長い入力を処理するPrefillと、応答を1 tokenずつ返すDecodeを分ける理由を解説します。公式demoを安全に読む順序、KV cache転送の確認点、単一構成へ戻す判断を学べます。
vLLM Prefill/Decode分離の評価設計
vLLMの分離型Prefill/Decodeを導入判断するために、version、GPU、network、KV transferを固定し、TTFT、ITL、tail ITL、throughputを混同せず測る比較計画を解説します。
DGX Spark 8台でGLM-5.2｜ピーク66 tok/sを検証
8台のDGX Sparkで753B級GLM-5.2を動かし、v18でprefill 1,329 tok/s、平均decode 35〜42 tok/s、ピーク66 tok/sを記録した公開例を、条件と注意点まで検証します。
DGX Spark 2〜4台実例｜DeepSeek V4・GLM-5.2
DGX Sparkを2〜4台接続し、DeepSeek-V4-Flash、GLM-5.2、MiniMax M3を動かした公開実例を調査。量子化、文脈長、tokens/s、構成、再現上の注意点を比較します。
Qwen3.6 27B vs 35B-A3BをvLLMで比較：品質・VRAM・速度の測り方
Qwen3.6-27Bと35B-A3BをvLLMで比較し、公式品質スコア、denseとMoEの違い、FP8容量、TTFT・TPOT・throughputの測定方法を解説します。
DeepSeek V4 FlashをvLLMで動かす：v0.25対応と公式ベンチマーク
DeepSeek V4 FlashをvLLMで起動する構成例、284B MoEと1M contextの要件、v0.25.0の最適化、公式品質スコアと性能測定方法を解説します。
vLLM本番APIサーバー運用：OpenAI互換・監視・負荷試験の実践
vLLMのOpenAI互換サーバーを安全に運用するため、起動、TLS、認証、Prometheus監視、vllm bench serve、更新と障害切り分けを解説します。
vLLM V1入門｜Prefix Cache・Prefill・投機的デコード
vLLM V1のscheduler、automatic prefix caching、chunked prefill、speculative decoding、KV cacheの関係と設定時の注意点を解説します。
vLLM v0.25.0の主要変更｜v0.27.1時点で再確認
vLLM v0.25.0で導入されたModel Runner V2全denseモデル標準化、旧PagedAttention削除、Transformers backend高速化を、v0.27.1時点の公式リリースで再確認します。
NVIDIA DGX Spark向け vLLM + DFlash/DDTree 手順書
NVIDIA DGX SparkでvLLM、DFlash、DDTreeを試すための環境要件、セットアップ手順、検証ポイントを整理した実践メモ。