vLLM Prefill/Decode分離の評価設計
vLLMの分離型Prefill/Decodeを導入判断するために、version、GPU、network、KV transferを固定し、TTFT、ITL、tail ITL、throughputを混同せず測る比較計画を解説します。
TAG
#Prefill
Prefillの導入、設定、ベンチマーク、活用方法に関する記事をまとめています。 全1件。
TAG
Prefillの導入、設定、ベンチマーク、活用方法に関する記事をまとめています。 全1件。
vLLMの分離型Prefill/Decodeを導入判断するために、version、GPU、network、KV transferを固定し、TTFT、ITL、tail ITL、throughputを混同せず測る比較計画を解説します。