Transformers連続バッチングのKV予算設計
Transformers v5.14.1のcontinuous batchingを対象に、入力buffer、Paged KV cache、予約枠の競合を整理し、TTFT・生成latency・throughput・VRAMを再現可能に比較する設計を解説します。
TAG
#推論最適化
推論最適化の導入、設定、ベンチマーク、活用方法に関する記事をまとめています。 全1件。
TAG
推論最適化の導入、設定、ベンチマーク、活用方法に関する記事をまとめています。 全1件。
Transformers v5.14.1のcontinuous batchingを対象に、入力buffer、Paged KV cache、予約枠の競合を整理し、TTFT・生成latency・throughput・VRAMを再現可能に比較する設計を解説します。