MLX LMのPrompt Cache入門：長文を再利用する
Apple Silicon MacでMLX LMの共通promptをcache fileへ保存し、別の質問で再利用する手順を解説します。確認方法、memoryとの関係、失敗したときの安全な戻し方も扱います。
TAG
#KV Cache
KV Cacheの導入、設定、ベンチマーク、活用方法に関する記事をまとめています。 全6件。
MLX LMのKV Cache再利用を評価する設計
MLX LMのPrompt Cacheとrotating KV cacheを混同せず、prefix一致、model、max-kv-size、memory、prefill時間を固定して再利用の適用範囲を評価する方法を解説します。
vLLMのPrefill/Decode分離を理解する入門
vLLMで長い入力を処理するPrefillと、応答を1 tokenずつ返すDecodeを分ける理由を解説します。公式demoを安全に読む順序、KV cache転送の確認点、単一構成へ戻す判断を学べます。
vLLM Prefill/Decode分離の評価設計
vLLMの分離型Prefill/Decodeを導入判断するために、version、GPU、network、KV transferを固定し、TTFT、ITL、tail ITL、throughputを混同せず測る比較計画を解説します。
Transformers連続バッチングのKV予算設計
Transformers v5.14.1のcontinuous batchingを対象に、入力buffer、Paged KV cache、予約枠の競合を整理し、TTFT・生成latency・throughput・VRAMを再現可能に比較する設計を解説します。
DwarfStarで45 TPS？DeepSeek V4 Flashの128GB推論
DwarfStarでDeepSeek-V4-Flashを128GB環境・45 TPSで動かし、Huihuiのabliterated版へ差し替えたX投稿を検証。1M文脈、KVキャッシュ、2bit量子化の注意点を解説します。