MLX LMのPrompt Cache入門:長文を再利用する
Apple Silicon MacでMLX LMの共通promptをcache fileへ保存し、別の質問で再利用する手順を解説します。確認方法、memoryとの関係、失敗したときの安全な戻し方も扱います。
TAG
MLX LMの導入、設定、ベンチマーク、活用方法に関する記事をまとめています。 全2件。
Apple Silicon MacでMLX LMの共通promptをcache fileへ保存し、別の質問で再利用する手順を解説します。確認方法、memoryとの関係、失敗したときの安全な戻し方も扱います。
MLX LMのPrompt Cacheとrotating KV cacheを混同せず、prefix一致、model、max-kv-size、memory、prefill時間を固定して再利用の適用範囲を評価する方法を解説します。