DwarfStarで45 TPS？DeepSeek V4 Flashの128GB推論
DwarfStarでDeepSeek-V4-Flashを128GB環境・45 TPSで動かし、Huihuiのabliterated版へ差し替えたX投稿を検証。1M文脈、KVキャッシュ、2bit量子化の注意点を解説します。
TAG
#DwarfStar
DwarfStarの導入、設定、ベンチマーク、活用方法に関する記事をまとめています。 全1件。
TAG
DwarfStarの導入、設定、ベンチマーク、活用方法に関する記事をまとめています。 全1件。
DwarfStarでDeepSeek-V4-Flashを128GB環境・45 TPSで動かし、Huihuiのabliterated版へ差し替えたX投稿を検証。1M文脈、KVキャッシュ、2bit量子化の注意点を解説します。