TAG

#量子化

量子化の導入、設定、ベンチマーク、活用方法に関する記事をまとめています。全1件。

AI2026/07/21

DwarfStarで45 TPS？DeepSeek V4 Flashの128GB推論

DwarfStarでDeepSeek-V4-Flashを128GB環境・45 TPSで動かし、Huihuiのabliterated版へ差し替えたX投稿を検証。1M文脈、KVキャッシュ、2bit量子化の注意点を解説します。