DwarfStarで45 TPS？DeepSeek V4 Flashの128GB推論
DwarfStarでDeepSeek-V4-Flashを128GB環境・45 TPSで動かし、Huihuiのabliterated版へ差し替えたX投稿を検証。1M文脈、KVキャッシュ、2bit量子化の注意点を解説します。
TAG
#DeepSeek V4
DeepSeek V4の導入、設定、ベンチマーク、活用方法に関する記事をまとめています。 全3件。
DGX Spark 2〜4台実例｜DeepSeek V4・GLM-5.2
DGX Sparkを2〜4台接続し、DeepSeek-V4-Flash、GLM-5.2、MiniMax M3を動かした公開実例を調査。量子化、文脈長、tokens/s、構成、再現上の注意点を比較します。
DGX Spark 1〜4台モデル容量比較｜何Bまで動く？
DGX Spark 1〜4台でDeepSeek-V4-FlashとGLM-5.2の公開重み・GGUF容量を整理。配布ファイルの表示サイズ、128GB/台の公称構成、200GbE接続の前提と未検証事項を確認します。動作保証ではありません。