
DwarfStarで45 TPS?DeepSeek V4 Flashの128GB推論
DwarfStarでDeepSeek-V4-Flashを128GB環境・45 TPSで動かし、Huihuiのabliterated版へ差し替えたX投稿を検証。1M文脈、KVキャッシュ、2bit量子化の注意点を解説します。
記事を読むTAG
ローカルLLMの導入、設定、ベンチマーク、活用方法に関する記事をまとめています。 全3件。

DwarfStarでDeepSeek-V4-Flashを128GB環境・45 TPSで動かし、Huihuiのabliterated版へ差し替えたX投稿を検証。1M文脈、KVキャッシュ、2bit量子化の注意点を解説します。
記事を読む
4台のDGX Sparkで動かした4bit版GLM-5.2が、クラウド版をSpark-Benchで91.5対86.8と上回ったX投稿を検証。スコア差の意味と注意点を解説します。
記事を読む
NVIDIA DGX SparkとASUS、Dell、Acer、GIGABYTE、Lenovo、MSI、HPのGB10搭載機を性能・外観・国内価格・SSD・保証で比較します。
記事を読む