DGX Sparkのメモリ表示を読む｜GPU使用量とswapの確認順
DGX SparkでcudaMemGetInfoが示す空き容量とUMAのswap回収をどう読み分けるかを解説。実機の割り当てを保証せず、仕様確認・Linuxのメモリ観測・対象アプリでの起動確認を順に整理します。
TAG
#メモリ
メモリの導入、設定、ベンチマーク、活用方法に関する記事をまとめています。 全3件。
ローカルLLMの機材とモデル選び｜買う前に確認すること
Mac・Windows・LinuxでローカルLLMを試す前に、手持ちのメモリとGPU、モデル容量、用途、言語、量子化、ライセンスの順で候補を絞る方法を解説します。
Macが重いときのメモリの読み方｜KVキャッシュとswap
Mac上のローカルLLMが重くなったとき、アクティビティモニタのメモリプレッシャーやswapと、llama.cppのcontext・KV cacheを区別して原因を絞る方法を解説します。