llama-serverの連続バッチング設定｜並列リクエストの確認方法
UbuntuとNVIDIA GPUでllama-serverを運用する人向けに、--parallelと--cont-batchingの関係、コンテキスト配分、同時リクエストの確認手順と注意点を公式仕様に基づいて解説します。
ARTICLE ARCHIVE
記事一覧
ローカルAI、GPU、LLM、Dockerの実践記事を新しい順にまとめています。
LM Studioおすすめ設定｜メモリ別モデル比較
LM Studio 0.4.20を基準に、Context Length、GPU Offload、Flash Attention、KVキャッシュの設定と、8〜128GBの搭載メモリ別おすすめモデルを解説します。
DGX Spark 8台でGLM-5.2｜ピーク66 tok/sを検証
8台のDGX Sparkで753B級GLM-5.2を動かし、v18でprefill 1,329 tok/s、平均decode 35〜42 tok/s、ピーク66 tok/sを記録した公開例を、条件と注意点まで検証します。
128GB本命？Laguna S 2.1の118B-A8Bを検証
PoolsideのLaguna S 2.1は117.6B総・8.5B activeのMoE。DGX Spark、RTX PRO 6000、128GB Macでの容量、速度、ベンチマークを検証します。
DwarfStarで45 TPS？DeepSeek V4 Flashの128GB推論
DwarfStarでDeepSeek-V4-Flashを128GB環境・45 TPSで動かし、Huihuiのabliterated版へ差し替えたX投稿を検証。1M文脈、KVキャッシュ、2bit量子化の注意点を解説します。
4台のDGX Sparkが勝利？GLM-5.2 ローカル対クラウド
4台のDGX Sparkで動かした4bit版GLM-5.2が、クラウド版をSpark-Benchで91.5対86.8と上回ったX投稿を検証。スコア差の意味と注意点を解説します。