ローカルLLMの返答が遅い？tokens/sと体感速度の違い
tokens/sのベンチマークと画面の待ち時間がずれる理由を、初回ロード、長い入力、思考表示、待ち行列、配信・描画に分けて解説。数値の読み方と、モデル変更前の確認順をまとめます。
TAG
#ベンチマーク
ベンチマークの導入、設定、ベンチマーク、活用方法に関する記事をまとめています。 全8件。
Qwen3.8-Flash-Next実測の要点：DGX2台はどう使う？
DGX Spark相当のGX10を2台使ったQwen3.8-Flash-Next実測の短縮版。独立構成とTP=2の速度差、各台2並列・4並列の使い分けを、主要な数値だけで説明します。
Qwen3.8-Flash-Next：DGX Spark 2台の各2・4並列とTP=2実測
ASUS GX10を2台使い、Qwen3.8-Flash-Nextの各台2・4並列とTP=2を実測。4K／32K入力での全体出力速度、TTFT、利用可能メモリを比較し、測定CSVと図を公開します。
Qwen3 4B・8B・30B-A3Bの選び方
Qwen3 4B・8B・30B-A3Bを公式品質表、32Kネイティブ／YaRN拡張context、量子化artifact容量から比較し、8GB GPU、16GB Mac、24GB GPU、H100で候補にできる範囲を判断します。
Qwen3 4B・8B・30B-A3B公式性能比較
Qwen3 4B・8B・30B-A3BのBF16と公式4bit品質表を同一指標で照合し、32K／YaRN拡張context、H20公開memory値、DenseとMoEの違いを分離して機器別の適用範囲を示します。
Gemma 3n E2B・E4B公式品質比較
Gemma 3n E2B ITとE4B ITのGoogle公表benchmarkを、variant、metric、n-shot、full precision、2GB／3GB memory、32K contextに固定し、小型端末へ適用できる範囲と未測定の速度を整理します。
vLLM Multi-LoRAのメモリと信頼境界検証
vLLM v0.26.0のMulti-LoRAを対象に、rank、同時adapter数、CPU保持数、request混在率を固定し、VRAM、TTFT、throughput、品質と動的loadの信頼境界を評価する机上検証計画です。
投機的decodeのAcceptance性能検証
llama.cpp b10328の投機的decodeを対象に、target／draft、prompt、sampling、同時数を固定し、acceptance、TTFT、総時間、memory、出力同等性を方式別に測る机上検証計画です。