4台のDGX Sparkが勝利？GLM-5.2 ローカル対クラウド
CHATGPT / AIChatGPTなどの生成AIを活用して運営・記事制作・更新を行っています。制作方針
4台のDGX Sparkで動かした4bit版GLM-5.2が、クラウド版をSpark-Benchで91.5対86.8と上回ったX投稿を検証。スコア差の意味と注意点を解説します。
先に結論
- X投稿では、同じGLM-5.2を同じ74タスクで評価し、4台のDGX Sparkが91.5、クラウド版が86.8と報告された
- 差は4.7ポイント。ローカル4bit版が大きく崩れず、特定の配信構成ではクラウド経由を上回り得ることを示す興味深い結果
- ただし「同じモデル名」でも、量子化、推論エンジン、プロバイダー、プロンプト処理、サンプリング設定は同じとは限らない
- 74タスクを各2回測る個人運営ベンチマークであり、DGX Sparkが一般にクラウドGPUより高性能・高精度だと証明した結果ではない
重要なのは「机の上の小型クラスタがデータセンターを倒した」という勝敗より、モデルの実用品質は重みだけでなく、配信スタックをどこまで固定できるかでも変わるという点です。
情報監査日: 2026年7月21日
数値の扱い: 91.5と86.8はWäsche氏（@WescheNex1q）のX投稿による自己申告です。当サイトで再測定した値ではありません。
公開データ: 確認時点のSpark-Bench公開CSVでは、この2つのGLM-5.2ランに対応する詳細行を特定できませんでした。ランID、全タスク結果、チェックポイント、クラウド側プロバイダーが公開されるまでは暫定結果として読みます。
X投稿が報告した内容
投稿の比較対象は、ローカルのDGX Spark 4台で動かすGLM-5.2 4bit版と、クラウド経由のGLM-5.2です。同じ74タスクの評価で、ローカル91.5、クラウド86.8。投稿には「753Bパラメータ、200Kコンテキスト」とあり、デスク上の構成が勝ったとまとめられています。
| 比較項目 | ローカル | クラウド |
|---|---|---|
| モデル名 | GLM-5.2 | GLM-5.2 |
| 実行場所 | DGX Spark 4台 | データセンター / API |
| 投稿にある形式 | 4bit量子化 | 詳細不明 |
| 投稿にある文脈長 | 200K | 詳細不明 |
| Spark-Bench表示値 | 91.5 | 86.8 |
| 差 | ローカルが＋4.7ポイント | |
4.7ポイントは86.8を基準にすると約5.4%の相対差ですが、正答率が5.4%上がったという意味ではありません。Spark-BenchのTrueScoreは、品質、キャリブレーション、再現性、効率、応答性を重み付けした複合指標です。
Spark-Benchとは
Spark-Benchは、DGX Sparkの運用者が公開しているLLM評価です。現在のv6.4cは74シナリオを使い、ツール呼び出し、指示追従、JSONなどの構造化出力、長文検索、安全性、堅牢性、複数ステップのエージェント処理、実行可能なPython・SQL、HTMLの視覚成果物などを測ります。
公開リポジトリの評価方法では、原則として各シナリオを2回実行します。採点はLLM審査員ではなく、単体テスト、JSON Schema、ツール引数の一致、コード実行、画像のピクセル評価などを使います。部分点もあるため、単純な74問の正答率ではありません。
| TrueScoreの要素 | 重み | 主に見るもの |
|---|---|---|
| Quality | 55% | タスクの正しさ |
| Calibration | 25% | プロンプト注入耐性、過剰拒否、堅牢性 |
| Reliability | 15% | 繰り返し実行の一貫性 |
| Efficiency | 1.5% | 推論を含む出力の効率 |
| Responsiveness | 3.5% | 応答時間 |
品質が中心とはいえ、合計5%は効率と応答性です。91.5対86.8だけでは、どのタスクで差が付き、品質、再現性、速度のどれが勝因だったのかはわかりません。比較を確定するには内訳が必要です。
4台で753B・4bit・200Kが成立する理由
GLM-5.2公式モデルは753BパラメータのMoEです。すべての重みを保持する必要はありますが、1トークンごとに全パラメータを同時使用するモデルではありません。4bit級へ量子化した公開例ではチェックポイントが約410GBまで縮小され、4台のDGX Sparkへ分散できる大きさになります。
DGX Sparkは1台128GBの統合メモリを搭載するため、4台では物理メモリの合計が512GBです。ただし、OSから512GBの1台として見えるわけではありません。Tensor Parallel、Decode Context Parallel、200GbEのConnectX-7 / RoCE通信などを使って、重みとKV cacheを4ノードへ分けます。
GLM-5.2を4台・128Kで動かした公開例では、NVFP4、vLLMのTP=4 / DCP=4、MTPを使い、約24 tok/sが報告されています。今回の200KはさらにKV cacheが必要なため、量子化方式、KV cache精度、同時系列数、各ノードの予約メモリまで固定しないと再現できません。
なぜ「同じモデル」でスコアが変わるのか
1. 同じモデル名でも重みが同一とは限らない
ローカル側は4bitと明記されていますが、クラウド側の量子化方式やチェックポイントrevisionは投稿画像から確認できません。4bitでもNVFP4、AWQ、Int4-Int8混在、expert削減の有無で出力は変わります。
2. クラウドのモデル経路が固定されない場合がある
Spark-Benchの過去のGLM-5.2公開ランにはOpenRouterのエンドポイントが使われています。OpenRouterの公式説明では、既定で価格と稼働状況を基に複数プロバイダーへ負荷分散し、失敗時はフォールバックします。プロバイダーを固定しなければ、同じモデルIDでもリクエストごとに配信基盤が変わる可能性があります。
3. 推論エンジンとチャットテンプレートが違う
vLLMのfork、MTP、tool parser、system prompt、chat template、thinkingのON/OFF、temperature、top-p、seed、最大出力長が違えば、重みが同じでも結果は変わります。ローカルは全スタックを固定できるため、特定の評価では再現性を高めやすいのが利点です。
4. 74タスク・2回では偶然差を除ききれない
各タスク2回は一発勝負より有用ですが、4.7ポイントの差が安定して続くか判断するには少ない回数です。seedを変えた複数ランと、タスク別の信頼区間が必要です。
この結果から言えること、言えないこと
| 言えること | まだ言えないこと |
|---|---|
| 4bit版GLM-5.2を4台の小型機で実用評価する段階に来た | 4bit化で品質劣化がまったくない |
| 固定したローカル配信構成がクラウド経路を上回る場合がある | DGX Sparkの演算性能がデータセンターGPUより高い |
| 再現性を自分で管理できることはローカル運用の価値 | あらゆるベンチマークや実務でローカルが勝つ |
| APIのモデル名だけでは公平な比較条件にならない | 91.5と86.8の差が統計的に有意 |
とくに「机が勝った」を速度比較と読まないことが重要です。DGX Sparkは1台273GB/sのメモリ帯域で、4台ではノード間通信も入ります。大規模なデータセンターGPUより低遅延・高スループットという意味ではなく、今回のベンチマークの複合スコアで上回ったという主張です。
再現性を確認するために必要な情報
- 両ランのrun_idと全74タスク結果
- モデルのリポジトリ、revision、ファイルhash
- 4bit方式: NVFP4 / AWQ / 混合量子化、expert削減の有無
- 配信構成: vLLMのcommit、TP / EP / DCP、MTP、KV cache精度
- 生成条件: thinking、temperature、top-p、seed、最大出力長
- クラウド経路: OpenRouterなら実プロバイダーとフォールバックの有無
- 統計: 2回だけでなく複数seedでの平均、ばらつき、タスク別差分
これらがそろえば、「クラウドの経路差で負けたのか」「ローカル設定が優れていたのか」「単なる試行差なのか」を切り分けられます。
よくある質問
4bit版がクラウド版より高品質ということですか？
今回の投稿だけでは確定できません。4bit側が91.5だったという報告は興味深いものの、クラウド側の重み、プロバイダー、生成条件が未確認です。量子化方式の優劣を判断するには同一checkpointから作った4bit版と高精度版を同じ環境で比較します。
DGX Sparkを4台買えばGLM-5.2を200Kで動かせますか？
容量だけなら候補になりますが、購入だけで自動的に動くわけではありません。4台のOSとCUDA環境、200GbEネットワーク、対応vLLM fork、量子化チェックポイント、分散設定が必要です。公開済みの128K・800K実例はDGX Spark 2〜4台の大型モデル実例で比較しています。
クラウドよりローカルを選ぶべきですか？
継続的に大量利用し、データを外へ出さず、モデルと配信設定を固定したいならローカルの価値があります。利用量が少ない、初期費用やクラスタ保守を避けたい、最新モデルをすぐ切り替えたい場合はクラウドが合理的です。
まとめ
4台のDGX Sparkで動かした4bit版GLM-5.2が、Spark-Benchでクラウド版を91.5対86.8と上回ったというX投稿は、ローカルLLMの現在地を示す魅力的な実例です。753B級でも、4bit量子化と4ノード分散により、200Kコンテキストを視野に入れた評価が机の上で行われています。
一方、4.7ポイント差の原因はハードウェアだけではありません。量子化、推論エンジン、チャットテンプレート、生成条件、クラウドのプロバイダー経路まで含めて初めて「同じモデル」の公平な比較になります。現段階の正確な読み方は、ローカルが常にクラウドを超えたのではなく、固定・最適化したローカル配信がクラウドの一経路を上回る可能性を示した、です。
参照資料
- Wäsche（@WescheNex1q）：元投稿のアカウント（2026年7月21日確認）
- Spark-Bench：DGX Spark向けLLMベンチマーク（v6.4c、2026年7月21日確認）
- Weschera / spark-bench：評価コードと方法（2026年7月10日更新版、7月21日確認）
- Z.ai：GLM-5.2公式モデルカード（2026年6月16日公開、7月21日確認）
- NVIDIA：DGX Spark Hardware Overview（2026年7月14日更新、7月21日確認）
- OpenRouter：Provider Routing（2026年7月21日確認）
- NVIDIA Developer Forums：4台のDGX SparkでGLM-5.2 NVFP4を128K・約24 tok/sで動かした実例（2026年7月3日）
