GLM-5.3-Flashのdtype・runtime比較
CHATGPT / AIChatGPTなどの生成AIを活用して運営・記事制作・更新を行っています。制作方針
GLM-5.3-FlashのFP8／BF16をrevision固定し、Transformers 5.16.1、vLLM、SGLangと複数GPU・APIの適用範囲を未測定の性能と分けて比較します。
先に結論
calendarの判断: 320B総parameter／18B activeのGLM-5.3-Flashは、NVIDIA複数GPUと対応runtimeを用意でき、reasoning設定を管理したい人の候補にする。単一consumer GPUやmemory条件を満たさない環境はAPIまたは小型modelへ振り分ける。
対象model: zai-org/GLM-5.3-Flash@main-2026-08-27
zai-org/GLM-5.3-Flash-BF16@main-2026-08-27
対象機器: NVIDIA複数GPU／合計VRAM別／Transformers 5.16.1 FP8またはBF16
NVIDIA複数GPU server／vLLMまたはSGLang backend
Z.ai API／reasoning_effort別
対応表は「動かせる候補」を示します。KFBの実行ログはなく、速度・peak memory・電力・品質の比較結果は確定していません。
確認日: 2026年9月3日（Asia/Tokyo）
検証区分: 公式model cardと公式repositoryのrelease／PRを照合した公開結果の机上調査です。
測定区分: benchmarkStatusはnot-measured。公開評価条件はdevice benchmarkへ置き換えていません。
未検証: FP8／BF16の実ファイル容量、GPU別TTFT・prefill・decode、peak VRAM、power、API料金。
比較対象と測定条件
| 項目 | 固定した値 | 確認元 |
|---|---|---|
| model／revision／artifact | zai-org/GLM-5.3-Flash@main-2026-08-27、zai-org/GLM-5.3-Flash-BF16@main-2026-08-27、Hugging FaceのSafetensors系artifact | 公式model card／BF16 model card |
| parameter／active parameter | 320B total／18B activeというZ.ai説明。HF metadataの321B params表示とは区別 | 公式model cardの本文とartifact metadata |
| runtime／backend／version | Transformers 5.16.1 FP8またはBF16、vLLM、SGLang。各backendのGPU版は固定していない | 公式release／公式PR／model card |
| OS／driver／hardware | NVIDIA複数GPU server、合計VRAM別。OS、driver、GPU型番、枚数は公開比較条件として未固定 | calendarのdevice target。実測なし |
| context／input・output token／prompt | 評価注記には300,000、1M、400K、164Kなど個別条件があるが、今回のdevice測定条件ではない | model cardの評価脚注 |
| batch／concurrency／warm-up／反復 | 未設定。KFBのbenchmark実行・ログ保存なし | 適用対象外 |
| sampling／reasoning | 公式注記の評価例はtaskごとに異なる。運用ではreasoning_effort low／high／maxを固定し、未指定時max、clear_thinking既定値falseを記録 | model cardの運用注記・脚注 |
Transformers v5.16.1は2026年8月26日公開、GLM-5.3-Flash対応PRは同日mergeです。現在のsource windowは8月27日更新のmodel card／revisionを使うため、8月26日の資料は「対応が追加された履歴」としてリンクします。
ベンチマーク結果
比較可能な公開device benchmarkまたはKFB実測を確認できないため、結果表は未測定です。モデルカードにある評価値を、FP8とBF16を特定GPUで動かした速度やmemoryの順位へ変換しません。
| 測定区分 | model／device | TTFT | decode tok/s | peak memory | quality | 出典 |
|---|---|---|---|---|---|---|
| 公式仕様 | GLM-5.3-Flash／BF16、FP8、NVIDIA複数GPU候補 | 未公表 | 未公表 | 一律値未公表 | 公開評価はあるが、今回のdevice条件と同一ではない | model card |
| KFB実測 | 該当なし | 未測定 | 未測定 | 未測定 | 未測定 | 実行ログなし |
従って「最速」「低memory」「高品質」という勝敗は記載しません。18B active、dtype名、対応runtimeは仕様値であり、速度・peak memory・安定性の測定値ではありません。
機器ごとの適性
| 機器／memory | 対象model | 判断段階 | 向く用途 | 避ける条件 |
|---|---|---|---|---|
| NVIDIA複数GPU／合計VRAM別／Transformers 5.16.1 FP8またはBF16 | 両variant | 容量上の候補 | dtype・revision・reasoning設定を固定した開発 | GPU枚数、VRAM、driver、dtypeを記録できない |
| NVIDIA複数GPU server／vLLMまたはSGLang backend | 両variant | 対応表上の候補 | server APIとして提供し、backendを固定する運用 | 対応runtimeを最新版タグだけで判断し、revisionを固定しない |
| Z.ai API／reasoning_effort別 | 提供されるGLM-5.3-Flash | GPU不足時の代替候補 | low／high／maxを比較する初期検証 | 現行価格、地域差、保存・利用条件が未確認 |
この表は、公式に列挙されたruntimeとcalendarの対象機器から、起動候補の境界だけを示しています。実ファイル容量を足し合わせた必要VRAMの推定、active parameterからの速度推定、別GPUへの換算は行っていません。
一般的なmemoryの考え方はMacのメモリ別ローカルLLM整理、GPU環境の構成比較はハイエンドLLMワークステーション比較、容量計算の注意点はローカルLLMのVRAM計算を参照できます。いずれも本稿のGLM-5.3-Flash実測値ではありません。
結果を適用できる範囲
- 確認済み事実: model ID、MIT license、320B total／18B activeという説明、FP8／BF16 artifact、Transformers・vLLM・SGLangのmodel card記載、reasoning_effortの値と既定値。
- 測定者の主張: Z.aiがmodel cardで示すGLM-5.2比の性能・価格と評価脚注。今回のGPU条件での勝敗には使わない。
- KFBの判断: 単一consumer GPUを容量候補にせず、複数GPUを用意できなければAPIまたは小型modelへ分ける。これはcalendarに基づく安全側の選択。
別revision、別量子化、別context、別backend、別GPUへは一般化できません。APIの提供地域・料金・データ取扱、FP8／BF16のload可否、GPU世代別の必要枚数は未確認です。
再測定する方法
今回はKFBの再測定結果を作成しません。将来測定する場合は、model IDとfull commit、artifact、runtime／backend版、dtype、GPU型番・枚数・VRAM、OS／driver、context、input／output token、prompt template、sampling、batch／concurrency、warm-up、反復回数を先に固定します。TTFT、prefill tok/s、decode tok/s、inter-token latency、request throughput、peak VRAM、power、qualityを別列で保存し、FP8とBF16の異なる条件を同一rankingにしません。
モデルと機器を先に選ぶ
導入判断の短い手順はGLM-5.3-FlashのGPU・API選びにまとめています。複数GPUを用意できるか、APIへ切り替えるかを先に決めてからdtypeとruntimeを選びます。
参考資料
- Z.ai GLM-5.3-Flash model card（2026年8月27日更新をrevision・runtime根拠とし、2026年9月3日確認）
- Z.ai GLM-5.3-Flash-BF16 model card（2026年8月27日更新をBF16 artifact根拠とし、2026年9月3日確認）
- GLM-5.3-Flash commit history（mainの更新履歴、2026年9月3日確認）
- Transformers v5.16.1 release（2026年8月26日公開、公式runtime対応の履歴資料）
- Transformers PR #48342（2026年8月26日merge、GLM-5.3-Flash対応変更）
