TensorRT-LLM量子化の基本：3つの場所を理解する

先に結論

TensorRT-LLMの量子化は、model全体を一括で「軽くする」操作ではありません。weight（modelの重み）、activation（計算途中の値）、KV cache（会話の文脈を保持する領域）のどこを低精度にするかを分けて考えます。最初は公式support matrixでmodelとGPUを照合し、既成checkpointを小さな入力で読み込んで、量子化前後の品質を自分の条件で確認します。

確認日時: 2026年8月24日（Asia/Tokyo）
対象仕様: TensorRT-LLM Quantization page（2026年8月9日更新、commit 1cef02e）、FP8 Quantization guide（2025年9月15日更新、commit 0c9430e）、Generation with Quantization example（2025年6月29日更新、commit de97799）。
検証区分: NVIDIA公式資料を基にした机上調査・最短手順です。この制作環境にはNVIDIA GPUがないため、install、checkpoint取得、engine生成、推論、memory・速度・品質は実行していません。

量子化する場所を3つに分ける

量子化は、BF16のような高精度の数値を、FP8やFP4、INT系などの低精度表現へ変換する技術です。TensorRT-LLMの公式ページは、weightやactivationの量子化がmemory footprintと計算コストを下げる目的で使われると説明しています。ただし、低精度化の影響は対象と設定で変わるため、次の3つを混同しません。

場所	何を表すか	最初に確認すること
weight	modelに保存される学習済みの重み	checkpointがどの方式で量子化済みか
activation	入力を処理する途中で生成される値	model・GPU・recipeの対応
KV cache	生成中に過去tokenの注意情報を保持する領域	長い入力や同時実行で品質を再確認すること

公式support matrixでは、modelごと、GPU世代ごとにFP8、NVFP4、W4A16 AWQ／GPTQ、FP8 KV cacheなどの対応が異なります。たとえばFP8の表にはAda Lovelace、Hopper、Blackwellの差があり、AmpereはFP8 weight／activationの対象外として示されています。一方、FP8 KV cacheは別の列です。GPU名だけ、または「FP8対応」という言葉だけで全recipeが使えるとは判断しないでください。

最短手順：対応checkpointを読み込む

最初の確認には、offline quantizationを自分で行うより、TensorRT-LLM公式ページが例示する既成のFP8 checkpointを使う方が、変換工程を増やしません。対象GPU、model、TensorRT-LLMのreleaseまたはcontainer digestを先に記録します。FP8をBF16 checkpointから作る条件には公式資料内でも表現差があります。FP8 guide本文はcompute capability 8.9超と記す一方、公式exampleの判定コードは8.9以上を有効化し、support matrixもAdaをFP8 per-tensor対応としています。表現だけで対象を決めず、使用するreleaseのsupport matrix、対象GPU、calibration設定を照合してください。

from tensorrt_llm import LLM
from tensorrt_llm.llmapi import KvCacheConfig

llm = LLM(
    model="nvidia/Llama-3.1-8B-Instruct-FP8",
    kv_cache_config=KvCacheConfig(dtype="fp8"),
)
output = llm.generate("Reply with only: READY")
print(output)

このコードは公式Quantization pageのLLM APIとFP8 KV cache設定の形を組み合わせた学習用例です。実行前に、modelが現在のsupport matrixに載っていること、指定GPUでFP8 weight／activationとKV cacheの組み合わせが許可されていることを確認します。コードを実行したら、応答の有無だけでなく、使用したmodel revision、GPU、driver、CUDA、TensorRT-LLM、量子化設定を記録してください。

成功確認とつまずきから戻る

1. modelのarchitectureと量子化方式がsupport matrixにある。
2. 起動時のログに、意図したcheckpointとKV cache dtypeが反映されている。
3. 固定した短いpromptと、品質確認用の代表promptの両方で出力を保存する。
4. FP8 KV cacheを有効にした結果を、同じ条件の未設定または高精度baselineと比較する。

起動できない場合は、量子化方式を増やして解決しようとせず、まずKV cache設定を外し、公式の既成checkpointと対応GPUだけで読み込みを確認します。それでも失敗するならmodelを公式deployment guideのある小型modelへ戻し、依存関係とcontainer digestを固定します。memory不足は、長いsequence、batch、modelサイズを一度に変えず、どの層の設定で発生したかを記録してから戻します。

この確認は「速度が上がった」「品質が同じ」と証明するものではありません。量子化による品質低下の有無、速度、peak memory、長文やtool callの挙動は、読者のGPU・model・promptで別途測定してください。

玄人向けの比較設計

GPU世代、calibration、品質を同じ条件で比較する設計は、TensorRT-LLMのFP8・KV cache比較設計で詳しく整理しています。入門では対応表を先に通し、方式の追加は一つずつに限定してください。

参考資料

• TensorRT-LLM公式：Quantization（2026年8月9日更新、2026年8月24日確認）
• TensorRT-LLM公式：FP8 Quantization（2025年9月15日更新、2026年8月24日確認）
• TensorRT-LLM公式：Generation with Quantization（2025年6月29日更新、2026年8月24日確認）