llama.cpp投機的decode入門
llama.cpp b10328を基準に、追加model不要のn-gram方式をbaselineから有効化し、応答完了、draft token、acceptanceを確認して元へ戻す最短手順を説明します。
ARTICLE ARCHIVE
記事一覧
ローカルAI、GPU、LLM、Dockerの実践記事を新しい順にまとめています。
投機的decodeのAcceptance性能検証
llama.cpp b10328の投機的decodeを対象に、target／draft、prompt、sampling、同時数を固定し、acceptance、TTFT、総時間、memory、出力同等性を方式別に測る机上検証計画です。
ChatGPT広告が日本開始、vLLM 0.27更新
2026年8月12日に確認した公式更新から、ChatGPT広告の日本開始、vLLM 0.27.0の破壊的環境変更、llama.cppのEXAONE修正、Ollamaの新architecture対応を整理します。
Transformersの4-bit・8-bit量子化入門
Transformersとbitsandbytesを初めて使う人向けに、対応環境を確認して小型modelを8-bitまたは4-bitで読み込み、生成、配置、memory footprintを確かめる最短手順と戻し方を説明します。
4-bit・8-bit量子化のメモリ品質検証設計
Transformers v5.15.0とbitsandbytesを対象に、同一model revisionでweight bit、compute dtype、double quant、配置を分離し、VRAM、host RAM、時間、品質のtrade-offを測る机上検証計画です。
Transformers破壊的変更とローカルモデル対応
2026年8月11日に確認した公式更新から、Transformers v5.15.0の破壊的変更、OllamaのMuse Glimmer初期対応、llama.cppのNemotron Nano MTP対応を整理します。