TransformersでGGUFを読み込む入門
Transformers v5.15.0で小型GGUFをtokenizerとmodelへ読み込み、最初の生成を確認します。逆量子化後のmemory、失敗時の切り分け、元へ戻す方法まで解説します。
ARTICLE ARCHIVE
記事一覧
ローカルAI、GPU、LLM、Dockerの実践記事を新しい順にまとめています。
GGUF逆量子化とroundtripの監査設計
Transformers v5.15.0とllama.cpp b10418を固定し、GGUF読込時のpeak RAM、Hugging Face形式保存、再変換後のmetadata・tokenizer・出力差を監査する机上検証計画です。
GPT-5.6 UltrafastとMetal TQ2対応
2026年8月14日に確認した公式更新から、GPT-5.6 Solの限定Ultrafast previewと、llama.cppのMetal向けTQ2_0対応を整理します。
vLLMでLoRAをリクエスト別に切り替える入門
vLLM v0.26.0で互換LoRA adapterを起動時に固定読込し、モデル一覧と同じAPIからbase／LoRAを切り替える最短手順、成功確認、失敗時の戻し方を解説します。
vLLM Multi-LoRAのメモリと信頼境界検証
vLLM v0.26.0のMulti-LoRAを対象に、rank、同時adapter数、CPU保持数、request混在率を固定し、VRAM、TTFT、throughput、品質と動的loadの信頼境界を評価する机上検証計画です。
DaybreakがAWS提供、llama.cpp音声対応
2026年8月13日に確認した公式更新から、OpenAI DaybreakのAmazon Bedrock提供と、llama.cpp b10369のPocket TTS対応を、利用条件と今日の判断に分けて整理します。