GPT-5.6 UltrafastとMetal TQ2対応
2026年8月14日に確認した公式更新から、GPT-5.6 Solの限定Ultrafast previewと、llama.cppのMetal向けTQ2_0対応を整理します。
ARTICLE ARCHIVE
記事一覧
ローカルAI、GPU、LLM、Dockerの実践記事を新しい順にまとめています。
vLLMでLoRAをリクエスト別に切り替える入門
vLLM v0.26.0で互換LoRA adapterを起動時に固定読込し、モデル一覧と同じAPIからbase／LoRAを切り替える最短手順、成功確認、失敗時の戻し方を解説します。
vLLM Multi-LoRAのメモリと信頼境界検証
vLLM v0.26.0のMulti-LoRAを対象に、rank、同時adapter数、CPU保持数、request混在率を固定し、VRAM、TTFT、throughput、品質と動的loadの信頼境界を評価する机上検証計画です。
DaybreakがAWS提供、llama.cpp音声対応
2026年8月13日に確認した公式更新から、OpenAI DaybreakのAmazon Bedrock提供と、llama.cpp b10369のPocket TTS対応を、利用条件と今日の判断に分けて整理します。
llama.cpp投機的decode入門
llama.cpp b10328を基準に、追加model不要のn-gram方式をbaselineから有効化し、応答完了、draft token、acceptanceを確認して元へ戻す最短手順を説明します。
投機的decodeのAcceptance性能検証
llama.cpp b10328の投機的decodeを対象に、target／draft、prompt、sampling、同時数を固定し、acceptance、TTFT、総時間、memory、出力同等性を方式別に測る机上検証計画です。