llama.cppがQwen3-TTS対応、ポート変更予告
2026年8月5日に確認したllama.cppの公式更新から、Qwen3-TTS対応とllama-ttsの破壊的変更、既定ポート変更予告を整理し、今日確認すべき運用項目を解説します。
ARTICLE ARCHIVE
記事一覧
ローカルAI、GPU、LLM、Dockerの実践記事を新しい順にまとめています。
Transformers連続バッチング入門
Transformers 5.14.1のgenerate_batchで長さの違う複数promptを処理し、requestごとの結果を確認するまでを、GPU前提、失敗時の戻し方とともに解説します。
Transformers連続バッチングのKV予算設計
Transformers v5.14.1のcontinuous batchingを対象に、入力buffer、Paged KV cache、予約枠の競合を整理し、TTFT・生成latency・throughput・VRAMを再現可能に比較する設計を解説します。
OllamaでJSON Schema出力を作る入門
OllamaのローカルAPIへ小さなJSON Schemaを渡し、非ストリーミング応答をJSONとして取り出して必須項目と型を確認するまでを、失敗時の戻し方とともに解説します。
Ollama構造化出力の二重検証設計
Ollama v0.32.0のローカルAPIを基準に、生成制約とアプリ側型検証を分離し、schema複雑度・temperature・streaming・model差を再現可能に比較する設計を解説します。
Ollamaとllama.cppの違いは？用途別の選び方と比較
Ollamaとllama.cppの違いを、Macのローカル実行、GGUF管理、API、context・並列処理、設定・検証の用途別に比較。同一GGUFで条件を揃える方法と初心者・開発者ごとの選び方も解説します。