llama.cpp最新動向2026年7月：b9968の機能と開発状況

この記事の結論

2026年7月12日時点のllama.cpp最新リリースはb9968です。現在は「軽量なローカル推論ランタイム」だけでなく、OpenAI互換API、Web UI、画像入力、複数GPU、幅広いGPUバックエンドを持つ実用的な推論基盤へ成長しています。

ただし更新頻度が非常に高く、新モデルの対応状況はモデルごとに異なります。本番ではリリース番号を固定し、更新前後で同じGGUFとプロンプトを測る運用が重要です。

2026年7月時点の主要機能

領域	現状	実務上の意味
モデル形式	GGUFを中心に運用	メタデータ、量子化重み、チャットテンプレートをまとめて扱える
API	llama-serverがOpenAI互換APIを提供	既存アプリの接続先を差し替えやすい
取得	-hfでHugging Faceから直接取得	手動ダウンロードを減らせる
量子化	1.5〜8bit級の複数量子化を利用可能	RAM・VRAMと品質の折り合いを付けやすい
マルチモーダル	llama-serverで画像入力に対応	対応VLMをローカルAPI化できる
バックエンド	Metal、CUDA、HIP/ROCm、Vulkan、SYCL、OpenCLなど	MacからGPUサーバーまで同じ系統のツールを使える

基本概念から確認したい場合は、先にllama.cppの基本とGGUFの解説を読むと理解しやすくなります。

b9968で確認できる開発の方向

公式リリース一覧では、b9968が2026年7月12日に公開されています。このリリースでは、Qualcomm Adreno向けOpenCLにINT8のdense/MoE prefill最適化が追加されました。直前のb9966では、複数GPUのtensor splitで毎トークン繰り返していた正規表現コンパイルを抑える改善も入っています。

この2例だけでも、開発範囲がサーバー向けCUDAに限らず、モバイルGPUや複数GPUの細部まで広がっていることが分かります。llama.cppは日次に近い速度でリリースされるため、「最新版」という言葉には必ず確認日とビルド番号を添えるべきです。

llama-serverはどこまで使えるか

llama-serverはチャット補完を含むOpenAI互換エンドポイント、ヘルスチェック、並列スロット、プロンプトキャッシュ、Web UIなどを提供します。単一ユーザーのローカル利用から、LAN内の共有APIまで対応できます。

llama-server \
  -hf ggml-org/Qwen3.6-27B-GGUF:Q8_0 \
  --host 127.0.0.1 \
  --port 8080 \
  -c 32768 \
  -np 2

ただしOpenAI APIと完全に同一ではありません。対応フィールドや既定値は更新されるため、クライアント側で利用する機能をllama-server公式仕様と照合してください。

量子化は「小さければよい」ではない

量子化を強くするとモデルファイルは小さくなりますが、出力品質や特定タスクの安定性が落ちる可能性があります。また実行時にはモデル重み以外にKV cache、計算用バッファ、画像入力用プロジェクターなども必要です。ファイルサイズがVRAM以下だから必ず全層をGPUへ載せられる、とは限りません。

候補を比較するときは、同じ元モデル、同じコンテキスト長、同じサンプリング条件で次を記録します。

• 起動後のRAM・VRAM使用量
• prompt processing（pp）のtokens/s
• text generation（tg）のtokens/s
• 自分の業務プロンプトの正答率
• 長文入力時の品質と安定性

性能測定はllama-benchを基準にする

llama-bench \
  -m model.gguf \
  -p 512,2048 \
  -n 128 \
  -r 5 \
  -o json

公式llama-benchは、prompt processingとtext generationを分けて測り、平均値とばらつきを出せます。注意点は、tokenizationとsamplingの時間を含まないことです。利用者が感じる応答時間は別途API側でも測定してください。

更新で壊さないための運用

1. 本番はlatestではなくリリース番号またはコミットを固定する
2. モデル、量子化名、チャットテンプレート、起動引数を記録する
3. 更新前にllama-benchと代表プロンプトを保存する
4. 新ビルドを別ポートで起動して比較する
5. 問題がなければ切り替え、旧バイナリを一定期間残す

Dockerで固定する具体例はllama.cpp Dockerガイドにまとめています。

まとめ

llama.cppは、GGUFを核にローカル推論・API・マルチモーダル・多様なハードウェアを一つのプロジェクトで扱える点が強みです。一方で新モデル対応や最適化の進行は非常に速いため、用途に必要な機能を確認し、ビルドを固定し、測定して更新する姿勢が欠かせません。

公式資料

• llama.cpp公式リポジトリ
• 公式リリース一覧
• llama-server README
• llama-bench README