llama.cpp最新動向2026年8月:b10375の変更点

CHATGPT / AIChatGPTなどの生成AIを活用して運営・記事制作・更新を行っています。制作方針

2026年8月12日時点のllama.cpp b10375について、今回の修正、GGUF、llama-server、量子化、実験的マルチモーダル、更新時の注意点を整理します。

GGUFを中心にAPI、画像入力、複数GPUへ広がったllama.cppと更新確認の図解

この記事の結論

2026年8月12日の確認時点で、llama.cppの最新公開releaseはb10375です。今回のrelease noteはQwen系modelのbare function parsingを厳密にする修正で、全model・全backendの大型機能追加や一律の高速化を示すものではありません。

一方、固定版docsではGGUF、複数backend、量子化、OpenAI互換server、continuous batching、実験的multimodalなど、現在の広い機能面を確認できます。本番ではtagとcommitを固定して採用判断します。

確認日時: 2026年8月12日 23:26(Asia/Tokyo)
対象版: llama.cpp b10375(commit ba360efe1f574ebae727aad64112d18ecedca85a)
検証区分: 公式releaseとb10375時点のdocsを照合した机上調査です。build、model取得、画像入力、API、速度、memory、品質は実測していません。

b10375の変更点

公式release noteに記載されているのは、Qwen系modelにおけるbare function parsingをより厳密にする変更です。tool callを利用する構成では、更新前後で同じchat template、tool schema、promptを使い、function名とargumentの出力を回帰確認します。

release noteの短い説明だけから、通常のchat品質、token生成速度、ほかのmodel familyへの影響を推測することはできません。詳しく調べる場合はreleaseに結び付いたcommitと、自分が使うcode pathを確認します。

b9968との比較:最適化の対象を広げて解釈しない

release公開日release noteの要点適用範囲の読み方
b99682026-07-12OpenCL INT8 dp4を使ったdense・MoE prefillの最適化Adreno GPU向けの限定的なbackend・workload最適化
b103752026-08-12Qwen系のbare function parsingを厳密化主に該当するtool parsing経路を回帰確認

b9968の変更を、CUDA、Metal、CPUを含む全環境の速度改善へ一般化することはできません。同様にb10375の短いrelease noteだけでは、b9968以降のすべてのcommitを説明できません。必要な機能はrelease間のcommitと固定版docsを個別に確認します。

b10375時点で確認できる主要機能

領域公式docsで確認できる内容運用上の注意
model形式GGUF modelの読み込みarchitecture、metadata、chat templateの対応をmodelごとに確認
量子化1.5〜8-bitの整数量子化方式ごとの品質・速度を同一条件で実測
backendCPU、Metal、CUDA、HIP、Vulkan、SYCLなどbuild option、driver、対応hardwareを照合
APIllama-serverのOpenAI互換endpointなど利用parameterとresponseの互換性を実requestで確認
server処理parallel decoding、continuous batchingcontext、並列数、memory、latencyを一緒に測定
multimodal対応modelで画像入力などの経路公式docs上もexperimental。model別に検証

CLIとserverの公式最小例

固定版READMEが示すHugging Face repositoryを使う例です。取得前にmodel cardとlicenseを確認してください。

llama cli -hf ggml-org/Qwen3.5-0.8B-GGUF

同じ例をlocal serverとして起動する場合は次の形です。

llama serve \
  -hf ggml-org/Qwen3.5-0.8B-GGUF \
  --host 127.0.0.1 \
  --port 8080

llama-serverはchat completions、responses、embeddingsなど複数のendpointを案内していますが、OpenAI APIの全parameterを完全再現する意味ではありません。接続するSDKが使うendpoint、streaming、tool call、structured outputを個別に試します。

multimodalは実験機能として扱う

b10375のserver documentとmultimodal documentは、対応modelで画像を入力する経路などを説明しています。ただしmultimodal supportはexperimentalと明記されています。text-only modelへ画像を渡せるわけではなく、model architectureや必要projectorの扱いもmodelごとに異なります。

production採用では、入力形式、最大file size、timeout、concurrent request、異常file、出力品質を含む検証が必要です。APIが受理したことだけで対応完了と判断しません。

量子化を一つの順位表にしない

公式READMEは複数のbit幅を案内していますが、量子化名だけで「最良」「推奨」を固定できません。model family、task、context、backend、許容memoryによって選択が変わります。

  1. 元modelと利用licenseを決める
  2. 候補GGUFの配布元とhashを記録する
  3. 同一prompt setで品質を比較する
  4. 同一commit・同一hardwareで速度とmemoryを測る

更新時に固定するもの

  • llama.cpp tagとcommit
  • compiler、backend、driver、build option
  • GGUF repository、file名、hash
  • chat templateとsampling parameter
  • context、parallel数、GPU offload
  • API requestと期待するresponse schema

新buildは旧buildを上書きせず、別directory・別portで比較すると戻しやすくなります。release更新だけでGGUFまで同時に変更すると、差の原因を分けられません。

benchmarkの読み方

llama-benchはprompt processingとtext generationを分けた比較に使えます。公式READMEによると、その測定にはtokenizationとsamplingの時間が含まれません。Web applicationの体感を評価する場合は、queueやnetworkを含むend-to-end latencyも別に記録します。

情報源と未検証範囲

未検証: Qwen各modelのtool call、個別GGUFの対応状況、multimodal入出力、量子化品質、backend別速度・memory、API client互換性、長時間・高並列運転は確認していません。

表を拡大

左右にスワイプして読めます