llama.cpp主要パラメータ一覧【2026年8月版】用途別チートシート

この記事でわかること

llama.cppのオプションを調べるときに、目的別に参照しやすくするためのパラメータ一覧記事です。

モデル読み込み・コンテキスト関連の主要パラメータ
GPU/Multi-GPUやKV Cache周りの設定
廃止・名称変更されたオプションの読み替え
サンプリング、構造化出力、サーバー運用の要点

おすすめ読者: llama.cppを日常的に使う人、オプションの意味を整理してチューニングしたい人。

読む前の注意: コマンド、ライブラリ、モデルの仕様は更新で変わります。本記事は固定したコミットの机上調査であり、モデル実行や性能測定は行っていません。実行前に手元のバイナリの--helpも確認してください。

調査条件：確認日・commit SHA・検証範囲

確認日: 2026年8月23日（Asia/Tokyo）
検証区分: 机上調査。公式README、docs、examples、引数定義ソース、ソースから自動生成されたヘルプ表を機械照合し、主要項目を目視確認しました。llama.cppのビルド、モデル実行、速度・メモリ・品質の測定は行っていません。
固定した版: nightly b10588 / 70adb1b4。安定版はv0.2.0です。
主要な一次情報: 公式README、llama-cliヘルプ表、llama-serverヘルプ表、引数定義ソース

対象ツールと一覧の読み方

llama.cppはローカルまたはクラウドでLLMを推論するためのC/C++実装です。初めて使う場合はllama.cppとは：ローカルAI推論の基本と主要機能で全体像を確認できます。本記事は、日常利用で中心になるllama-cliとllama-serverの主要パラメータに範囲を絞ります。全オプションの逐語転載ではなく、設定変更の効果と副作用を判断しやすいよう目的別に整理しています。

ツール	説明
`llama-cli`	コマンドライン対話・テキスト生成クライアント
`llama-server`	OpenAI互換REST APIサーバー
`llama-bench`	速度測定用ツール。本記事ではオプション一覧の対象外

各実行ファイルの--helpは、共通パラメータ、サンプリング、ツール固有パラメータに分かれます。同じ短縮名でもツールによって意味やデフォルトが違う場合があるため、使用する実行ファイルのヘルプを基準にしてください。

まず使う用途別の最小セット

全部を覚える必要はありません。最初は次の組み合わせから始め、変更後は速度・メモリ使用量・出力品質を比較してください。

目的	最初に確認するパラメータ	要点
手元のGGUFを実行	`-m`、`-c`、`-n`	モデル、コンテキスト長、最大生成数を決める
GPUで高速化	`-ngl auto`、`-fa auto`、`-fit on`	自動調整から始め、VRAM不足時だけ個別調整する
VRAMを節約	`-ctk q8_0`、`-ctv q8_0`、`-c`	KV Cacheとコンテキスト長を段階的に下げる
APIサーバー化	`--host`、`--port`、`-np`、`--metrics`	待受先、並列数、監視を設定する

# 対話用: Hugging FaceからGGUFを取得して起動
llama-cli -hf ggml-org/gemma-3-1b-it-GGUF -ngl auto -fa auto -c 8192

# API用: 外部公開時は必ず認証付きリバースプロキシ等で保護する
llama-server -m /models/model.gguf -ngl auto -fa auto -c 8192 --host 127.0.0.1 --port 8080

# 手元のビルドで利用できる全オプションを確認
llama-cli --help
llama-server --help

導入から確認する場合はMacでllama.cppを導入する方法：Apple Silicon最適化ガイド、コンテナで試す場合はllama.cppをDockerで動かす方法を参照してください。

そのまま試せる用途別の起動・確認例はllama.cppコマンド例10選｜llama-cli・llama-server用途別にまとめています。

重要: llama.cppは更新が速く、オプション名やデフォルト値が変わることがあります。最終判断は必ず手元の実行ファイルの--helpを優先してください。

廃止・名称変更されたコマンドとオプション

古い記事や起動スクリプトを流用するときは、最初に次の読み替えを行ってください。非推奨オプションは現時点で警告付きで動くものもありますが、将来の削除に備えて現行名へ移行します。

古い指定	現行の指定	状態・注意点
`main`	`llama-cli`	実行ファイル名を変更済み
`server`	`llama-server`	実行ファイル名を変更済み
`make`によるビルド	`cmake -B build` `cmake --build build --config Release`	MakefileビルドはCMakeへ置換済み
`--mlock`	`--load-mode mlock`	非推奨。`mmap+mlock`も選択可能
`--mmap` / `--no-mmap`	`--load-mode mmap` / `--load-mode none`	非推奨。新旧指定を混在させない
`--direct-io` / `--no-direct-io`	`--load-mode dio` / `--load-mode none`	非推奨。DirectIOが利用可能な環境向け
`--defrag-thold`	指定しない	旧引数は非推奨警告付きで受理されるが、現行版では不要
`--draft` / `--draft-n` / `--draft-max`	`--spec-draft-n-max`、または方式に応じた`--spec-ngram-*`	旧引数は削除済みでエラーになる
`--draft-min` / `--draft-n-min`	`--spec-draft-n-min`、または`--spec-ngram-mod-n-min`	旧引数は削除済みでエラーになる
`--chat-template-kwargs '{"enable_thinking":...}'`	`--reasoning on` / `--reasoning off`	`enable_thinking`指定は非推奨

根拠は、公式の実行ファイル名の移行表、CMakeビルド手順、引数定義ソースです。

コマンドライン引数と環境変数の優先順位

現行版は、システム設定/etc/llama.cpp/config.ini、ユーザー設定${XDG_CONFIG_HOME:-~/.config}/llama.cpp/config.ini、環境変数、コマンドライン引数の順に適用し、後の指定が上書きします。Windowsではシステム設定が%PROGRAMDATA%\llama.cpp\config.ini、ユーザー設定が%APPDATA%\llama.cpp\config.iniです。環境変数名はヘルプ表にenv:が記載された項目だけを使ってください。

1. Common Params（llama-cli／llama-server共通）

1.1 モデル読み込み関連

パラメータ	略称	説明	デフォルト
`-m, --model FNAME`	-	読み込むローカルモデルファイルのパス。`-hf`など別のモデル取得方法を使う場合は省略可能	未指定
`-mu, --model-url URL`	-	指定URLからモデルをダウンロード	未指定
`-dr, --docker-repo [<repo>/]<model>[:quant]`	-	Docker HubのModel Runner用リポジトリ。repo省略時は`ai/`、quant省略時は`:latest`	未指定
`-hf, -hfr, --hf-repo USER/MODEL[:QUANT]`	-	Hugging Faceリポジトリ。QUANT省略時はQ4_K_Mを探し、存在しない場合はリポジトリ内の最初のファイルへフォールバック。利用可能なmmprojも自動取得	未指定
`-hff, --hf-file FILE`	-	HuggingFaceから特定のファイルを取得（--hf-repoのQUANTを上書き）	未指定
`-hft, --hf-token TOKEN`	-	HuggingFaceアクセストークン	環境変数HF_TOKENから取得
`-lm, --load-mode MODE`	-	モデル読み込み方式。`auto`、`none`、`mmap`、`mlock`、`mmap+mlock`、`dio`から選択。`auto`はdeviceが非対応でなければmmapを使う	`auto`
`--check-tensors`	-	モデルテンソルデータの値をチェック	false
`--override-kv KEY=TYPE:VALUE,...`	-	モデルメタデータをキー単位で上書き。型は`int`、`float`、`bool`、`str`を指定	-

1.2 コンテキスト・バッチ設定

パラメータ	略称	説明	デフォルト
`-c, --ctx-size N`	-	プロンプトのコンテキストサイズ。0=モデルから読み込み	0
`-n, --predict, --n-predict N`	-	生成するトークン数。-1=無限大	-1
`-b, --batch-size N`	-	ロジカル最大バッチサイズ（プロンプト処理）	2048
`-ub, --ubatch-size N`	-	物理的な最大バッチサイズ	512
`--keep N`	-	初期プロンプトから保持するトークン数。-1=全て保持	0
`--swa-full`	-	Full-size SWAキャッシュを使用	false

1.3 CPU/スレッド関連

パラメータ	略称	説明	デフォルト
`-t, --threads N`	-	生成に使用するCPUスレッド数。`-1`は自動選択	-1
`-tb, --threads-batch N`	-	バッチ/プロンプト処理に使用するスレッド数。省略時は--threadsと同じ値	--threadsと同じ
`-C, --cpu-mask M`	-	CPUアフィニティマスク（長整数）。例: `7` でCPU 0-1-2	""
`-Cr, --cpu-range lo-hi`	-	CPU範囲指定。例: `0-3`	-
`--cpu-strict <0\|1>`	-	厳格なCPU配置を有効化	0
`--prio N`	-	プロセス/スレッド優先度: low(-1), normal(0), medium(1), high(2), realtime(3)	0
`--poll <0...100>`	-	ワーク待機時のポーリングレベル。0でポーリングなし	50
`-Cb, --cpu-mask-batch M`	-	バッチ処理のCPUアフィニティマスク。省略時は--cpu-maskと同じ値	--cpu-maskと同じ
`-Crb, --cpu-range-batch lo-hi`	-	バッチ処理のCPU範囲	-
`--cpu-strict-batch <0\|1>`	-	バッチ処理の厳格なCPU配置	--cpu-strictと同じ
`--prio-batch N`	-	バッチ処理のプロセス/スレッド優先度	0
`--poll-batch <0\|1>`	-	バッチ処理時のポーリング	--pollと同じ

NUMA最適化
--numa TYPE — 一部のNUMAシステム向け最適化。
types: distribute（全ノードに分散）、isolate（初期化ノードのみ）、numactl（numactlのCPUマップ使用）

1.4 GPU/Multi-GPU関連

重要: --n-gpu-layersはllama.cppにおいて最も重要なパラメータの一つです。これにより、GPU VRAMにロードするTransformerレイヤー数を制御できます。

パラメータ	略称	説明	デフォルト
`-ngl, --gpu-layers, --n-gpu-layers N`	-	VRAMに格納するレイヤー数の上限。数値のほか`auto`、`all`を指定可能	auto
`-sm, --split-mode {none\|layer\|row\|tensor}`	-	複数GPUへの分割方法。`row`は非推奨。`tensor`は実験的で、Flash Attentionと非量子化KV cacheが必須、`--fit`は非対応	layer
`-ts, --tensor-split N0,N1,N2,...`	-	各GPUにオフロードするモデルの比率をカンマ区切りで指定。例: `3,1`はGPU 0:GPU 1を3:1に配分	-
`-mg, --main-gpu INDEX`	-	メインGPUのインデックス。split-mode=noneではモデル用途、rowでは中間結果・KV用途	0
`-fit, --fit [on\|off]`	-	メモリ不足時に未設定パラメータを自動的に調整し、VRAMに収まるように最適化	on（自動フィット有効）
`-fitt, --fit-target MiB0,MiB1,...`	-	--fitの目標マージン（MiB）。例: `2048,1024`	1024
`-fitc, --fit-ctx N`	-	--fitによる最小コンテキストサイズ。VRAM不足時に自動縮小に使用	4096
`-dev, --device <dev1,dev2,...>`	-	オフロードに使用するデバイス（カンマ区切り）	-
`--list-devices`	-	利用可能なデバイスの一覧を表示して終了	-
`-ot, --override-tensor <pattern>=<type>,...`	-	テンソル名パターンで配置先のbuffer typeを上書き。例: `blk\.14\.ffn_.*=CPU`	-
`--op-offload, --no-op-offload`	-	ホストテンソル演算をデバイスにオフロード	true（有効）
`-cmoe, --cpu-moe`	-	MoE（Mixture of Experts）全パラメータをCPUメモリに保持	無効
`-ncmoe, --n-cpu-moe N`	-	MoEの最初のNレイヤーをCPUに保持	-

バックエンドごとの対応範囲や測定方法は、llama.cpp GPU比較｜Metal・CUDA・ROCm・Vulkan・SYCLも参照してください。GPU名だけで速度を推測せず、同じGGUFと条件でllama-benchを実行します。

1.5 Flash Attention / SWA関連

パラメータ	略称	説明	デフォルト
`-fa, --flash-attn {on\|off\|auto}`	-	Flash Attentionの使用方法を指定。現在は値が必要なため、`-fa`だけでなく`-fa auto`のように指定	auto

SWA（Sliding Window Attention）: --swa-fullはfull-size SWA cacheを使います。一般的な省メモリ設定ではなく、モデルや用途によってメモリ使用量が増える可能性があるため、必要性を確認してから有効化してください。

1.6 KV Cache / メモリ関連

パラメータ	略称	説明	デフォルト
`-kvo, --kv-offload, -nkvo, --no-kv-offload`	-	KV cacheをデバイスへオフロードするか指定。VRAMを節約する場合は`--no-kv-offload`と速度への影響を比較	有効
`--repack, -nr, --no-repack`	-	weight repackingの有効化	有効
`-ctk, --cache-type-k TYPE`	-	K KV cacheデータタイプ: f32, f16, bf16, q8_0, q4_0, q4_1, iq4_nl, q5_0, q5_1	f16
`-ctv, --cache-type-v TYPE`	-	V KV cacheデータタイプ: 同上	f16

量子化KV cacheの注意: 量子化したV cacheにはFlash Attentionが必要です。また、実験的な--split-mode tensorではK/Vともf32、f16、bf16のいずれかを使い、-fit offでコンテキストなどを手動調整します。

1.7 RoPE スケーリング関連

パラメータ	説明	デフォルト
`--rope-scaling {none\|linear\|yarn}`	RoPE周波数スケーリング方式	モデルに指定がなければlinear
`--rope-scale N`	RoPEのコンテキストスケーリング倍率。実際のコンテキストサイズは`-c`で指定	-
`--rope-freq-base N`	RoPE基本周波数（NTK対応スケーリング用）	モデルから読み込み
`--rope-freq-scale N`	RoPE周波数スケール係数。コンテキストを`1/N`倍に拡張	-
`--yarn-orig-ctx N`	YaRN: モデルの元コンテキストサイズ	0（モデルの学習時コンテキスト）
`--yarn-ext-factor N`	YaRN: 外挿ミックスファクター。-1=自動、0=完全内挿	-1.0
`--yarn-attn-factor N`	YaRN: sqrt(t)スケーリング／アテンションマグニチュード	-1.0
`--yarn-beta-slow N`	YaRN: 高補正ディメンション（alpha）	-1.0
`--yarn-beta-fast N`	YaRN: 低補正ディメンション（beta）	-1.0

1.8 ロギング関連

パラメータ	説明	デフォルト
`--log-disable`	ログ無効化	無効
`--log-file FNAME`	ファイルにログ出力	-
`--log-colors [on\|off\|auto]`	カラーログ出力。terminal検出時に自動判定	auto（terminal検出時自動）
`-v, --verbose, --log-verbose`	詳細ログ表示	-
`-lv, --verbosity, --log-verbosity N`	ログ閾値: 0=generic、1=error、2=warning、3=info、4=trace、5=debug	3（info）
`--log-prefix, --no-log-prefix`	ログメッセージにプレフィックスを付加	無効
`--log-timestamps, --no-log-timestamps`	ログタイムスタンプ表示	無効
`--offline`	オフラインモード（キャッシュのみ使用、ネットワークアクセス禁止）	-

1.9 その他のCommon Params

パラメータ	説明	デフォルト
`-h, --help, --usage`	使用法表示	-
`--version`	バージョン情報表示	-
`-cl, --cache-list`	キャッシュ内のモデル一覧を表示	-
`-e, --escape, --no-escape`	エスケープシーケンス処理	true（有効）
`--perf, --no-perf`	内部libllamaパフォーマンスタイミングの表示	無効

2. Sampling Params（llama-cli／llama-server共通）

Samplingパラメータは生成のランダム性と制御を調整します。順序は重要で、左から適用されます。

2.1 コアサンプリング

パラメータ	略称	説明	デフォルト
`--samplers SAMPLERS`	-	サンプリング順序を`;`区切りで指定。デフォルト: `penalties;dry;top_n_sigma;top_k;typ_p;top_p;min_p;xtc;temperature`	penalties;dry;top_n_sigma;top_k;typ_p;top_p;min_p;xtc;temperature
`-s, --seed SEED`	-	乱数シード。-1=ランダムシード（再現性なし）	-1
`--temp, --temperature N`	-	温度パラメータ。値を下げると高確率の候補が選ばれやすくなる	0.80
`--top-k N`	-	Top-Kサンプリング。上位Nトークンのみを候補に。0=無効化	40
`--top-p N`	-	Top-P（Nucleus）サンプリング。累積確率Pのトークンのみ。1.0=無効	0.95
`--min-p N`	-	Min-Pサンプリング。最大確率×min-p以上のトークンを保持する最小確率フィルタ	0.05（有効）
`--top-nsigma, --top-n-sigma N`	-	最大logitから`N × 標準偏差`以上低い候補を除外。負の値で無効	-1.0（無効）
`--xtc-probability N`	-	XTCを適用する確率。`0.0`で無効	0.00（無効）
`--xtc-threshold N`	-	XTCの確率閾値。`1.0`で無効	0.10
`--typical, --typical-p N`	-	Locally Typical Sampling: ローカル確率分布に基づく典型トークン選択	1.0（無効）

2.2 DRY サンプリング（重複防止）

パラメータ	説明	デフォルト
`--dry-multiplier N`	DRYサンプリングの乗数。0=無効	0.0（無効）
`--dry-base N`	DRYサンプリングの基本値	1.75
`--dry-allowed-length N`	DRY: 許容長のトークン数	2
`--dry-penalty-last-n N`	DRY: 最後にNトークンで繰り返しをペナルタイズ。0=無効、負数は指定不可	64
`--dry-sequence-breaker STRING`	DRYのsequence breakerを指定。指定すると既定値をクリアし、`none`で全て無効化	`\n`、`:`、`"`、`*`

2.3 アダプティブ・ダイナミック温度

パラメータ	説明	デフォルト
`--adaptive-target N`	Adaptive-P: 目標確率。0〜1の範囲、負値=無効	-1.0（無効）
`--adaptive-decay N`	Adaptive-P: 減衰係数。低いほど反応的、高いほど安定	0.90
`--dynatemp-range N`	ダイナミックTemperature範囲。例: 0.3で[0.5,1.1]の範囲にランダム変動	0.0（無効）
`--dynatemp-exp N`	ダイナミック温度指数	1.0

2.4 Mirostat サンプリング

Mirostatは、生成中のperplexityを自動制御する高度なサンプリング手法です。

パラメータ	説明	デフォルト
`--mirostat N`	Mirostatモード: 0=無効、1=Mirostat v1、2=Mirostat v2.0	0（無効）
`--mirostat-lr N`	Mirostat学習率（eta）	0.10
`--mirostat-ent N`	Mirostatターゲットエントロピー（tau）	5.00

注意: Mirostat v1/v2を使用する場合、Top-K / Nucleus / Locally Typicalサンプリングは自動的に無効化されます。

2.5 その他のサンプリング

パラメータ	説明	デフォルト
`--repeat-last-n N`	ペナルタイズする直前のNトークン。0=無効、負数は指定不可	64
`--repeat-penalty N`	繰り返しトークン列へのペナルティ。`1.0`で無効	1.0（無効）
`--presence-penalty N`	存在ペナルティ。出現済みトークンを追加で抑制	0.0（無効）
`--frequency-penalty N`	頻度ペナルティ。出現頻度の高いトークンを抑制	0.0（無効）
`-l, --logit-bias TOKEN_ID(+/-)BIAS`	ロジットバイアス: トークンIDに対する確率補正	-
`--ignore-eos`	EOS(End-of-Sequence)トークンを無視し、生成を継続	無効

2.6 文法・JSON構造化出力

自由生成ではなく、構文やJSONの形を制約したいときに使います。対応範囲はモデルの出力能力にも左右されるため、スキーマに適合するかを実リクエストで確認してください。

パラメータ	説明	デフォルト
`--grammar GRAMMAR`	GBNF形式の文法を直接指定して出力を制約	未指定
`--grammar-file FNAME`	GBNF文法ファイルを読み込む	未指定
`-j, --json-schema SCHEMA`	JSON Schemaを直接指定。外部`$ref`を含む場合は変換ツールと`--grammar`を使用	未指定
`-jf, --json-schema-file FILE`	JSON Schemaファイルを読み込む	未指定

3. llama-cli固有パラメータ

3.1 プロンプト/対話モード

パラメータ	略称	説明	デフォルト
`-p, --prompt PROMPT`	-	開始プロンプト（システムメッセージは--system-promptを使用）	-
`-f, --file FNAME`	-	プロンプトファイル（対話ではなくファイル内容を使用）	なし
`-bf, --binary-file FNAME`	-	バイナリプロンプトファイル	なし
`-r, --reverse-prompt PROMPT`	-	指定したプロンプト出現時に生成を停止。会話モードで再対話を返す	-
`-st, --single-turn`	-	1ターンの応答後に終了。`--prompt`で最初の入力を与えた場合は対話入力を待たない	false
`-cnv, --conversation, -no-cnv, --no-conversation`	-	会話モード。特殊トークン・プレフィックス表示を抑制。chatテンプレート利用時は自動有効	chatテンプレート利用時は自動有効

3.2 表示/ロギング

パラメータ	説明	デフォルト
`--display-prompt, --no-display-prompt`	プロンプト表示の有無	true（表示）
`-co, --color [on\|off\|auto]`	カラー出力（プロンプトと入力を区別して表示）。terminal検出時に自動判定	auto（terminal検出時）
`--show-timings, --no-show-timings`	各応答後にタイミング情報を表示	true（表示）
`-sp, --special`	特殊トークン出力を有効化	false

3.3 Chat / テンプレート

パラメータ	説明	デフォルト
`-sys, --system-prompt PROMPT`	システムメッセージ（モデルのchat formatに依存）	-
`-sysf, --system-prompt-file FNAME`	システムプロンプトファイル	-
`--chat-template TEMPLATE`	Jinja形式のカスタムまたは組み込みチャットテンプレートを指定	モデルのメタデータから自動読み込み
`--chat-template-file FILE`	カスタムJinjaファイルを読み込み	-
`--jinja, --no-jinja`	Jinjaテンプレートエンジン使用の有無	有効（デフォルト）
`-rea, --reasoning {on\|off\|auto}`	reasoning／thinkingの使用方法。テンプレートから自動判定する場合は`auto`	auto
`--reasoning-format FORMAT`	reasoningの解析・返却形式。`none`、`deepseek`、`deepseek-legacy`	auto
`--reasoning-budget N`	thinking tokenの上限。`-1`は無制限、`0`は即時終了、正数はtoken budget	-1
`--reasoning-effort LEVEL`	chat templateへ渡す推論深度。対応levelはtemplate／modelにより異なるため、`default`から始める	default

チャットテンプレートの注意: 組み込みテンプレート一覧は更新頻度が高いため、固定リストを転記せず、使用中のllama-cli --helpまたは固定コミットの公式ヘルプ表を確認してください。テンプレートを利用できるモデルではconversation modeが自動で有効になります。

3.4 マルチモーダル / Vision

パラメータ	説明	デフォルト
`-mm, --mmproj FILE`	マルチモーダルプロジェクトファイル（Visionモデル用）	-
`--mmproj-auto, --no-mmproj, --no-mmproj-auto`	モデルのマルチモーダル自動読み込みの有効/無効	有効
`--mmproj-offload, --no-mmproj-offload`	projectorをGPUへオフロードするか指定。無効化するとVRAMを節約できる一方、処理速度へ影響する可能性がある	有効
`-mmdev, --mmproj-device DEVICE`	multimodal projectorに使うdeviceを指定。`none`はoffloadしない	auto
`--image, --audio, --video FILE`	画像・音声・動画ファイル。複数はカンマ区切り	未指定

3.5 投機的デコード（Speculative Decoding）

パラメータ	説明	デフォルト
`--spec-draft-hf, -hfd, -hfrd, --hf-repo-draft USER/MODEL[:QUANT]`	ドラフトモデルをHugging Faceリポジトリから取得	未指定
`--spec-draft-override-tensor, -otd, --override-tensor-draft <pattern>=<type>,...`	ドラフトモデルのテンソル配置先buffer typeをパターンで上書き	未指定
`--spec-draft-n-max N`	speculative decodingで生成するドラフトトークン数	3
`--spec-draft-n-min N`	speculative decodingで使用するドラフトトークン数の下限	0
`--spec-draft-model, -md, --model-draft FNAME`	ドラフトモデルファイル（speculative decoding用）	未指定
`--spec-type TYPE1,TYPE2,...`	`none`、`draft-simple`、`draft-eagle3`、`draft-mtp`、`draft-dflash`、`draft-dspark`、`ngram-simple`、`ngram-map-k`、`ngram-map-k4v`、`ngram-mod`、`ngram-cache`をカンマ区切りで指定	none

4. llama-server固有パラメータ

llama-serverはOpenAI互換を含むREST APIを提供します。ただし、すべてのエンドポイントや拡張フィールドがOpenAI APIと同一という意味ではありません。公開構成はllama-server本番運用ガイドも参照してください。

4.1 サーバー基本設定

パラメータ	説明	デフォルト
`--host HOST`	リッスンするIPアドレス（例: `0.0.0.0`は全インターフェース listening）。`.sock`付きの場合はUNIX socketとして動作	`127.0.0.1`
`--port PORT`	ポート番号	`8080`
`--reuse-port`	複数ソケットが同ポートを使用可能に（SO_REUSEPORT）	無効
`-np, --parallel N`	サーバースロット数。-1=自動。並列リクエストに対応	-1（自動）
`-to, --timeout N`	サーバーのread/write timeout（秒）	`3600`

4.2 エンドポイント / モニタリング

パラメータ	説明	デフォルト
`--metrics`	Prometheus互換メトリクスエンドポイントを有効化	無効
`--slots, --no-slots`	スロットモニターエンドポイント（`/slots`）を有効化	有効
`-cb, --cont-batching, -nocb, --no-cont-batching`	Continuous Batching（動的バッチ）の有無。リクエスト処理効率の向上	有効

--parallel、--kv-unified、--cont-batchingを組み合わせた起動例と、/slots・/metrics・同時curlでの確認手順は、llama-serverの連続バッチング設定で解説しています。

4.3 認証・CORS・Web UI

パラメータ	説明	デフォルト
`--api-key KEY`	API認証キー。複数はカンマ区切り。環境変数は`LLAMA_API_KEY`	未指定
`--api-key-file FNAME`	1行1キーのファイルからAPI keyを読み込む。`#`で始まる行はコメント	未指定
`--cors-origins ORIGINS`	許可するOriginをカンマ区切りで指定。ブラウザから使わない場合も公開範囲を確認	`*`
`--cors-credentials, --no-cors-credentials`	CORSでcredentialを許可するか指定	有効
`--ui, --no-ui`	組み込みWeb UIを有効・無効化	有効
`--cache-prompt, --no-cache-prompt`	prompt cacheの有効・無効	有効
`--cache-reuse N`	prompt cacheから再利用を試みる最小chunk size。prompt cacheの有効化が必要	0（無効）

公開時の注意: --api-keyを設定しても/healthと/v1/healthは公開エンドポイントです。0.0.0.0で直接インターネットへ公開せず、認証、TLS、アクセス制御を含む構成で保護してください。

現行版には--tools、--tools-runtime、--mcp-servers-config、--mcp-servers-json、--agent、MCP proxyなどの実験的機能もあります。組み込みtoolや外部MCP serverはhost、container、SSH先の権限へ到達し得ます。公式ヘルプの警告どおり、用途と権限を理解せずに公開サーバーで有効化しないでください。

4.4 completion関連

llama-serverには-sys / --system-promptはありません。Chat Completions APIではrequestのsystem role messageなど、利用するエンドポイントの入力形式で指示します。

パラメータ	説明	デフォルト
`-sp, --special`	特殊トークン出力の有無	false
`-r, --reverse-prompt PROMPT`	指定プロンプト出現時に生成を停止	-

4.5 マルチモーダル / Vision（llama-server追加）

パラメータ	説明	デフォルト
`-mm, --mmproj FILE`	マルチモーダルプロジェクトファイルパス	-
`--mmproj-auto, --no-mmproj, --no-mmproj-auto`	MMproj自動読み込み	有効
`--mmproj-offload, --no-mmproj-offload`	MMproj GPUオフロード	有効
`-mmdev, --mmproj-device DEVICE`	MMprojを実行するdevice。`none`はoffloadしない	auto

設定変更を再現可能にする確認手順

llama-cli --versionまたはllama-server --versionでbuild情報を記録する
同じ実行ファイルの--helpを保存し、使用するオプションが存在するか確認する
モデル名、GGUFファイル名、コンテキスト長、backend、起動コマンドを一緒に記録する
パラメータは一度に一つずつ変更し、速度、メモリ、出力品質、エラーの有無を自分の環境で比較する

本記事には性能の実測値を掲載していません。デフォルト値や機能の有無は固定コミットの机上調査、実際の効果は利用環境での検証対象として分けてください。

よくある質問

`--ctx-size 0`は何を意味しますか？

固定長の0 tokenではなく、モデルのメタデータからコンテキストサイズを読み込む指定です。実際に確保されるサイズは起動ログでも確認してください。

`--n-gpu-layers auto`と`all`の違いは何ですか？

autoは自動調整、allは全レイヤーのVRAM配置を要求します。VRAMに収まることを保証する指定ではないため、まずautoと起動ログを確認します。

`--mlock`や`--mmap`はまだ使えますか？

2026年8月23日に確認した版では非推奨の互換オプションです。新しい起動設定では--load-mode mlock、--load-mode mmapなどへ移行してください。

`-fa`だけでFlash Attentionを有効化できますか？

現行構文は値を取り、-fa on、-fa off、-fa autoのいずれかを指定します。デフォルトはautoです。

記事のデフォルト値をそのまま使ってよいですか？

固定コミットの参照値として利用し、実行時は手元のllama-cli --helpまたはllama-server --helpを優先してください。backendやモデルによって有効性も変わります。

参照資料

llama.cpp：監査に使用したnightly b10588（commit 70adb1b4、公開日 2026年8月22日）
llama.cpp：安定版 v0.2.0
llama.cpp：公式README（quick startと現行コマンド名）
llama.cpp：Build guide（CMake手順）
llama.cpp：Multi-GPU guide（split mode、制約、配分例）
llama.cpp：実行ファイル名のmigration notice
llama.cpp：llama-cli README（ソースから自動生成されたヘルプ表）
llama.cpp：llama-server README（ソースから自動生成されたヘルプ表・API仕様）
llama.cpp：引数定義ソース common/arg.cpp（設定階層、非推奨・削除引数を含む）