Ollama 0.34.3のthinking metadata分析
Ollama v0.34.3の/api/showが返すthinking values／defaultと、Chat／Generate requestでの値の指定を区別し、未測定の性能範囲を整理します。
TAG
#API
APIの導入、設定、ベンチマーク、活用方法に関する記事をまとめています。 全4件。
vLLMでLoRAをリクエスト別に切り替える入門
vLLM v0.26.0で互換LoRA adapterを起動時に固定読込し、モデル一覧と同じAPIからbase／LoRAを切り替える最短手順、成功確認、失敗時の戻し方を解説します。
llama-serverの連続バッチング設定｜並列リクエストの確認方法
UbuntuとNVIDIA GPUでllama-serverを運用する人向けに、--parallelと--cont-batchingの関係、コンテキスト配分、同時リクエストの確認手順と注意点を公式仕様に基づいて解説します。
llama-server本番運用ガイド：OpenAI互換APIを安全に公開する
llama.cppのllama-serverを本番運用する際の並列数、コンテキスト、ヘルスチェック、nginx、認証、ログと更新手順を解説します。