llama-server本番運用ガイド：OpenAI互換APIを安全に公開する
llama.cppのllama-serverを本番運用する際の並列数、コンテキスト、ヘルスチェック、nginx、認証、ログと更新手順を解説します。
記事を読むTAG
#nginx
nginxの導入、設定、ベンチマーク、活用方法に関する記事をまとめています。 全2件。
2GB VPSで複数サイトを運営する方法：nginx・静的サイト・Dockerの構成例
メモリ2GBのUbuntu VPSで複数サイトを安全に運営するためのnginx構成、ディレクトリ設計、Docker分離、監視とバックアップを解説します。
記事を読む