llama-serverの連続バッチング設定｜並列リクエストの確認方法
UbuntuとNVIDIA GPUでllama-serverを運用する人向けに、--parallelと--cont-batchingの関係、コンテキスト配分、同時リクエストの確認手順と注意点を公式仕様に基づいて解説します。
CATEGORY
Linux
Linux、Ubuntu、SSH、Python環境など、開発基盤を再現可能に構築する手順を解説します。 全9件。
vLLM本番APIサーバー運用：OpenAI互換・監視・負荷試験の実践
vLLMのOpenAI互換サーバーを安全に運用するため、起動、TLS、認証、Prometheus監視、vllm bench serve、更新と障害切り分けを解説します。
llama-server本番運用ガイド：OpenAI互換APIを安全に公開する
llama.cppのllama-serverを本番運用する際の並列数、コンテキスト、ヘルスチェック、nginx、認証、ログと更新手順を解説します。
2GB VPSで複数サイトを運営する方法：nginx・静的サイト・Dockerの構成例
メモリ2GBのUbuntu VPSで複数サイトを安全に運営するためのnginx構成、ディレクトリ設計、Docker分離、監視とバックアップを解説します。
WordPressからAstroへ移行する方法：URL維持・SEO・無停止切替の実践手順
WordPressの記事・画像・URLを維持しながらAstro静的サイトへ移行する手順を、バックアップ、変換、検証、DNS切替まで実践的に解説します。
llama.cppをDockerで動かす方法：CPU・NVIDIA GPU対応ガイド
llama.cpp公式Dockerイメージを使い、CPUまたはNVIDIA GPUでOpenAI互換APIサーバーを安全に起動する方法を解説します。
Dockerの導入方法：Mac・Ubuntu・Linux別の詳細ガイド
Mac、Ubuntu、LinuxでDockerを導入する手順を、インストール方法、確認コマンド、初期設定までまとめた入門ガイド。
SSHとは？仕組み・公開鍵認証・ポートフォワーディングのまとめ
SSHの仕組み、公開鍵認証、接続設定、ポートフォワーディング、ファイル転送、安全なサーバー運用の注意点をコマンド例とともに解説します。
Linuxでのuv入門：Python環境構築とパッケージ管理の使い方
Linuxにuvを導入し、Pythonバージョン管理、仮想環境、依存関係、uv.lock、スクリプト実行までを再現できるコマンド例で解説します。