ローカルLLMが動かない・遅いときの確認順
アプリが開かない、モデル取得や読み込みが止まる、返答が遅い・途中で止まるときに、状態を分けて次の確認を一つずつ進める方法を紹介します。
TAG
トラブルシューティングの導入、設定、ベンチマーク、活用方法に関する記事をまとめています。 全2件。
アプリが開かない、モデル取得や読み込みが止まる、返答が遅い・途中で止まるときに、状態を分けて次の確認を一つずつ進める方法を紹介します。
llama.cppでGGUFモデルを読み込めないときの確認順を、破損・分割ファイル・未対応アーキテクチャ・mmproj・メモリ不足などのエラー別に解説します。公式ソースに基づく机上調査です。