ローカルLLMの始め方

ローカルLLMの意味から、Mac・Windows・LinuxでOllamaを公式配布元から入手し、小さなモデルを選んで最初の返答を確かめるまでを案内します。

Ollamaとllama.cppの違いを、Macのローカル実行、GGUF管理、API、context・並列処理、設定・検証の用途別に比較。同一GGUFで条件を揃える方法と初心者・開発者ごとの選び方も解説します。

llama.cppでGGUFモデルを動かす手順を、導入、モデル選択、固定リビジョンでのダウンロード、対話実行、API起動、ログ確認まで順番に解説します。2026年8月2日時点の公式情報に基づく机上調査です。

llama.cpp公式Dockerイメージを使い、CPUまたはNVIDIA GPUでOpenAI互換APIサーバーを安全に起動する方法を解説します。

アプリが開かない、モデル取得や読み込みが止まる、返答が遅い・途中で止まるときに、状態を分けて次の確認を一つずつ進める方法を紹介します。

llama.cppが遅い原因を、ロード、プロンプト処理、トークン生成に分けて診断。GPUオフロード、メモリ、スレッド、batch、Flash Attention、KV cacheを安全な確認順で調整します。2026年8月2日時点の机上調査です。

ローカルLLMに必要なVRAMを、GGUFの重み、KVキャッシュ、計算バッファ、並列数、余裕容量へ分けて見積もる方法を解説。量子化別の理論値とllama.cppの確認コマンドも掲載します。

llama.cppのMetal、CUDA、HIP/ROCm、Vulkan、SYCLを対応機器・OS・build条件で整理。速度順位は作らず、同じGGUFをllama-benchで比較する方法と限界を解説します。

Mac・Windows・LinuxでローカルLLMを試す前に、手持ちのメモリとGPU、モデル容量、用途、言語、量子化、ライセンスの順で候補を絞る方法を解説します。

Apple Silicon Macの搭載メモリ別に、GGUFモデルを選ぶ出発点を整理。ファイル容量だけでなく、KVキャッシュ、context長、同時実行数、macOSのメモリプレッシャーまで含めた判断手順を解説します。

LM Studio 0.4.20を基準に、Context Length、GPU Offload、Flash Attention、KVキャッシュの設定と、8〜128GBの搭載メモリ別おすすめモデルを解説します。

ローカルLLM向けGPUをVRAM 1GBあたりの実売価格で比較。RTX 5060 Ti 16GB、RTX 3090 24GB、中古、新品Radeon 32GBの選び方を解説します。