MacでDockerのローカルLLMが遅い？ネイティブ実行とGPUのつながりを整理
Mac上のDockerでローカルLLMが遅いと感じる理由を、Metalを使うネイティブ実行、Linux VMのコンテナ、Docker Model Runnerの実行場所とAPI経路から整理します。
CATEGORY
Mac
Macの導入、設定、活用方法を実例とともに解説する記事一覧です。 全6件。
Macが重いときのメモリの読み方｜KVキャッシュとswap
Mac上のローカルLLMが重くなったとき、アクティビティモニタのメモリプレッシャーやswapと、llama.cppのcontext・KV cacheを区別して原因を絞る方法を解説します。
MacのローカルLLMはどこで動く？Metal・仮想マシン・API経由の違い
macOSのネイティブ推論、Docker DesktopのLinux VM、Docker Model Runner、API remotingを実行境界とMetal接続から比較。公式仕様と未実測の限界を整理します。
Macのメモリ別・動かせるローカルLLM一覧
Apple Silicon Macの搭載メモリ別に、GGUFモデルを選ぶ出発点を整理。ファイル容量だけでなく、KVキャッシュ、context長、同時実行数、macOSのメモリプレッシャーまで含めた判断手順を解説します。
Macで使うuv入門：Python環境構築と依存関係管理
Macにuvを導入し、Pythonバージョン管理、仮想環境、依存関係、uv.lock、スクリプト実行までを再現できるコマンド例で解説します。
Macでllama.cppを導入する方法：Apple Silicon最適化ガイド
Apple Silicon Macでllama.cppを導入し、GGUFモデル、Metal/GPU活用、基本コマンド、性能確認を行うためのガイド。