MacでDockerのローカルLLMが遅い？ネイティブ実行とGPUのつながりを整理
Mac上のDockerでローカルLLMが遅いと感じる理由を、Metalを使うネイティブ実行、Linux VMのコンテナ、Docker Model Runnerの実行場所とAPI経路から整理します。
TAG
#Metal
Metalの導入、設定、ベンチマーク、活用方法に関する記事をまとめています。 全5件。
MacのローカルLLMはどこで動く？Metal・仮想マシン・API経由の違い
macOSのネイティブ推論、Docker DesktopのLinux VM、Docker Model Runner、API remotingを実行境界とMetal接続から比較。公式仕様と未実測の限界を整理します。
llama.cpp、Tool隔離とMetal計算修正
2026年8月9日に確認したllama.cppの公式更新から、DockerによるTool隔離の初期対応と、Metalの正規化計算を直す修正を整理します。影響範囲と今日の判断を一次情報だけで確認します。
ローカルLLM向けAIマシン比較｜Mac・DGX Spark・RTX PRO
Mac Studio M5 Max・M5 Ultra、DGX Spark、RTX PRO 5000 48/72GB、RTX PRO 6000 96GBを、構成別メモリ・帯域・導入形態から比較。価格は確認日付きの参考情報です。
llama.cpp GPU比較｜Metal・CUDA・ROCm・Vulkan・SYCL
llama.cppのMetal、CUDA、HIP/ROCm、Vulkan、SYCLを対応機器・OS・build条件で整理。速度順位は作らず、同じGGUFをllama-benchで比較する方法と限界を解説します。