MacでDockerのローカルLLMが遅い？ネイティブ実行とGPUのつながりを整理
Mac上のDockerでローカルLLMが遅いと感じる理由を、Metalを使うネイティブ実行、Linux VMのコンテナ、Docker Model Runnerの実行場所とAPI経路から整理します。
TAG
#Apple Silicon
Apple Siliconの導入、設定、ベンチマーク、活用方法に関する記事をまとめています。 全11件。
Macが重いときのメモリの読み方｜KVキャッシュとswap
Mac上のローカルLLMが重くなったとき、アクティビティモニタのメモリプレッシャーやswapと、llama.cppのcontext・KV cacheを区別して原因を絞る方法を解説します。
gpt-oss 20bと120bの機器別選び方
gpt-oss-20bと120bを、16GB memory、Apple Silicon、H100 80GB、Windowsで選ぶガイドです。MXFP4の公式容量目安、128K context、現行runtime、未測定範囲を分けて判断できます。
GPT-5.6 UltrafastとMetal TQ2対応
2026年8月14日に確認した公式更新から、GPT-5.6 Solの限定Ultrafast previewと、llama.cppのMetal向けTQ2_0対応を整理します。
MLX LMのPrompt Cache入門：長文を再利用する
Apple Silicon MacでMLX LMの共通promptをcache fileへ保存し、別の質問で再利用する手順を解説します。確認方法、memoryとの関係、失敗したときの安全な戻し方も扱います。
MLX LMのKV Cache再利用を評価する設計
MLX LMのPrompt Cacheとrotating KV cacheを混同せず、prefix一致、model、max-kv-size、memory、prefill時間を固定して再利用の適用範囲を評価する方法を解説します。
Macのメモリ別・動かせるローカルLLM一覧
Apple Silicon Macの搭載メモリ別に、GGUFモデルを選ぶ出発点を整理。ファイル容量だけでなく、KVキャッシュ、context長、同時実行数、macOSのメモリプレッシャーまで含めた判断手順を解説します。
LM Studioおすすめ設定｜メモリ別モデル比較
LM Studio 0.4.20を基準に、Context Length、GPU Offload、Flash Attention、KVキャッシュの設定と、8〜128GBの搭載メモリ別おすすめモデルを解説します。
MacとNVIDIA DGX SparkでLLMワークロードを最適化する方法
MacとNVIDIA DGX Sparkを組み合わせ、LLM推論、クライアント利用、分散構成、役割分担を考えるための最適化ガイド。
MacとDGX Sparkで作るLLMハイブリッド環境構築ガイド
MacとDGX Sparkを組み合わせ、SSH、vLLM、Ollama、RAGなどの役割分担でLLMハイブリッド環境を作るためのガイド。
Macでllama.cppを導入する方法：Apple Silicon最適化ガイド
Apple Silicon Macでllama.cppを導入し、GGUFモデル、Metal/GPU活用、基本コマンド、性能確認を行うためのガイド。