ローカルLLMで画像・動画生成：Ollama・LocalAI連携ガイド

情報確認日: 2026年10月11日（各公式ページの現行内容を確認）
release確認: LocalAI v4.11.0（10月2日）、Ollama v0.40.2（10月8日）。これは監査時に確認したreleaseで、すべての環境で更新を推奨する意味ではありません。
検証区分: LocalAI、Ollama、ComfyUIの公式資料による机上調査です。この記事のコマンドでモデルのダウンロードや画像・動画生成は実行していません。
未検証範囲: model/backendごとの必要RAM・VRAM、生成時間、画質、driver互換性、output file、長時間稼働、各model license。

OllamaとLocalAIの役割を分ける

この構成で最も大切なのは、「画像を理解するmodel」と「画像を生成するmodel」を混同しないことです。

このガイドで使うOllamaのGemma 4 vision例は、画像を入力して説明やprompt案のtextを返す用途です。pixel画像を出力するimage generationとは別機能です。画像はStable DiffusionやFluxなどのimage backend、動画は選んだmodalitiesに対応するvideo backendへprompt等を渡して生成します。テキスト推論と生成backendの選び分けを先に整理したい場合はOllamaとllama.cppの用途別比較も参照してください。

1. LocalAIで画像生成を試す

LocalAIはOpenAI互換のPOST /v1/images/generationsを提供します。次は監査時に確認したv4.11.0を使うCPU containerの起動例です。CPU imageを起動しただけでは、任意の画像modelやGPU backendが準備されたことにはなりません。

docker run --rm -it \
  --name local-ai \
  -p 127.0.0.1:8080:8080 \
  localai/localai:v4.11.0

GPU用image、device指定、backendの組み合わせは別途確認が必要です。hostのOS・GPU・driverに合う方法をLocalAI公式overviewと各backend資料で照合してください。Apple Siliconも機能ごとに経路が異なり、後述の動画は公式にmlx-video backendが案内されています。

modelを準備する

LocalAIのStudioまたはModel Galleryで画像生成modelをinstallします。公式image generation資料ではflux.1-dev-ggmlが例示されています。利用可能な名前はinstall後にAPIで確認します。

curl http://127.0.0.1:8080/v1/models

native CLIを使う構成なら、公式例は次の形です。初回起動ではmodelとbackendの取得に時間とdisk容量を使います。

local-ai run flux.1-dev-ggml

text-to-image

curl http://127.0.0.1:8080/v1/images/generations \
  -H "Content-Type: application/json" \
  -d '{
    "model": "flux.1-dev-ggml",
    "prompt": "A quiet Japanese reading room at dawn, soft window light"
  }'

これはendpointとmodel identifierを示すrequest例で、生成成功を保証するものではありません。response形式や対応parameterはbackend・recipeごとに異なります。解像度などを指定する前に、選んだmodel recipeと公式image generation資料を確認してください。

image edit

LocalAIのFlux Kontext例では、編集専用endpointではなく同じ/v1/images/generationsへref_imagesを渡します。利用するmodel/backendにより入力形式が異なるので、一般的な/v1/images/editsをJSONで送れるとは限りません。

local-ai run flux.1-kontext-dev

curl http://127.0.0.1:8080/v1/images/generations \
  -H "Content-Type: application/json" \
  -d '{
    "model": "flux.1-kontext-dev",
    "prompt": "Replace the sign text with LocalAI",
    "size": "512x512",
    "ref_images": [
      "https://raw.githubusercontent.com/leejet/stable-diffusion.cpp/master/assets/flux/flux1-dev-q8_0.png"
    ]
  }'

2. Ollamaは画像理解とprompt支援に使う

Ollama公式vision資料は、対応vision modelへ画像を入力して説明・分類・質問への回答を得る方法を案内しています。現行Gemma 4 libraryの識別子はgemma4です。CLIでは画像pathを直接渡せます。

ollama run gemma4 ./reference.jpg "この画像の構図、光、色を簡潔に説明してください"

REST APIのimages配列はfile pathではなくbase64が必要です。SDKはpath、URL、raw bytesも受け付けます。

IMAGE_B64=$(base64 < reference.jpg | tr -d '\n')

curl http://127.0.0.1:11434/api/chat \
  -H "Content-Type: application/json" \
  -d '{
    "model": "gemma4",
    "messages": [{
      "role": "user",
      "content": "Describe the composition and return a short image-generation prompt.",
      "images": ["'"$IMAGE_B64"'"]
    }],
    "stream": false
  }'

返されたpromptを人が確認し、LocalAIまたはComfyUIへ渡します。Ollamaのvision response自体を画像fileと誤認しないでください。

3. LocalAIで動画生成を試す

LocalAI公式資料は動画生成のPOST /videoを案内しています。現行資料にあるbackendにはdiffusers、stablediffusion、vllm-omni、vllm-cpp、Apple Silicon向けmlx-video、longcat-videoがあります。入力modalitiesとrequest parameterはbackendごとに異なり、すべてが全hardwareで動くわけではありません。

Apple Siliconの動画backend

LongCat以外の選択肢として、LocalAIの現行video guideはApple Silicon向けnative Metalのmlx-videoとLTX-2設定例を載せています。次のcommandはbackend installの公式例です。モデル設定は公式video guideを参照してください。記事執筆時点で手元のMac上の実行確認はしていません。

local-ai backends install mlx-video

LongCatを使う場合

LongCatはLocalAIが案内するvideo backendの一つですが、対応環境は別です。LongCatの公式backend imageはLinux/NVIDIA CUDA向けで、x86_64はCUDA 12/13、ARM64はCUDA 13です。CPU・ROCm・macOS向けimageは公開されていません。この制約をLocalAI全体や他のvideo backendへ一般化しないでください。

local-ai models install longcat-video

curl http://127.0.0.1:8080/video \
  -H "Content-Type: application/json" \
  -d '{
    "model": "longcat-video",
    "prompt": "A slow tracking shot through a misty forest"
  }'

このrequestはendpointの形を示す机上例で、生成やhardware適合は検証していません。LocalAI資料では未指定のwidth/heightはbackend defaultを使い、responseは通常URLで返します。開始画像のfieldやframe設定はLongCat recipeで確認してください。model file容量からRAM/VRAMの必要量や実行可否を換算できるとは限りません。

詳細なfieldとLongCatの制約はLocalAI公式video generation資料で確認できます。

4. ComfyUIと組み合わせる場合

ComfyUIはnode-basedの生成workflowを組むための別applicationです。Ollamaでpromptを整え、ComfyUIのworkflowへ渡す構成にすると、model、LoRA、ControlNet、sampler、seedなどを明示的に管理できます。

1. Ollamaでreference imageを説明し、prompt案を作る
2. 人が権利・安全性・固有名詞を確認する
3. ComfyUI workflowで画像を生成する
4. 使用modelが対応する場合に限り、LocalAIのvideo backendへ開始画像として渡す
5. model revision、workflow JSON、seed、解像度、実測した時間・memoryを記録する

ComfyUIのinstall方法やAPIは更新されるため、第三者の固定commandではなくComfyUI公式repositoryを参照してください。

hardwareと性能の見積もり

必要memoryはmodel名だけでなく、weight precision、backend、resolution、batch、attention、VAE、offloadで変わります。特に動画はframe数と解像度で大きく変動します。LLMの量子化・context・KV cache側の見積もりはローカルLLMに必要なVRAMの計算方法が参考になりますが、画像・動画生成の必要量へそのまま置き換えないでください。この記事では固定VRAM表を実測値として扱いません。

• 最初の確認: modelを1つだけloadし、低解像度・短い出力で成功させる
• 記録: host RAM、VRAM、load時間、生成時間、output size、error log
• 切り分け: 一度に1 parameterだけ変更する
• CPU: backendが対応しても実用速度とは限らない
• GPU: vendor、driver、container tag、backendの組み合わせを公式表で確認する

費用・privacy・安全性

• ローカル実行はcloudの従量API料金を避けられますが、hardware、電力、storage、運用時間は無料ではありません。
• modelやbackendの取得時には外部registry/Hugging Faceへ通信します。完全offline運用は、asset取得後にnetworkを分離して別途確認します。
• 「content filterがない」ことを利点として断定しません。model license、利用規約、著作権、肖像、個人情報、組織policyを守る必要があります。
• APIを0.0.0.0へ公開すると、第三者がGPU資源や生成機能を使える危険があります。まずloopbackへbindし、共有時は認証・TLS・rate limitを追加します。

まとめ

Ollamaは画像を理解し、生成promptを作る役割に向きます。実画像はLocalAIの/v1/images/generationsやComfyUI、動画はLocalAIの/videoなど、生成対応backendで作ります。各componentを単体で検証してからつなぐと、model、API、memory、workflowのどこで失敗したか切り分けやすくなります。

公式資料

• LocalAI: Image Generation
• LocalAI: Video Generation
• LocalAI: Containers and image variants
• LocalAI v4.11.0 release
• Ollama: Vision
• Ollama: Gemma 4 model library
• Ollama v0.40.2 release
• ComfyUI公式repository