Qwen3.5をローカルで動かす方法｜Ollama・llama.cpp
CHATGPT / AIChatGPTなどの生成AIを活用して運営・記事制作・更新を行っています。制作方針
Qwen3.5をOllamaまたはllama.cppでローカル実行する手順を紹介。配布中のモデル名、起動確認、thinkingの既定動作とメモリ見積もりの注意点を公式資料に沿って整理します。
先に結論
Qwen3.5を初めて試すなら、Ollamaの公式libraryに現在載っているtagを指定して起動し、モデル一覧に現れることを確認するのが短い手順です。GGUFとdevice選択を扱いたい場合は、llama.cpp upstreamが例示するQwen3.5 GGUFから始められます。どちらも実行環境、量子化、context設定によって必要メモリは変わります。この記事の調査は公式資料の確認であり、実機での推論や速度測定はしていません。
1. OllamaでQwen3.5を起動する
OllamaのQwen3.5 tag一覧を2026年10月11日に確認すると、qwen3.5:4b-q4_K_Mとqwen3.5:9b-q4_K_Mが掲載されています。まず小さい候補を明示して試す例です。tagや提供状況は変わるため、ダウンロード前に一覧を開き直してください。
ollama run qwen3.5:4b-q4_K_M初回はmodelを取得してから対話入力へ進みます。プロンプトを入力して返答を確かめた後、ローカルに登録されたmodelを確認します。
ollama lsregistryの表示サイズは配布ファイルの目安です。実行時のRAM・VRAM使用量ではありません。modelのweightに加え、context lengthに応じたKV cache、runtime buffer、OSや他のアプリが使うmemoryも必要です。4Bの量子化tagから始めても動作を保証するものではなく、メモリ不足ならさらに小さい掲載tag、短い入力、短いcontextを試してください。
2. llama.cppで公式GGUF例を試す
Qwenの9B model cardが配布する本体はTransformers形式です。そのmodel IDをそのままGGUFとして扱うことはできません。一方、llama.cppの現行upstream READMEには、upstreamが公開するggml-org/Qwen3.5-0.8B-GGUFを使う直接起動例があります。
llama cli -hf ggml-org/Qwen3.5-0.8B-GGUFこの小型modelは、コマンドやruntimeが通るかを見るための例です。大きなmodelより高品質である、あるいは特定の用途に十分だという推奨ではありません。llama.cppをインストールするときは、同じREADMEから現在のrelease binary、アプリ、Docker、source buildの案内を選びます。古い版ではCLI名やoptionが異なることがあります。
同じmodelをlocal API serverとして起動する場合は、listen addressをloopbackに固定します。
llama serve -hf ggml-org/Qwen3.5-0.8B-GGUF \
--host 127.0.0.1 \
--port 8080modelの読み込み完了はhealth endpointで確認できます。
curl -i http://127.0.0.1:8080/health応答が200ならserverがreadyです。読み込み中は503になる場合があるため、すぐに失敗と決めず、起動ログとhealth statusを確認してください。外部へ公開するために0.0.0.0へ変更する前に、認証、TLS、アクセス制御を含めたserver構成を別途設計します。
3. モデル名と形式を取り違えない
同じQwen3.5でもruntimeごとに使うmodel repositoryと形式が異なります。
| runtime | この記事の例 | 取得する形式 |
|---|---|---|
| Ollama | qwen3.5:4b-q4_K_M | Ollama libraryのtag |
| llama.cpp | ggml-org/Qwen3.5-0.8B-GGUF | GGUF |
| Transformers | Qwen/Qwen3.5-9B | model cardに記載されたTransformers形式 |
名前の4bや9bは量子化後のファイル容量ではありません。量子化tagを変えると配布fileの大きさは変わりますが、実行中に必要なmemoryはcontextやruntime optionにも左右されます。model pageにあるcontext上限をそのまま設定値にせず、短い入力で成功を確認してから少しずつ延ばしてください。
thinkingの既定値を知っておく
QwenのQwen3.5-9B model cardは、この9B model card上でQwen3.5のthinking modeを既定として説明しています。別サイズや量子化variantで使うtemplateとruntimeのresponse表示が同じとは限らないため、利用するmodel cardとruntimeのoptionも確認してください。クラウドAPIのparameterをローカルCLIへそのまま転用せず、この記事ではどのruntimeでも共通すると確認できていない「thinkingを必ず止める」flagは示しません。
動作しないときの確認順
- tag一覧またはGGUF repositoryに指定したmodel IDと量子化fileが掲載されているか確認します。
- runtimeのversionと、model formatの組み合わせを確認します。Transformers weights、Ollama tag、GGUFは同じ入力形式ではありません。
- 短いpromptと短いcontextから試し、必要memoryを減らします。
- GPUを使う場合はruntimeのdevice一覧と起動ログを見て、想定deviceが認識されたか確認します。
- 実行できても速度や回答品質が用途に合うとは限らないため、自分のpromptで確認します。
関連ガイド
Ollamaをまだ導入していない場合はローカルLLMを初回起動する汎用ガイドを、別のGGUF modelを扱う場合はllama.cppでGGUFを動かす方法を参照してください。GPU backendの対応条件と同じ条件での測り方はllama.cpp GPU backend比較で整理しています。
公式資料
- Ollama: Qwen3.5 tags（2026年10月11日確認。実在tagと配布file情報）
- Ollama CLI reference（2026年10月11日確認。
run、ls等のCLI） - Qwen3.5-9B official model card（2026年10月11日確認。Transformers形式、thinking既定値）
- llama.cpp upstream README（2026年10月11日確認。Qwen3.5 GGUFの現行起動例）
- llama.cpp server documentation（2026年10月11日確認。
llama serveoptionとhealth endpoint）
