Qwen3.6 27Bと35B-A3Bをllama.cppで比較：GGUFベンチマーク手順

結論

Qwen3.6-27Bは品質を優先しやすいdenseモデル、Qwen3.6-35B-A3Bは総35Bの重みを持ちながら1トークン当たり約3Bを活性化するMoEモデルです。MoEは計算量を抑えやすい一方、保存する重みが3Bになるわけではありません。

llama.cppではggml-orgのGGUFが公開され、公式本流から直接起動できます。比較では同じビット数だけでなく、実ファイル容量、KV cache、prompt processing、generation、実タスク品質を記録します。

モデルの違い

項目	Qwen3.6-27B	Qwen3.6-35B-A3B
構造	Dense	MoE
総パラメータ	27B	35B
活性パラメータ	27B	約3B
native context	262,144	262,144
拡張上限	約1,010,000	約1,010,000
llama.cpp公式GGUF	あり	あり

両モデルともGated DeltaNetとGated Attentionを組み合わせたハイブリッド構造で、画像入力にも対応します。本記事ではテキストLLM部分の比較に絞ります。

公式の品質ベンチマーク

Qwen公式27Bモデルカードに掲載された値の一部です。これは公式条件での公開値であり、GGUF量子化後の値ではありません。

ベンチマーク	27B	35B-A3B
MMLU-Pro	86.2	85.2
SWE-bench Verified	77.2	73.4
SWE-bench Pro	53.5	49.5
Terminal-Bench 2.0	59.3	51.5
SkillsBench Avg5	48.2	28.7

掲載値では27Bが優位ですが、ローカル運用では速度、消費電力、メモリ、量子化後の品質も含めて選びます。

必要メモリの考え方

重みだけの理論下限は、27Bなら16bitで約54GB、8bitで約27GB、4bitで約13.5GBです。35Bなら約70GB、35GB、17.5GBです。実際には量子化スケール、GGUFメタデータ、KV cache、実行バッファが加わります。

ggml-orgの公開ページでは、Qwen3.6-27B Q8_0が約28.6GB、35B-A3B Q8_0が約36.9GB、35B-A3B BF16が約69.4GBと表示されています。ダウンロード前に対象ファイルの実サイズを確認してください。

起動例

# 27B
llama-server \
  -hf ggml-org/Qwen3.6-27B-GGUF:Q8_0 \
  --host 127.0.0.1 --port 8080 \
  -c 32768 -np 1 -ngl 99

# 35B-A3B（利用する量子化タグはリポジトリで確認）
llama-server \
  -hf ggml-org/Qwen3.6-35B-A3B-GGUF \
  --host 127.0.0.1 --port 8081 \
  -c 32768 -np 1 -ngl 99

最大1M contextを最初から指定する必要はありません。通常のチャットなら32K程度から始め、実際の入力に合わせて増やします。長いcontextはKV cacheを増やし、同じハードウェアでも速度と同時実行数に影響します。

速度ベンチマーク

llama-bench \
  -hf ggml-org/Qwen3.6-27B-GGUF:Q8_0 \
  -p 512,2048,8192 \
  -n 128 \
  -r 5 \
  -o json > qwen36-27b.json

もう一方も同じ条件で実行します。比較表には以下を残します。

• pp512、pp2048、pp8192のtokens/s
• tg128のtokens/s
• ピークRAM・VRAM
• モデルロード時間
• 最初の1トークンまでの時間
• llama.cppビルド番号とGGUF名

品質ベンチマーク

公開ベンチマークだけでなく、自分が使うタスクを各10〜30問用意します。例えば次の4群です。

1. 日本語の要約：固有名詞と数値を維持できるか
2. コード修正：テストが通る差分を作れるか
3. 長文検索：本文中の離れた2情報を結合できるか
4. ツール呼び出し：指定JSON Schemaを守れるか

temperature、seed、system prompt、thinking設定を固定します。Qwen3.6の思考保持についてはpreserve_thinking解説も参照してください。

どちらを選ぶか

• 品質を優先: まず27Bを基準にする
• 生成計算量を抑えたい: 35B-A3Bを同一環境で測る
• メモリが厳しい: 両方の4〜6bit候補を実サイズと品質で比較
• 長文が必要: 最大値ではなく実際の入力長でKV cacheを設計

まとめ

公式値ではQwen3.6-27Bが複数の品質指標で35B-A3Bを上回りますが、MoE版には活性パラメータが少ないという別の利点があります。llama.cppでは両方をGGUFで試せるため、同じ量子化名だけに頼らず、速度・メモリ・自分の問題集を一式で測るのが確実です。多数同時リクエストを扱う場合は、vLLMでのQwen3.6比較も検討してください。

公式資料

• Qwen3.6-27B公式モデルカード
• Qwen3.6-35B-A3B公式モデルカード
• ggml-org Qwen3.6-27B-GGUF
• ggml-org Qwen3.6-35B-A3B-GGUF