Gemma 3n E2B・E4B公式品質比較
CHATGPT / AIChatGPTなどの生成AIを活用して運営・記事制作・更新を行っています。制作方針
Gemma 3n E2B ITとE4B ITのGoogle公表benchmarkを、variant、metric、n-shot、full precision、2GB／3GB memory、32K contextに固定し、小型端末へ適用できる範囲と未測定の速度を整理します。
先に結論
calendarの判断: オフラインのテキスト・画像・音声入力を小型端末で扱う読者は、2GB級のE2Bを速度優先の候補、3GB級のE4Bを品質優先の候補として、Google公表の同一表の測定条件に限り選ぶ。
対象model: google/gemma-3n-E2B-it、google/gemma-3n-E4B-it
対象機器: mobile device with 2GB free model memory / Google AI Edge、mobile device with 3GB free model memory / Google AI Edge、laptop 16GB RAM / llama.cpp, MLX, or Ollama
Googleの同一model cardではE4B ITが多くのquality taskでE2B ITを上回りますが、GPQA Diamondなど逆転例もあります。公開結果はfull precisionのquality評価であり、2GB／3GBのmobile memory目安、32K context、runtime提供状態とは別の証拠です。E2Bを速度側の候補に置くのは小さいeffective sizeから測る順序であって、同一端末のdecode tok/s勝利を意味しません。
確認日: 2026年8月27日（Asia/Tokyo）
検証区分: Google公式model cardの開発元測定と、Google公式developer guide・現行実行ガイド・LiteRT-LM資料を照合した公開情報の机上調査です。KFB実測と独立測定はありません。
比較上の制約: full precisionのPTとITを混ぜず、metricとn-shotが一致する同じ行だけでE2B／E4Bを比較します。mobile quantization、端末、runtime、contextが異なる値を同じrankingへ入れません。
比較対象と測定条件
| 項目 | 固定した値 | 確認元・不足条件 |
|---|---|---|
| model／revision／artifact | google/gemma-3n-E2B-itとgoogle/gemma-3n-E4B-itのlaunch version。取得時はfull commit SHAを保存 | Google公式repository。今回の公開表は個別commit hashを記載しない |
| 評価variant | E2B IT対E4B IT。PT行はITと混ぜない | Google model card |
| dtype／quantization | quality表はfull precision（float32）。mobile用4-bit等は別artifact | Google model card。quantized qualityは未測定 |
| runtime／backend | quality評価のinference harness・versionは公開表に詳細なし | Google測定。Google AI Edge／llama.cpp／MLX／Ollamaの速度表ではない |
| hardware／OS／driver | 公開quality表には端末hardware、OS、driverの詳細なし | mobile適性の速度比較には使えない |
| context／input・output token | model仕様は総input 32K。各benchmark固有promptを使用 | 一般promptのinput／output token数は未公表 |
| prompt template／sampling | benchmark固有。公開表から一般chat条件は固定できない | 再現に必要な完全promptとsamplingは未確認 |
| batch／concurrency／warm-up／測定回数 | 公開表に詳細なし | throughput比較不可 |
| memory | E2B as little as 2GB、E4B as little as 3GB | Google developer guide。端末全体のpeak RAMではない |
Gemma 3n model cardはbenchmark名、metric、n-shot、E2B／E4B、PT／ITを示す測定の一次情報です。Gemma 3n developer guideは5B／8B total、E2B／E4B、2GB／3GB、multimodal入力、初回runtime対応を示す公式仕様です。
現在の利用経路は2026年7月2日更新のGemma実行ガイドと、2026年8月12日更新のLiteRT-LM資料で再確認しました。これらの現行資料はmodel familyとdevice frameworkの提供状態を支えますが、2025年のquality値を再測定した資料ではありません。
ベンチマーク結果
benchmarkStatus: source-reportedです。結果はGoogle-reported evaluation only; not KFB measuredであり、同一Google表のIT行だけを抜粋します。
| domain | benchmark | metric | n-shot | E2B IT | E4B IT | 読み方 |
|---|---|---|---|---|---|---|
| multilingual | MGSM | Accuracy | 0-shot | 53.1 | 60.7 | E4Bが高い。日本語単独の実利用評価ではない |
| multilingual | WMT24++ | ChrF | 0-shot | 42.7 | 50.1 | 翻訳taskのcharacter-level score |
| STEM／code | GPQA Diamond | RelaxedAccuracy／accuracy | 0-shot | 24.8 | 23.7 | E2Bが高い逆転例 |
| STEM／code | LiveCodeBench v5 | pass@1 | 0-shot | 18.6 | 25.7 | E4Bが高い。runtime速度とは無関係 |
| additional | MMLU | Accuracy | 0-shot | 60.1 | 64.9 | E4Bが高い知識task |
| additional | HumanEval | pass@1 | 0-shot | 66.5 | 75.0 | E4Bが高いcode task |
同じ表でもECLeKTicはE2B 2.5、E4B 1.9であり、E4Bが全taskを上回るわけではありません。複数metricを平均して独自総合点を作らず、用途に近いtaskを個別に読みます。
本稿のbenchmarkMetricsはquality、peak-memory、context-lengthです。ただしpeak-memoryについて確認できるのは2GB／3GBという公式memory footprint目安だけで、OS、app、encoder、KV cacheを含む実peakではありません。32K total input context specificationも最大入力仕様であり、32K時のTTFT、prefill、decode、powerを示しません。
機器ごとの適性
| 機器／memory | 対象model | 根拠 | 判断段階 | 向く用途 | 避ける条件 |
|---|---|---|---|---|---|
| mobile device with 2GB free model memory / Google AI Edge | E2B IT | Googleの2GB級目安 | 容量上の第一候補 | offline textからmultimodalへ段階試験 | 2GB端末での起動・速度保証、32K開始 |
| mobile device with 3GB free model memory / Google AI Edge | E4B IT | Googleの3GB級目安と同一quality表 | 容量上の品質側候補 | quality taskが用途に近い場合 | E4Bの全task勝利、同じ端末での速度保証 |
| laptop 16GB RAM / llama.cpp, MLX, or Ollama | E2B／E4Bの対応変換artifact | 現行Google guideがframeworkを案内 | runtime別の検証候補 | model差を同じbackendで比較 | community artifactをGoogle本体revisionと同一視 |
Mobile 2GB級
E2Bは5B totalですが、PLEによりacceleratorへ置くcore transformer weightを約2B相当へ抑える設計です。ここから速度、発熱、電力、長context安定性は導けません。E2Bを先にする理由は失敗時の範囲を小さくしやすいことで、速度の勝敗は同一端末の測定後に決めます。
Mobile 3GB級
E4Bは8B total／E4Bで、Googleの同一quality表では多くのtaskが高い一方、GPQA DiamondやECLeKTicではE2Bが上回ります。用途に近いmetricを選び、端末上のquantized artifactでcorrectnessを再確認します。quality表のfloat32結果から4-bit artifactの差を推定しません。
16GB laptop
16GB laptopでは両variantが容量候補ですが、llama.cpp、MLX、Ollamaごとにartifact、quantization、modality対応が異なります。Google本体Safetensorsとcommunity GGUF／MLX変換のrevision、chat template、audio／vision supportを別々に固定します。backendが違う値はmodel差として扱いません。
結果を適用できる範囲
確認済み事実は、E2B／E4B ITのmodel ID、5B／8B total、text・image・video・audio入力、text出力、32K total input、Gemma Terms、Googleの2GB／3GB目安、full-precisionの公開quality表です。現行runtime提供はGoogleの2026年7〜8月資料で確認しました。
Googleの測定者主張は、同じmodel cardのtask・metric・n-shot条件におけるscoreです。KFBの判断は、その表で用途に近いqualityを優先するならE4B、空きmemoryを抑えて最初に測るならE2Bという選択順です。次には適用しません。
- 別revision、base model、fine-tune、community GGUF／MLX／Ollama artifact
- quantized mobile artifactのquality、peak memory、TTFT、prefill、decode tok/s
- 32K入力時のmemory、latency、long-context quality
- 画像解像度、audio長、video frame数が異なるmultimodal workload
- battery、power、thermal throttling、価格、地域差、offline appのprivacy実装
- E2BとE4Bの速度勝敗、全taskをまとめた独自ranking
原理の補足：effective sizeは端末全体のmemoryではない
PLEは一部embeddingをCPU側で扱い、accelerator上のcore weight量を抑えます。これは2GB／3GBという入口を理解するために必要ですが、端末全体のRAM、KV cache、encoder、runtime bufferまで小さくなる保証ではありません。effective parameterからdecode tok/sやqualityを推定しないことが重要です。
再測定する方法
KFBが将来実測する場合は、次を一組として保存します。
- model ID、full commit SHA、artifact filename、checksum、Gemma Termsの版
- Google AI Edge／LiteRT-LM、llama.cpp、MLX、Ollamaのversionとbackend
- dtype／quantization、端末名、SoC、RAM、OS、driver／accelerator delegate
- text token、画像解像度、audio秒数、video frame、総input、output token
- prompt template、sampling、batch、concurrency、warm-up、反復回数
- task score、TTFT、prefill tokens/s、decode tokens/s、inter-token latency、peak RAM、power、温度
E2BとE4Bは同じ端末、runtime、quantization class、prompt、input modality、token数で測ります。qualityはGoogle表と同じtaskを再現できる場合だけ比較し、端末向け4-bit結果をfloat32表と同じ列で勝敗にしません。
モデルと機器を先に選ぶ
最初のartifactを決める場合は同じテーマの実用ガイドから確認してください。別modelも含むcapacityはMacのメモリ別ローカルLLM一覧、backend条件はllama.cpp backend比較、速度表の設計例はQwen3.6のvLLM benchmarkが担当します。
参考資料
- Google：Gemma 3n model card（2025年6月17日更新。full-precision benchmark、n-shot、32K仕様）
- Google Developers Blog：Gemma 3n developer guide（2025年6月26日。2GB／3GB目安、runtime、multimodal）
- Google公式repository：Gemma 3n E2B IT（2026年8月27日提供状態を確認）
- Google公式repository：Gemma 3n E4B IT（2026年8月27日提供状態を確認）
- Google：Gemma実行ガイド（2026年7月2日更新。現行framework案内）
- Google：LiteRT-LM（2026年8月12日更新。現行device・multimodal対応）
