Gemma 4 Android で動かす

• 完全なプライバシー — プロンプトとレスポンスはデバイスの外に出ない
• オフライン動作 — Wi-Fiもモバイルデータも不要
• ダウンロード後は完全無料 — API費用なし、サブスクなし
• Snapdragon 8 Gen 3 / Dimensity 9300で即時レスポンス

E2B Q4_K_Mがandroidの最有力候補です。ストレージ~2.4GB、推論時RAM~2.5GBで、2023年以降の任意のフラッグシップチップセットで実用的な速度で動作します。

公式Googleの方法。AI Edge SDKはAndroid Studioと直接統合し、GPUデリゲートでハードウェアアクセラレーション推論を実現します。独自アプリ開発に最適。

build.gradle

// build.gradle (app)
dependencies {
    implementation("com.google.ai.edge.litert:litert:1.0.1")
    implementation("com.google.ai.edge.litert:litert-gpu:1.0.1")
}

Kotlin Inference

import com.google.ai.edge.litert.LiteRtSession

// Initialize with E2B model asset
val session = LiteRtSession.createFromAsset(
    context,
    "gemma4-e2b-it-q4.task",
    LiteRtSession.Options.builder()
        .setPreferredBackend(LiteRtSession.Backend.GPU)
        .build()
)

// Generate response
val result = session.generateResponse("What is Gemma 4?")
println(result)

MLC-LLMはVulkan GPUアクセラレーションでGemma 4 GGUFモデルを動かすプリビルドAndroid APKを提供しています。MLC-LLM GitHub ReleasesからAPKをダウンロードしてインストールし、アプリ内でGemma 4 E2B Q4モデルを読み込むだけです。コード不要 — Android 10以上で現代的なGPUを持つ任意のデバイスで動作します。

完全なコントロールを望む開発者向け。F-DroidからTermuxをインストールし、OpenCLまたはVulkanサポートでllama.cppをコンパイルし、GGUFモデルをダウンロードしてターミナルから推論を実行します。セットアップは複雑ですが、コンテキスト長、温度、バッチサイズなどすべてのllama.cppフラグに直接アクセスできます。

# Install Termux from F-Droid (not Play Store)
# Then inside Termux:
pkg update && pkg install clang cmake git

# Clone and build llama.cpp with Vulkan
git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp
cmake -B build -DGGML_VULKAN=ON
cmake --build build --config Release -j4

# Download Gemma 4 E2B Q4_K_M GGUF
# (copy to phone storage or wget from Hugging Face)

# Run inference
./build/bin/llama-cli \
  -m /sdcard/gemma4-e2b-q4_k_m.gguf \
  -p "Explain machine learning simply" \
  -n 200 --gpu-layers 99

中位チップセット（Snapdragon 7s Gen 2以下）はCPUでE2B Q4を動かせますが毎秒2〜4トークンの速度です。Vulkan/OpenCL GPUコンピュートを持つフラッグシップチップは毎秒10〜20以上のトークンを実現します。

Gemma 4 E2B Q4_K_M、512トークンプロンプトでのトークン/秒。GPUパスはMLC-LLMまたはAI Edge SDK経由のVulkanコンピュートを使用。

• GPUアクセラレーションを有効化 — VulkanデリゲートはCPUより4〜6倍速い
• Q4_K_M量化を使用 — モバイルで最高の品質/速度バランス
• 長時間セッション前にAndroidパフォーマンスモードを設定（設定→バッテリー→パフォーマンス）
• プロンプトを2Kトークン以内に収める — 長いコンテキストは最初のトークン遅延を大幅に増加させる

• Gemma 4 インストールガイド — デスクトップ/サーバー設定
• Gemma 4 iPhone版 — 完全iOSガイド
• Gemma 4 ローカルデプロイ — 高度なオプション