G4

Guía

Gemma 4 + Guía de Uso con Ollama

La guía completa para ejecutar Gemma 4 con Ollama — instalar, descargar modelos, usar la REST API, integrar con Python via OpenAI SDK, crear Modelfiles personalizados, y más.

Ollama REST API OpenAI SDK Modelfile

1. Instalar Ollama

# Linux / macOS
curl -fsSL https://ollama.com/install.sh | sh

# macOS (Homebrew)
brew install ollama

# Windows: download .exe from ollama.com

Después de la instalación, Ollama se ejecuta como servicio en segundo plano. Verifica con ollama --version.

2. Descargar Modelos Gemma 4

# Pull the default 31B model
ollama pull gemma4

# Pull specific variants
ollama pull gemma4:e4b    # Edge 4B — best for 8 GB VRAM
ollama pull gemma4:e2b    # Edge 2B — runs on 4 GB VRAM or CPU

# List downloaded models
ollama list

Qué Variante Descargar

TagVRAMSpeed
gemma4:e2b~4 GBFastest
gemma4:e4b~6 GBFast
gemma4~18 GBBest quality

Ollama usa modelos cuantizados GGUF (Q4_K_M por defecto).

3. Ejecutar via CLI

# Interactive chat in terminal
ollama run gemma4

# Single prompt (non-interactive)
ollama run gemma4 "Explain the MoE architecture in Gemma 4"

# With a custom system prompt
ollama run gemma4 --system "You are a Python expert." "Write a FastAPI hello world"

En modo interactivo, escribe /bye to exit or /help to see commands.

4. REST API

Ollama expone una REST API en http://localhost:11434:

# The Ollama REST API runs at localhost:11434
# Generate completion
curl http://localhost:11434/api/generate -d '{
  "model": "gemma4",
  "prompt": "Why is Gemma 4 good for local deployment?",
  "stream": false
}'

# Chat completions
curl http://localhost:11434/api/chat -d '{
  "model": "gemma4",
  "messages": [
    {"role": "user", "content": "Hello!"}
  ]
}'

POST /api/generate

Single completion

POST /api/chat

Multi-turn conversation

GET /api/tags

List installed models

5. Usar con OpenAI Python SDK

Ollama soporta el formato API de OpenAI en /v1/ — use your existing OpenAI code with zero changes:

from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:11434/v1",
    api_key="ollama"  # required but unused
)

response = client.chat.completions.create(
    model="gemma4",
    messages=[{"role": "user", "content": "What is Gemma 4?"}]
)
print(response.choices[0].message.content)

6. Respuestas en Streaming

import requests
import json

response = requests.post(
    "http://localhost:11434/api/chat",
    json={
        "model": "gemma4",
        "messages": [{"role": "user", "content": "Tell me a story"}],
        "stream": True
    },
    stream=True
)

for line in response.iter_lines():
    if line:
        chunk = json.loads(line)
        print(chunk["message"]["content"], end="", flush=True)

7. Modelfile Personalizado

Desde Modelo Base de Ollama

# Create a Modelfile
FROM gemma4:e4b
SYSTEM "You are a helpful coding assistant specializing in Python."
PARAMETER temperature 0.7
PARAMETER top_p 0.9
# Build and run your custom model
ollama create mygemma -f Modelfile
ollama run mygemma

Desde Archivo GGUF Local

# Use a local GGUF file
FROM /path/to/your/gemma4-q4_k_m.gguf
SYSTEM "You are a helpful assistant."

Descarga archivos GGUF de repositorios comunitarios como bartowski/google_gemma-4-E4B-it-GGUF en Hugging Face.

Consejos y Problemas Comunes

Consejos de Rendimiento

  • Set OLLAMA_NUM_GPU=1 to force GPU offloading
  • Use OLLAMA_NUM_PARALLEL=4 for concurrent requests
  • Keep context short — 2048 tokens is enough for most tasks
  • E4B with Q4_K_M is the best quality/speed ratio under 8 GB

Exponer Ollama en la Red

OLLAMA_HOST=0.0.0.0 ollama serve

Luego accede desde otros dispositivos en http://<your-ip>:11434. Add authentication with a reverse proxy (nginx/Caddy) for production.

Guías Relacionadas