Skip to main content
Por Javier Morales · · Meta

Cómo correr Llama 3.2 11B Vision en local con Ollama

Transparencia: Algunos enlaces de hardware son de afiliado (Amazon). Esto no afecta nuestra evaluación.

Correr Llama 3.2 11B Vision en local es más sencillo de lo que parece. Con Ollama puedes tener este modelo de 11B parámetros funcionando en tu PC en menos de 5 minutos. Solo necesitas 6.6 GB de VRAM para la versión Q4 y conexión a internet para la descarga inicial.

En esta guía cubrimos los requisitos exactos de hardware, el proceso de instalación paso a paso, los comandos necesarios y ejemplos de uso para sacarle el máximo partido a Llama 3.2 11B Vision desde tu propio hardware.

Requisitos de hardware para Llama 3.2 11B Vision

Cuantización VRAM necesaria Notas
FP16 (máxima calidad) 26.4 GB Calidad de referencia. Solo GPUs con mucha VRAM.
Q8 (alta calidad) 13.2 GB Recomendado si tienes suficiente VRAM.
Q4 (equilibrado) 6.6 GB (recomendado) El mejor equilibrio calidad/VRAM. Recomendado.
Q2 (mínimo) 3.3 GB Solo si tu VRAM es muy limitada. Pérdida notable.

Especificaciones de Llama 3.2 11B Vision

11B
Parámetros
6.6 GB
VRAM Q4
131K
Contexto
Meta
Proveedor
Visión (multimodal) multimodal Chat general image-analysis

Paso 1: Instalar Ollama

Ollama es la forma más sencilla de correr Llama 3.2 11B Vision en local. Disponible para Windows, macOS y Linux.

  1. 1 Descarga Ollama desde ollama.com (Windows, macOS o Linux)
  2. 2 Ejecuta el instalador y sigue las instrucciones (tarda menos de 1 minuto)
  3. 3 Verifica la instalación abriendo una terminal y ejecutando: ollama --version

Paso 2: Ejecutar Llama 3.2 11B Vision

Una vez instalado Ollama, abre una terminal y ejecuta el siguiente comando. Ollama descargará el modelo automáticamente la primera vez:

Terminal Descarga automática
ollama run llama3.2-vision:11b

La primera ejecución descargará el modelo (~6.6 GB en Q4). Las ejecuciones posteriores son instantáneas. Una vez descargado, puedes chatear directamente en la terminal o usar la API local.

Paso 3: Ejemplos de uso de Llama 3.2 11B Vision

Uso con la API REST local

Ollama expone una API en http://localhost:11434 compatible con OpenAI:

curl http://localhost:11434/api/generate -d '{ "model": "llama3.2-vision:11b", "prompt": "Explica qué es la IA local en 2 párrafos", "stream": false }'

Integración con Python (API OpenAI)

Si tienes instalado el cliente OpenAI de Python:

from openai import OpenAI client = OpenAI( base_url="http://localhost:11434/v1", api_key="ollama", ) response = client.chat.completions.create( model="llama3.2-vision:11b", messages=[{"role": "user", "content": "Hola, ¿cómo puedes ayudarme?"}] ) print(response.choices[0].message.content)

GPUs compatibles con Llama 3.2 11B Vision

Estas GPUs tienen suficiente VRAM para correr Llama 3.2 11B Vision en cuantización Q4 (6.6 GB):

¿No ves tu GPU? Consulta todas las páginas de compatibilidad en la página del modelo Llama 3.2 11B Vision.

¿No sabes si tu GPU puede correr Llama 3.2 11B Vision?

Usa nuestra calculadora de VRAM para comprobarlo al instante y ver las opciones de cuantización disponibles.

Comprobar compatibilidad

Guías relacionadas