Que necesito para correr Llama en local
Para correr Llama 3.1 8B en local necesitas una GPU con al menos 8 GB de VRAM, 16 GB de RAM del sistema, y Ollama instalado. En 10 minutos puedes tener el modelo funcionando.
Aviso de afiliado: algunos enlaces son de Amazon Associates. Nuestras recomendaciones son independientes.
Setup recomendado 1: Entrada — RTX 3060
La RTX 3060 12GB es la mejor opcion de entrada para Llama. 12 GB de VRAM permiten correr Llama 3.1 8B a 30 tok/s en Q4. El setup mas popular para empezar con IA local.
Setup recomendado 2: Medio — RTX 4060 Ti 16GB
La RTX 4060 Ti 16GB corre Llama 13B Q4 completamente en VRAM y genera 55 tok/s con Llama 8B. La opcion ideal si quieres modelos de 13B sin limitaciones.
Setup recomendado 3: Alta gama — RTX 3090 24GB
La RTX 3090 24GB permite correr Llama 3.3 70B en Q2 (requiere ~17 GB). La opcion para usuarios que quieren los modelos mas grandes disponibles sin multi-GPU.