Skip to main content

CodeLlama 7B con RX 7900 XTX: ¿Compatible?

7B parámetros · 24GB VRAM (GDDR6) · AMD

Compatible — la RX 7900 XTX puede ejecutar CodeLlama 7B

Calidad máxima disponible. La RX 7900 XTX tiene suficiente VRAM para FP16 completo.

Análisis de VRAM por cuantización

Cuantización VRAM requerida Tu GPU ¿Funciona?
FP16 (máxima calidad) 14 GB 24 GB ✓ Sí
Q8 (alta calidad) 7 GB 24 GB ✓ Sí
Q4 (recomendado) Recomendado 4.5 GB 24 GB ✓ Sí
Q2 (mínimo) 2.5 GB 24 GB ~ Parcial

Instalar con Ollama

Ejecuta este comando en tu terminal para descargar y correr CodeLlama 7B:

ollama run codellama:7b

Requiere Ollama instalado. Descárgalo gratis en ollama.ai

Rendimiento estimado

Velocidad estimada ~208 tok/s (muy rápida (tiempo real))
Margen de VRAM en Q4 +19.5 GB
Mejor cuantización disponible FP16
Ancho de banda de memoria 960 GB/s

Comprar RX 7900 XTX

La RX 7900 XTX es una opción premium para ejecutar CodeLlama 7B.

Aviso de afiliado: Este enlace es patrocinado. Podemos recibir una comisión sin coste adicional para ti.

Ver RX 7900 XTX en Amazon →