RTX 4090
81 AI models fit in 24 GB VRAM at Q4 native. 7 more run with CPU offloading. Real benchmarks below.
llama.cpp 0.2.x · CUDA 12 · Ubuntu 22.04 · Prices verified on Amazon · methodology →
Execution Context
Aktuelles Angebot prüfen
Amazon affiliate link for RTX 4090
Einige Links sind Amazon-Partnerlinks. Wir koennen ohne Mehrkosten fuer Sie eine Provision erhalten. Amazon-Cookies koennen nach Ihrem Klick bis zu 24 Stunden bestehen.
Full Specifications
NVIDIA · 2022-10
| VRAM | 24 GB GDDR6X |
| Bandwidth | 1008 GB/s |
| FP16 TFLOPS | 82.6 |
| AI Score | 100 / 140 |
| CUDA Cores | 16,384 |
| Tensor Cores | 512 |
| TDP | 450 W |
| PCIe | Gen 4 |
| Slots | 3 |
| Power Connector | 16-pin |
| Price Band | Flagship |
| Released | 2022-10 |
AI Benchmarks
Real inference measurements — llama.cpp Q4_K_M
| Task | Result |
|---|---|
| Llama 1B Q4 | 400 tok/s |
| Llama 3B Q4 | 200 tok/s |
| Llama 7B Q4 | 95 tok/s |
| Llama 13B Q4 | 47 tok/s |
| Llama 30B Q4 | 24 tok/s |
| Llama 70B Q4 | Offload or multi-GPU |
| Stable Diffusion 512px | 2.1s / img |
| Whisper Large RTF | 0.3x |
RTF < 1.0 = faster than real time. For Stable Diffusion and Whisper lower is better; for tokens/s higher is better.
Compare RTX 4090 with another GPU
Is an upgrade worth it? Compare specs and real benchmarks side by side.
Open comparator →Compatible AI Models — RTX 4090
81 models run fully in VRAM · 7 with CPU offloading
Flux.1 Dev
Whisper Large V3
Stable Diffusion 3.5 Large
FLUX.2 Dev
Qwen2.5-Coder 32B
DeepSeek R1 Distill 32B
Qwen2.5 32B
Stable Diffusion 3.5 Medium
Show all 81 compatible models →
Also runs with CPU offloading (7)
- Llama 3.3 70B 21 GB Q2 How to install →
- Qwen2.5 72B 21 GB Q2 How to install →
- Llama 3.1 70B 20 GB Q2 How to install →
- Qwen3-Coder-Next 80B-A3B 22 GB Q2 How to install →
- Mixtral 8x7B 14 GB Q2 How to install →
- Hermes 3 70B 20 GB Q2 How to install →
- Nous Hermes 2 Mixtral 8x7B 13 GB Q2 How to install →
RTX 4090 · Amazon
GPU-Preise schwanken haeufig zwischen Haendlern. Pruefen Sie vor dem Kauf das aktuelle Angebot.
Aktuelles Angebot prüfenEinige Links sind Amazon-Partnerlinks. Wir koennen ohne Mehrkosten fuer Sie eine Provision erhalten. Amazon-Cookies koennen nach Ihrem Klick bis zu 24 Stunden bestehen.
RTX 4090 for Local AI
La RTX 4090 con 24GB de GDDR6X es una GPU de alto rendimiento para IA local. Puede ejecutar modelos de 7B, 13B y hasta 70B parámetros en cuantización Q2, cubriendo la mayoría de los casos de uso prácticos: asistentes de chat, generación de código, análisis de texto y generación de imágenes con Stable Diffusion.
En benchmarks reales, la RTX 4090 alcanza 95 tokens/segundo en Llama 7B Q4 — velocidad suficiente para conversación fluida en tiempo real. Los modelos de 13B como Phi-4 o Qwen2.5 14B corren cómodamente en Q4, y modelos 70B son accesibles via Q2 con 7 opciones.
La relación rendimiento-precio de la RTX 4090 la hace una de las mejores opciones para usuarios técnicos que quieren IA local seria. Usa la calculadora de VRAM para ver exactamente qué cuantización necesita cada modelo, o consulta nuestra guía para elegir GPU.
Plan your full AI build
RTX 4090 · 24 GB VRAM — configure PSU, RAM, storage and check compatible models.
Related articles
Not sure which model to run on your RTX 4090?
The VRAM calculator tells you exactly which quantization you need.
Get the best price for RTX 4090
Open Amazon with our affiliate link and check availability, variants, and current deals.