Vai al contenuto principale
Motore locale pronto

Llama 3.2 11B Vision

39 GPU consumer possono eseguire Llama 3.2 11B Vision in Q4 nativamente. Soglie VRAM precise e benchmark qui sotto.

39 GPU compatibili
1 con offloading
11B parametri
131K contesto
Top pick
RTX 5090 · 32 GB VRAM runs Q4 natively

Prices and availability may change · affiliate link

Javier Morales
Javier Morales Specialista hardware IA — 8 anni di esperienza
GitHub: github.com/javier-morales-ia

llama.cpp 0.2.x · CUDA 12 · ROCm 6 · aggiornato mensilmente · metodologia →

Contesto di esecuzione

ARCHITETTURA TRANSFORMER
CONTESTO 131K TOKENS
QUANTIZZAZIONE 4-BIT GGUF
FORNITORE Meta
LICENZA llama-3.2-community
REQUISITO VRAM
6.6 GB
4GB 8GB 12GB 16GB 24GB+
Decisione hardware

Questo modello richiede unaGPU entry-level (8 GB VRAM)

Minimo

RTX 4060 Ti

Funziona in Q4 — utilizzabile, con qualche attesa

8 GB VRAM
Vedi configurazione compatibile
Bilanciato

RTX 4070

Miglior rapporto valore/prestazioni per uso quotidiano

12 GB VRAM
Vedi configurazione compatibile
Ottimale

RTX 5090

Qualita massima, inferenza piu rapida

32 GB VRAM
Vedi configurazione compatibile

Compatible GPUs for Llama 3.2 11B Vision

Le migliori opzioni per compatibilita, margine VRAM e valore: prezzi e disponibilita possono cambiare.

RTX 5090
32 GB VRAM · Q4 nativo Amazon

RTX 5090

0.0 (0 recensioni)

Pro

  • Runs Llama 3.2 11B Vision at Q4 natively
  • 32 GB VRAM — adequate headroom
RTX 4090
24 GB VRAM · Q4 nativo Amazon

RTX 4090

4.8 (2,100 recensioni)

Pro

  • Runs Llama 3.2 11B Vision at Q4 natively
  • 24 GB VRAM — adequate headroom
M4 Ultra
128 GB VRAM · Q4 nativo Amazon

M4 Ultra

0.0 (0 recensioni)

Pro

  • Runs Llama 3.2 11B Vision at Q4 natively
  • 128 GB VRAM — adequate headroom

Alcuni link sono link di affiliazione Amazon. Potremmo ricevere una commissione senza costi aggiuntivi per te. Il cookie Amazon puo durare fino a 24 ore dopo il clic.

*Prezzi e disponibilita possono cambiare. Alcuni link sono affiliati.

Requisiti di sistema

VRAM GPU 6.6 GB GPU entry-level
RAM di sistema 16 GB DDR4/DDR5
Archiviazione 6.5 GB Q4 · SSD consigliato
CPU Qualsiasi CPU moderna GPU richiesta

VRAM per quantizzazione

Quantizzazione VRAM necessaria Spazio su disco Qualita
FP16 (qualita massima) 26.4 GB 22 GB Massima
Q8 (alta qualita) 13.2 GB 11 GB Quasi senza perdita
Q4 (consigliato) Miglior equilibrio 6.6 GB 6.5 GB Consigliata
Q2 (minimo) 3.3 GB 3.3 GB Perdita di qualita

Dettagli modello

Sviluppatore Meta
Parametri 11B
Finestra di contesto 131,072 token
Licenza llama-3.2-community
Casi d uso vision, multimodal, chat, image-analysis
Rilasciato 2024-09

Installa con Ollama

ollama run llama3.2-vision:11b

Hugging Face

meta-llama/Llama-3.2-11B-Vision-Instruct
Vedi su HF →
Requisiti tecnici

La tua GPU puo eseguire Llama 3.2 11B Vision?

Llama 3.2 11B Vision richiede <strong class="text-primary-container">6.6 GB di VRAM</strong> in Q4. 39 GPU consumer raggiungono questa soglia. Sotto 8 GB o 4.6 GB incontrerai una latenza di offload significativa.

3.3GB Minimo critico
6.6GB Ottimale Q4
13.2GB Alta qualita Q8
26.4GB Massimo FP16

Matrice prestazioni hardware

39 Q4 nativo · 1 offload

Unita GPU VRAM Compatibilita Velocita stimata Azione
RTX 5090 32GB Ottimale 84 tok/s Calcola →
RTX 4090 24GB Ottimale 47 tok/s Calcola →
M4 Ultra 128GB Ottimale 51 tok/s Calcola →
RTX 5080 16GB Ottimale 45 tok/s Calcola →
M3 Ultra 192GB Ottimale 37 tok/s Calcola →
RTX 4080 Super 16GB Ottimale 34 tok/s Calcola →
RTX 5070 Ti 16GB Ottimale 42 tok/s Calcola →
RTX 3090 24GB Ottimale 44 tok/s Calcola →
M4 Max 48GB 48GB Ottimale 25 tok/s Calcola →
RX 7900 XTX 24GB Ottimale 45 tok/s Calcola →
M4 Max 36GB 36GB Ottimale 25 tok/s Calcola →
RTX 4070 Ti Super 16GB Ottimale 31 tok/s Calcola →
RTX 3080 Ti 12GB Ottimale 33 tok/s Calcola →
RX 7900 XT 20GB Ottimale 37 tok/s Calcola →
RTX 5070 12GB Ottimale 31 tok/s Calcola →
RTX 3080 10GB Ottimale 35 tok/s Calcola →
M4 Pro 24GB Ottimale 13 tok/s Calcola →
RX 7800 XT 16GB Ottimale 29 tok/s Calcola →
RX 6800 XT 16GB Ottimale 20 tok/s Calcola →
RTX 4070 12GB Ottimale 20 tok/s Calcola →
RTX 4060 Ti 16GB 16GB Ottimale 13 tok/s Calcola →
RX 7700 XT 12GB Ottimale 18 tok/s Calcola →
RTX 3070 Ti 8GB Ottimale 23 tok/s Calcola →
RTX 4060 Ti 8GB Ottimale 19 tok/s Calcola →
RTX 3070 8GB Ottimale 19 tok/s Calcola →
RX 6700 XT 12GB Ottimale 13 tok/s Calcola →
M3 Pro 18GB Ottimale 7 tok/s Calcola →
RTX 3060 Ti 8GB Ottimale 18 tok/s Calcola →
RTX 2080 Ti 11GB Ottimale 16 tok/s Calcola →
RTX 3060 12GB Ottimale 17 tok/s Calcola →
M2 Pro 16GB Ottimale 9 tok/s Calcola →
RTX 4060 8GB Ottimale 14 tok/s Calcola →
Arc A770 16GB 16GB Ottimale 8 tok/s Calcola →
M1 Pro 16GB Ottimale 9 tok/s Calcola →
RX 7600 8GB Ottimale 12 tok/s Calcola →
RX 6600 XT 8GB Ottimale 12 tok/s Calcola →
Arc A750 8GB 8GB Ottimale 9 tok/s Calcola →
RX 6600 8GB Ottimale 10 tok/s Calcola →
RTX 3050 8GB 8GB Ottimale 9 tok/s Calcola →
GTX 1660 Super 6GB Offload 11 tok/s Calcola →

GPU consigliate per Llama 3.2 11B Vision

Benchmark reali
Nessuna recensione a pagamento
Scelta editoriale
Basato sui dati

Le migliori opzioni per compatibilita, margine VRAM e valore: prezzi e disponibilita possono cambiare.

Alcuni link sono link di affiliazione Amazon. Potremmo ricevere una commissione senza costi aggiuntivi per te. Il cookie Amazon puo durare fino a 24 ore dopo il clic.

Llama 3.2 11B Vision — Guida compatibilita

Llama 3.2 11B Vision richiede hardware intermedio o quantizzazione Q4 per funzionare su GPU consumer. Con 8 GB di VRAM ottieni la qualita migliore. Usa il calcolatore VRAM per vedere quale quantizzazione supporta la tua GPU.

Confronta le GPU per Llama 3.2 11B Vision

Quale GPU conviene? Specifiche reali e benchmark a confronto.

Componenti compatibili

GPU che eseguono Llama 3.2 11B Vision in Q4, ordinate per punteggio di prestazioni IA.

Benchmark reali
Nessuna recensione a pagamento
Basato sui dati
RTX 5090

NVIDIA · 32 GB VRAM

Q4 OK
84 tok/s > $1000
RTX 4090

NVIDIA · 24 GB VRAM

Q4 OK
47 tok/s > $1000
M4 Ultra

Apple · 128 GB VRAM

Q4 OK
51 tok/s > $1000
RTX 5080

NVIDIA · 16 GB VRAM

Q4 OK
45 tok/s $600–1000
M3 Ultra

Apple · 192 GB VRAM

Q4 OK
37 tok/s > $1000
RTX 4080 Super

NVIDIA · 16 GB VRAM

Q4 OK
34 tok/s $600–1000

Alcuni link sono link di affiliazione Amazon. Potremmo ricevere una commissione senza costi aggiuntivi per te. Il cookie Amazon puo durare fino a 24 ore dopo il clic.

Alternative piu pratiche

Modelli simili nella categoria vision con requisiti VRAM comparabili.

Non sai quale GPU ti serve per Llama 3.2 11B Vision?

Il calcolatore VRAM ti dice esattamente quale quantizzazione puo gestire il tuo hardware.

RTX 5090

Controlla disponibilita

Prezzi aggiornati ogni giorno