Vai al contenuto principale
Modello pronto per CPU

Hermes 3 8B

40 GPU consumer possono eseguire Hermes 3 8B in Q4 nativamente. Soglie VRAM precise e benchmark qui sotto.

40 GPU compatibili
8B parametri
131K contesto
Top pick
RTX 5090 · 32 GB VRAM runs Q4 natively

Prices and availability may change · affiliate link

Javier Morales
Javier Morales Specialista hardware IA — 8 anni di esperienza
GitHub: github.com/javier-morales-ia

llama.cpp 0.2.x · CUDA 12 · ROCm 6 · aggiornato mensilmente · metodologia →

Contesto di esecuzione

ARCHITETTURA TRANSFORMER
CONTESTO 131K TOKENS
QUANTIZZAZIONE 4-BIT GGUF
FORNITORE Nous Research
LICENZA llama-3.1-community
Decisione hardware

Questo modello richiede unaGPU entry-level (8 GB VRAM)

Minimo

GTX 1660 Super

Funziona in Q4 — utilizzabile, con qualche attesa

6 GB VRAM
Vedi configurazione compatibile
Bilanciato

RTX 4060 Ti 16GB

Miglior rapporto valore/prestazioni per uso quotidiano

16 GB VRAM
Vedi configurazione compatibile
Ottimale

RTX 5090

Qualita massima, inferenza piu rapida

32 GB VRAM
Vedi configurazione compatibile

Compatible GPUs for Hermes 3 8B

Le migliori opzioni per compatibilita, margine VRAM e valore: prezzi e disponibilita possono cambiare.

RTX 5090
32 GB VRAM · Q4 nativo Amazon

RTX 5090

0.0 (0 recensioni)

Pro

  • Runs Hermes 3 8B at Q4 natively
  • 32 GB VRAM — adequate headroom
RTX 4090
24 GB VRAM · Q4 nativo Amazon

RTX 4090

4.8 (2,100 recensioni)

Pro

  • Runs Hermes 3 8B at Q4 natively
  • 24 GB VRAM — adequate headroom
M4 Ultra
128 GB VRAM · Q4 nativo Amazon

M4 Ultra

0.0 (0 recensioni)

Pro

  • Runs Hermes 3 8B at Q4 natively
  • 128 GB VRAM — adequate headroom

Alcuni link sono link di affiliazione Amazon. Potremmo ricevere una commissione senza costi aggiuntivi per te. Il cookie Amazon puo durare fino a 24 ore dopo il clic.

*Prezzi e disponibilita possono cambiare. Alcuni link sono affiliati.

Requisiti di sistema

VRAM GPU 5 GB GPU entry-level
RAM di sistema 16 GB DDR4/DDR5
Archiviazione 4.7 GB Q4 · SSD consigliato
CPU i7 → 7 tok/s Funziona senza GPU

VRAM per quantizzazione

Quantizzazione VRAM necessaria Spazio su disco Qualita
FP16 (qualita massima) 16 GB 16 GB Massima
Q8 (alta qualita) 8 GB 8 GB Quasi senza perdita
Q4 (consigliato) Miglior equilibrio 5 GB 4.7 GB Consigliata
Q2 (minimo) 3 GB 2.5 GB Perdita di qualita

Dettagli modello

Sviluppatore Nous Research
Parametri 8B
Finestra di contesto 131,072 token
Licenza llama-3.1-community
Casi d uso agent, function-calling, reasoning, chat, roleplay
Rilasciato 2024-08

Installa con Ollama

ollama run hermes3:8b

Hugging Face

NousResearch/Hermes-3-Llama-3.1-8B
Vedi su HF →
Requisiti tecnici

La tua GPU puo eseguire Hermes 3 8B?

Hermes 3 8B richiede <strong class="text-primary-container">5 GB di VRAM</strong> in Q4. 40 GPU consumer raggiungono questa soglia. Sotto 8 GB o 3 GB incontrerai una latenza di offload significativa.

3GB Minimo critico
5GB Ottimale Q4
8GB Alta qualita Q8
16GB Massimo FP16

Matrice prestazioni hardware

40 Q4 nativo · 0 offload

Unita GPU VRAM Compatibilita Velocita stimata Azione
RTX 5090 32GB Ottimale 84 tok/s Calcola →
RTX 4090 24GB Ottimale 47 tok/s Calcola →
M4 Ultra 128GB Ottimale 51 tok/s Calcola →
RTX 5080 16GB Ottimale 45 tok/s Calcola →
M3 Ultra 192GB Ottimale 37 tok/s Calcola →
RTX 4080 Super 16GB Ottimale 34 tok/s Calcola →
RTX 5070 Ti 16GB Ottimale 42 tok/s Calcola →
RTX 3090 24GB Ottimale 44 tok/s Calcola →
M4 Max 48GB 48GB Ottimale 25 tok/s Calcola →
RX 7900 XTX 24GB Ottimale 45 tok/s Calcola →
M4 Max 36GB 36GB Ottimale 25 tok/s Calcola →
RTX 4070 Ti Super 16GB Ottimale 31 tok/s Calcola →
RTX 3080 Ti 12GB Ottimale 33 tok/s Calcola →
RX 7900 XT 20GB Ottimale 37 tok/s Calcola →
RTX 5070 12GB Ottimale 31 tok/s Calcola →
RTX 3080 10GB Ottimale 35 tok/s Calcola →
M4 Pro 24GB Ottimale 13 tok/s Calcola →
RX 7800 XT 16GB Ottimale 29 tok/s Calcola →
RX 6800 XT 16GB Ottimale 20 tok/s Calcola →
RTX 4070 12GB Ottimale 20 tok/s Calcola →
RTX 4060 Ti 16GB 16GB Ottimale 13 tok/s Calcola →
RX 7700 XT 12GB Ottimale 18 tok/s Calcola →
RTX 3070 Ti 8GB Ottimale 23 tok/s Calcola →
RTX 4060 Ti 8GB Ottimale 19 tok/s Calcola →
RTX 3070 8GB Ottimale 19 tok/s Calcola →
RX 6700 XT 12GB Ottimale 13 tok/s Calcola →
M3 Pro 18GB Ottimale 7 tok/s Calcola →
RTX 3060 Ti 8GB Ottimale 18 tok/s Calcola →
RTX 2080 Ti 11GB Ottimale 16 tok/s Calcola →
RTX 3060 12GB Ottimale 17 tok/s Calcola →
M2 Pro 16GB Ottimale 9 tok/s Calcola →
RTX 4060 8GB Ottimale 14 tok/s Calcola →
Arc A770 16GB 16GB Ottimale 8 tok/s Calcola →
M1 Pro 16GB Ottimale 9 tok/s Calcola →
RX 7600 8GB Ottimale 12 tok/s Calcola →
RX 6600 XT 8GB Ottimale 12 tok/s Calcola →
Arc A750 8GB 8GB Ottimale 9 tok/s Calcola →
RX 6600 8GB Ottimale 10 tok/s Calcola →
RTX 3050 8GB 8GB Ottimale 9 tok/s Calcola →
GTX 1660 Super 6GB Ottimale 11 tok/s Calcola →

GPU consigliate per Hermes 3 8B

Benchmark reali
Nessuna recensione a pagamento
Scelta editoriale
Basato sui dati

Le migliori opzioni per compatibilita, margine VRAM e valore: prezzi e disponibilita possono cambiare.

Alcuni link sono link di affiliazione Amazon. Potremmo ricevere una commissione senza costi aggiuntivi per te. Il cookie Amazon puo durare fino a 24 ore dopo il clic.

Hermes 3 8B — Guida compatibilita

Hermes 3 8B puo funzionare su CPU senza GPU dedicata, cosa rara per un modello da 8B. Su un i7-13700K con llama.cpp Q4 raggiunge 7 tok/s (lento ma utilizzabile). Con una GPU ottieni da 4 a 6 volte piu velocita; usa il calcolatore VRAM per i dettagli.

Confronta le GPU per Hermes 3 8B

Quale GPU conviene? Specifiche reali e benchmark a confronto.

Componenti compatibili

GPU che eseguono Hermes 3 8B in Q4, ordinate per punteggio di prestazioni IA.

Benchmark reali
Nessuna recensione a pagamento
Basato sui dati
RTX 5090

NVIDIA · 32 GB VRAM

Q4 OK
84 tok/s > $1000
RTX 4090

NVIDIA · 24 GB VRAM

Q4 OK
47 tok/s > $1000
M4 Ultra

Apple · 128 GB VRAM

Q4 OK
51 tok/s > $1000
RTX 5080

NVIDIA · 16 GB VRAM

Q4 OK
45 tok/s $600–1000
M3 Ultra

Apple · 192 GB VRAM

Q4 OK
37 tok/s > $1000
RTX 4080 Super

NVIDIA · 16 GB VRAM

Q4 OK
34 tok/s $600–1000

Alcuni link sono link di affiliazione Amazon. Potremmo ricevere una commissione senza costi aggiuntivi per te. Il cookie Amazon puo durare fino a 24 ore dopo il clic.

Alternative piu pratiche

Modelli simili nella categoria agent con requisiti VRAM comparabili.

Non sai quale GPU ti serve per Hermes 3 8B?

Il calcolatore VRAM ti dice esattamente quale quantizzazione puo gestire il tuo hardware.

RTX 5090

Controlla disponibilita

Prezzi aggiornati ogni giorno