128 GB VRAM · Q4 natif Amazon
M4 Ultra
Points forts
- Exécute Hermes 3 70B en Q4 natif
- 128 GB VRAM — marge suffisante
Modèle prêt pour CPU
Hermes 3 70B
3 GPUs grand public peuvent exécuter Hermes 3 70B en Q4 nativement. Seuils VRAM précis et benchmarks ci-dessous.
3 GPUs compatibles
7 avec offloading
70B paramètres
131K contexte
Meilleur choix
M4 Ultra · 128 GB VRAM Q4 natif
Prix et disponibilité peuvent changer · lien affilié
Javier Morales Spécialiste matériel IA — 8 ans d’expérience
GitHub: github.com/javier-morales-ia
llama.cpp 0.2.x · CUDA 12 · ROCm 6 · mis à jour mensuellement · méthodologie →
Contexte d’exécution
ARCHITECTURE TRANSFORMER
CONTEXTE 131K TOKENS
QUANTIFICATION 4-BIT GGUF
FOURNISSEUR Nous Research
LICENCE llama-3.1-community
Décision matérielle
Ce modèle nécessite unGPU flagship (48 GB+ VRAM)
Minimum
M4 Max 48GB
Fonctionne en Q4 — utilisable avec un peu d’attente
48 GB VRAM
Voir config compatible Équilibré
M3 Ultra
Meilleur équilibre valeur/performance au quotidien
192 GB VRAM
Voir config compatibleGPUs compatibles pour Hermes 3 70B
Meilleures options par compatibilité, marge VRAM et valeur — prix et disponibilité peuvent varier.
192 GB VRAM · Q4 natif Amazon
M3 Ultra
Points forts
- Exécute Hermes 3 70B en Q4 natif
- 192 GB VRAM — marge suffisante
48 GB VRAM · Q4 natif Amazon
M4 Max 48GB
Points forts
- Exécute Hermes 3 70B en Q4 natif
- 48 GB VRAM — marge suffisante
Certains liens sont des liens d'affiliation Amazon. Nous pouvons toucher une commission sans coût supplémentaire pour vous. Le cookie Amazon peut durer jusqu'à 24 heures après votre clic.
CPU vs GPU pour Hermes 3 70B →
Calculateur VRAM — vérification instantanée
M4 Ultra
128 GB · Exécute Q4 nativement · Voir la disponibilité
*Les prix et la disponibilité peuvent changer. Certains liens sont affiliés.
Configuration requise
VRAM GPU 40 GB GPU haut de gamme
RAM système 80 GB
64 GB ou plus
Stockage 40 GB Q4 · SSD recommandé
CPU i7 → 0.8 tok/s Fonctionne sans GPU
VRAM par quantification
| Quantification | VRAM nécessaire | Espace disque | Qualité |
|---|---|---|---|
| FP16 (qualité maximale) | 140 GB | 140 GB | Maximum |
| Q8 (haute qualité) | 70 GB | 70 GB | Quasi sans perte |
| Q4 (recommandé) Meilleur équilibre | 40 GB | 40 GB | Recommandée |
| Q2 (minimum) | 20 GB | 20 GB | Perte de qualité |
Détails du modèle
| Développeur | Nous Research |
| Paramètres | 70B |
| Fenêtre de contexte | 131,072 tokens |
| Licence | llama-3.1-community |
| Cas d’usage | agent, function-calling, reasoning, chat, roleplay |
| Sortie | 2024-08 |
Installer avec Ollama
ollama run hermes3:70b Hugging Face
NousResearch/Hermes-3-Llama-3.1-70B Exigences techniques
Votre GPU peut-il exécuter Hermes 3 70B ?
Hermes 3 70B nécessite <strong class="text-primary-container">40 GB de VRAM</strong> en Q4. 3 GPUs grand public atteignent ce seuil. En dessous de 8 GB ou 38 GB, la latence d’offload augmente fortement.
20GB Minimum critique
40GB Optimal Q4
70GB Haute qualité Q8
140GB Max FP16
Matrice de performance matérielle
3 Q4 natif · 7 offload
| GPU | VRAM | Compatibilité | Vitesse estimée | Action |
|---|---|---|---|---|
| M4 Ultra | 128GB | Optimal | 45 tok/s | Calculer → |
| M3 Ultra | 192GB | Optimal | 38 tok/s | Calculer → |
| M4 Max 48GB | 48GB | Optimal | 20 tok/s | Calculer → |
| RTX 5090 | 32GB | Offload | — | Calculer → |
| RTX 4090 | 24GB | Offload | — | Calculer → |
| RTX 3090 | 24GB | Offload | — | Calculer → |
| RX 7900 XTX | 24GB | Offload | — | Calculer → |
| M4 Max 36GB | 36GB | Offload | — | Calculer → |
| RX 7900 XT | 20GB | Offload | — | Calculer → |
| M4 Pro | 24GB | Offload | — | Calculer → |
GPUs recommandés pour Hermes 3 70B
Benchmarks réels
Sans avis sponsorisés
Sélection éditoriale
Basé sur les données
Meilleurs choix selon compatibilité, marge VRAM et valeur; prix et disponibilité peuvent varier.
M4 Ultra
128 GB VRAM
Q4 natif
Voir disponibilité →
M3 Ultra
192 GB VRAM
Q4 natif
Voir disponibilité →
M4 Max 48GB
48 GB VRAM
Q4 natif
Voir disponibilité →
Certains liens sont des liens d'affiliation Amazon. Nous pouvons toucher une commission sans coût supplémentaire pour vous. Le cookie Amazon peut durer jusqu'à 24 heures après votre clic.
Hermes 3 70B — Guide de compatibilité
Hermes 3 70B peut s’exécuter sur CPU sans GPU dédié, ce qui est rare pour un modèle de 70B. Sur un i7-13700K avec llama.cpp Q4, il atteint 0.8 tok/s (lent mais exploitable). Avec un GPU, vous obtenez 4 à 6 fois plus de vitesse; consultez le calculateur VRAM pour les détails.
Comparez les GPUs pour Hermes 3 70B
Quel GPU vaut le coup ? Spécifications et benchmarks réels côte à côte.
Matériel compatible
GPUs qui exécutent Hermes 3 70B en Q4, triés par score de performance IA.
Benchmarks réels
Sans avis sponsorisés
Basé sur les données
Certains liens sont des liens d'affiliation Amazon. Nous pouvons toucher une commission sans coût supplémentaire pour vous. Le cookie Amazon peut durer jusqu'à 24 heures après votre clic.
Alternatives plus pratiques
Modèles similaires dans la catégorie agent avec des besoins VRAM comparables.
Vous ne savez pas quel GPU il vous faut pour Hermes 3 70B ?
Le calculateur VRAM vous indique exactement quelle quantification votre matériel peut supporter.
M4 Ultra
Voir disponibilité
Prix mis à jour quotidiennement