Aller au contenu principal
Moteur local prêt

Command R+

2 GPUs grand public peuvent exécuter Command R+ en Q4 nativement. Seuils VRAM précis et benchmarks ci-dessous.

2 GPUs compatibles
3 avec offloading
104B paramètres
131K contexte
Meilleur choix
M4 Ultra · 128 GB VRAM Q4 natif

Prix et disponibilité peuvent changer · lien affilié

Javier Morales
Javier Morales Spécialiste matériel IA — 8 ans d’expérience
GitHub: github.com/javier-morales-ia

llama.cpp 0.2.x · CUDA 12 · ROCm 6 · mis à jour mensuellement · méthodologie →

Contexte d’exécution

ARCHITECTURE TRANSFORMER
CONTEXTE 131K TOKENS
QUANTIFICATION 4-BIT GGUF
FOURNISSEUR Cohere
LICENCE CC-BY-NC-4.0
BESOIN VRAM
59 GB
4GB 8GB 12GB 16GB 24GB+
Décision matérielle

Ce modèle nécessite unGPU flagship (48 GB+ VRAM)

Minimum

M4 Ultra

Fonctionne en Q4 — utilisable avec un peu d’attente

128 GB VRAM
Voir config compatible
Équilibré

M3 Ultra

Meilleur équilibre valeur/performance au quotidien

192 GB VRAM
Voir config compatible
Optimal

M4 Ultra

Qualité maximale, inférence la plus rapide

128 GB VRAM
Voir config compatible

GPUs compatibles pour Command R+

Meilleures options par compatibilité, marge VRAM et valeur — prix et disponibilité peuvent varier.

M4 Ultra
128 GB VRAM · Q4 natif Amazon

M4 Ultra

0.0 (0 avis)

Points forts

  • Exécute Command R+ en Q4 natif
  • 128 GB VRAM — marge suffisante
M3 Ultra
192 GB VRAM · Q4 natif Amazon

M3 Ultra

0.0 (0 avis)

Points forts

  • Exécute Command R+ en Q4 natif
  • 192 GB VRAM — marge suffisante
Voir M3 Ultra sur Amazon →
RTX 5090
32 GB VRAM · Offloading Amazon

RTX 5090

0.0 (0 avis)

Points forts

  • Fonctionne via offload CPU
  • 32 GB VRAM — marge suffisante

Certains liens sont des liens d'affiliation Amazon. Nous pouvons toucher une commission sans coût supplémentaire pour vous. Le cookie Amazon peut durer jusqu'à 24 heures après votre clic.

*Les prix et la disponibilité peuvent changer. Certains liens sont affiliés.

Configuration requise

VRAM GPU 59 GB GPU haut de gamme
RAM système 89 GB 64 GB ou plus
Stockage 59 GB Q4 · SSD recommandé
CPU Tout CPU moderne GPU requis

VRAM par quantification

Quantification VRAM nécessaire Espace disque Qualité
FP16 (qualité maximale) 208 GB 208 GB Maximum
Q8 (haute qualité) 104 GB 104 GB Quasi sans perte
Q4 (recommandé) Meilleur équilibre 59 GB 59 GB Recommandée
Q2 (minimum) 30 GB 30 GB Perte de qualité

Détails du modèle

Développeur Cohere
Paramètres 104B
Fenêtre de contexte 131,072 tokens
Licence CC-BY-NC-4.0
Cas d’usage chat, reasoning, analysis
Sortie 2024-04

Installer avec Ollama

ollama run command-r-plus

Hugging Face

CohereForAI/c4ai-command-r-plus
Voir sur HF →
Exigences techniques

Votre GPU peut-il exécuter Command R+ ?

Command R+ nécessite <strong class="text-primary-container">59 GB de VRAM</strong> en Q4. 2 GPUs grand public atteignent ce seuil. En dessous de 8 GB ou 57 GB, la latence d’offload augmente fortement.

30GB Minimum critique
59GB Optimal Q4
104GB Haute qualité Q8
208GB Max FP16

Matrice de performance matérielle

2 Q4 natif · 3 offload

GPU VRAM Compatibilité Vitesse estimée Action
M4 Ultra 128GB Optimal 45 tok/s Calculer →
M3 Ultra 192GB Optimal 38 tok/s Calculer →
RTX 5090 32GB Offload Calculer →
M4 Max 48GB 48GB Offload 20 tok/s Calculer →
M4 Max 36GB 36GB Offload Calculer →

GPUs recommandés pour Command R+

Benchmarks réels
Sans avis sponsorisés
Sélection éditoriale
Basé sur les données

Meilleurs choix selon compatibilité, marge VRAM et valeur; prix et disponibilité peuvent varier.

Certains liens sont des liens d'affiliation Amazon. Nous pouvons toucher une commission sans coût supplémentaire pour vous. Le cookie Amazon peut durer jusqu'à 24 heures après votre clic.

Command R+ — Guide de compatibilité

Command R+ avec 104B paramètres ne s’exécute pleinement qu’en configuration multi-GPU ou serveur. Envisagez des versions distillées si elles existent. Le calculateur VRAM peut vous aider à trouver des alternatives compatibles.

Comparez les GPUs pour Command R+

Quel GPU vaut le coup ? Spécifications et benchmarks réels côte à côte.

Matériel compatible

GPUs qui exécutent Command R+ en Q4, triés par score de performance IA.

Benchmarks réels
Sans avis sponsorisés
Basé sur les données
M4 Ultra

Apple · 128 GB VRAM

Q4 OK
45 tok/s > $1000
M3 Ultra

Apple · 192 GB VRAM

Q4 OK
38 tok/s > $1000

Certains liens sont des liens d'affiliation Amazon. Nous pouvons toucher une commission sans coût supplémentaire pour vous. Le cookie Amazon peut durer jusqu'à 24 heures après votre clic.

Alternatives plus pratiques

Modèles similaires dans la catégorie chat avec des besoins VRAM comparables.

Vous ne savez pas quel GPU il vous faut pour Command R+ ?

Le calculateur VRAM vous indique exactement quelle quantification votre matériel peut supporter.

M4 Ultra

Voir disponibilité

Prix mis à jour quotidiennement