Vai al contenuto principale
Motore locale pronto

Command R+

2 GPU consumer possono eseguire Command R+ in Q4 nativamente. Soglie VRAM precise e benchmark qui sotto.

2 GPU compatibili
3 con offloading
104B parametri
131K contesto
Top pick
M4 Ultra · 128 GB VRAM runs Q4 natively

Prices and availability may change · affiliate link

Javier Morales
Javier Morales Specialista hardware IA — 8 anni di esperienza
GitHub: github.com/javier-morales-ia

llama.cpp 0.2.x · CUDA 12 · ROCm 6 · aggiornato mensilmente · metodologia →

Contesto di esecuzione

ARCHITETTURA TRANSFORMER
CONTESTO 131K TOKENS
QUANTIZZAZIONE 4-BIT GGUF
FORNITORE Cohere
LICENZA CC-BY-NC-4.0
REQUISITO VRAM
59 GB
4GB 8GB 12GB 16GB 24GB+
Decisione hardware

Questo modello richiede unaGPU flagship (48 GB+ VRAM)

Minimo

M4 Ultra

Funziona in Q4 — utilizzabile, con qualche attesa

128 GB VRAM
Vedi configurazione compatibile
Bilanciato

M3 Ultra

Miglior rapporto valore/prestazioni per uso quotidiano

192 GB VRAM
Vedi configurazione compatibile
Ottimale

M4 Ultra

Qualita massima, inferenza piu rapida

128 GB VRAM
Vedi configurazione compatibile

Compatible GPUs for Command R+

Le migliori opzioni per compatibilita, margine VRAM e valore: prezzi e disponibilita possono cambiare.

M4 Ultra
128 GB VRAM · Q4 nativo Amazon

M4 Ultra

0.0 (0 recensioni)

Pro

  • Runs Command R+ at Q4 natively
  • 128 GB VRAM — adequate headroom
M3 Ultra
192 GB VRAM · Q4 nativo Amazon

M3 Ultra

0.0 (0 recensioni)

Pro

  • Runs Command R+ at Q4 natively
  • 192 GB VRAM — adequate headroom
Vedi M3 Ultra su Amazon →
RTX 5090
32 GB VRAM · Offloading Amazon

RTX 5090

0.0 (0 recensioni)

Pro

  • Works via CPU offloading
  • 32 GB VRAM — adequate headroom

Alcuni link sono link di affiliazione Amazon. Potremmo ricevere una commissione senza costi aggiuntivi per te. Il cookie Amazon puo durare fino a 24 ore dopo il clic.

*Prezzi e disponibilita possono cambiare. Alcuni link sono affiliati.

Requisiti di sistema

VRAM GPU 59 GB GPU fascia alta
RAM di sistema 89 GB 64 GB or more
Archiviazione 59 GB Q4 · SSD consigliato
CPU Qualsiasi CPU moderna GPU richiesta

VRAM per quantizzazione

Quantizzazione VRAM necessaria Spazio su disco Qualita
FP16 (qualita massima) 208 GB 208 GB Massima
Q8 (alta qualita) 104 GB 104 GB Quasi senza perdita
Q4 (consigliato) Miglior equilibrio 59 GB 59 GB Consigliata
Q2 (minimo) 30 GB 30 GB Perdita di qualita

Dettagli modello

Sviluppatore Cohere
Parametri 104B
Finestra di contesto 131,072 token
Licenza CC-BY-NC-4.0
Casi d uso chat, reasoning, analysis
Rilasciato 2024-04

Installa con Ollama

ollama run command-r-plus

Hugging Face

CohereForAI/c4ai-command-r-plus
Vedi su HF →
Requisiti tecnici

La tua GPU puo eseguire Command R+?

Command R+ richiede <strong class="text-primary-container">59 GB di VRAM</strong> in Q4. 2 GPU consumer raggiungono questa soglia. Sotto 8 GB o 57 GB incontrerai una latenza di offload significativa.

30GB Minimo critico
59GB Ottimale Q4
104GB Alta qualita Q8
208GB Massimo FP16

Matrice prestazioni hardware

2 Q4 nativo · 3 offload

Unita GPU VRAM Compatibilita Velocita stimata Azione
M4 Ultra 128GB Ottimale 45 tok/s Calcola →
M3 Ultra 192GB Ottimale 38 tok/s Calcola →
RTX 5090 32GB Offload Calcola →
M4 Max 48GB 48GB Offload 20 tok/s Calcola →
M4 Max 36GB 36GB Offload Calcola →

GPU consigliate per Command R+

Benchmark reali
Nessuna recensione a pagamento
Scelta editoriale
Basato sui dati

Le migliori opzioni per compatibilita, margine VRAM e valore: prezzi e disponibilita possono cambiare.

Alcuni link sono link di affiliazione Amazon. Potremmo ricevere una commissione senza costi aggiuntivi per te. Il cookie Amazon puo durare fino a 24 ore dopo il clic.

Command R+ — Guida compatibilita

Command R+ con 104B parametri si esegue completamente solo su configurazioni multi-GPU o server. Considera eventuali versioni distillate. Il calcolatore VRAM puo aiutarti a trovare alternative compatibili.

Confronta le GPU per Command R+

Quale GPU conviene? Specifiche reali e benchmark a confronto.

Componenti compatibili

GPU che eseguono Command R+ in Q4, ordinate per punteggio di prestazioni IA.

Benchmark reali
Nessuna recensione a pagamento
Basato sui dati
M4 Ultra

Apple · 128 GB VRAM

Q4 OK
45 tok/s > $1000
M3 Ultra

Apple · 192 GB VRAM

Q4 OK
38 tok/s > $1000

Alcuni link sono link di affiliazione Amazon. Potremmo ricevere una commissione senza costi aggiuntivi per te. Il cookie Amazon puo durare fino a 24 ore dopo il clic.

Alternative piu pratiche

Modelli simili nella categoria chat con requisiti VRAM comparabili.

Non sai quale GPU ti serve per Command R+?

Il calcolatore VRAM ti dice esattamente quale quantizzazione puo gestire il tuo hardware.

M4 Ultra

Controlla disponibilita

Prezzi aggiornati ogni giorno