Preuve logicielle OutilsIA
Le conseil matériel vient après le diagnostic.
OutilsIA édite Local Cockpit, une application desktop Rust/Tauri gratuite pour Windows et Linux. Son code est consultable sur GitHub (état du 29/07/2026, sans licence open source). Elle détecte le matériel et le runtime Ollama, recommande un modèle, puis distingue clairement une compatibilité estimée d'un benchmark réellement exécuté.
Cette mesure prouve le parcours sur une machine précise. Elle ne prévoit pas la vitesse du matériel présenté sur cette page.
Deux RTX 3090 d'occasion, c'est 48 Go de VRAM cumulés. C'est la configuration de passionné par excellence pour l'IA locale en 2026 : elle fait tenir entièrement sur les GPU les modèles de 70 milliards de paramètres en Q4. Ce guide détaillé tout ce que vous pouvez faire tourner sur cette config, comment configurer le multi-GPU, et comment monter votre machine.
Comment fonctionne le multi-GPU pour l'IA
Deux modes existent. Le plus courant, utilisé par défaut par llama.cpp et Ollama, est la répartition par couches (layer split) : le modèle est découpé en couches et chaque GPU en charge une partie, ce qui additionne la VRAM des deux cartes. Le tensor parallelism (vLLM, par exemple) découpe, lui, chaque matrice entre les GPU : plus rapide, mais beaucoup plus bavard entre les cartes. Bonne nouvelle : le NVLink n'est PAS nécessaire. La répartition par couches fonctionne via PCIe ; le gain apporté par un pont NVLink dépend du mode et de la charge, et se mesure.
Outils compatibles multi-GPU
✅ Compatible multi-GPU
- llama.cpp - Répartition par couches (par défaut) ou par lignes
- Ollama - Répartition par couches entre GPU
- vLLM - Tensor parallelism natif
- text-generation-inference - Support multi-GPU complet
- ExLlamaV2 - Split VRAM personnalisable
- LM Studio - Répartition entre plusieurs GPU depuis la version 0.3.14 (mars 2025)
⚠️ À vérifier
- Version du logiciel - les options multi-GPU évoluent vite : vérifiez le journal des versions (LM Studio 0.3.14, par exemple)
- Mélanger deux GPU différents fonctionne, mais la plus lente des deux fixe le rythme
Modèles que vous pouvez faire tourner sur 48 Go VRAM
Tailles des fichiers relevées dans la bibliothèque Ollama. Gardez quelques Go de marge pour le contexte : un fichier de 45 Go sur 48 Go cumulés laisse peu de place.
| Modèle | Taille | Quantification | Fichier | Dans 48 Go ? |
|---|---|---|---|---|
| Llama 3.3 70B | 70B | Q4_K_M | 43 Go | Oui, contexte modéré |
| Mixtral 8x7B | 47B (MoE) | Q6_K | 38 Go | Oui (en FP16, environ 93 Go : non) |
| Qwen2.5 72B | 72B | Q3_K_M / Q4_K_M | 38 / 47 Go | Q3 oui ; Q4 trop juste |
| Qwen3 32B | 32B | Q8_0 | 35 Go | Oui, avec marge pour le contexte |
| Command R+ 104B | 104B | Q2_K / Q3_K_M | 39 / 51 Go | Q2 oui ; Q3_K_M non |
| Mistral Large 123B | 123B | Q2_K / Q3_K_S | 45 / 53 Go | Q2 très juste ; Q3 non |
| DeepSeek Coder V2 236B | 236B (MoE) | Q2_K | 86 Go | Non, même en Q2 |
Pas de colonne tokens/s : nous ne possédons pas de configuration dual RTX 3090 et ne publions pas de vitesse non mesurée. Le débit dépend du runtime, du mode de répartition, du contexte et du câblage PCIe : mesurez sur votre machine.
🏆 Le cas d’usage type : Llama 3.3 70B en Q4
C’est le modèle qui justifie le plus souvent une dual RTX 3090 : son fichier Q4_K_M (43 Go) tient entièrement dans les 48 Go cumulés, avec un contexte modéré, alors qu’une seule carte de 24 Go doit en décharger plus de la moitié en RAM. Installez-le via Ollama en une commande.
Comparaison avec d'autres configs
| Configuration | Mémoire | Exemples qui tiennent | Verdict |
|---|---|---|---|
| 1x RTX 3090 ou 4090 | 24 Go | 32B Q4, 8B FP16 | Simple, limité en taille |
| 1x RTX 5090 | 32 Go | 32B Q4 avec long contexte, 27B Q8 | Une seule carte, mais pas de 70B entier |
| 2x RTX 3090 | 48 Go | 70B Q4, 32B Q8 | Le palier 70B côté PC |
| Mac Studio M5 Ultra | 96 à 512 Go (unifiée) | 70B en Q8 ou FP16 selon la mémoire, très gros MoE quantifiés | Bien plus de capacité, débit et budget à comparer |
Sources : fiches NVIDIA et caractéristiques du Mac Studio (gamme d’août 2026). Les prix changent trop vite pour figurer ici.
Conseils pratiques pour une config dual RTX 3090
⚡ Alimentation : 1000W minimum
2x 350 W de consommation carte (spécification NVIDIA) + le reste du système : visez 1000 W minimum, en 80+ Gold, avec assez de connecteurs PCIe séparés.
🖥 Carte mere : 2 slots PCIe x16
Vérifiez l'espacement entre les slots pour deux cartes triple slot, et le câblage du second slot : sur beaucoup de cartes mères grand public, il n'est câblé qu'en x4. Choisissez la carte mère selon le processeur : B550/X570 pour un Ryzen AM4, B660/Z690 pour un Intel de 12e génération.
🌀 Refroidissement CRITIQUE
Boitier airflow (Meshify C, Lancool II Mesh). Ventilateurs extraction haut + arriere. Surveillez les températures GPU et mémoire en charge prolongée.
💾 SSD NVMe obligatoire
Un 70B en Q4 pèse environ 43 Go : à 3-7 Go/s, un SSD NVMe le lit en une dizaine de secondes ; à ~150 Mo/s, un disque dur met près de 5 minutes. Minimum 1 To.
Configuration recommandee complete
Config dual RTX 3090 complète
Avec Ollama, le multi-GPU est automatique : lancez ollama run llama3.3:70b (Q4_K_M par défaut) et Ollama répartit les couches entre vos deux GPU. Avec llama.cpp, --tensor-split 24,24 fixe la proportion de chaque carte.