Ollama « out of memory » : les 7 solutions qui marchent vraiment
L’erreur “out of memory” n’est pas une impasse : c’est un diagnostic. Quantization, contexte, VRAM, RAM : on corrige dans le bon ordre.
L’erreur la plus frustrante de l’IA locale se règle le plus souvent sans sortir la carte bleue. Voici le diagnostic et les réglages exacts, du plus simple au plus radical.
Vous lancez ollama run llama3.3:70b, le téléchargement de 43 Go se termine enfin… et bam : Error: model requires more system memory (38.2 GiB) than is available. Ou pire, le cryptique CUDA error: out of memory. Respirez : c’est l’erreur la plus courante de l’IA locale, et dans la plupart des cas elle se règle sans acheter quoi que ce soit.
La première solution à tester.
Souvent la vraie cause du débordement.
Voir ce qui occupe déjà la VRAM.
À faire quand le logiciel ne suffit plus.
Verdict rapide : ne commencez pas par acheter une carte graphique. Réduisez d’abord la quantization et le contexte, fermez ce qui consomme la VRAM, puis seulement ensuite décidez si la machine mérite une upgrade.
Changer la quantization
Le meilleur ratio temps gagné/résultat.
Réduire le contexte
Moins spectaculaire, souvent décisif.
RAM puis GPU
Acheter seulement après diagnostic.
Lire l’erreur
VRAM CUDA ou mémoire système ? Ce n’est pas la même panne.
Alléger le modèle
Q4_K_M puis Q3_K_M si nécessaire.
Réduire le contexte
Le long contexte est un luxe mémoire.
Acheter utile
RAM si offload, GPU si VRAM pure.
Pourquoi ça plante : la vraie mécanique
Un modèle doit tenir entièrement en mémoire pour générer du texte : ses poids + le cache de conversation (KV cache) + l’overhead CUDA. Ollama essaie de tout caser dans la VRAM du GPU ; ce qui déborde part en RAM ; ce qui déborde encore… plante. Le piège fréquent : le KV cache grandit avec votre contexte. Un modèle 8B qui tient sans souci en conversation courte peut déborder une fois le contexte porté à 16k tokens ou plus.
Les 7 solutions, de la gratuite à la radicale
1. Prenez une quantization plus agressive (gratuit, 2 min)
Le même modèle existe en plusieurs compressions. Si le Q4_K_M déborde, le Q3_K_M est environ 20 % plus léger, au prix d’une perte de qualité mesurable (perplexité) : testez-le sur votre tâche. Tailles relevées sur les tags Ollama de Llama 3.1 8B :
| Modèle 8B | Taille | VRAM conseillée (estimation, contexte court) |
|---|---|---|
| Q8_0 (quasi sans perte) | 8,5 Go | 10 Go |
| Q4_K_M (le standard) | 4,9 Go | 6 Go |
| Q3_K_M (le plan B) | 4,0 Go | 5 Go |
| Q2_K (urgence seulement) | 3,2 Go | 4 Go |
Commande : ollama run llama3.1:8b-instruct-q3_K_M — les variantes sont listées sur la page de chaque modèle.
2. Réduisez le contexte (gratuit, 30 s)
Ollama choisit le contexte par défaut selon la VRAM détectée : 4k sous 24 Go, 32k entre 24 et 48 Go, 256k au-delà (documentation officielle). Une application qui demande un contexte plus long fait grimper la mémoire : chaque token de contexte en coûte. /set parameter num_ctx 4096 dans la session, ou OLLAMA_CONTEXT_LENGTH=4096 au lancement : souvent plusieurs gigas récupérés.
3. Quantifiez le KV cache (gratuit, le réglage que personne ne connaît)
OLLAMA_KV_CACHE_TYPE=q8_0 divise environ par deux la mémoire du cache de conversation, avec une perte de précision très faible selon la FAQ Ollama. Ce réglage demande Flash Attention, qu’Ollama active automatiquement quand le matériel le permet (forçable avec OLLAMA_FLASH_ATTENTION=1) : c’est le combo qui sauve les longs contextes sur 8 Go de VRAM.
4. Déchargez une partie sur le CPU (gratuit, plus lent)
/set parameter num_gpu 24 ne met que 24 couches sur le GPU, le reste en RAM. Vous perdez nettement en vitesse, mais ça TOURNE. C’est là que 32 Go de RAM changent la donne.
5. Fermez ce qui squatte votre VRAM (gratuit, vérifiez !)
Navigateur, jeux en pause et outils 3D peuvent occuper plusieurs Go de VRAM : nvidia-smi vous dit qui mange quoi. Sur Windows, le bureau lui-même en réserve une partie — les modèles « qui devraient rentrer » ne rentrent jamais pile-poil.
6. Changez de gabarit de modèle (gratuit, souvent LA bonne réponse)
Verdict tranché : un Qwen 14B qui tourne bien bat un 70B qui rame en offload. Inutile de forcer un 70B sur 12 Go de VRAM.
7. L’upgrade chirurgical (payant, mais malin)
Si vous êtes en 16 Go de RAM, passer à 32 Go débloque l’offload des 32B. Si votre GPU a 6-8 Go, la RTX 3060 12 Go reste le meilleur premier pas — pas besoin d’une 4090.
Pas sûr de ce que VOTRE machine peut faire tourner ?
🔍 Tester mon PC en 10 secondes →Le diagnostic en 30 secondes
Erreur au chargement → le modèle est trop gros : solutions 1, 6 ou 7. Erreur en pleine conversation → c’est le KV cache : solutions 2 et 3. Erreur aléatoire → quelque chose squatte la VRAM : solution 5. Pour aller plus loin : notre guide « quelle VRAM pour quel modèle ».
Questions fréquentes
Pourquoi Ollama affiche out of memory alors que mon GPU a assez de VRAM ?
Parce que la VRAM n'est jamais vide : le bureau, le navigateur et l'overhead CUDA en occupent déjà une partie. Lancez nvidia-smi pour voir la consommation réelle avant de charger le modèle, et fermez les applications gourmandes.
Quelle quantization choisir pour éviter l'erreur sans perdre en qualité ?
Q4_K_M est le standard qualité/mémoire. Si ça déborde, Q3_K_M est environ 20 % plus léger, avec une perte de qualité mesurable : testez-le sur votre tâche. Q2_K est un dépannage d'urgence : la qualité chute nettement.
Est-ce que rajouter de la RAM règle l'erreur out of memory ?
Oui si l'erreur mentionne system memory : 32 Go de RAM permettent l'offload CPU des modèles 32B. Non si c'est une erreur CUDA pure : là c'est la VRAM du GPU qui manque, donc quantization, contexte réduit ou GPU avec plus de VRAM.