Quantisation des LLM : le guide pour LM Studio et Ollama

Si vous faites tourner un modèle d'IA open source sur votre machine avec LM Studio ou Ollama, vous avez forcément croisé ces suffixes cryptiques : Q4_K_M, IQ3_XS, Q8_0, MLX 4-bit. Ce sont des niveaux et des formats de quantisation, la technique qui permet de faire entrer un modèle de plusieurs milliards de paramètres dans la mémoire d'un PC ou d'un Mac. Ce guide décode le paysage complet (GGUF, GPTQ, AWQ, EXL2, MLX, NF4 et les formats extrêmes), puis explique comment choisir concrètement pour votre matériel.

Qu'est-ce que la quantisation, en une minute

Un LLM est un gros paquet de nombres (ses « poids »). À l'entraînement, chaque poids est stocké en 16 bits, soit 2 octets. Un modèle de 8 milliards de paramètres pèse donc environ 16 Go dans ce format d'origine (FP16 ou BF16). C'est trop pour beaucoup de cartes graphiques grand public.

La quantisation consiste à encoder ces poids sur moins de bits : 8, 5, 4, 3, voire 2. On y gagne trois choses :

• Moins de mémoire : le fichier et l'empreinte en VRAM/RAM fondent (un 8B passe de ~16 Go à ~5 Go en 4 bits).
• Plus de vitesse : moins de données à déplacer, donc plus de tokens par seconde.
• Un coût matériel accessible : un modèle sérieux tourne sur une seule carte, voire sur un simple Mac.

La contrepartie est une légère perte de précision, comme un JPEG compresse une photo. Tout l'art consiste à compresser juste assez pour que la perte reste invisible sur vos usages.

Les grandes familles de quantisation

Contrairement à une idée répandue, la quantisation ne se résume pas au GGUF. Il existe plusieurs familles, chacune liée à un écosystème d'outils et à un type de matériel.

Trois choses à retenir de ce tableau :

• GGUF est le format du « local » (le format de llama.cpp). Sa force : il fonctionne sur CPU et GPU en même temps (on décharge une partie des couches sur la carte, le reste sur le processeur), donc sur n'importe quelle machine. C'est pourquoi Ollama et LM Studio l'ont choisi.
• GPTQ, AWQ et EXL2 sont le monde « GPU only ». Ils sont plus rapides quand le modèle tient entièrement en VRAM, mais supposent une carte NVIDIA et des outils orientés serveur (vLLM, ExLlama). Vous les croiserez beaucoup sur Hugging Face, mais Ollama et LM Studio ne les chargent pas directement.
• NF4, AQLM, QuIP#, HQQ relèvent surtout du fine-tuning (QLoRA utilise NF4) ou de la recherche sur la compression extrême. Utile à connaître, rarement ce que vous téléchargerez pour un usage quotidien.

GGUF en détail : décoder les noms (Q4_K_M et compagnie)

Puisque c'est ce que servent LM Studio et Ollama, apprenons à lire les noms GGUF. Ils se répartissent en trois générations.

• Les quants « legacy » (Q4_0, Q4_1, Q5_0, Q8_0) : la méthode d'origine, simple. Q8_0 reste très utile : 8 bits quasi sans perte. Les autres legacy sont dépassés par les K-quants.
• Les K-quants (Q2_K à Q6_K, avec des suffixes _S, _M, _L) : ils allouent plus de bits aux tenseurs importants (attention, couches clés) et moins au reste. Les suffixes signifient Small / Medium / Large, c'est-à-dire la générosité de l'allocation. Q4_K_M est le standard de fait.
• Les I-quants (IQ1 à IQ4, suffixes XXS, XS, S, M, NL) : plus récents, ils utilisent un dictionnaire de motifs et une « matrice d'importance » (imatrix), calculée sur un jeu de calibration, pour mieux préserver la qualité à très bas débit. À taille égale, un I-quant bat souvent un K-quant, surtout en 2-3 bits, mais il est un peu plus lent sur CPU.

Voici les niveaux les plus utiles, du plus lourd au plus léger (bits par poids approximatifs pour un modèle 7-8B) :

Astuce de lecture : plus le suffixe descend (M puis S) et plus le chiffre baisse (Q4 puis Q3 puis Q2), plus c'est léger et moins c'est fidèle. Les fichiers GGUF de référence sur Hugging Face (comme ceux de bartowski ou mradermacher) sont désormais quasi tous produits avec imatrix, même pour les K-quants.

MLX : la quantisation pour les Mac

Si vous êtes sur Mac (puce Apple Silicon M1 à M4), LM Studio propose un second format : MLX, le framework d'Apple optimisé pour la mémoire unifiée et le GPU intégré (Metal). Les quantisations MLX sont plus simples à nommer (souvent 4-bit ou 8-bit, parfois mixtes) et sont fréquemment plus rapides que le GGUF équivalent sur Mac. La contrepartie : MLX ne tourne que sur Apple Silicon, et Ollama ne le prend pas en charge (Ollama reste 100 % GGUF). Règle simple : sur Mac, testez la version MLX ; ailleurs, restez en GGUF.

Comment choisir concrètement

La logique tient en une phrase : prenez le plus gros modèle et le meilleur quant qui tiennent dans votre mémoire, en gardant de la marge pour le contexte.

Quelques repères pour un modèle 8B (ajoutez ~1 à 3 Go pour le contexte selon sa longueur) :

Trois principes complètent ces repères :

1. Rester dans la mémoire rapide. Si le modèle déborde de la VRAM vers la RAM (ou du GPU vers le CPU), la vitesse s'effondre. LM Studio l'indique visuellement ; avec Ollama, surveillez si le modèle est bien « offloadé » sur le GPU.
2. À mémoire égale, préférez le gros modèle. Un 30B en Q4 bat souvent un 8B en Q8. Cet avantage tient tant qu'on reste au-dessus de Q3 environ.
3. Ne pas oublier le cache de contexte (KV cache). Les longs contextes consomment de la mémoire en plus des poids. On peut aussi quantiser ce cache (par exemple en Q8) pour gagner de la place : OLLAMA_KV_CACHE_TYPE=q8_0 avec Ollama, ou l'option correspondante dans LM Studio.

En pratique : LM Studio et Ollama

LM Studio (interface graphique) est le plus pédagogique. Quand vous cherchez un modèle, il liste les quants disponibles avec leur taille et un indicateur du type « tient entièrement sur votre machine » (vert), « partiellement » (jaune) ou « trop gros » (rouge). Il gère GGUF et MLX. Idéal pour débuter et comparer sans se tromper.

Ollama (ligne de commande et API) privilégie la simplicité. Un ollama pull llama3.1 télécharge par défaut la version Q4_K_M. Pour choisir un autre niveau, on précise le tag :

• ollama pull llama3.1:8b-instruct-q5_K_M
• ollama pull llama3.1:8b-instruct-q8_0
• ollama pull llama3.1:8b-instruct-fp16 (le modèle non quantisé)

Ollama ne lit que du GGUF, mais vous pouvez importer n'importe quel fichier GGUF téléchargé sur Hugging Face via un Modelfile (FROM ./mon-modele.Q4_K_M.gguf). Là encore, tout se joue sur le bon choix de quant.

Ce que ça change pour votre PME

La quantisation n'est pas qu'un détail technique : c'est ce qui rend l'IA locale viable pour une entreprise. Faire tourner un modèle open source sur votre propre matériel apporte trois avantages concrets :

• Confidentialité et RGPD : vos données ne quittent jamais vos murs, un point clé que nous détaillons dans notre article sur l'IA, le RGPD et la confidentialité des données.
• Coût maîtrisé : pas de facturation au token, le coût est celui du matériel, amorti dans le temps.
• Souveraineté : aucun risque de voir un modèle coupé ou bridé du jour au lendemain, comme nous l'expliquons à propos de l'IA souveraine et des modèles open source comme GLM 5.2.

Le bon quant, c'est le point d'équilibre entre la qualité dont vous avez besoin et le matériel que vous avez. Le trouver demande de tester sur vos propres cas, pas de suivre un classement générique : c'est exactement notre approche chez SprintOS, selon une méthode structurée. Pour cadrer un déploiement d'IA locale, parlez-en avec un expert ou explorez vos cas d'usage avec SprintAI.

Questions fréquentes

C'est quoi la quantisation d'un modèle d'IA ?

C'est une compression du modèle. Les poids d'un LLM sont normalement stockés en 16 bits (2 octets chacun). La quantisation les encode sur moins de bits (8, 5, 4, 3, voire 2), ce qui réduit fortement la taille du fichier et la mémoire nécessaire, et accélère l'inférence, au prix d'une légère perte de qualité. C'est ce qui permet de faire tourner un modèle de plusieurs milliards de paramètres sur un simple PC ou un Mac.

Quelle quantisation choisir pour commencer ?

Pour la plupart des usages, Q4_K_M (en GGUF) est le meilleur compromis qualité/taille et le choix par défaut recommandé. Si vous avez de la mémoire libre, montez en Q5_K_M ou Q6_K pour une qualité quasi identique au modèle d'origine. Si vous manquez de mémoire, descendez en IQ4_XS ou Q3_K_M, ou passez à un modèle plus petit. En dessous de Q3, la qualité se dégrade nettement.

Quelle différence entre GGUF, GPTQ, AWQ et EXL2 ?

Ce sont des formats de quantisation différents. GGUF (llama.cpp) tourne sur CPU et GPU, sur tous les systèmes : c'est ce qu'utilisent Ollama et LM Studio. GPTQ, AWQ et EXL2 sont pensés pour le GPU (CUDA) et des serveurs comme vLLM ou ExLlama : plus rapides quand le modèle tient entièrement en VRAM, mais moins polyvalents. NF4 (bitsandbytes) sert surtout au fine-tuning (QLoRA).

LM Studio et Ollama utilisent quel format ?

Les deux utilisent GGUF (le format de llama.cpp). LM Studio prend aussi en charge MLX, le format optimisé pour les puces Apple Silicon (Mac). Ollama, lui, ne lit que du GGUF. Concrètement, un utilisateur de LM Studio ou d'Ollama manipule presque toujours des fichiers GGUF, dont les noms se terminent par Q4_K_M, Q5_K_M, Q8_0, etc.

Vaut-il mieux un gros modèle très quantisé ou un petit modèle peu quantisé ?

En général, à mémoire égale, un modèle plus gros quantisé plus agressivement bat un modèle plus petit peu quantisé, tant qu'on reste au-dessus de Q3 environ. Par exemple, un 30B en Q4 sera souvent meilleur qu'un 8B en Q8. En dessous de Q3, l'avantage du gros modèle s'érode. La seule vraie mesure reste de tester les deux sur vos propres cas.

La quantisation dégrade-t-elle beaucoup la qualité ?

Peu, jusqu'à un certain point. Q8_0 et Q6_K sont quasiment indiscernables du modèle 16 bits d'origine. Q4_K_M perd très peu. C'est surtout en dessous de Q3, et à partir de 2 bits, que la dégradation devient visible (réponses moins fiables, erreurs de raisonnement). Les modèles plus gros tolèrent mieux la quantisation agressive que les petits.

En résumé

La quantisation est ce qui rend l'IA open source utilisable en local. Retenez trois niveaux de lecture : le format (GGUF pour Ollama et LM Studio, MLX sur Mac, et le monde GPU de GPTQ/AWQ/EXL2 pour les serveurs), le niveau (Q4_K_M comme point de départ, plus haut si la mémoire suit, I-quants pour squeezer un gros modèle), et la règle d'or : prendre le plus gros modèle et le meilleur quant qui tiennent dans votre mémoire, puis mesurer sur vos propres cas. Le reste n'est que du réglage.