Installer un modèle local n’est que le début. Vient ensuite le moment où l’on touche à la température, au top-p, à la seed et parfois à une poignée d’autres curseurs. La tentation est forte de copier les valeurs d’une capture d’écran, de tout modifier en même temps, puis de conclure que le modèle est génial ou mauvais après deux réponses. Cette méthode donne surtout des résultats impossibles à expliquer.
Les réglages d’une IA locale ne transforment pas un petit modèle en oracle. Ils modifient la façon dont il choisit ses prochains fragments de texte. Pour les comprendre, il faut donc travailler comme lors d’un diagnostic : un prompt fixe, une seed fixe lorsque l’outil le permet, un seul paramètre modifié à la fois et des critères de comparaison écrits avant le test.
Avant les curseurs, vérifier ce que l’on compare
Deux essais ne sont comparables que si le modèle, sa quantification, le prompt système, le prompt utilisateur et la longueur maximale restent identiques. Changer de modèle ou passer d’une quantification 8 bits à 4 bits au milieu du test ajoute une variable supplémentaire. J’ai déjà expliqué ce compromis dans mon article sur la quantification des LLM en 4 ou 8 bits.
Il faut aussi regarder l’interface utilisée. Certains logiciels affichent une valeur de température sans indiquer si l’échantillonnage est activé. Or la documentation de Hugging Face sur les stratégies de génération distingue clairement la recherche gloutonne, qui choisit le token jugé le plus probable, et l’échantillonnage, qui tire dans une distribution de probabilités. Un curseur visible ne garantit donc pas à lui seul que le réglage agit comme on l’imagine.
Température : élargir ou resserrer les choix
La température agit sur la distribution des probabilités avant le choix du prochain token. Une valeur basse renforce l’écart entre les candidats : le modèle revient plus souvent vers les options déjà probables. Une valeur plus élevée aplatit cette distribution et laisse davantage de place aux choix moins attendus.
Il ne faut pas traduire cela par « basse égale intelligente » et « haute égale créative ». Une température basse peut rendre une réponse plus stable, mais aussi plus répétitive ou conventionnelle. Une température élevée peut produire une formulation intéressante, mais également des digressions et davantage d’erreurs. Le bon réglage dépend de la tâche :
- pour extraire des informations, reformater un texte ou générer une procédure, je commence bas ;
- pour chercher des titres, des angles ou des variantes, je monte progressivement ;
- pour un article factuel, je préfère une sortie sobre puis je vérifie chaque affirmation ;
- pour du jeu de rôle ou de la fiction, une valeur plus généreuse peut être utile si le personnage reste cohérent.
Plutôt que de chercher une valeur universelle, mieux vaut tester trois paliers raisonnables dans son outil. Le modèle, le moteur d’inférence et ses valeurs par défaut peuvent changer le comportement observé. Une recette publiée pour un modèle n’est pas automatiquement transférable à un autre.
Top-p : limiter la zone dans laquelle le modèle pioche
Le top-p, aussi appelé échantillonnage par noyau, conserve le plus petit ensemble de tokens dont la probabilité cumulée atteint le seuil choisi. Les candidats situés au-delà sont écartés pour cette étape. Le mécanisme ne remplace pas la température : les deux peuvent intervenir dans la même génération.
Un top-p plus bas resserre le choix autour des candidats dominants. Un top-p proche de 1 laisse une zone plus large. Là encore, un seuil trop strict peut rendre le texte mécanique, tandis qu’une zone trop large augmente la diversité mais aussi le risque de bifurcation. La référence GenerationConfig de Transformers décrit séparément les paramètres qui pilotent la stratégie de génération : c’est une bonne raison pour ne pas les traiter comme un unique bouton de « créativité ».
Pour un premier réglage, je garde l’un des deux paramètres presque neutre et je teste l’autre. Modifier simultanément température et top-p produit parfois une belle réponse, mais ne permet pas de savoir lequel a eu l’effet décisif. Une fois leur influence comprise séparément, on peut chercher un couple adapté à son usage.
Seed : rejouer un tirage, pas garantir l’éternité
La seed initialise le générateur pseudo-aléatoire utilisé lors de l’échantillonnage. Fixer la même seed aide à reproduire un tirage et à isoler l’effet d’un réglage. C’est extrêmement utile pour comparer deux températures avec le même prompt.
Mais une seed n’est pas une empreinte magique. Une mise à jour du moteur, une version différente du modèle, un changement de pilote, de matériel ou de bibliothèque peut produire un résultat différent. La page officielle de PyTorch consacrée à la reproductibilité rappelle justement qu’une reproduction parfaite n’est pas garantie entre versions, plateformes ou exécutions selon les opérations utilisées.
Pour conserver un test réellement exploitable, je note donc la seed, mais aussi le nom exact du modèle, sa quantification, la version du logiciel, le prompt système, le prompt utilisateur et les réglages de contexte. Mon guide pour sauvegarder une IA locale avec ses modèles et réglages complète cette démarche.
Un protocole simple en six passages
- Choisir trois prompts. Un factuel, un de synthèse et un créatif donnent une vision plus honnête qu’un seul exemple.
- Figer l’environnement. Même modèle, même fichier, même logiciel, même prompt système et même longueur maximale.
- Fixer la seed. Si l’interface le permet, garder la même valeur pendant toute la série.
- Établir une référence. Noter les valeurs par défaut et conserver la sortie complète.
- Changer un seul paramètre. Tester plusieurs températures en gardant le top-p, puis plusieurs top-p en gardant la température.
- Noter des critères. Exactitude, respect de la consigne, répétitions, lisibilité, diversité et temps de génération.
Un petit tableau suffit. Chaque ligne représente un essai ; chaque colonne contient les réglages et une note courte. Au bout d’une dizaine de générations, les tendances deviennent plus utiles qu’une impression isolée. Si un résultat semble particulièrement bon, je le relance avec plusieurs seeds afin de vérifier qu’il n’était pas un heureux accident.
Ce que ces réglages ne corrigent pas
Une mauvaise réponse n’est pas toujours un problème de température. Un modèle trop petit, un contexte saturé, un prompt ambigu ou des documents RAG mal indexés restent de mauvais fondements. Monter le top-p ne fera pas apparaître une connaissance absente. Baisser la température ne transformera pas une information inventée en fait vérifié.
Avant de tourner les curseurs, je vérifie donc la tâche. Pour de la recherche documentaire, la qualité des sources et du contexte compte davantage qu’une décimale. Pour un usage commercial, il faut aussi vérifier la licence du modèle d’IA local. Pour du code, des tests automatiques valent mieux qu’une réponse qui semble convaincante.
Le réglage utile est celui que l’on peut expliquer
Température, top-p et seed deviennent réellement utiles lorsqu’ils servent une méthode. Je préfère un profil sobre et documenté à une collection de valeurs recopiées. Un réglage reproductible permet de revenir en arrière, de comparer un nouveau modèle et de comprendre pourquoi une réponse a changé.
Le bon point de départ reste donc simple : conserver les valeurs par défaut, fixer une seed, modifier un seul paramètre et lire les sorties en entier. Après cela seulement, on peut enregistrer un profil pour l’écriture, un autre pour l’extraction et un troisième pour l’exploration créative. L’IA locale devient alors un outil que l’on règle, et non une boîte noire que l’on secoue jusqu’à obtenir une réponse plaisante.
