Archives des tokens par seconde

Ordinateur local affichant des graphiques de traitement du prompt, latence du premier token et débit de génération

Benchmark IA locale : mesurer tokens/s, latence et mémoire sans se tromper

Un chiffre de tokens par seconde ne suffit pas pour juger une IA locale. Cette méthode sépare chargement, traitement du prompt, premier token, génération, mémoire et qualité de réponse.