Les faits
Avec une version entière sur quatre bits de Llama 4 Maverick, un H100 a traité environ 111 jetons d’entrée par seconde pour produire les preuves par lots de 24 requêtes, contre 17 pour une requête isolée. Une preuve de 1 024 jetons pesait environ 19 Mo.
Pourquoi c’est important
Il s’agit du débit de preuve, pas de la vitesse de rédaction d’un assistant. Les auteurs estiment le coût à 70 à 95 fois le temps GPU de l’inférence ordinaire. La preuve porte sur un calcul précis, pas sur la véracité ou la sûreté du résultat.
À surveiller
Des reproductions indépendantes sur de petits lots permettront de mieux juger l’intérêt pour des services interactifs.
Sources et vérification
Les liens ne correspondent pas nécessairement à des confirmations indépendantes.
01Signaler une correction
Aidez-nous à corriger
Indiquez l’affirmation contestée et si possible une source. N’envoyez pas de données personnelles ou sensibles.
-00.06.31.698.png)
