NVIDIA CORPORATION 
Les deux nouveaux tests de référence ajoutés par MLCommons mesurent la vitesse à laquelle les puces et les systèmes d'intelligence artificielle peuvent générer des réponses à partir de puissants modèles d'intelligence artificielle remplis de données. Les résultats montrent à peu près à quelle vitesse une application d'IA telle que ChatGPT peut fournir une réponse à une requête d'un utilisateur.
L'un des nouveaux bancs d'essai a permis de mesurer la rapidité d'un scénario de questions-réponses pour de grands modèles de langage. Appelé Llama 2, il comprend 70 milliards de paramètres et a été développé par Meta Platforms.
Les responsables de MLCommons ont également ajouté un deuxième générateur texte-image à la suite d'outils d'évaluation comparative, appelé MLPerf, basé sur le modèle Stable Diffusion XL de Stability AI.
Les serveurs équipés de puces H100 de Nvidia, construits par des entreprises telles que Google (Alphabet), Supermicro et Nvidia elle-même, ont remporté haut la main les deux nouveaux benchmarks en termes de performances brutes. Plusieurs constructeurs de serveurs ont présenté des modèles basés sur la puce L40S, moins puissante, de l'entreprise.
Le constructeur de serveurs Krai a présenté un modèle pour le test de génération d'images avec une puce Qualcomm AI qui consomme beaucoup moins d'énergie que les processeurs de pointe de Nvidia.
Intel a également présenté un modèle basé sur ses puces accélératrices Gaudi2. L'entreprise a qualifié les résultats de "solides".
La performance brute n'est pas la seule mesure critique lors du déploiement d'applications d'IA. Les puces d'IA avancées consomment d'énormes quantités d'énergie et l'un des défis les plus importants pour les entreprises d'IA est de déployer des puces qui offrent une performance optimale pour une quantité d'énergie minimale.
MLCommons dispose d'une catégorie de référence distincte pour mesurer la consommation d'énergie. (Reportage de Max A. Cherney à San Francisco ; Rédaction de Jamie Freed)
