Peut-on se fier aux outils d’intelligence artificielle (IA) ? Autrement dit, ces derniers vont-ils bientôt pouvoir remplacer l’humain ? Telle est la question que l’on peut aujourd’hui se poser dans de nombreux domaines. Le secteur financier ne fait évidemment pas exception.

Une étude menée par le cabinet Reputation Age apporte à cet égard un éclairage intéressant. Elle a en effet cherché à mesurer le degré de fiabilité de ChatGPT, Claude (version payante) et Gemini sur les indicateurs financiers des entreprises du CAC 40. Or, les résultats laissent pantois.

Des questions simples

Le cabinet a interrogé ces outils selon deux modes. En premier lieu, il a demandé la génération d’un tableau présentant pour tous les groupes de l’indice parisien (sauf Pernod Ricard pour cause d’exercice décalé) quatre indicateurs phares : chiffre d’affaires, résultat net, résultat d’exploitation et dette nette.

Dans un second temps, un agent de Reputation Age a interrogé chaque modèle de manière plus précise : une question par indicateur recherché pour chaque société, soit 156 questions posées au total (4 questions pour 39 sociétés).

Les résultats proposés ont ensuite été comparés aux indicateurs financiers publiés dans les communiqués des entreprises.

Des résultats qui rendent pour le moins prudent

Concernant le premier exercice, il apparaît que ChatGPT n’a pas été en mesure de générer le tableau demandé. Claude a réussi à présenter un tableau mais avec seulement 11 indicateurs corrects (soit un taux de réponses positives de 7%). Quant à Gemini, s’il se classe en tête sur cette partie, son taux de réponses exactes se limite à 12,9% (20 sur 156)

On pourrait imputer ces imprécisions à des demandes trop vagues. Pour autant, le second exercice proposé ne fait pas apparaître de meilleurs résultats. Les taux de bonnes réponses ressortent en effet à 7,1% pour Claude, 9,6% pour ChatGPT et 12,8% pour Gemini.

Dans le détail, il apparaît que si le taux de bonnes réponses est très moyen quel que soit l’indicateur recherché (8% à 17%), c’est surtout au niveau du résultat d’exploitation qu’il déçoit. ChatGPT et Claude n’ont présenté aucun résultat d’exploitation valide. Et si Gemini s’en sort un peu mieux ici, son taux de pertinence n’est que de 11%.

Une précision pour l’heure hors de portée

La conclusion du cabinet auteur de l’étude est sans appel. "La précision financière reste hors de portée pour l’IA", indique l’étude en pointant des "approximations dangereuses".

Bien évidemment, on peut s’interroger sur les raisons de cette incapacité à produire des résultats fiables. Reputation Age nous donne quelques éléments de réponse. La principale faiblesse de ces outils tient au fait qu’ils ne prennent pas les sites officiels comme unique référence. La multiplicité des sources et l’absence de hiérarchisation induit nécessairement des imprécisions. De surcroît, ce travail a fait ressortir quelques confusions sur les exercices pris en compte.

Sans surprise, Reputation Age n’oublie pas de rappeler de manière opportune aux entreprises du CAC 40 l’importance de mieux se faire identifier par les outils d’IA et la nécessité de se faire accompagner par des spécialistes sur ce terrain. Toutefois à plus court terme, cette étude peut surtout être vue comme une alerte pour le grand public. L’IA est une aide indéniable pour rechercher, trier et sélectionner des informations dans un univers de données de plus en plus massif. En revanche, s’y fier aveuglément sans procéder à un minimum de vérification serait totalement insensé, notamment en matière d’investissement. C’est sur ce plan que l’IA n’est pas encore en mesure de remplacer des agents humains en mesure d’apporter une certification ou une garantie.