Anthropic appelle les principaux laboratoires d'intelligence artificielle à envisager une pause coordonnée et vérifiable de leur développement. La start-up avertit que les avancées technologiques rapides pourraient bientôt permettre aux systèmes d'IA de s'auto-améliorer plus vite que la société ne peut en gérer les risques.

Le créateur de Claude a déclaré que la capacité de l'IA à accomplir des tâches de manière autonome doublait environ tous les quatre mois, s'orientant vers une 'auto-amélioration récursive', point où la technologie peut progresser sans intervention humaine.

'Si les systèmes deviennent capables de concevoir intégralement leurs propres successeurs, les méthodes pour les sécuriser, les surveiller et façonner leur comportement deviennent cruciales', a déclaré la start-up dans un long billet de blog jeudi, ajoutant qu'une pause permettrait à la société de 'faire face à ses immenses implications'.

'Nous n'en sommes pas encore là, et l'auto-amélioration récursive n'est pas inévitable. Mais elle pourrait survenir plus tôt que ce à quoi la plupart des institutions sont préparées', ont écrit Jack Clark, cofondateur d'Anthropic, et Marina Favaro, responsable de l'Anthropic Institute.

Les craintes de voir des systèmes d'IA avancés échapper au contrôle humain et causer des préjudices sociétaux se sont intensifiées à mesure que la technologie gagne en puissance. Le modèle Mythos d'Anthropic a lui-même provoqué une onde de choc dans des secteurs tels que la banque et le logiciel plus tôt cette année, grâce à sa capacité à déceler des vulnérabilités dans les codes existants.

Cependant, la régulation tarde à se mettre en place, particulièrement aux États-Unis où sont basés la plupart des leaders du secteur. Un décret de l'administration Trump publié plus tôt cette semaine a fait porter la responsabilité sur les laboratoires eux-mêmes, leur demandant de soumettre volontairement leurs modèles les plus performants à des tests de cybersécurité gouvernementaux avant leur commercialisation.

Des chercheurs en IA ont déjà réclamé une pause par le passé, sans grand succès. Elon Musk, propriétaire du laboratoire xAI, figurait parmi les soutiens d'une initiative lancée en 2023 par l'organisation à but non lucratif Future of Life Institute visant à suspendre le développement de l'IA pendant six mois afin d'instaurer des garde-fous sécuritaires.

Anthropic se positionne depuis longtemps comme un laboratoire axé sur la sécurité. Plus tôt cette année, l'entreprise a refusé que l'armée américaine utilise ses modèles pour la surveillance domestique et les armes totalement autonomes, provoquant une réaction hostile du gouvernement qui l'a placée sur une liste noire de sécurité nationale, devant prendre effet fin 2026.

Reuters a rapporté vendredi que ce différend montrait des signes d'apaisement au sein de certaines branches de l'administration américaine.

Pourtant, Anthropic a continué de lancer des modèles toujours plus puissants et est revenue en février sur un engagement de sécurité clé, affirmant qu'elle ne briderait plus une IA potentiellement dangereuse si des concurrents étaient sur le point d'égaler ses capacités.

La société a récemment été valorisée à 965 milliards de dollars lors d'une levée de fonds massive et a déposé confidentiellement un dossier d'introduction en bourse aux États-Unis lundi, devançant son rival OpenAI tant en termes de valorisation que dans la course aux capitaux stratégiques.

ACTION COORDONNÉE

Le billet d'Anthropic avertit qu'un ralentissement unilatéral ou mal coordonné pourrait s'avérer contre-productif si des acteurs moins prudents poursuivent leurs avancées, réduisant potentiellement la sécurité globale.

L'entreprise précise qu'une pause significative nécessiterait un accord entre 'plusieurs laboratoires disposant de ressources importantes' opérant à la pointe de la technologie, ainsi que des règles définissant les conditions de déclenchement ou de levée d'une telle mesure, et l'autorité chargée de sa supervision.

'Une pause unilatérale par un seul laboratoire est en revanche réalisable immédiatement, mais ses effets seraient bien moindres : cela changerait l'identité du leader, mais ne créerait pas le processus de délibération plus large qui fait actuellement défaut', a souligné la start-up.

Sa branche de recherche, l'Anthropic Institute, prévoit d'étudier les systèmes nécessaires pour soutenir un ralentissement et réunira dans les prochains mois des décideurs politiques, des chercheurs, des groupes de la société civile et des entreprises d'IA concurrentes pour discuter de la gestion des risques tels que l'auto-amélioration récursive.

OpenAI, xAI, Alphabet, Meta Platforms et le français Mistral n'ont pas immédiatement répondu aux demandes de commentaires concernant leur éventuelle adhésion à cet appel.