New Relic a lancé New Relic AI Monitoring (AIM), la première solution APM du secteur pour les applications alimentées par l'IA. New Relic est le pionnier de l'observabilité de l'IA avec AIM pour fournir aux ingénieurs une visibilité et des informations sans précédent sur la pile d'applications d'IA, facilitant ainsi le dépannage et l'optimisation de leurs applications d'IA en termes de performance, de qualité, de coût et d'utilisation responsable de l'IA. Avec plus de 50 intégrations et des fonctionnalités telles que le traçage des réponses LLM et la comparaison des modèles, AIM aide les équipes à construire et à exécuter des applications basées sur LLM en toute confiance.

Les applications alimentées par l'IA introduisent une nouvelle complexité dans les organisations. Les composants d'IA tels que les grands modèles de langage (LLM) et les bases de données vectorielles sont souvent une boîte noire pour les ingénieurs, avec le potentiel de fournir des résultats inexacts et biaisés, d'introduire des problèmes de sécurité et de générer de grands volumes de données télémétriques qui doivent être suivies et analysées. AIM résout ce problème en offrant une observabilité de bout en bout à toutes les applications alimentées par l'IA.

Les ingénieurs peuvent accéder à une vue unique pour dépanner, comparer et optimiser différentes invites et réponses LLM en termes de performance, de coût, de sécurité et de problèmes de qualité, y compris les hallucinations, les biais, la toxicité et l'équité. En contrepartie, l'IA crée de la complexité dans leur pile technologique et doit être adoptée de manière responsable en gardant à l'esprit les questions de sécurité, de qualité, de conformité et de coût. L'application de l'observabilité aux applications d'IA est un moyen intelligent et efficace d'aborder ces complexités afin que les entreprises puissent évoluer et stimuler l'innovation.

Toute entreprise qui fournit ces solutions permet en fin de compte aux organisations d'offrir de meilleurs produits et de meilleures expériences aux clients. Voici les principales caractéristiques et les principaux cas d'utilisation : Auto instrumentation : Les agents New Relic sont équipés de toutes les fonctionnalités AIM, y compris la visibilité complète de la pile d'IA, la traçabilité des réponses, la comparaison des modèles et bien plus encore, pour une configuration rapide et facile. Visibilité complète de la pile d'IA : vue holistique de l'application, de l'infrastructure et de la couche d'IA, y compris les mesures d'IA telles que la qualité des réponses et les jetons, ainsi que les signaux d'or APM.

Surveillez instantanément votre écosystème d'IA : La solution la plus complète pour surveiller l'ensemble de la pile de n'importe quel écosystème d'IA avec plus de 50 intégrations et démarrages rapides : Cadre d'orchestration : LangChain, LLM : OpenAI, PaLM2, HuggingFace, bibliothèques d'apprentissage automatique : Pytorch, TensorFlow, Model serving : Amazon SageMaker, AzureML, Bases de données vectorielles : Pinecone, Weaviate, Milvus, FAISS, Infrastructure AI : Azure, AWS, GCP. AIM est désormais disponible en accès anticipé pour les utilisateurs de New Relic dans le monde entier. Les utilisateurs peuvent s'inscrire ici pour demander un accès anticipé, qui est inclus dans la tarification simplifiée de New Relic, basée sur la consommation.