New Relic a annoncé que New Relic AI monitoring (AIM), l'une des premières solutions APM du secteur pour les applications alimentées par l'IA, est désormais intégrée à Amazon Bedrock, un service entièrement géré par Amazon Web Services, Inc. (AWS) qui rend les modèles de base (FM) des principales sociétés d'IA accessibles via une API pour créer et mettre à l'échelle des applications d'IA génératives. Les clients d'AWS peuvent désormais utiliser New Relic pour bénéficier d'une meilleure visibilité et d'une meilleure compréhension de la pile d'IA, ce qui facilite le dépannage et l'optimisation de leurs applications en termes de performances, de qualité et de coûts. Alors que l'IA révolutionne les applications modernes, elle introduit de nouveaux défis et une nouvelle complexité dans les piles technologiques des organisations. Les piles technologiques de l'IA comprennent de nouveaux composants tels que les modèles de grands langages (LLM) et les magasins de données vectorielles, et génèrent des données télémétriques supplémentaires à suivre, telles que la qualité et le coût. AIM résout ces nouveaux défis en apportant l'APM à la pile d'IA. Tout comme les ingénieurs surveillent leur pile d'applications avec New Relic APM, AIM leur offre une visibilité totale sur tous les composants de la pile d'IA. AIM offre une vue unique et facile pour dépanner, comparer et optimiser différentes invites et réponses LLM pour la performance, le coût et les jetons, et les problèmes de qualité, y compris les hallucinations, les biais, la toxicité et l'équité à travers tous les modèles pris en charge par Amazon Bedrock. AIM s'intègre à Amazon Bedrock pour fournir une observabilité approfondie de bout en bout. Grâce aux intégrations intégrées d'AIM telles que Langchain, les clients d'Amazon Bedrock peuvent obtenir des mesures et un suivi tout au long du cycle de vie de l'invite et de la réponse LLM, depuis les invites brutes jusqu'aux réponses réparées et conformes à l'activité. Les fonctionnalités clés et les cas d'utilisation sont les suivants : Auto instrumentation : Les agents New Relic sont équipés de toutes les fonctionnalités AIM, y compris la visibilité complète de la pile d'IA, le suivi des réponses, la comparaison des modèles, etc. pour une configuration rapide et facile. Visibilité complète de la pile d'IA : vue holistique de l'application, de l'infrastructure et de la couche d'IA, y compris les mesures d'IA telles que la qualité des réponses et les jetons, ainsi que les signaux d'or APM. Des informations approfondies sur les traces pour chaque réponse LLM : Tracez le cycle de vie des réponses LLM complexes élaborées avec des outils tels que LangChain pour résoudre les problèmes de performance et de qualité tels que les biais, la toxicité et les hallucinations. Comparez les performances et les coûts : Suivez l'utilisation, la performance, la qualité et le coût de tous les modèles dans une vue unique ; optimisez l'utilisation grâce à des informations sur les questions fréquemment posées, la chaîne de pensée, les modèles de questions et les caches. Permettez une utilisation responsable de l'IA : assurez une utilisation sûre et responsable de l'IA en vérifiant que les réponses sont correctement étiquetées pour indiquer qu'elles sont générées par l'IA et qu'elles sont exemptes de biais, de toxicité et d'hallucinations, grâce aux informations sur les traces de réponses. Contrôlez instantanément votre écosystème d'IA : La solution la plus complète pour surveiller l'ensemble de la pile de tout écosystème d'IA avec plus de 50 intégrations et des démarrages rapides, notamment : Cadre d'orchestration : Langchain. Bases de données vectorielles : Pinecone, Weaviate, Milvus, FAISS, Zilliz.
LLM : Amazon Bedrock (modèles d'AI21 Labs, Amazon, Anthropic et Cohere). Infrastructure d'IA : Amazon SageMaker. New Relic AIM s'appuie sur les relations étroites qu'entretient New Relic avec AWS et s'ajoute aux plus de 95 intégrations AWS existantes. AIM est maintenant disponible en accès anticipé pour les utilisateurs de New Relic et d'AWS dans le monde entier. Les utilisateurs peuvent s'inscrire ici pour demander un accès anticipé, qui est inclus dans la tarification simplifiée et basée sur la consommation de New Relic.