DataStax a annoncé qu'il prenait en charge les cas d'utilisation RAG (retrieval-augmented generation) en intégrant les nouveaux microservices d'inférence NVIDIA NIM et les microservices NeMo Retriever à Astra DB afin de fournir des solutions de données RAG hautes performances pour une meilleure expérience client. Grâce à cette intégration, les utilisateurs pourront créer des embeddings vectoriels instantanés 20 fois plus rapidement que les autres services d'embeddings dans le cloud et bénéficieront d'une réduction de 80 % du coût des services. Les entreprises qui développent des applications d'IA générative sont confrontées à la complexité technologique, à la sécurité et aux obstacles financiers liés à la vectorisation des données non structurées existantes et nouvellement acquises en vue de leur intégration transparente dans de grands modèles de langage (LLM).

L'urgence de générer des embeddings en temps quasi réel et d'indexer efficacement les données au sein d'une base de données vectorielle sur du matériel standard ne fait qu'aggraver ces défis. DataStax collabore avec NVIDIA pour aider à résoudre ce problème. NVIDIA NeMo Retriever génère plus de 800 embeddings par seconde et par GPU, en association avec DataStax Astra DB, qui est capable d'ingérer de nouveaux embeddings à plus de 4000 transactions par seconde avec des latences de l'ordre de la milliseconde, sur des solutions de stockage/disques de commodité à faible coût.

Ce modèle de déploiement réduit considérablement le coût total de possession pour les utilisateurs et permet de générer et d'indexer les données d'intégration à la vitesse de l'éclair. Associés à NVIDIA NeMo Retriever, Astra DB et DataStax Enterprise (l'offre sur site de DataStax) fournissent une solution RAG de base de données vectorielle rapide, construite sur une base de données NoSQL évolutive qui peut fonctionner sur n'importe quel support de stockage. L'intégration prête à l'emploi avec RAGStack (alimenté par LangChain et LlamaIndex) permet aux développeurs de remplacer facilement leur modèle d'intégration existant par NIM.

En outre, grâce au testeur de matrice de compatibilité RAGStack, les entreprises peuvent valider la disponibilité et les performances de diverses combinaisons de modèles d'intégration et de LLM pour les pipelines RAG courants. DataStax lance également, en avant-première pour les développeurs, une nouvelle fonctionnalité appelée Vectorize. Vectorize effectue les générations d'embedding au niveau de la base de données, ce qui permet aux clients d'exploiter Astra DB pour générer facilement des embeddings en utilisant sa propre instance de microservices NeMo, au lieu de leur propre instance, en répercutant les économies directement sur le client.