DataStax fournit une solution RAG haute performance avec des indexations et des encodages 20 fois plus rapides, pour un coût 80 % inférieur, en utilisant les microservices de NVIDIA.
Le 18 mars 2024 à 23:00
Partager
DataStax a annoncé qu'il prenait en charge les cas d'utilisation RAG (retrieval-augmented generation) en intégrant les nouveaux microservices d'inférence NVIDIA NIM et les microservices NeMo Retriever à Astra DB afin de fournir des solutions de données RAG hautes performances pour une meilleure expérience client. Grâce à cette intégration, les utilisateurs pourront créer des embeddings vectoriels instantanés 20 fois plus rapidement que les autres services d'embeddings dans le cloud et bénéficieront d'une réduction de 80 % du coût des services. Les entreprises qui développent des applications d'IA générative sont confrontées à la complexité technologique, à la sécurité et aux obstacles financiers liés à la vectorisation des données non structurées existantes et nouvellement acquises en vue de leur intégration transparente dans de grands modèles de langage (LLM).
L'urgence de générer des embeddings en temps quasi réel et d'indexer efficacement les données au sein d'une base de données vectorielle sur du matériel standard ne fait qu'aggraver ces défis. DataStax collabore avec NVIDIA pour aider à résoudre ce problème. NVIDIA NeMo Retriever génère plus de 800 embeddings par seconde et par GPU, en association avec DataStax Astra DB, qui est capable d'ingérer de nouveaux embeddings à plus de 4000 transactions par seconde avec des latences de l'ordre de la milliseconde, sur des solutions de stockage/disques de commodité à faible coût.
Ce modèle de déploiement réduit considérablement le coût total de possession pour les utilisateurs et permet de générer et d'indexer les données d'intégration à la vitesse de l'éclair. Associés à NVIDIA NeMo Retriever, Astra DB et DataStax Enterprise (l'offre sur site de DataStax) fournissent une solution RAG de base de données vectorielle rapide, construite sur une base de données NoSQL évolutive qui peut fonctionner sur n'importe quel support de stockage. L'intégration prête à l'emploi avec RAGStack (alimenté par LangChain et LlamaIndex) permet aux développeurs de remplacer facilement leur modèle d'intégration existant par NIM.
En outre, grâce au testeur de matrice de compatibilité RAGStack, les entreprises peuvent valider la disponibilité et les performances de diverses combinaisons de modèles d'intégration et de LLM pour les pipelines RAG courants. DataStax lance également, en avant-première pour les développeurs, une nouvelle fonctionnalité appelée Vectorize. Vectorize effectue les générations d'embedding au niveau de la base de données, ce qui permet aux clients d'exploiter Astra DB pour générer facilement des embeddings en utilisant sa propre instance de microservices NeMo, au lieu de leur propre instance, en répercutant les économies directement sur le client.
NVIDIA Corporation est le n° 1 mondial de la conception, du développement et de la commercialisation de processeurs graphiques programmables. Le groupe développe parallèlement des logiciels associés. Le CA par famille de produits se répartit comme suit :
- solutions informatiques et de mise en réseau (55,9%) : plateformes et infrastructures de centres de données, solutions d'interconnexion Ethernet, solutions calcul haute performance, plateformes et solutions pour véhicules autonomes et intelligents, solutions pour l'infrastructure d'intelligence artificielle d'entreprise, processeurs d'extraction de crypto-monnaies, cartes informatiques embarquées pour la robotique, l'enseignement, l'apprentissage et le développement de l'intelligence artificielle, etc. ;
- processeurs graphiques (44,1%) : destinés aux ordinateurs, aux consoles de jeux, aux plateformes de diffusion en direct de jeux vidéo, aux stations de travail, etc. (marques GeForce, NVIDIA RTX, Quadro, etc.). Le groupe propose également des ordinateurs portables et de bureau, des ordinateurs de jeu, des périphériques pour ordinateurs (moniteurs, souris, manettes de jeux, télécommandes, etc.), des logiciels pour l'informatique visuelle et virtuelle, des plateformes pour les systèmes d'info-divertissement automobiles et des plateformes de collaboration dans le cloud.
Le CA par secteur d'activité se ventile entre stockage de données (55,6%), jeux (33,6%), visualisation professionnelle (5,7%), automobile (3,4%) et autres (1,7%).
La répartition géographique du CA est la suivante : Etats-Unis (30,7%), Taiwan (25,9%), Chine (21,5%) et autres (21,9%).
DataStax fournit une solution RAG haute performance avec des indexations et des encodages 20 fois plus rapides, pour un coût 80 % inférieur, en utilisant les microservices de NVIDIA.