Teradata Corporation a annoncé de nouvelles fonctionnalités pour VantageCloud Lake et ClearScape Analytics qui permettent aux entreprises de mettre en œuvre facilement des cas d'utilisation de l'IA générative (GenAI) et d'en tirer un retour sur investissement immédiat. Alors que l'IA générative passe de l'idée à la réalité, les entreprises sont de plus en plus intéressées par une stratégie d'IA plus complète qui donne la priorité aux cas d'utilisation pratiques connus pour offrir une valeur commerciale plus immédiate - un avantage essentiel alors que 84 % des cadres attendent un retour sur investissement des initiatives d'IA dans un délai d'un an.
Avec les progrès réalisés dans l'innovation des grands modèles de langage (LLM) et l'émergence de petits et moyens modèles, les fournisseurs d'IA peuvent proposer des modèles open-source adaptés pour offrir une grande polyvalence dans un large éventail de cas d'utilisation, mais sans le coût élevé et la complexité des grands modèles. En ajoutant la fonction BYO-LLM (bring-your-own LLM), les clients de Teradata peuvent tirer parti de LLM ouverts de petite ou moyenne taille, y compris de modèles spécifiques à un domaine. Outre le fait que ces modèles sont plus faciles à déployer et plus rentables dans l'ensemble, les nouvelles fonctionnalités de Teradata amènent les LLM aux données (et non l'inverse), ce qui permet aux entreprises de minimiser les déplacements de données coûteux et de maximiser la sécurité, la confidentialité et la confiance.
Teradata offre également aux clients la possibilité d'exploiter stratégiquement les GPU ou les CPU, en fonction de la complexité et de la taille du LLM. Si nécessaire, les GPU peuvent être utilisés pour offrir vitesse et performance à l'échelle pour des tâches telles que l'inférence et la mise au point du modèle, qui seront toutes deux disponibles sur VantageCloud Lake. La collaboration entre Teradata et NVIDIA, également annoncée aujourd'hui, comprend l'intégration de la plate-forme informatique accélérée NVIDIA AI full-stack, qui inclut NVIDIA NIM, qui fait partie de NVIDIA AI Enterprise pour le développement et le déploiement d'applications GenAI, dans la plate-forme Vantage pour accélérer les charges de travail d'IA de confiance, petites et grandes.
Les entreprises ont pris conscience que les LLM de grande taille ne sont pas adaptés à tous les cas d'utilisation et que leur coût peut être prohibitif. BYO-LLM permet aux utilisateurs de choisir le meilleur modèle pour leurs besoins spécifiques et, selon Forrester, 46 % des leaders de l'IA prévoient d'exploiter les LLM open-source existants dans leur stratégie d'IA générative. Avec la mise en œuvre de BYO-LLM par Teradata, les clients de VantageCloud Lake et ClearScape peuvent facilement exploiter des LLM de petite ou moyenne taille provenant de fournisseurs d'IA open-source tels que Hugging Face, qui compte plus de 350 000 LLM. Les LLM de petite taille sont généralement spécifiques à un domaine et adaptés à des cas d'utilisation concrets et utiles, tels que Conformité réglementaire : Les banques utilisent des LLM ouverts spécialisés pour identifier les courriels ayant des implications réglementaires potentielles, réduisant ainsi le besoin d'une infrastructure GPU coûteuse.
Analyse des notes médicales : Les LLM ouverts peuvent analyser les notes des médecins pour automatiser l'extraction d'informations, améliorant ainsi les soins aux patients sans déplacer de données sensibles. Recommandations de produits : En utilisant les embeddings LLM combinés à l'analyse dans la base de données de Teradata ClearScape Analytics, les entreprises peuvent optimiser leurs systèmes de recommandation. Analyse des réclamations des clients : Les LLM ouverts permettent d'analyser les sujets, les sentiments et les résumés des plaintes, en intégrant des informations dans une vue à 360° du client afin d'améliorer les stratégies de résolution. L'engagement de Teradata en faveur d'un écosystème ouvert et connecté signifie qu'au fur et à mesure que des LLM ouverts arriveront sur le marché, les clients de Teradata pourront suivre le rythme de l'innovation et utiliser BYO-LLM pour passer à des modèles moins dépendants des fournisseurs.
En ajoutant le support complet de l'informatique accélérée de NVIDIA à VantageCloud Lake, Teradata fournira à ses clients un inferencing LLM qui devrait offrir une meilleure valeur et être plus rentable pour les modèles importants ou très complexes. L'informatique accélérée de NVIDIA est conçue pour traiter des quantités massives de données et effectuer des calculs rapidement, ce qui est essentiel pour l'inférence - lorsqu'un modèle d'apprentissage automatique, d'apprentissage profond ou de langage formé est utilisé pour faire des prédictions ou prendre des décisions basées sur de nouvelles données. L'examen et le résumé des notes médicales en sont un exemple dans le domaine des soins de santé.
En automatisant l'extraction et l'interprétation des informations, ils permettent aux prestataires de soins de santé de se concentrer davantage sur les soins directs aux patients. VantageCloud Lake prendra également en charge le réglage fin des modèles via les GPU, ce qui permettra aux clients de personnaliser les modèles linguistiques pré-entraînés en fonction de l'ensemble de données de leur organisation. Cette adaptation améliore la précision et l'efficacité des modèles, sans qu'il soit nécessaire de recommencer le processus de formation depuis le début.
Par exemple, un chatbot de conseiller en crédit immobilier doit être formé pour répondre en langage financier, en plus du langage naturel sur lequel la plupart des modèles fondamentaux sont formés. L'adaptation du modèle à la terminologie bancaire permet de personnaliser ses réponses, ce qui le rend plus applicable à la situation. De cette manière, les clients de Teradata pourraient bénéficier d'une adaptabilité accrue de leurs modèles et d'une meilleure capacité à réutiliser les modèles en tirant parti de l'informatique accélérée.
ClearScape Analytics BYO-LLM for Teradata VantageCloud Lake sera disponible sur AWS en octobre, et sur Azure et Google Cloud au premier semestre 2025. Teradata VantageCloud Lake avec le calcul accéléré NVIDIA AI sera disponible sur AWS en novembre, avec des capacités d'inférence ajoutées au quatrième trimestre et un réglage fin disponible au premier semestre 2025.