NVIDIA a annoncé des modèles de base fonctionnant localement sur des PC NVIDIA RTX AI qui boostent les humains numériques, la création de contenu, la productivité et le développement. Ces modèles proposés en tant que microservices NVIDIA NIM sont accélérés par les nouveaux GPU GeForce RTX 50 Series, qui affichent jusqu'à 3 352 trillions d'opérations par seconde de performances IA et 32 Go de VRAM. Construits sur l'architecture NVIDIA Blackwell, les GPU RTX 50 sont les premiers GPU grand public à prendre en charge le calcul FP4, ce qui multiplie par deux les performances d'inférence de l'IA et permet aux modèles d'IA génératifs de tourner localement dans une empreinte mémoire plus petite, par rapport au matériel de la génération précédente. GeForce est depuis longtemps une plate-forme essentielle pour les développeurs d'IA. Le premier réseau d'apprentissage profond accéléré par le GPU, AlexNet, a été entraîné sur la GeForce GTX 580 en 2012 et l'année dernière, plus de 30 % des articles de recherche publiés sur l'IA citaient l'utilisation de GeForce RTX. Aujourd'hui, avec l'IA générative et les PC RTX AI, tout le monde peut être développeur. Une nouvelle vague d'outils "low-code" et "no-code", tels que AnythingLLM, ComfyUI, Langflow et LM Studio, permet aux passionnés d'utiliser des modèles d'IA dans des flux de travail complexes via des interfaces utilisateur graphiques simples. Les microservices NIM connectés à ces interfaces graphiques faciliteront l'accès et le déploiement des derniers modèles d'IA générative. Les NVIDIA AI Blueprints, basés sur les microservices NIM, fournissent des flux de travail de référence préconfigurés et faciles à utiliser pour les humains numériques, la création de contenu, etc. Pour répondre à la demande croissante des développeurs et des passionnés d'IA, tous les principaux fabricants de PC et de systèmes lancent des PC RTX AI prêts pour le NIM avec des GPU GeForce RTX 50.
Rendre l'IA NIMble. Les modèles de base, les réseaux neuronaux entraînés sur d'immenses quantités de données brutes sont les éléments de base de l'IA générative. NVIDIA lancera un pipeline de microservices NIM pour les PC RTX AI provenant des meilleurs développeurs de modèles tels que Black Forest Labs, Meta, Mistral et Stability AI. Les cas d'utilisation couvrent les grands modèles de langage, les modèles de langage de vision, la génération d'images, la parole, les modèles d'intégration pour la recherche et la génération augmentée, l'extraction de PDF et la vision par ordinateur. NVIDIA a également annoncé la famille de modèles ouverts Llama Nemotron qui offre une grande précision sur une large gamme de tâches agentiques. Le modèle Llama Nemotron Nano sera proposé en tant que microservice NIM pour les PC et stations de travail RTX AI, et excelle dans les tâches d'IA agentique comme le suivi d'instructions, l'appel de fonctions, le chat, le codage et les mathématiques. Les microservices NIM incluent les composants clés pour faire tourner l'IA sur PC et sont optimisés pour être déployés sur les GPU NVIDIA, que ce soit dans les PC et stations de travail RTX ou dans le cloud. Les développeurs et les passionnés pourront rapidement télécharger, configurer et exécuter ces microservices NIM sur les PC Windows 11 avec Windows Subsystem for Linux. Les microservices NIM, fonctionnant sur les PC RTX AI, seront compatibles avec les principaux cadres de développement d'IA et d'agents, y compris AI Toolkit for VSCode, AnythingLLM, ComfyUI, CrewAI, Flowise AI, LangChain, Langflow et LM Studio. Les développeurs peuvent connecter des applications et des flux de travail construits sur ces frameworks à des modèles d'IA exécutant des microservices NIM par le biais de points d'extrémité standard, ce qui leur permet d'utiliser la technologie la plus récente avec une interface unifiée dans le nuage, les centres de données, les stations de travail et les PC. Les passionnés pourront également faire l'expérience d'une gamme de microservices NIM en utilisant la prochaine version de la démo technologique NVIDIA ChatRTX.
Pour montrer comment les passionnés et les développeurs peuvent utiliser le NIM pour créer des agents et des assistants IA, NVIDIA a présenté en avant-première Project R2X, un avatar PC doté de vision qui peut mettre l'information à portée de main de l'utilisateur, l'aider avec des applications de bureau et des appels de visioconférence, lire et résumer des documents, et plus encore. L'avatar est rendu à l'aide de NVIDIA RTX Neural Faces, un nouvel algorithme d'IA génératif qui augmente la rastérisation traditionnelle avec des pixels entièrement générés. Le visage est ensuite animé par un nouveau modèle NVIDIA Audio2Face-3D basé sur la diffusion qui améliore le mouvement des lèvres et de la langue. R2X peut être connecté à des services d'IA en nuage tels que OpenAI?s GPT4o et xAI?s Grok, ainsi qu'à des microservices NIM et à des Blueprints d'IA, tels que des récupérateurs de PDF ou des LLM alternatifs, via des cadres de développement tels que CrewAI, Flowise AI et Langflow. Inscrivez-vous pour recevoir les mises à jour du projet R2X. Les microservices NIM sont également accessibles aux utilisateurs de PC par l'intermédiaire des AI Blueprints, des flux de travail d'IA de référence qui peuvent être exécutés localement sur les PC RTX. Grâce à ces blueprints, les développeurs peuvent créer des podcasts à partir de documents PDF, générer de superbes images guidées par des scènes 3D, etc. Le blueprint pour PDF to podcast extrait le texte, les images et les tableaux d'un PDF pour créer un script de podcast qui peut être édité par les utilisateurs. Il peut également générer un enregistrement audio complet à partir du script en utilisant les voix disponibles dans le modèle ou en se basant sur un échantillon de voix de l'utilisateur. En outre, les utilisateurs peuvent avoir une conversation en temps réel avec l'animateur de podcast IA pour en savoir plus sur des sujets spécifiques. Le projet utilise des microservices NIM tels que Mistral-Nemo-12B-Instruct pour le langage, NVIDIA Riva pour la synthèse vocale et la reconnaissance automatique de la parole, et la collection de microservices NeMo Retriever pour l'extraction de PDF. L'AI Blueprint pour l'IA générative guidée par la 3D permet aux artistes de contrôler plus finement la génération d'images. Si l'IA peut générer des images étonnantes à partir de simples invites textuelles, contrôler la composition d'une image en utilisant uniquement des mots peut s'avérer difficile. Grâce à ce modèle, les créateurs peuvent utiliser de simples objets 3D disposés dans un moteur de rendu 3D tel que Blender pour guider la génération d'images par l'IA. L'artiste peut créer des actifs 3D à la main ou les générer à l'aide de l'IA, les placer dans la scène et définir la caméra de visualisation 3D. Ensuite, un flux de travail préprogrammé alimenté par le microservice FLUX NIM utilisera la composition actuelle pour générer des images de haute qualité correspondant à la scène 3D. Les microservices NVIDIA NIM et les AI Blueprints seront disponibles à partir de février avec une prise en charge initiale des GPU professionnels GeForce RTX 50, GeForce RTX 4090 et 4080, et NVIDIA RTX 6000 et 5000. D'autres GPU seront pris en charge à l'avenir. Les PC RTX AI prêts pour le NIM seront disponibles auprès d'Acer, ASUS, Dell, GIGABYTE, HP, Lenovo, MSI, Razer et Samsung, ainsi qu'auprès des fabricants de systèmes locaux Corsair, Falcon Northwest, LDLC, Maingear, Mifcon, Origin PC, PCS et Scan.