Multiverse Computing a annoncé la sortie de Pulsar 16B, un modèle ouvert de raisonnement de 16,15 milliards de paramètres, construit sur l'architecture NVIDIA Nemotron. Développé à l'aide de la technologie propriétaire de Multiverse Computing, en s'appuyant sur les bibliothèques NVIDIA Model Optimizer et Megatron Bridge dans le cadre du processus de compression, et validé sur l'infrastructure de calcul accéléré de NVIDIA, Pulsar 16B offre des performances de raisonnement comparables à celles des meilleures architectures de la classe 30B avec environ deux fois moins de paramètres. Pulsar 16B repose sur une version compressée et optimisée de NVIDIA Nemotron 3 Nano, un modèle hybride Mamba2-Transformer avec un mélange d'experts (Mixture-of-Experts).

Multiverse Computing, membre du programme NVIDIA Inception, a utilisé les bibliothèques Model Optimizer et Megatron Bridge de NVIDIA dans le cadre d'un processus de compression pour sa technologie CompactifAI. Le modèle de base, nvidia/NVIDIA-Nemotron-3-Nano-30B-A3B-BF16, compte 31,6 milliards de paramètres au total, dont 3,5 milliards de paramètres actifs. Après compression, Pulsar 16B affiche 16,15 milliards de paramètres au total, dont 3,1 milliards activés, sans nécessiter de réentraînement complet.

À partir de cette base, Multiverse Computing a identifié et supprimé les redondances mathématiques au sein du réseau entraîné, tout en préservant les comportements de raisonnement acquis pendant l'entraînement. Il en résulte un modèle qui conserve la même famille d'architecture, le même format de prompt, la même structure d'appel d'outils et la même interface de raisonnement que la famille Nemotron, avec 16,15 milliards de paramètres au lieu de 31,6 milliards.