Fujitsu Limited et l'université Carnegie Mellon ont annoncé le développement d'une nouvelle technologie pour visualiser les situations de trafic, y compris les personnes et les véhicules, dans le cadre d'une recherche commune sur le Social Digital Twin qui a débuté en 2022. La technologie transforme une image de scène 2D capturée par une caméra monoculaire RVB en un format 3D numérisé à l'aide de l'IA, qui estime la forme et la position 3D des personnes et des objets, ce qui permet une visualisation de haute précision des scènes 3D dynamiques. À partir du 22 février 2024, Fujitsu et l'université Carnegie Mellon mèneront des essais sur le terrain à partir de données provenant d'intersections à Pittsburgh, aux États-Unis, afin de vérifier les applications de cette technologie.

Cette technologie repose sur une IA qui a été entraînée à détecter la forme des personnes et des objets grâce à l'apprentissage en profondeur. Ce système est composé de deux technologies de base : La technologie d'estimation de l'occupation 3D qui estime l'occupation 3D de chaque objet uniquement à partir d'une caméra monoculaire RVB, et la technologie de projection 3D qui localise avec précision chaque objet dans les modèles de scène 3D. En utilisant ces technologies, les images prises dans des situations où les personnes et les voitures sont densément situées, comme aux intersections, peuvent être reconstruites dynamiquement dans un espace virtuel en 3D, fournissant ainsi un outil crucial pour l'analyse avancée du trafic et la prévention d'incidents potentiels qui ne pourraient pas être capturés par les caméras de surveillance.

Les visages et les plaques d'immatriculation sont rendus anonymes afin de préserver la vie privée. Fujitsu et l'université Carnegie Mellon visent à commercialiser cette technologie d'ici l'année fiscale 2025 en vérifiant son utilité non seulement dans les transports, mais aussi dans les villes intelligentes et la sécurité routière, dans le but d'étendre son champ d'application. En février 2022, Fujitsu et l'école d'informatique et le collège d'ingénierie de l'université Carnegie Mellon ont entamé leurs recherches conjointes sur la technologie Social Digital Twin, qui reproduit dynamiquement en 3D les interactions complexes entre les personnes, les biens, les économies et les sociétés.

Ces technologies permettent de construire des objets en 3D avec une grande précision à partir de multiples photographies prises sur des vidéos filmées sous différents angles. Cependant, au fur et à mesure que la recherche conjointe avançait, il s'est avéré que les méthodes d'analyse vidéo existantes étaient techniquement insuffisantes pour reconstruire dynamiquement les images capturées en 3D. Plusieurs caméras étaient nécessaires pour reproduire cette image, et des problèmes liés à la protection de la vie privée, à la charge de travail et au coût sont apparus, ce qui a constitué un obstacle à la mise en œuvre au niveau social.