Résumé
L’accord stratégique conclu entre Ferrovial et NTT DATA en 2023 a donné naissance au Center of Excellence for Digital Infrastructure Solutions. Dans le prolongement de cette collaboration, NTT DATA a développé une solution d’IA multimodale (VLM/MLLM) qui analyse des images et des vidéos afin d’assurer une supervision continue et de détecter des situations prédéfinies.
Besoin métier
Une approche plus intelligente de la supervision des infrastructures
Les grands opérateurs d’infrastructures doivent superviser et contrôler leurs actifs avec la plus grande précision afin d’en garantir la sécurité et la continuité opérationnelle. Les méthodes traditionnelles sont lentes, reposent sur des inspections manuelles et ne permettent pas d’exploiter pleinement les grandes quantités de données visuelles générées. Dans ce contexte, la GenAI constitue un allié essentiel pour anticiper les risques et permettre des interventions immédiates.
Ferrovial avait besoin d’une solution technologique centralisée capable de superviser ses infrastructures de manière agile afin d’accélérer les processus, de réduire les délais et les coûts et d’offrir une visibilité en temps réel pour améliorer la prise de décision. L’entreprise recherchait une plateforme évolutive et flexible pouvant être déployée sur plusieurs sites sans investissements supplémentaires significatifs.
Ferrovial souhaitait évaluer le potentiel de l’IA multimodale pour l’analyse vidéo dans des cas d’usage spécifiques liés aux chantiers de construction et aux autoroutes.
La rapidité avec laquelle les données sont interprétées détermine la vitesse à laquelle il est possible d’intervenir, ce qui contribue à prévenir des incidents plus graves. Une intervention précoce est essentielle. C’est précisément ce que nous voulons accomplir avec ce projet : améliorer la gestion des incidents et rendre nos infrastructures plus sûres. Le travail de NTT DATA a joué un rôle clé à cet égard."
Solution
Transformer la vidéo en intelligence opérationnelle
Pour répondre à ce besoin, et dans le cadre du Center of Excellence dédié aux solutions d’innovation et de technologie pour les infrastructures, NTT DATA a développé une preuve de concept (PoC) utilisant des données issues de caméras en conditions réelles afin d’évaluer le potentiel de l’IA générative pour l’analyse vidéo. Cette PoC repose sur une plateforme technologique innovante alimentée par des modèles de GenAI multimodaux.
La solution a d’abord été utilisée pour analyser des séquences vidéo enregistrées dans des environnements contrôlés, permettant à l’IA d’interpréter les scènes avec un niveau élevé de précision. Son utilisation a ensuite été étendue à la vidéo en direct, donnant naissance à un système de supervision continue capable de détecter des schémas, de générer des alertes et de fournir instantanément des insights.
Cette solution innovante intègre des données visuelles afin de superviser les infrastructures en temps réel. Elle permet ainsi d’identifier les anomalies, d’anticiper les risques et de générer des recommandations automatisées, tout en s’adaptant à la croissance et à la diversité des actifs gérés. À l’avenir, la solution devrait intégrer des sources de données supplémentaires et être déployée dans des environnements de production en conditions réelles.
Ce nouvel outil basé sur la GenAI offre les capacités suivantes :
- Capacité zero-shot et flexibilité : l’outil peut être appliqué à différents scénarios par un simple ajustement des prompts, sans entraînement ni fine-tuning, contrairement aux solutions traditionnelles de vision par ordinateur qui nécessitent une adaptation spécifique
- Évolutivité : la solution permet de traiter d’importants volumes de vidéo, des flux en direct et des déploiements simultanés sur plusieurs sites
- Efficacité opérationnelle : elle favorise des processus plus agiles et automatisés
- Gestion pilotée par les données : elle fournit des informations objectives en temps réel pour la gestion des projets et l’exploitation des infrastructures
- Applicabilité multisectorielle : son utilisation peut s’étendre au-delà de la construction et des autoroutes à des secteurs tels que l’énergie, le transport et l’industrie lourde
- Visibilité en temps réel : elle optimise la prise de décision
- Réponses instantanées
Cette solution peut être appliquée à de nombreux cas d’usage, notamment le suivi de l’avancement des projets, la supervision des sites, l’analyse des flux de personnes, de véhicules et d’engins, la supervision et la gestion des opérations ainsi que la réponse rapide aux situations d’urgence.
Grâce à son architecture évolutive, Ferrovial bénéficie d’un système robuste et flexible, conçu pour évoluer en fonction des nouveaux besoins opérationnels.
Ce projet mené conjointement pour Ferrovial démontre que les grands modèles de vision — en tant que forme avancée de GenAI appliquée à la vision — associés à l’analyse en temps réel et à l’automatisation avancée, représentent un nouveau paradigme pour la supervision et la gestion des infrastructures."
Résultats
Obtenir des résultats concrets grâce à l’IA
La plateforme basée sur les grands modèles de vision offre :
- Une solution polyvalente prenant en charge de multiples cas d’usage dans différents secteurs, avec un minimum de modifications et sans entraînement nécessaire
- Des performances élevées en conditions réelles, avec un taux de précision de 70 % lors des tests réalisés
- La génération immédiate de rapports détaillés pour des scénarios complexes
- L’identification rapide des alertes correspondant à des situations spécifiques, en quelques secondes