Besoin métier
Démocratiser l’accès aux données
Les données soutiennent la prise de décision d’Itaú à tous les niveaux de l’organisation. Elles font partie intégrante de la culture de la banque. Toutefois, l’accès aux données clés administrées ou gérées par la banque était largement limité aux collaborateurs travaillant dans Investment Services.
Pour améliorer la prise de décision, Itaú devait rendre ces informations accessibles à d’autres secteurs métiers, aux analystes et au personnel opérationnel. L’objectif était de permettre à chacun de trouver, croiser et utiliser des informations pertinentes, sans longs délais d’attente, sans dépendance excessive vis-à-vis des équipes spécialisées et avec de solides standards de sécurité et de gouvernance.
Démocratiser les données de cette manière réduirait les efforts manuels de recherche d’informations dans plusieurs systèmes, de consolidation et de résolution des incohérences avant utilisation.
“Nous avons été confrontés au défi d’accélérer notre agenda de démocratisation des données au sein des activités”, explique Ellen de Vasconcelos, Technology Manager pour Investment Services chez Itaú. “L’objectif était de donner à nos utilisateurs internes un accès à des informations quasi en temps réel, consolidées dans un data lake.”
Pour permettre à l’entreprise de répondre rapidement aux exigences du marché et aux besoins des utilisateurs internes clés — et, au final, soutenir des parcours clients plus simples, plus rapides et plus cohérents — un modèle de gouvernance des données plus distribué et accessible était essentiel.
Modernisation de l’architecture
Itaú a basé cette initiative sur une architecture de données adoptant une approche data mesh. Un data mesh repose sur quatre piliers : la propriété des données par domaine, les données en tant que produit, une plateforme de données en self-service et une gouvernance fédérée.
Cette approche rapproche la responsabilité des données des domaines métiers, traite les données comme un produit et facilite l’accès aux informations pertinentes pour chaque équipe. Elle équilibre un accès élargi avec une gouvernance rigoureuse et des standards clairs en matière de sécurité, de confidentialité et de conformité réglementaire, notamment en conformité avec la Loi Générale de Protection des Données (LGPD) du Brésil.
Cette base a révélé la nécessité d’une architecture technique dédiée, conçue autour d’événements et de composants modulaires.
Défis
Accès limité aux données et mises à jour lentes
Avant la modernisation, l’activité Investment Services rencontrait des difficultés pour rendre les données disponibles et à jour. Les retards ralentissaient la circulation de l’information auprès des équipes dépendantes, réduisant ainsi l’efficacité opérationnelle.
Sources de données fragmentées
Les données étaient réparties sur plusieurs sources et formats, chacun avec ses propres contrôles. Cela compliquait l’intégration et la standardisation, limitant les capacités de la banque à produire des analyses larges et comparatives.
Selon Kelly Nascimento, IT Director chez NTT DATA, une approche unifiée pour l’ingestion et la distribution des données était essentielle pour améliorer la cohérence et la fiabilité de l’information.
Alexandre Gusson, Director of Business IT and Strategic Alliances chez NTT DATA, ajoute qu’un nouveau modèle était également nécessaire pour standardiser les métriques et construire des indicateurs de performance (KPI) permettant des comparaisons plus précises et des insights cohérents dans toute l’organisation.
Nous avons choisi NTT DATA pour leur capacité à associer expertise technique en architecture de données et expérience dans de grands projets du secteur financier. Le partenariat a apporté fluidité dans les étapes complexes et une orientation claire vers les résultats métiers.”
Solution
Mise en place d’une nouvelle architecture
Nous avons suivi une approche collaborative et progressive, combinant l’expertise technique de NTT DATA et la vision stratégique de la banque pour sa plateforme et ses domaines de données.
La première étape consistait à identifier et prioriser les domaines de données présentant le plus grand potentiel d’impact métier. À partir de là, les équipes ont conçu une architecture orientée événements capable de traiter et d’orchestrer les données quasi en temps réel.
Cela a amélioré le contrôle des mises à jour, la cohérence et la traçabilité des données.
Un pilote a été mis en place sur un seul domaine afin de permettre aux équipes de concevoir l’ensemble du flux de données avant d’étendre le projet. Le pilote incluait les catalogues de données, les API, les tableaux de bord et la définition de métriques d’adoption.
“Cette approche a été rendue possible grâce à Apache Kafka, qui agit comme colonne vertébrale de communication entre les systèmes et distribue les données de manière efficace à travers les différentes couches du data mesh”, explique Michel Gobbato, Head of Financial Services chez NTT DATA. “Grâce à cela, Itaú dispose désormais d’un flux de données très réactif et évolutif.”
Utilisation d’un format open table
L’adoption de formats open table, notamment Apache Iceberg, a joué un rôle clé dans la gouvernance de grands volumes de données de manière plus flexible et fiable. Iceberg propose des fonctionnalités telles que le versioning, l’évolution des schémas et l’optimisation des requêtes.
“Nous avons été l’une des premières entités métier à adopter les formats open table et le format Iceberg”, déclare Ellen de Vasconcelos. “Cela nous a permis de construire une architecture orientée événements dans Kafka et un pipeline d’ingestion basé sur des microservices.”
Ces capacités ont permis des mises à jour incrémentales, l’accélération des requêtes complexes et une meilleure fiabilité du traitement des données. Ce pipeline est devenu l’approche standard pour l’ingestion et l’analyse des données dans Investment Services.
Orchestration des microservices avec AWS Step Functions
Pour améliorer l’efficacité et la modularité dans le flux d’ingestion, Itaú a adopté AWS Step Functions pour coordonner les microservices impliqués dans la lecture, la transformation et l’enrichissement des données.
Ce service de workflow visuel facilite la conception, la gestion et la maintenance d’applications distribuées, tout en offrant aux équipes une meilleure visibilité et un meilleur contrôle.
Grâce à ce service, la banque a significativement réduit les temps de réponse et renforcé la résilience de son architecture. L’environnement est désormais mieux préparé à évoluer selon les besoins métiers.
Création d’Orange Flow, un framework réplicable
En combinant Kafka, Iceberg et AWS Step Functions, Itaú a développé Orange Flow — un framework de flux de données conçu pour être utilisé par différentes équipes et communautés de données au sein de l’organisation.
Orange Flow permet de standardiser et d’automatiser les processus de collecte et de distribution des données, ouvrant la voie à l’application de cette même approche dans d’autres secteurs de la banque.
La solution repose sur la gestion de flux à l’échelle du système, avec surveillance en temps réel et workflow visuel pour créer, gérer et faire évoluer des applications distribuées.
“La décision de créer notre propre produit n’a pas été prise à la légère”, explique Fabio Rocha, créateur du produit et responsable du Data Engineering Chapter pour Investment Services. “Nous avons évalué plusieurs solutions du marché, mais avons finalement conclu que développer une technologie alignée avec notre modèle cloud et adaptée aux besoins techniques et métiers de nos équipes avait plus de sens à moyen et long terme.”
La solution inclut une surveillance continue, avec des KPI axés sur l’usage et l’accès, ainsi que des cycles de révision réguliers pour améliorer l’architecture et la gouvernance. Orange Flow a été conçu pour évoluer de manière fiable tout en restant étroitement aligné avec les besoins métiers.
Résultats
Un accès plus rapide aux données
Grâce à la nouvelle architecture, Itaú a réduit d’environ 70 % le temps requis pour rendre les données disponibles. Les données transactionnelles atteignent le data mesh en moins de 10 minutes, permettant de répondre plus rapidement aux besoins métiers et clients.
Traitement efficace à grande échelle
L’activité Investment Services peut traiter plus de 650 000 événements par jour et orchestrer environ 2 millions de flux via AWS Step Functions. Cela réduit les révisions et, surtout, renforce la confiance dans la fiabilité des informations utilisées.
Démocratisation de l’information, avec gouvernance
“Plus de 3 100 tables ont été démocratisées, représentant environ 40 % des données les plus pertinentes pour l’activité”, déclare Ellen de Vasconcelos. Toutes ces informations sont accessibles avec les niveaux appropriés de gouvernance, de confidentialité et de sécurité.
Impact direct sur l’expérience client
Une architecture améliorée, un meilleur accès aux données et une efficacité opérationnelle accrue se traduisent directement par une meilleure expérience client. La précision et la rapidité de l’information permettent à la banque d’offrir des solutions plus personnalisées et flexibles, alignées sur les besoins des investisseurs.
Avec des processus automatisés et des données quasi en temps réel, Itaú a renforcé sa position de leader en offrant des services plus intelligents, plus efficaces et centrés sur le client.