Le client est une institution financière nord-américaine qui modernise la plateforme de données dont dépend son entreprise. Sa pile sur site composée de SQL Server, Alteryx et Tableau a été bâtie avant que les plateformes nativement infonuagiques ne soient accessibles à son échelle — capable de produire des rapports individuels, mais pas à la hauteur des volumes de données, de la gouvernance ou des ambitions en matière d’IA qu’elle a aujourd’hui.

La direction souhaitait une plateforme unique où l’évolutivité, la gouvernance, la qualité des données et l’observabilité seraient structurelles dès le premier jour, et où l’IA et l’apprentissage automatique seraient des consommateurs de premier plan plutôt que des ajouts ultérieurs. À titre d’institution assujettie à la réglementation fédérale, elle devait aussi satisfaire les examinateurs sur demande : qui a accédé à quelles données et pourquoi, comment chaque chiffre a été obtenu, et ce qui a changé, quand et par qui — des questions auxquelles la pile héritée ne pouvait répondre qu’au prix d’un effort manuel.

Conçue pour les rapports, pas pour l’évolutivité ni le changement

La pile fonctionnait comme un environnement unique, sans séparation entre le développement, l’assurance qualité et la production, où les changements passaient directement en production sans aucun contrôle automatisé. Les déploiements étaient manuels, sans CI/CD ni infrastructure en tant que code, et le matériel sur site fixe laissait peu de place à la croissance.

Une gouvernance et une qualité incapables d’affronter un examinateur

La gouvernance reposait sur des documents tenus à la main, sans catalogue, sans traçabilité, sans taxonomie des accès ni classification des renseignements personnels (PII), et sans registre programmatique de qui accédait à quoi. La qualité des données était appliquée de façon ponctuelle au sein de flux de travail individuels, sans règles communes, sans mise en quarantaine ni alertes.

Des sources déconnectées, aucune vue unique

Les services bancaires de base, les services bancaires numériques, l’octroi de prêts et les paiements étaient intégrés de façon ponctuelle, sans clé client commune pour les relier. Une vue fiable entre les systèmes exigeait une réconciliation manuelle, et des données propres et intégrées pour l’IA demeuraient hors de portée.

‍

Compass a spécifié la plateforme de bout en bout, en choisissant la bonne capacité Databricks pour chaque étape du parcours des données. Les données sources arrivent désormais par les connecteurs gérés Lakeflow Connect, Auto Loader et Lakeflow Jobs — qui couvrent les traitements par lots, la capture des changements de données (CDC) et les flux en continu — et sont conservées dans des tables Delta Lake ouvertes. De là, elles circulent dans un seul sens à travers un modèle Medallion à quatre couches : Bronze conserve l’enregistrement brut, Silver le normalise en schémas en étoile propres à chaque système et résout l’identité client entre les sources, Gold offre un modèle unifié entre les systèmes, et une couche sémantique gouvernée publie la logique d’affaires et les indicateurs de performance sous forme de Metric Views. Les transformations sont exprimées de façon déclarative avec Lakeflow Declarative Pipelines (DLT), et l’ensemble de la plateforme s’exécute sur une infrastructure de calcul serverless élastique.

La rigueur d’ingénierie est assurée par les Databricks Asset Bundles avec CI/CD et infrastructure en tant que code, offrant une véritable séparation dév/AQ/prod, la revue par les pairs et des tests automatisés. Unity Catalog est activé dans chaque environnement comme couche de gouvernance unique, fournissant le contrôle des accès selon une taxonomie de rôles définie, la traçabilité automatisée, la journalisation d’audit, la classification des renseignements personnels (PII), la sécurité au niveau des lignes, le masquage des colonnes et des paliers de conservation immuables. Ainsi, une étiquette PII appliquée au niveau Bronze se propage automatiquement vers l’aval. La qualité des données est appliquée directement dans le pipeline grâce aux expectations DLT qui mettent en quarantaine les enregistrements non conformes selon un registre de règles versionné, et les tables système d’Unity Catalog rendent la santé des pipelines, les tendances de qualité, les accès et les coûts observables en continu.

La consommation repose sur la même fondation de confiance selon trois parcours gouvernés : décisionnel, réglementaire et IA/AA. Les analystes travaillent en libre-service au moyen des Databricks SQL Warehouses, des Databricks Dashboards et de l’interrogation en langage naturel de Genie. Et comme la plateforme est nativement conçue pour l’IA dès le premier jour, les mêmes données gouvernées alimentent MLflow, le Feature Store, AutoML et Model Serving pour l’AA classique. Mosaic AI, l’Agent Framework, Databricks AI Search et l’Unity AI Gateway font de même pour l’IA générative et les agents gouvernés, rendant l’organisation prête pour des cas d’usage prioritaires tels que la surveillance de la fraude et du blanchiment d’argent (AML), la modélisation du risque de crédit et l’analytique client.

‍

La conception remplace un ensemble de composants sur site déconnectés par une seule plateforme intégrée d’où l’évolutivité, la gouvernance et la préparation à l’IA émergent dès la conception plutôt que d’être ajoutées après coup. Trois piliers la définissent.

Un lakehouse Medallion unifié (Databricks + Azure)

Un seul lakehouse nativement infonuagique sur Delta Lake ouvert, organisé en Bronze → Silver → Gold → Semantic et servi par Databricks SQL, remplace l’ancien outil d’ETL, l’entrepôt autonome et les pipelines de reporting déconnectés qui ne partageaient ni couche de métadonnées ni modèle de sécurité.

Avantage : Une plateforme élastique unique qui évolue de la charge de travail actuelle vers un patrimoine de données beaucoup plus vaste.

Gouvernance, qualité et observabilité dès la conception (Unity Catalog)

Le contrôle des accès, la traçabilité automatisée, la journalisation d’audit, la classification des renseignements personnels (PII), la sécurité au niveau des lignes et le masquage des colonnes sont des propriétés structurelles de la plateforme, et non des ajouts après coup; les expectations DLT mettent en quarantaine les enregistrements non conformes; et les tables système d’Unity Catalog exposent la santé des pipelines, les accès et les coûts.

Avantage : Prête pour la réglementation par défaut. La plateforme indique qui a accédé à quoi, d’où provient un chiffre, ainsi que ce qui a changé et quand, sans effort manuel, tandis que les données erronées sont arrêtées avant d’atteindre un rapport de confiance ou un modèle d’IA.

Une fondation nativement conçue pour l’IA (MLflow + Mosaic AI)

L’IA et l’AA sont des consommateurs de premier plan dès le premier jour : les données Gold gouvernées et les conceptions de caractéristiques alimentent MLflow, le Feature Store, AutoML et Model Serving, et l’Agent Framework, AI Search et AI Gateway de Mosaic AI gouvernent l’IA générative de la même façon que n’importe quelle table.

Avantage : Les données gouvernées bâties aujourd’hui deviennent l’intrant reproductible et à traçabilité assurée pour des cas d’usage prioritaires tels que la surveillance de la fraude et du blanchiment d’argent (AML), la modélisation du risque de crédit et l’analytique client, afin que l’IA puisse être développée rapidement et défendue lors d’un examen.

Un investissement judicieux : résultat et prochaines étapes

Le mandat a produit un plan directeur d’architecture clair et prêt pour la réglementation ainsi qu’une feuille de route par phases qui réduit les risques d’une migration à enjeux élevés hors de la pile héritée. L’organisation peut retirer les licences héritées en cours de route tout en établissant une fondation évolutive, gouvernée et prête pour l’IA. La phase Fondation met en place l’environnement Databricks, Unity Catalog, le réseau, l’identité et le CI/CD, et synchronise en direct l’entrepôt existant pour maintenir le reporting en fonction, suivie de l’intégration progressive des systèmes sources, puis de l’activation de l’IA. Compass et Databricks permettent aux équipes de toutes tailles de commencer avec une petite charge de travail et de croître vers un patrimoine beaucoup plus vaste et activé par l’IA.