Framework d’adoption du Data Mesh : Présentation du Data Mesh

Le Data Mesh est une nouvelle architecture de gestion des données, qui vise à améliorer la gouvernance et la gestion des données au sein d’une organisation. Dans cette série d’articles, nous allons vous présenter un framework évolutif permettant d’adopter le Data Mesh.

Problèmes traités

La plupart des entreprises ont déjà essayé de développer des plateformes d’analyse autour d’architectures reposant sur des Data warehouses et des Data lakes. Or, ces architectures présentent généralement les inconvénients suivants :

Principaux problèmes avec les architectures de données centralisées

• Les équipes centralisées en charge des analyses n’ont souvent pas les connaissances nécessaires du domaine métier des équipes responsables des systèmes opérationnels => Résultat : la propriété est floue au niveau des sujets/données et des goulots d’étranglement surgissent lors de la mise en œuvre des cas d’utilisation.
• Les changements apportés au modèle opérationnel peuvent avoir des conséquences inattendues sur le modèle analytique => Cela se traduit souvent par des tensions entre les équipes en charge des données et les équipes commerciales.
• La complexité de la gouvernance des référentiels centralisés augmente avec les réglementations appliquées, le volume, la rapidité et la variété => Cela entraîne généralement des problèmes liés à la qualité des données présentes dans les modèles analytiques.
• La signature de contrats faibles entre producteurs et consommateurs entraîne souvent de fortes dépendances, une interconnexion et une éventuelle confusion au sujet du partage et de la réutilisation des données.

Les complications liées à la présence de plusieurs Data warehouses et aux multiples implémentations de lacs de données ont fait émerger une nouvelle architecture de gestion des données appelée Data Mesh.

La théorie de base

Le terme Data Mesh a été mentionné pour la toute première fois dans l’article Data Mesh Principles and Logical Architecture rédigé par Zhamak Dehghani en 2019. Il repose sur quatre principes qui regroupent des concepts bien connus (Domain-Driven Design ou DDD, Product Thinking) :

Les principes du Data Mesh et leur interaction

Le principe d’ownership orienté domaine exige des équipes en charge des domaines qu’elles assument la responsabilité de leurs données :

• Selon ce principe, les données analytiques doivent être organisées autour de domaines reflétant les contours définis pour les équipes, conformément au contexte délimité du système.
• Suivant l’architecture distribuée orientée domaine, la propriété des données analytiques et opérationnelles est transférée de l’équipe centralisée en charge des données aux équipes responsables des domaines.

Le principe de produit de données introduit une approche product thinking au niveau des données analytiques :

• Ce principe signifie qu’il existe des consommateurs pour les données au-delà du domaine.
• L’équipe en charge du domaine est chargée de répondre aux besoins des autres domaines en fournissant des données de grande qualité => Les données du domaine doivent être considérées comme une API publique.

L’idée d’une plateforme d’infrastructure de données en libre-service est d’appliquer l’approche platform thinking à l’infrastructure de données :

• Une équipe dédiée à la plateforme de données propose des fonctionnalités, des outils et des systèmes indépendants du domaine de façon à pouvoir développer, exécuter et maintenir des produits de données interopérables pour l’ensemble des domaines.
• Avec cette plateforme, l’équipe permet aux équipes en charge des domaines de consommer et de créer des produits de données.

Le principe de gouvernance fédérée garantit l’interopérabilité de tous les produits de données au travers de la standardisation :

• Il est mis en avant dans l’ensemble du Data Mesh par l’équipe de gouvernance. L’objectif principal de la gouvernance fédérée est de créer un écosystème de données conforme aux règles de l’organisation et aux réglementations du secteur.

Critère d’aptitude

Bien que le Data Mesh présente de nombreux avantages potentiels, il ne s’agit pas toujours de la meilleure solution pour toutes les organisations. Le Data Mesh est en effet une solution complexe et potentiellement onéreuse, qui risque parfois de ne pas convenir à certaines organisations en raison de leurs ressources et de leurs besoins spécifiques.

Lorsque vous vous demandez s’il serait intéressant d’adopter une approche visant à mettre en œuvre le Data Mesh, il est important d’évaluer minutieusement le niveau d’aptitude de votre organisation. Voici quelques critères essentiels qui peuvent vous aider à évaluer si votre entreprise est prête à mettre en œuvre le Data Mesh :

Critères d’aptitude à l’adoption du Data Mesh

1. Technologie Data au cœur des activités : le Data Mesh étant une approche centrée sur les données, il est important que l’infrastructure technologique de votre organisation soit en mesure de le prendre en charge. En d’autres termes, il s’agit de mettre en place de solides systèmes de gestion des données, ainsi que de disposer de l’expertise technique nécessaire pour mettre en œuvre et maintenir un Data Mesh.
2. Organisation orientée domaine : le Data Mesh repose sur le concept de domaines de données, qui correspondent à des domaines d’expertise définis au sein d’une organisation. Pour que le Data Mesh soit efficace, votre organisation doit être structurée de façon à pouvoir prendre en charge la création et la gestion de ces domaines.
3. Soutien de la direction : le Data Mesh implique une adhésion et un soutien de la part des niveaux les plus élevés d’une organisation. Sans le soutien de la Direction, il peut s’avérer difficile de disposer des ressources et du financement nécessaires à la mise en œuvre et à la maintenance d’un Data Mesh.
4. Stratégie orientée données : le Data Mesh doit être perçu comme une initiative stratégique et non comme une simple mise en œuvre technique. Pour que le Data Mesh soit efficace, votre organisation doit définir clairement une stratégie orientée données en accord avec vos objectifs commerciaux globaux.
5. Complexité de l’organisation : le Data Mesh peut s’avérer complexe et n’est peut-être pas la meilleure solution pour les organisations présentant des niveaux de complexité élevés. Avant de décider d’adopter une approche Data Mesh, il est important d’évaluer minutieusement la complexité de votre organisation et de déterminer si elle est gérable dans le contexte du Data Mesh.
6. Engagement à long terme : le Data Mesh n’est pas un projet à court terme, mais un engagement à long terme visant à améliorer la gestion et la gouvernance des données au sein d’une organisation. Pour que le Data Mesh soit efficace, votre organisation doit être disposée à mobiliser les ressources et les efforts nécessaires sur le long terme.

De façon générale, ces critères peuvent vous aider à déterminer si votre organisation est prête à adopter une approche Data Mesh. Il est important de prendre en compte chacun de ces facteurs et d’évaluer l’aptitude de votre organisation avant de prendre une décision.

Conclusion

Le Data Mesh est une nouvelle approche prometteuse en matière de gestion des données, qui présente de nombreux avantages. Toutefois, ce n’est pas nécessairement la bonne solution pour toutes les organisations. Il convient d’étudier attentivement l’aptitude de votre entreprise avant de décider d’adopter une approche Data Mesh.

Si vous pensez que le Data Mesh est la solution qui vous convient le mieux, lisez la deuxième partie de cette série, qui abordera l’approche itérative à suivre pour mettre en œuvre le Data Mesh et sa projection sur la base des 4 principes fondateur :

• Framework d’adoption du Data Mesh : Adoption itérative

Vous souhaitez monter en compétences ? Découvrez la formation Databricks dans Azure de Cellenza Training.