Fabric in a Day ! : comment découvrir Fabric en une journée

Un matin chez Cellenza, entre deux cafés et des discussions autour de la toute récente conférence Build de Microsoft, mon manager est venu me voir avec une idée de projet qui s’apparentait plus à un défi : construire une démo sur mesure sur Microsoft Fabric pour des éditeurs de logiciel indépendants dans les locaux de Microsoft pendant une journée.

Le challenge était le suivant : créer les environnements de développement afin d’avoir la meilleure démonstration possible, et être en mesure de donner une formation complète en un jour.

Dans ce projet, nous avons collaboré avec les équipes de développement et IA de Cellenza, pour deux besoins précis :

• Implémenter le rapport final dans un site web ;
• Ajouter une couche d’IA générative sur les données pour pousser encore plus loin l’analyse.

Découverte de l’environnement Fabric

En tant que développeur avec un attachement profond à Power BI, je n’ai pas pu ignorer les transformations opérées par Microsoft sur mon logiciel de prédilection. Depuis plus d’un an, Microsoft a amorcé une transition de Power BI vers une nouvelle plateforme data tout-en-un : Fabric.

Tout en conservant les éléments graphiques qui ont fait la renommée de Power BI Service, Microsoft nous présente avec Fabric, une solution clé en main (SaaS) pour l’implémentation, le stockage et la visualisation des données.

Les principaux composants de Fabric sont :

• Stockage : Lakehouse, Data Warehouse, Mirroring Databases
• Data Engineering : Notebook, Pipeline, Dataflow Gen2
• Data Analysis : Power BI, Paginated Report, Embedded, etc.
• Et bien d’autres : Data Science, Real-Time Intelligence, etc.

La diversité des outils présents dans Fabric démontre la volonté de Microsoft de réunir tous les métiers autour de la Data au sein d’un même environnement. L’architecture One Lake permet à des ingénieurs, des analystes et des Data scientists de stocker et interroger leurs données dans un espace de stockage commun.

Mise en place de l’environnement

Pour organiser cette formation d’une journée sur Microsoft Fabric, il a fallu faire preuve de pragmatisme et sélectionner les outils essentiels de la plateforme :

• un Lakehouse pour le stockage des données ;
• un Dataflow Gen2 et un Notebook pour l’ingestion ;
• et enfin un rapport Power BI pour la visualisation des données.

Mais avant tout, il fallait trouver des données.

En tant que développeur, quand on a besoin de données pour construire une démonstration, on a le réflexe d’aller chercher des données open source. Mais dans le cas présent, aucun des jeux de données ne nous convenait. Deuxième possibilité : le construire soit même, mais cela s’est avéré beaucoup trop chronophage. Cependant, depuis plus d’un an maintenant la vie professionnelle et personnelle de nombreux individus à été accélérée par un outil miraculeux : Qui mieux que Chat GPT pour générer des données sur mesure avec des règles de gestion précises ?

Les Notebooks présent sur Fabric donnent la possibilité d’exécuter via un cluster Spark différent types de langages (Python, Scala, SQL ou R). Après quelques essais infructueux en Spark SQL, le script généré par ChatGPT en PySpark (qui n’est pas vraiment mon langage de prédilection) semblait adéquat.

Après quelques prompts soigneusement élaborés pour définir les règles de gestion du jeu de données, notre script de données sur les consommations électriques d’entreprises était prêt à être exécuté dans un Notebook, afin d’intégrer les données dans le Lakehouse.

Une fois les données brutes intégrées dans le Lakehouse, nous avons utilisé un Dataflow Gen2 (ETL). Cela rappellera des souvenirs à tous les développeurs Power BI, car son fonctionnement est un écho de Power Query.

Après avoir effectué les transformations nécessaires, nous avons chargé nos données à nouveau dans le Lakehouse sous le format Delta Tables, prêtes à être exploitées.

La dernière étape de notre voyage à travers Fabric se termine avec Power BI. Une fois les données récupérées, nous devions en extraire le plus d’informations possible. Après avoir créé quelques mesures et mis en place des graphiques pertinents, notre rapport était prêt à être publié, dans le même espace que tous les outils utilisés précédemment.

Cependant, nous voulions aller encore plus loin dans l’utilisation de Fabric. Premièrement en ajoutant de l’IA générative pour analyser les données, et deuxièmement en intégrant le rapport Power BI dans un site Web.

Afin de réaliser un onglet « Recommandations » du rapport Power BI qui analyserai les données de consommation, nous avons fait appel à l’équipe IA de Cellenza. Grâce au Notebook Fabric et l’API OpenAI, nous avons généré des analyses et des recommandations de consommations pour chaque client.

Une dernière chose restait à faire : intégrer le rapport Power BI et ses données dans un site web pour montrer à nos futurs participants de la formation, l’étendue des possibles sur Fabric.

Formation chez Microsoft

Après avoir mis en place notre environnement Fabric et exploré ses fonctionnalités, nous étions prêts pour la formation chez Microsoft. Cette journée immersive était destinée à former des ISV (Independent Software Vendors) à l’utilisation de Fabric, en partageant notre expertise, nos meilleures pratiques, et en respectant notre postulat de départ : Fabric in a Day !

Nous avons rencontré des participants enthousiastes, prêts à découvrir les possibilités offertes par Fabric. Le but de la démonstration était de montrer l’efficacité de Fabric dans le traitement de données sur tout le long de la chaine analytique. De plus, la mise à disposition d’outils d’automatisation (comme les planifications de tâches) permettent aux données de transiter dans le système sans intervention humaine. Enfin, la couche d’intelligence artificielle rajoutée par-dessus rend la démonstration encore plus d’actualité.

En définitive, Microsoft grâce à son nouvel outil, révolutionne encore un peu plus le monde des SaaS pour le traitement de données. Un outil comme Fabric, intégré dans la suite Power BI, devrait progressivement conquérir le marché de la Data.