Big data dans Azure : Simplifier le quotidien des Data Scientists

Data is the new oil, ou la donnée est le nouveau pétrole, pour reprendre une phrase populaire sur les réseaux sociaux. Cette citation constitue une bonne introduction pour ce nouveau From Zero to Hero.

En effet, le domaine du Big Data est actuellement en pleine croissance car le traitement de la donnée et son utilisation sont devenus des enjeux capitaux pour les entreprises. Mais que cache vraiment ce mot que tout le monde semble vouloir utiliser ?

Le Big Data pour les entreprises

Lorsque l’on parle de Big Data, on parle avant tout de Data. La donnée devient une monnaie d’échange, une denrée, qui coûte cher. Mais que faire de nos données une fois récoltées ?

Le Big Data au travers du cas Vélib’

Pour tenter de répondre à ces questions nous avons choisi d’utiliser un exemple concret :

Nous allons utiliser les données des Velib’ parisiens. On connait, en effet, leurs emplacements, leurs disponibilités, à quelles heures ils sont empruntés, etc. Ces données vont nous permettre de déterminer quelle est la station possédant le plus de vélos. C’est une information que l’on ne pourrait pas connaître sans une analyse de ces données et surtout cela peut permettre, par exemple, d’envoyer un agent déplacer les vélos vers une autre station ! Et c’est exactement le type de résultat que l’on attend du Big Data.

Big Data avec Azure Data Lake et HDInsight

Il nous faut alors sélectionner la bonne techno. Ce n’est pas juste une question de préférence, chaque technologie a ses spécificités et peut être couplée ou non à d’autres. Nous avons ici décidé de présenter trois outils qui sont relativement adaptables aux différentes situations. Le but n’est pas d’être exhaustif sur les technologies du Big Data, mais de montrer précisément les usages liés à certains outils plus polyvalents que d’autres.

Nous parlerons donc tout d’abord du stockage assuré par Azure Data Lake Store qui repose sur le système de fichiers HDFS.

Dans la suite logique du traitement de la donnée, nous évoquerons l’analyse d’un outil bien spécifique à l’environnement Azure : Azure Data Lake Analytics qui, comme son nom l’indique, se couple très bien avec la première ressource.

Enfin, nous aborderons l’analyse sous un autre angle avec un outil multi plateforme : Hadoop, qui prendra ici la forme d’HDInsight.

L’idée derrière la présentation de ces trois outils est de tenter de fournir une solution quasiment complète pour analyser les données récupérées en les associant les unes aux autres. Pour cela, nous aborderons aussi le sujet de Logic App qui nous permettra de compléter cette chaîne de traitement de la data.

Au travers d’explications et de nombreux exemples et tutoriels, vous aurez alors l’occasion de découvrir ou de redécouvrir trois principales technos liées au Big Data.

Ce From Zero to Hero est destiné à tous ceux qui souhaitent en savoir un peu plus sur le Big Data et ses outils ou simplement de les redécouvrir sous un nouveau jour. Il est aussi destiné à tous ceux qui s’intéressent de près ou de loin aux nouveautés cloud de Microsoft autour de l’utilisation et de la valorisation des données et surtout, bien sûr, à ceux qui aiment découvrir et essayer !