L’ELT (« extract, load, transform ») est un processus d’intégration dans lequel les données collectées sont extraites, envoyées à un data warehouse puis transformées en matériel exploitable par les analystes. Virginie Brard, Regional leader France et Benelux chez Fivetran, explique à nos lecteurs comment libérer son potentiel.
La plupart des entreprises s’appuient sur le big data pour prendre des décisions internes et externes décisives. Celles-ci constituent l’épine dorsale de l’intelligence économique, de l’innovation et de la croissance. Ainsi, par l’intégration de données, les entreprises rassemblent et analysent les données de leurs prospects, clients, employés ou applications SaaS.
L’ELT (« extract, load, transform ») est un processus d’intégration dans lequel les données collectées sont extraites, envoyées à un data warehouse puis transformées en matériel exploitable par les analystes. Cette méthode, qui rationalise la création et la maintenance des pipelines de données, est plus récente que l’ETL (« extract, transform, load »). Cette dernière, élaborée dans les années 1970 pour répondre aux limitations techniques de l’époque (stockage et bande passante restreints), misait sur une utilisation minimale des ressources.
Toutefois, ces restrictions ayant progressivement disparu au cours des dernières décennies, l’ELT est pleinement à même d’aider les entreprises à collecter, affiner et analyser les données à grande échelle, avec davantage de précision et moins d’efforts.
L’ELT, comment ça marche ?
L’ETL vise à convertir les données brutes en ensembles de données de différents formats que les analystes peuvent utiliser, afin d’obtenir des informations qui orientent les décisions de l’entreprise. Par exemple, les données non structurées d’une campagne marketing peuvent être converties en mesures précises qui aident les analystes à comprendre si celle-ci est sur la bonne voie et si elle contribue aux objectifs plus larges de l’entreprise.
Ce processus se divise en trois étapes clés :
- L’extraction, où la donnée – structurée ou non structurée – à l’état brut est copiée ou exportée depuis des sources diverses (applications, pages web, feuilles de calcul, bases de données SQL ou NoSQL…). Une fois exportée, elle est déplacée vers une zone tampon appelée staging area.
- Le chargement, où la donnée exportée est transférée de la staging area vers un stockage centralisé (un data lake ou un data warehouse dans le cloud).
- La transformation, où les data analysts déchiffrent les données brutes pour obtenir de précieuses informations. Cette étape comprend toutes les opérations qui modifient ou créent des valeurs : nettoyage, calcul, traduction, authentification, cryptage ou formatage de la donnée. Celles-ci peuvent être complexes et obscurcissent ou altèrent généralement les valeurs brutes de la source.
L’ETL, quant à lui, transforme les données avant le chargement et limite le volume des données stockées. Des générations de data engineers ont développé et utilisé des outils ETL. Ce processus reste donc la norme en matière d’intégration de données. Ainsi, ETL et ELT sont souvent – et à tort – utilisés de manière interchangeable.
L’ELT : une longueur d’avance sur l’ETL
Malgré le succès de ce procédé, la faiblesse majeure des outils ETL traditionnels réside dans le fait que, par définition, les données sont transformées avant d’être chargées. Cette méthode, qui masque les valeurs brutes et originales, oblige les ingénieurs à reconstruire l’ensemble du pipeline chaque fois que la source change ou que les analystes ont besoin d’un nouveau modèle de données.
Par conséquent, des périodes d’arrêt et des ressources d’ingénierie supplémentaires sont nécessaires chaque fois que la source de données ajoute un nouveau champ ou que l’entreprise a besoin d’une nouvelle mesure. Les entreprises doivent ajouter des sources de données supplémentaires, collecter un plus grand volume de données et suivre de nouvelles mesures pour stimuler leur croissance. Ainsi, l’ETL transforme les opportunités offertes par les nouvelles données en un lourd fardeau technique.
En revanche, l’ELT, plus rapide que l’ETL, et chargeant les données avant leur transformation, peut être utilisée pour un traitement rapide, pendant les heures de travail ou les heures d’affluence des clients. L’ELT est le fruit du cloud moderne et de la chute des coûts de stockage, de calcul et de bande passante ces dernières décennies. Sans contraintes sur ces éléments clés, plus rien ne justifie aujourd’hui une architecture d’intégration visant principalement à préserver ces ressources
La promesse d’un ELT entièrement automatisé
L’ELT présente des avantages majeurs qui en font la solution idéale pour les entreprises désireuses d’améliorer leurs processus d’intégration et d’analyse des données.
Cette approche rend tout d’abord la disponibilité des données plus rapide, puisqu’elle sépare les processus de chargement et de transformation. Les analystes accèdent ainsi aux informations dont ils ont besoin en un temps record. L’ELT réduit en outre les coûts car elle ne nécessite pas de système de données intermédiaire ou de serveur externe.
Par les mises à jour régulières des plateformes ELT, les entreprises s’assurent de tirer parti des dernières technologies pour optimiser la collecte, le stockage, la conformité et la sécurité des données. Cela confère ainsi une grande robustesse à ce processus, sur lequel on peut facilement compter dans les années à venir.
Ensuite, une approche ELT automatisée permet de modifier les scripts d’extraction de données pour s’adapter aux changements fréquents d’API. Elle normalise également les extraits de sources de données dans un schéma interrogeable et met à jour ce dernier avec de nouvelles données ou structures, tout au long du processus de création. Mais ce n’est pas tout : elle libère les équipes de la conception, de la construction et de la maintenance logicielles complexes.
Enfin, sa flexibilité et son évolutivité en font un processus adapté à tous types de besoins en matière de gestion de données. Par conséquent, si les analystes ont besoin d’une nouvelle mesure ou si les objectifs de l’entreprise ont changé, il est aisé d’adapter la plateforme sans effort.
L’ELT s’impose comme une solution incontournable pour l’intégration et l’analyse des données à grande échelle. Il permet aux entreprises d’exploiter pleinement le potentiel de leurs données. L’ELT offre ainsi un avantage stratégique pour une prise de décision plus agile.
