Modern Data Stack : pourquoi dbt est devenu le standard
ELT, warehouse cloud, transformations versionnées — le nouveau pipeline analytique.
Le 'Modern Data Stack' désigne l'architecture devenue standard depuis 2020 : ingestion via Fivetran ou Airbyte, stockage dans un warehouse cloud (Snowflake, BigQuery, Databricks), transformations en SQL avec dbt, puis BI dans Looker, Power BI ou Tableau. Le passage du modèle ETL au modèle ELT (transformer après chargement) est rendu possible par la séparation compute/stockage des warehouses modernes.
dbt (data build tool), créé par Fishtown Analytics (devenu dbt Labs), permet de versionner les transformations SQL, de les tester et de les documenter. Selon le State of Data Engineering 2024 de LakeFS, dbt est utilisé par plus de 30 000 entreprises. La méthodologie sous-jacente s'appuie sur le Data Warehouse Toolkit de Ralph Kimball (1996), avec ses tables de faits et dimensions.
Côté gouvernance, le data contract (formalisé notamment par Chad Sanderson) impose un schéma versionné entre producteurs et consommateurs de données. Et le concept de Data Mesh, introduit par Zhamak Dehghani chez ThoughtWorks en 2019, pousse à décentraliser la propriété des données par domaine métier — une réponse aux limites des data lakes monolithiques.