Un pipeline de données déplace des données depuis une ou plusieurs sources, à travers une série de transformations, vers une destination où elles peuvent être analysées ou servies. Bien le concevoir dès le départ évite d’innombrables heures de débogage.
La plupart des pipelines suivent le modèle Extraire → Transformer → Charger (ETL) :
Une variante, ELT, charge d’abord les données brutes puis les transforme dans la destination — pratique courante avec les entrepôts cloud comme BigQuery.