Jusqu’à l’AFUP Day 2025, retrouvez nos interviews de speakers pour mieux comprendre leur parcours et le sujet qu’ils ou elles aborderont lors de leur conférence !

La conférence

L'ETL, ce qu'il vous manquait pour intégrer vos clients Imaginez ceci : vous avez développé des APIs exemplaires, standardisées, parfaitement documentées, dont vous et votre équipe êtes fiers. Un jour, la direction vous annonce une nouvelle excitante : un client prioritaire souhaite intégrer votre système. Cependant, une complication se présente : ce client ne peut pas utiliser vos APIs. Il possède ses propres interfaces et c'est à vous de vous adapter. Vous voilà face à un dilemme. Comment éviter de triturer et tordre vos APIs pour intégrer ce nouveau client ? Comment ne pas intégrer du spécifique coûteux dans votre produit ? La solution, souvent sous-estimée mais extrêmement puissante, se révèle être un ETL. Dans ce talk je vous propose d'explorer le concept d'ETL. Nous examinerons ensemble ce qu'est un ETL, ses avantages et pourquoi il constitue une solution idéale pour répondre à des besoins d'intégration complexes. Vous découvrirez comment cette méthode permet de préserver la structure et la qualité de vos APIs tout en facilitant l'intégration de systèmes externes.

C.P.E. Lyon 16/05/2025 09:25-10:05

ETL : peux-tu expliquer en quelques mots ce qui se cache derrière cet acronyme ?

ETL est l’acronyme de Extract, Transform, Load (Extraire, Transformer, Charger). C’est un processus en trois étapes pour manipuler des données :

Extract : récupération des données depuis différentes sources (API, fichiers, bases de données, etc.).
Transform : nettoyage, enrichissement et conversion des données (ex: : changement de format, application de règles métier, agrégation, etc.).
Load : insertion des données transformées dans un système (encore une fois, via une API, un fichier ou tout autre moyen).

En PHP, traiter de gros volumes de données peut vite être contraignant en termes de mémoire et de performance. Comment pallier cette problématique avec un ETL ?

Les problématiques liées à la mémoire et aux performances sont courantes dans le développement. La mise en place d’un ETL permet d’y remédier en optimisant le traitement des données. Un ETL offre plusieurs solutions :

• Traitement en flux : les données peuvent être traitées par petits lots (batch) ou en continu (streaming), limitant ainsi l’empreinte mémoire.
• Parallélisation des traitements : plusieurs tâches peuvent être exécutées simultanément, accélérant le traitement des gros volumes de données.
• Cache et stockage intermédiaire : des mécanismes de mise en cache ou de stockage temporaire permettent d’éviter des calculs inutiles et d’améliorer les performances.

Ces optimisations sont souvent intégrées directement dans les outils ETL existants (AWS Glue, Fivetran, Talend, etc.). Concernant les ETL développés en interne, les équipes ont la flexibilité d’implémenter les stratégies et modèles adaptés aux besoins spécifiques du projet.

L’ETL est-il uniquement utile aux grandes entreprises, ou peut-il être pertinent pour une startup ou une PME ?

L’ETL n’est pas réservé aux grandes entreprises. Aujourd’hui, il est possible de développer un ETL sur mesure ou d’utiliser des solutions existantes (AWS Glue, Fivetran, Talend, etc.).

Ces outils permettent aux startups et PME d’implémenter des pipelines de données sans nécessiter une infrastructure lourde. Quelle que soit la taille de l’entreprise, les besoins d’automatisation, d’intégration et de nettoyage des données sont présents. Un ETL permet ainsi de :

• Automatiser la gestion des données et réduire les tâches manuelles.
• Améliorer la qualité et la fiabilité des données.
• Faciliter l’intégration entre différents systèmes.
• Gagner du temps et optimiser les ressources.

Un ETL est un atout pour toute organisation manipulant des données, quelle que soit sa taille.

Une conférence présentée par

Nicolas JOURDAN

Lead Tech d'une équipe de développement, Nicolas passe ses journées à aider les développeurs et développeuses de son équipe à monter en compétence. Il prend également beaucoup de temps pour passer en mode capuche et avaler des features. Passionné par Symfony depuis plusieurs année, il a décidé en 2021 de passer la certification Symfony 5 (et l'a obtenue).

Autres intervenants