ETL : concevoir et automatiser ses flux de données d’affaires
Des données fiables qui arrivent toutes seules
- Certification qualité française Qualiopi
- 1 jour — 7 h
- À distance, en classe virtuelle
- Heure de l’Est
- Soumission en 24 h
Ici une extraction planifiée, là un retraitement fait dans un tableur, et le lundi matin un fichier recopié à la main. Tant qu'aucun incident ne survient, la chaîne de données tient. Mais si la structure d'une source change, ou si un traitement s'interrompt en pleine nuit, personne ne sait plus quoi redémarrer.
La conception d'une chaîne ETL de bout en bout est au programme de cette journée en classe virtuelle : étude des sources, transformations documentées, contrôles de qualité et enchaînement automatisé qui sait composer avec les erreurs. Sur des données réalistes, les participants assemblent un flux entier, puis déclenchent des pannes afin d'en vérifier la solidité.
Objectifs pédagogiques
- Étudier un besoin de flux sous l'angle des sources, des volumes et de la fréquence
- Adapter l'extraction à la source, qu'elle soit complète ou incrémentale
- Diviser les transformations en étapes documentées qu'on peut réexécuter
- Établir des contrôles de qualité et les critères qui écartent les lignes non valides
- Ordonnancer les tâches en tenant compte des dépendances et des échecs
- Surveiller les exécutions et être en mesure de redémarrer à la suite d'une panne
Programme de la formation
Avant la formation
Analyse du besoin et évaluation de départ. Vos réponses sont transmises au formateur, qui ajuste la formation à votre niveau et à votre contexte professionnel.
- Fichiers, bases de données et interfaces
- Extraction incrémentale ou complète
- Fuseaux horaires, encodages et formats
- Changements de structure, plages de traitement et volumes
- Des étapes faciles à lire et à tester
- Clés et données de référence
- Historique, valeurs manquantes et doublons
- Mise en quarantaine et seuils de rejet
- Planification et dépendances
- Idempotence, reprise et réexécution partielle
- Suivi, alertes et journaux
- Versions et passage en production
Après la formation
Évaluation des acquis et attestation de participation remise à chaque participant. Accès à L’académie, notre plateforme de plus de 400 formations en ligne.
Les points forts
Prochaines sessions
Aucune session publique à l’horaire pour le moment. Demandez une date.
À qui s’adresse cette formation ?
Développeurs de données, responsables de la production de rapports, administrateurs de bases de données et chargés de projet en intelligence d'affaires.
Organiser cette formation
Mon Pôle Formation est un organisme certifié Qualiopi, la certification qualité de l’État français pour la formation professionnelle. Chaque formation est commandée sur soumission par votre organisation.
Vous inscrivez un ou plusieurs employés sur une session déjà planifiée. La formation a lieu en classe virtuelle, en direct avec le formateur, à l’heure de l’Est (Canada).
La session réunit uniquement vos employés, aux dates de votre choix. Le programme est ajusté à vos outils, vos dossiers et vos priorités.
Ce programme peut servir de base à un parcours individuel ou à une formation entièrement construite pour vous, après un échange sur vos objectifs.
Vous recevez une soumission en 24 h, puis la convention de formation. À l’issue de la session, chaque participant reçoit son attestation de participation. Une question : +33 1 87 66 57 66.
Questions fréquentes
Aucun outil n'est imposé par la méthode. Les exercices se font en SQL et avec des scripts simples, que vous pourrez transposer sur votre plateforme.
S'il y a quelque chose à installer, les directives vous parviennent avant la séance. Il vous faut un ordinateur donnant accès aux outils indiqués.
Demander une soumission
Indiquez le nombre de participants et la période souhaitée : nous vous adressons une proposition sous 24 h, puis la convention de formation.
Toutes nos formations informatique
Comparez cette formation avec nos 65 formations informatique à distance.