Aller au contenuSkip to content
  1. AccueilHome
  2. FormationsTraining
  3. Intégration et fluxIntegration and data flows
  4. Données en temps réel : concevoir des flux en continuReal-Time Data: Designing Streaming Pipelines
Intégration et fluxIntegration and data flowsAvancéAdvanced

Données en temps réel : concevoir des flux en continuReal-Time Data: Designing Streaming Pipelines

Voyez vos opérations au moment où elles se produisent, avec une architecture qui tient la charge.

See your operations as they happen, with an architecture that holds up under load.

Concevez des architectures de diffusion en continu, de la capture d’événements jusqu’aux tableaux de bord en temps réel, avec Azure, Fabric et Databricks.

Design streaming architectures from event capture to real-time dashboards, using Azure, Fabric and Databricks.

  • DuréeDurationDeux joursTwo days
  • NiveauLevelAvancéAdvanced
  • FormatsFormatsIntra-entrepriseIn-house, IndividuelOne-on-one
  • ModalitésDeliveryPrésentielIn person, À distanceOnline, HybrideHybrid
Microsoft FabricDatabricksMicrosoft Azure
Vous saurezYou will masterChoix de la latence cibleChoosing target latencyIngestion d’événementsEvent ingestionCapture de changementsChange data captureFenêtres temporellesTime windowsRequêtes KQLKQL queries
AperçuOverview

Pourquoi suivreWhy take cette formation ?this course?

Concevez des architectures de diffusion en continu, de la capture d’événements jusqu’aux tableaux de bord en temps réel, avec Azure, Fabric et Databricks.

Design streaming architectures from event capture to real-time dashboards, using Azure, Fabric and Databricks.

01

Décider pendant que ça compteDecide while it still matters

Bris d’équipement, fraude, achalandage : certaines décisions perdent toute valeur si les données arrivent seulement le lendemain.

Equipment failure, fraud, foot traffic: some decisions lose all their value if the data only shows up the next day.

02

Le temps réel a un coûtReal time has a cost

Toute donnée n’a pas besoin d’arriver à la seconde. Vous apprenez à justifier la latence visée avant d’engager budget et complexité.

Not all data needs to arrive within seconds. You learn to justify the target latency before committing budget and complexity.

03

Des événements qui arrivent en retardEvents that show up late

Réseaux instables et capteurs hors ligne envoient des données décalées. Les fenêtres et filigranes évitent des agrégats faussés.

Unstable networks and offline sensors send delayed data. Windows and watermarks keep your aggregates from being skewed.

ObjectifsObjectives

À la fin,By the end, vous saurez…you will be able to…

  1. Distinguer traitement par lots, quasi temps réel et temps réelTell batch, near real-time and real-time processing apart
  2. Concevoir une architecture d’ingestion d’événementsDesign an event ingestion architecture
  3. Mettre en place la capture de changements depuis des bases sourcesSet up change data capture from source databases
  4. Traiter des flux avec fenêtres, agrégations et gestion des retardsProcess streams with windows, aggregations and late data handling
  5. Exposer les résultats dans des tableaux de bord en temps réelSurface results in real-time dashboards
En atelierHands-on

Un flux en continu, de l’événement au tableau de bordA streaming pipeline, from event to dashboard

À partir d’un générateur d’événements simulés, vous capturez, traitez et restituez un flux complet, puis comparez les options Azure, Fabric et Databricks pour votre cas.

Using a simulated event generator, you capture, process and serve a complete stream, then compare Azure, Fabric and Databricks options for your own case.

  • Ingestion via Event HubsIngestion through Event Hubs
  • Capture de changements d’une baseChange data capture from a database
  • Agrégations par fenêtres temporellesTime-window aggregations
  • Tableau de bord et alertes en directLive dashboard and alerts
En sortant de la formationWhen you leave

Le participant conçoit et met en œuvre un flux de données en continu adapté à ses besoins réels de latence.

Participants design and build a streaming data pipeline matched to their actual latency needs.

ProgrammeProgram

Le programme,The program, module par module.module by module.

  1. 01
    Module 1Module 1

    Quand le temps réel vaut la peineWhen real time is worth it

    • Cas d’usage et exigences de latenceUse cases and latency requirements
    • Coûts et complexitéCost and complexity
    • Architectures lambda et kappaLambda and kappa architectures
  2. 02
    Module 2Module 2

    Capturer les événementsCapturing events

    • Azure Event Hubs et protocole KafkaAzure Event Hubs and the Kafka protocol
    • Capture de changements de donnéesChange data capture
    • Schémas et évolution des messagesMessage schemas and evolution
  3. 03
    Module 3Module 3

    Traiter les fluxProcessing streams

    • Structured Streaming dans DatabricksStructured Streaming in Databricks
    • Eventstreams dans Microsoft FabricEventstreams in Microsoft Fabric
    • Fenêtres temporelles et données en retardTime windows and late-arriving data
  4. 04
    Module 4Module 4

    Stocker et restituerStoring and serving

    • Eventhouse et langage KQLEventhouse and KQL
    • Tables Delta en continuStreaming Delta tables
    • Tableaux de bord et alertes en temps réelReal-time dashboards and alerts
  5. 05
    Module 5Module 5

    ExploiterRunning it

    • Garanties de livraisonDelivery guarantees
    • Surveillance et repriseMonitoring and recovery
    • Sécurité des flux d’événementsSecuring event streams
Infos pratiquesPractical info

ModalitésHow it et organisation.works.

DuréeDuration

Deux joursTwo days · ajustable en intra · adjustable in-house

FormatsFormats

Intra-entrepriseIn-house
IndividuelOne-on-one

ModalitésDelivery

Présentiel : dans nos locaux ou dans les vôtresIn person: at our offices or yours
À distance : en classe virtuelle, en directOnline: live virtual classroom
Hybride : des temps en salle et à distanceHybrid: a mix of classroom and online time

Public viséAudience

  • Ingénieurs de données expérimentésExperienced data engineers
  • Architectes de solutionsSolution architects
  • Équipes qui modernisent des flux opérationnelsTeams modernizing operational data flows

PrérequisPrerequisites

  • Expérience en ingénierie de données par lotsExperience with batch data engineering
  • Connaissance de SQL et de PythonSQL and Python skills

PédagogieTeaching approach

  • Laboratoires avec un générateur d’événements simulésLabs driven by a simulated event generator
  • Conception d’architecture à partir de vos cas d’usageArchitecture design based on your own use cases
  • Comparaison argumentée des options technologiquesA reasoned comparison of technology options

ÉvaluationAssessment

Évaluation des acquis par des exercices pratiques et attestation de participation remise en fin de formation.Skills are assessed through hands-on exercises, and a certificate of attendance is issued at the end.

AccessibilitéAccessibility

Besoin d’une adaptation ? Dites-le-nous : nous ajustons le rythme, les supports ou la salle.Need an accommodation? Let us know: we adapt the pace, materials or room.
JFVotre formateur ou formatriceYour trainer

Julie Fortin

Ingénieure de données principale

Principal data engineer

Elle orchestre des flux critiques et transmet les bonnes pratiques de qualité, de surveillance et de reprise.

She orchestrates critical data flows and shares good practices for quality, monitoring and recovery.

  • Azure Data FactoryAzure Data Factory
  • TalendTalend
  • APIAPIs
  • ObservabilitéObservability
On voulait tout passer en temps réel. La formation nous a aidés à cibler les deux flux qui en avaient vraiment besoin et à bien les construire.We wanted to move everything to real time. The course helped us zero in on the two flows that truly needed it and build them right.
Architecte de solutions, société d’énergieSolution architect, energy company
Votre parcoursYour path

Avant et aprèsBefore and after cette formation.this course.

Pour bien commencerA good place to startIntégrer des données par APIIntegrating Data Through APIsIntermédiaireIntermediate · Trois demi-journéesThree half days
Vous êtes iciYou are hereDonnées en temps réel : concevoir des flux en continuReal-Time Data: Designing Streaming Pipelines
FAQ

Vos questions,Your questions, nos réponses.our answers.

Une autre question ? Écrivez-nous dans le formulaire de demande, nous répondons rapidement.

Another question? Write to us in the request form, we reply quickly.

Faut-il connaître Kafka?Do I need to know Kafka?

Non. Nous utilisons Azure Event Hubs, compatible avec le protocole Kafka, et expliquons les concepts clés. Une expérience en ingénierie par lots est par contre essentielle.

No. We use Azure Event Hubs, which supports the Kafka protocol, and explain the key concepts. Batch data engineering experience is essential, though.

Fabric ou Databricks : allez-vous nous dire lequel choisir?Fabric or Databricks: will you tell us which to pick?

Nous comparons les deux de façon argumentée selon vos contraintes de latence, de compétences et de coûts. La décision vous revient, mais elle sera éclairée.

We compare both based on your latency, skills and cost constraints. The decision is yours, but it will be an informed one.

Peut-on partir de nos propres cas d’usage?Can we start from our own use cases?

Oui. L’atelier de conception d’architecture s’appuie sur vos cas réels, et en intra, les laboratoires peuvent reproduire la forme de vos événements.

Yes. The architecture design workshop builds on your real cases, and in private sessions the labs can reproduce the shape of your events.

Peut-on adapter cette formation à notre équipe ?Can this course be adapted to our team?

Oui. En intra, nous ajustons les exemples, la durée et les exercices à vos outils et, si vous le souhaitez, à vos propres données anonymisées.

Yes. In-house, we adjust examples, length and exercises to your tools and, if you wish, to your own anonymized data.

Reçoit-on une attestation ?Do participants receive a certificate?

Une attestation de participation est remise à chaque participant à la fin de la formation.

Each participant receives a certificate of attendance at the end of the course.

DemandeRequest

Organisons cette formationLet’s organize this course pour votre équipe.for your team.

Indiquez-nous votre contexte : nous revenons vers vous avec une proposition de dates, de format et, si besoin, un programme ajusté.

Tell us about your context: we will come back to you with suggested dates, format and, if needed, an adjusted program.

Intégration et fluxIntegration and data flowsDonnées en temps réel : concevoir des flux en continuReal-Time Data: Designing Streaming PipelinesDeux joursTwo days · AvancéAdvanced
  • Réponse rapide d’une personne de l’équipe formationA quick reply from someone on our training team
  • Programme ajusté à vos outils et à vos donnéesProgram adjusted to your tools and data
  • Dans vos locaux, dans les nôtres ou à distanceAt your offices, ours or online
* Champs obligatoires* Required fields
À découvrir aussiYou may also like

D’autres formationsMore courses pour votre équipe.for your team.

  • En interPublic session
  • En intraIn-house
  • En individuelOne-on-one

Azure Data Factory : concevoir des pipelines fiablesAzure Data Factory: Building Reliable Pipelines

Orchestrez vos flux de données dans Azure Data Factory avec des pipelines paramétrés, surveillés et déployés de façon automatisée.

Orchestrate your data flows in Azure Data Factory with parameterized, monitored pipelines and automated deployment.

Deux joursTwo daysIntermédiaireIntermediate
Découvrir la formationDiscover the course
  • En intraIn-house
  • En individuelOne-on-one

Talend : premiers pas en intégration de donnéesTalend: Getting Started with Data Integration

Apprenez à concevoir des traitements Talend clairs et maintenables pour extraire, transformer et charger vos données d’un système à l’autre.

Learn to design clear, maintainable Talend jobs that extract, transform and load your data from one system to another.

Trois joursThree daysDécouverteFoundation
Découvrir la formationDiscover the course
  • En interPublic session
  • En intraIn-house

Qualité et observabilité des flux de donnéesData Pipeline Quality and Observability

Détectez les données manquantes, en retard ou erronées avant vos utilisateurs. Une méthode concrète pour surveiller vos pipelines et réagir vite.

Catch missing, late or wrong data before your users do. A practical method to monitor your pipelines and respond quickly.

Une journéeOne dayIntermédiaireIntermediate
Découvrir la formationDiscover the course
  • En interPublic session
  • En intraIn-house

Power BI : les fondamentauxPower BI Fundamentals

Passez de vos fichiers Excel à des rapports Power BI fiables et partagés. Une base solide pour connecter, modéliser et publier vos premiers tableaux de bord.

Move from Excel files to reliable, shared Power BI reports. A solid foundation to connect, model and publish your first dashboards.

Deux joursTwo daysDécouverteFoundation
Découvrir la formationDiscover the course
  • En interPublic session
  • En intraIn-house

Modélisation dimensionnelle avec dbtDimensional Modelling with dbt

Modélisez des schémas en étoile solides et outillez vos transformations SQL avec dbt : tests, documentation et déploiement en continu.

Design solid star schemas and bring engineering discipline to your SQL transformations with dbt: tests, documentation and continuous deployment.

Quatre demi-journéesFour half daysIntermédiaireIntermediate
Découvrir la formationDiscover the course
#MonterEnCompétencesUpskill

Construisons le plan de formation de votre équipe.Let’s build your team’s training plan.

Dites-nous qui vous voulez former et sur quoi : nous vous proposons un programme adapté, dans le format qui vous convient.

Tell us who you want to train and on what: we will propose a tailored program in the format that suits you.

Construisons la suite

Votre prochain défi.Une prochaine étape réfléchie.

Rejoindre l’équipe MiradorVoir les postes ouverts