Utiliser Apache Beam pour créer des pipelines

Dataflow est basé sur le projet Open Source Apache Beam. Vous pouvez utiliser le SDK Apache Beam pour créer des pipelines pour Dataflow. Ce document liste quelques ressources pour vous aider à vous lancer dans la programmation Apache Beam.

Commencer

Découvrir Apache Beam

Vous pouvez consulter les pages suivantes du site Web Apache Beam pour en savoir plus sur la programmation Apache Beam.

  • Guide de programmation Apache Beam : fournit des conseils pour utiliser les classes du SDK Apache Beam afin de créer et de tester votre pipeline.

  • Présentation d'Apache Beam : guide d'apprentissage pour vous familiariser avec Apache Beam. Les unités d'apprentissage sont accompagnées d'exemples de code que vous pouvez exécuter et modifier.

  • Playground Apache Beam : environnement interactif permettant de tester les transformations et les exemples Apache Beam sans avoir à installer Apache Beam dans votre environnement.

  • Créer votre pipeline : explique le fonctionnement des classes des SDK Apache Beam et décrit les étapes nécessaires pour créer un pipeline.

Développer des pipelines

  • Planifier votre pipeline : découvrez comment planifier votre pipeline avant de commencer à développer du code.

  • Développer et tester des pipelines : découvrez les bonnes pratiques pour développer et tester votre pipeline Dataflow.

  • Pipelines de streaming : découvrez les principaux éléments à prendre en compte pour la conception de pipelines de streaming, y compris les fenêtres, les déclencheurs et les filigranes.

Exemples de code

Vous pouvez utiliser les exemples suivants d'Apache Beam GitHub pour commencer à créer un pipeline de streaming :

Étapes suivantes