Dataflow est basé sur le projet Open Source Apache Beam. Vous pouvez utiliser le SDK Apache Beam pour créer des pipelines pour Dataflow. Ce document répertorie des ressources pour vous lancer dans la programmation Apache Beam.
Commencer
Installer le SDK Apache Beam : explique comment installer le SDK Apache Beam pour pouvoir exécuter vos pipelines dans Dataflow.
Créer un pipeline Java: explique comment créer un pipeline avec le SDK Java Apache Beam et l'exécuter dans Dataflow.
Créer un pipeline Python : explique comment créer un pipeline avec le SDK Python Apache Beam et l'exécuter dans Dataflow.
Créer un pipeline Go: explique comment créer un pipeline avec le SDK Apache Beam Go et l'exécuter dans Dataflow.
Apprendre Apache Beam
Vous pouvez utiliser les pages suivantes du site Web Apache Beam pour en savoir plus sur la programmation Apache Beam.
Guide de programmation Apache Beam : fournit des conseils sur l'utilisation des classes du SDK Apache Beam pour créer et tester votre pipeline.
Présentation d'Apache Beam : guide d'apprentissage que vous pouvez utiliser pour vous familiariser avec Apache Beam. Les unités d'apprentissage sont accompagnées d'exemples de code que vous pouvez exécuter et modifier.
Playground Apache Beam : environnement interactif permettant de tester les transformations et les exemples Apache Beam sans avoir à installer Apache Beam dans votre environnement.
Créer votre pipeline : cette documentation explique le fonctionnement des classes des SDK Apache Beam et décrit les étapes nécessaires pour créer un pipeline.
Développer des pipelines
Planifiez votre pipeline: découvrez comment planifier votre pipeline avant de commencer à développer du code.
Développer et tester des pipelines: découvrez les bonnes pratiques à suivre pour développer et tester votre pipeline Dataflow.
Pipelines de streaming: découvrez les considérations de conception importantes pour les pipelines de streaming, y compris les fenêtres, les déclencheurs et les filigranes.
Exemples de code
Vous pouvez utiliser les exemples suivants du dépôt GitHub Apache Beam pour commencer à créer un pipeline de streaming:
- Extraction de mots en streaming (Java)
- Nombre de mots en flux (Python)
streaming_wordcap(Go).