Dataflow se basa en el proyecto de código abierto de Apache Beam. Puedes usar el SDK de Apache Beam a fin de compilar canalizaciones para Dataflow. En este documento, se enumeran algunos recursos para comenzar a usar la programación de Apache Beam.
Comenzar
Instala el SDK de Apache Beam: se muestra cómo instalar el SDK de Apache Beam para que puedas ejecutar las canalizaciones en Dataflow.
Crea una canalización de Java: Se muestra cómo crear una canalización con el SDK de Java de Apache Beam y ejecutarla en Dataflow.
Crea una canalización de Python: Se muestra cómo crear una canalización con el SDK de Apache Beam para Python y ejecutarla en Dataflow.
Crea una canalización de Go: Muestra cómo crear una canalización con el SDK de Apache Beam para Go y ejecutarla en Dataflow.
Aprende sobre Apache Beam
Puedes usar las siguientes páginas del sitio web de Apache Beam para obtener información sobre la programación de Apache Beam.
Guía de programación de Apache Beam: proporciona orientación para usar las clases del SDK de Apache Beam para compilar y probar tu canalización.
Recorrido por Apache Beam: una guía de aprendizaje que puedes usar para familiarizarte con Apache Beam. Las unidades de aprendizaje están acompañadas de ejemplos de código que puedes ejecutar y modificar.
Zona de pruebas de Apache Beam: un entorno interactivo para probar transformaciones y ejemplos de Apache Beam sin tener que instalar Apache Beam en tu entorno.
Crea tu canalización: Se explica la mecánica de usar clases en los SDK de Apache Beam y los pasos necesarios para compilar una canalización.
Desarrolla canalizaciones
Planifica tu canalización: Aprende a planificar tu canalización antes de comenzar el desarrollo de código.
Desarrolla y prueba canalizaciones: Aprende las prácticas recomendadas para desarrollar y probar tu canalización de Dataflow.
Canalizaciones de transmisión: Obtén información sobre las consideraciones de diseño importantes para las canalizaciones de transmisión, incluidas las ventanas, los activadores y las marcas de agua.
Ejemplos de código
Puedes usar los siguientes ejemplos de GitHub de Apache Beam para comenzar a compilar una canalización de transmisión:
- Extracción de palabras a través de transmisión (Java)
- Recuento de palabras a través de transmisión (Python) y
streaming_wordcap(Go).