Usar o Apache Beam para criar pipelines

O Dataflow é baseado no projeto de código aberto Apache Beam. Você pode usar o SDK do Apache Beam para criar pipelines para o Dataflow. Neste documento, listamos alguns recursos para começar a usar a programação do Apache Beam.

Primeiros passos

Aprenda a usar o Apache Beam

Use as páginas a seguir no site do Apache Beam para saber mais sobre a programação do Apache Beam.

  • Guia de programação do Apache Beam: fornece orientações sobre o uso das classes do SDK do Apache Beam para criar e testar o pipeline.

  • Tour do Apache Beam: um guia de aprendizado para se familiarizar com o Apache Beam. As unidades de aprendizagem são acompanhadas por exemplos de código que você pode executar e modificar.

  • Apache Beam Playground: um ambiente interativo para testar transformações e exemplos do Apache Beam sem precisar instalar o Apache Beam no seu ambiente.

  • Criar o pipeline: explica a mecânica de uso das classes nos SDKs do Apache Beam e as etapas necessárias para criar um pipeline.

Desenvolver pipelines

  • Planejar seu pipeline: saiba como planejar seu pipeline antes de começar o desenvolvimento de código.

  • Desenvolver e testar pipelines: aprenda as práticas recomendadas para desenvolver e testar seu pipeline do Dataflow.

  • Pipelines de streaming: saiba mais sobre considerações importantes de design para pipelines de streaming, incluindo janelas, acionadores e marcas d'água.

Exemplos de código

Use os seguintes exemplos do GitHub do Apache Beam para começar a criar um pipeline de streaming:

A seguir