Dependências de SDK e worker

Os SDKs do Apache Beam e os workers do Dataflow dependem de componentes comuns de terceiros que importam outras dependências. As dependências dos SDKs do Apache Beam são pré-instaladas nos ambientes de execução padrão do Dataflow.

Alguns casos de uso de processamento de dados se beneficiam do uso de mais bibliotecas ou classes. Nesses casos, pode ser necessário gerenciar as dependências do pipeline. Para mais informações sobre como gerenciar dependências, consulte Gerenciar dependências de pipeline no Dataflow.

Esta página contém informações sobre pacotes de dependência e worker para as versões do SDK do Apache Beam e do Dataflow:

SDKs 2.x do Apache Beam

SDK para Go

As informações sobre dependência de SDKs do Apache Beam para Go estão na página de dependências do SDK do Apache Beam para Go.

SDK para Java

As informações sobre dependência de SDKs do Apache Beam para Java estão na página de dependências do SDK do Apache Beam para Java.

SDK para Python

As informações sobre dependência de SDKs do Apache Beam para Python estão na página de dependências do SDK do Apache Beam para Python.

Dependências do worker

Esta seção se aplica ao Apache Beam 2.49.0 e versões anteriores. As tabelas a seguir fornecem informações sobre as dependências do Python instaladas nos workers criados pelo Dataflow.

SDKs do Dataflow 2.x

SDK para Java

Para determinar se o JAR está usando uma versão conflitante, inspecione a árvore de dependências do projeto. Ela pode ser gerada com várias ferramentas, como o Maven (em inglês).

Evite especificar "latest" no seu pom.xml para as bibliotecas na tabela a seguir.

SDK para Python

SDKs do Dataflow 1.x

SDK para Java