SDK y dependencias de trabajador

Los SDK de Apache Beam y los trabajadores de Dataflow dependen de componentes comunes de terceros que también requieren importar dependencias adicionales. Las dependencias de los SDKs de Apache Beam están preinstaladas en los entornos de ejecución predeterminados de Dataflow.

Algunos casos de uso de procesamiento de datos se benefician del uso de clases o bibliotecas adicionales. En estos casos, es posible que debas administrar tus dependencias de canalización. Para obtener más información sobre cómo administrar dependencias, consulta Administra dependencias de canalizaciones en Dataflow.

Esta página contiene información sobre los paquetes de dependencias y trabajadores para las versiones del SDK de Apache Beam y Dataflow:

SDK 2.x de Apache Beam

SDK para Go

La información sobre las dependencias de los SDK de Apache Beam para Go se encuentra en la página de dependencias del SDK de Apache Beam para Go.

SDK para Java

La información sobre las dependencias de los SDK de Apache Beam para Java se encuentra en la página de dependencias del SDK de Apache Beam para Java.

SDK para Python

La información sobre las dependencias de los SDKs de Apache Beam para Python se encuentra en la página de dependencias del SDK de Apache Beam para Python.

Dependencias del trabajador

Esta sección se aplica a Apache Beam 2.49.0 y versiones anteriores. En las siguientes tablas, se proporciona información sobre las dependencias de Python instaladas en los trabajadores compilados con Dataflow.

SDK 2.x de Dataflow

SDK para Java

Para determinar si tu JAR usa una versión conflictiva, inspecciona el árbol de dependencias de tu proyecto. Puedes generar el árbol de dependencias con varias herramientas, como Maven.

En el caso de las bibliotecas que se mencionan en la siguiente tabla, no especifiques “latest” en el archivo pom.xml.

SDK para Python

SDK 1.x de Dataflow

SDK para Java