SDK 和工作器依赖项

Apache Beam SDK 和 Dataflow 工作器依赖于常见的第三方组件,而这些组件又会导入其他依赖项。Apache Beam SDK 的依赖项已预安装在默认 Dataflow 运行时环境中。

某些数据处理使用场景使用其他库或类更有优势。在这些情况下,您可能需要管理流水线依赖项。如需详细了解如何管理依赖项,请参阅在 Dataflow 中管理流水线依赖项

本页面包含 Apache Beam 和 Dataflow SDK 版本的依赖项和工作器软件包信息:

Apache Beam 2.x SDK

Go 版 SDK

有关 Go 版 Apache Beam SDK 的依赖项信息列在 Go 版 Apache Beam SDK 依赖项页面上。

Java 版 SDK

有关 Java 版 Apache Beam SDK 的依赖项信息列在 Java 版 Apache Beam SDK 依赖项页面上。

Python 版 SDK

有关 Python 版 Apache Beam SDK 的依赖项信息列在 Python 版 Apache Beam SDK 依赖项页面上。

工作器依赖项

本部分适用于 Apache Beam 2.49.0 及更低版本。下表提供了有关安装在 Dataflow 构建的工作器上的 Python 依赖项的信息。

Dataflow 2.x SDK

Java 版 SDK

要确定您的 JAR 是否使用了存在冲突的版本,请检查您项目的依赖关系树。您可以使用各种工具(如 Maven)来生成依赖关系树。

避免在 pom.xml 文件中针对下表中所列的库指定“latest”。

Python 版 SDK

Dataflow 1.x SDK

Java 版 SDK