SDK 和工作站依附元件

Apache Beam SDK 和 Dataflow worker 依附於常見的第三方元件,這些元件會匯入其他依附元件。預設 Dataflow 執行階段環境已預先安裝 Apache Beam SDK 的依附元件。

在某些資料處理用途中,使用其他程式庫或類別會有所助益。在這種情況下,您可能需要管理管道依附元件。如要進一步瞭解如何管理依附元件,請參閱「在 Dataflow 中管理管道依附元件」。

本頁提供 Apache Beam 和 Dataflow SDK 版本的依附元件和 worker 套件資訊:

Apache Beam 2.x SDK

Go 適用的 SDK

Go 適用的 Apache Beam SDK 依附元件資訊列於「Apache Beam SDK for Go dependencies page」(Apache Beam SDK for Go 依附元件頁面)。

Java 適用的 SDK

Java 適用的 Apache Beam SDK 依附元件資訊,請參閱 Apache Beam SDK for Java 依附元件頁面。

Python 適用的 SDK

如要查看 Apache Beam SDK for Python 的依附元件資訊,請參閱 Apache Beam SDK for Python 依附元件頁面。

Worker 依附元件

本節適用於 Apache Beam 2.49.0 以下版本。 下表提供安裝在 Dataflow 建構的 worker 上的 Python 依附元件相關資訊。

Dataflow 2.x SDK

Java 適用的 SDK

如要判斷您的 JAR 使用的是否為衝突版本,請檢查您專案的相依樹狀結構圖。您可以透過 Maven 等多種工具產生相依樹狀結構圖。

請避免在 pom.xml 內將下表中的程式庫指定為「latest」 (最新)。

Python 適用的 SDK

Dataflow 1.x SDK

Java 適用的 SDK