SDK 和工作站依附元件

Apache Beam SDK 和 Dataflow 工作站需要使用某些共通的第三方元件,而這些元件會匯入額外的相依項目。Apache Beam SDK 的依附元件已預先安裝在預設的 Dataflow 執行階段環境中。

在某些資料處理用途中,使用其他程式庫或類別會有所助益。在這種情況下,您可能需要管理管道依附元件。如要進一步瞭解如何管理依附元件,請參閱「在 Dataflow 中管理管道依附元件」。

本頁面包含 Apache Beam 和 Dataflow SDK 版本的依附元件與工作站套件資訊:

Apache Beam 2.x SDK

Go 適用的 SDK

Go 適用的 Apache Beam SDK 依附元件資訊列在 Go 適用的 Apache Beam SDK 依附元件頁面中。

Java 適用的 SDK

Java 適用的 Apache Beam SDK 依附元件資訊列在「Java 適用的 Apache Beam SDK 依附元件頁面」中。

Python 適用的 SDK

Python 適用的 Apache Beam SDK 依附元件資訊列在「Python 適用的 Apache Beam SDK 依附元件頁面」中。

Worker 依附元件

本節適用於 Apache Beam 2.49.0 以下版本。下表提供 Dataflow 建構的工作站上安裝的 Python 依附元件相關資訊。

Dataflow 2.x SDK

Java 適用的 SDK

如要判斷您的 JAR 使用的是否為衝突版本,請檢查您專案的相依樹狀結構圖。您可以透過 Maven 等多種工具產生相依樹狀結構圖。

請避免在 pom.xml 內將下表中的程式庫指定為「latest」 (最新)。

Python 適用的 SDK

Dataflow 1.x SDK

Java 適用的 SDK