SDK とワーカーの依存関係

Apache Beam SDK と Dataflow ワーカーは共通のサードパーティ コンポーネントに依存し、そのようなコンポーネントがさらに追加の依存関係をインポートします。Apache Beam SDK の依存関係は、デフォルトの Dataflow ランタイム環境にプリインストールされています。

一部のデータ処理のユースケースでは、追加のライブラリまたはクラスを使用することでメリットが得られます。このような場合には、パイプラインの依存関係を管理することが必要になる可能性があります。依存関係の管理の詳細については、Dataflow でパイプラインの依存関係を管理するをご覧ください。

このページには、Apache Beam と Dataflow SDK の各リリースの依存関係とワーカー パッケージの情報が含まれています。

Apache Beam 2.x SDK

Go 用 SDK

Apache Beam SDK for Go の依存関係情報は、Apache Beam SDK for Go の依存関係ページに表示されています。

SDK for Java

Apache Beam SDK for Java の依存関係情報は、Apache Beam SDK for Java の依存関係ページに表示されています。

SDK for Python

Apache Beam SDK for Python の依存関係情報は、Apache Beam SDK for Python の依存関係ページに表示されています。

ワーカーの依存関係

このセクションは、Apache Beam 2.49.0 以前に適用されます。次の表に、Dataflow で構築されたワーカーにインストールされている Python 依存関係に関する情報を示します。

Dataflow 2.x SDK

SDK for Java

JAR が競合するバージョンを使用しているかどうかを特定するには、プロジェクトの依存関係ツリーを調べます。依存関係ツリーは、Maven などの各種ツールを使って生成できます。

次の表のライブラリについては、pom.xml で「latest」を指定しないでください。

SDK for Python

Dataflow 1.x SDK

SDK for Java