Dependensi SDK dan Worker

SDK Apache Beam dan pekerja Dataflow bergantung pada komponen pihak ketiga umum yang kemudian mengimpor dependensi tambahan. Dependensi Apache Beam SDK sudah diinstal sebelumnya di lingkungan runtime Dataflow default.

Beberapa kasus penggunaan pemrosesan data diuntungkan dengan menggunakan library atau class tambahan. Dalam kasus ini, Anda mungkin perlu mengelola dependensi pipeline. Untuk mengetahui informasi selengkapnya tentang cara mengelola dependensi, lihat Mengelola dependensi pipeline di Dataflow.

Halaman ini berisi informasi paket dependensi dan worker untuk rilis Apache Beam dan Dataflow SDK:

SDK Apache Beam 2.x

SDK untuk Go

Informasi dependensi untuk Apache Beam SDK untuk Go tercantum di halaman dependensi Apache Beam SDK untuk Go.

SDK untuk Java

Informasi dependensi untuk Apache Beam SDK untuk Java tercantum di halaman dependensi Apache Beam SDK untuk Java.

SDK untuk Python

Informasi dependensi untuk Apache Beam SDK untuk Python tercantum di halaman dependensi Apache Beam SDK untuk Python.

Dependensi pekerja

Bagian ini berlaku untuk Apache Beam 2.49.0 dan yang lebih lama. Tabel berikut memberikan informasi tentang dependensi Python yang diinstal di pekerja yang dibuat Dataflow.

SDK Dataflow 2.x

SDK untuk Java

Untuk menentukan apakah JAR Anda menggunakan versi yang bertentangan, periksa pohon dependensi project Anda. Anda dapat membuat hierarki dependensi dengan berbagai alat, seperti Maven.

Hindari menentukan "latest" di pom.xml untuk library dalam tabel berikut.

SDK untuk Python

SDK Dataflow 1.x

SDK untuk Java