Anda dapat menyesuaikan lingkungan runtime kode pengguna di pipeline Dataflow dengan menyediakan image container kustom. Container kustom didukung untuk pipeline yang menggunakan Portable Runner Dataflow.
Saat memulai VM pekerja, Dataflow menggunakan image container Docker untuk meluncurkan proses SDK yang di-container di pekerja. Secara default, pipeline menggunakan image Apache Beam bawaan. Namun, Anda dapat menyediakan image container kustom untuk tugas Dataflow. Saat Anda menentukan image container kustom, Dataflow akan meluncurkan pekerja yang menarik image yang ditentukan.
Anda dapat menggunakan container kustom karena alasan berikut:
- Menginstal terlebih dahulu dependensi pipeline untuk mengurangi waktu mulai pekerja.
- Menginstal terlebih dahulu dependensi pipeline yang tidak tersedia di repositori publik.
- Menginstal terlebih dahulu dependensi pipeline saat akses ke repositori publik dinonaktifkan. Akses mungkin dinonaktifkan karena alasan keamanan.
- Siapkan file besar terlebih dahulu untuk mengurangi waktu mulai pekerja.
- Meluncurkan software pihak ketiga di latar belakang.
- Sesuaikan lingkungan eksekusi.
Untuk mengetahui informasi selengkapnya tentang container kustom di Apache Beam, lihat panduan container kustom Apache Beam. Untuk contoh pipeline Python yang menggunakan container kustom, lihat Container kustom Dataflow.
Langkah berikutnya
- Membangun image container kustom
- Membangun image container multi-arsitektur
- Menjalankan tugas Dataflow di container kustom
- Memecahkan masalah container kustom