Dataflow dibangun di project Apache Beam open source. Anda dapat menggunakan Apache Beam SDK untuk membangun pipeline untuk Dataflow. Dokumen ini mencantumkan beberapa referensi untuk memulai pemrograman Apache Beam.
Mulai
Menginstal atau mengupdate Apache Beam SDK: Menunjukkan cara menginstal atau mengupdate Apache Beam SDK sehingga Anda dapat menjalankan pipeline di Dataflow.
Membuat pipeline Java: Menunjukkan cara membuat pipeline dengan Apache Beam Java SDK dan menjalankan pipeline di Dataflow.
Membuat pipeline Python: Menunjukkan cara membuat pipeline dengan Apache Beam Python SDK dan menjalankan pipeline di Dataflow.
Membuat pipeline Go: Menunjukkan cara membuat pipeline dengan Apache Beam Go SDK dan menjalankan pipeline di Dataflow.
Mempelajari Apache Beam
Anda dapat menggunakan halaman berikut di situs Apache Beam untuk mempelajari pemrograman Apache Beam.
Panduan pemrograman Apache Beam: Memberikan panduan untuk menggunakan class Apache Beam SDK guna membangun dan menguji pipeline Anda.
Tur Apache Beam: Panduan pembelajaran yang dapat Anda gunakan untuk memahami Apache Beam. Unit pembelajaran disertai dengan contoh kode yang dapat Anda jalankan dan ubah.
Playground Apache Beam: Lingkungan interaktif untuk mencoba contoh dan transformasi Apache Beam tanpa harus menginstal Apache Beam di lingkungan Anda.
Membuat pipeline: Menjelaskan mekanisme penggunaan class di Apache Beam SDK dan langkah-langkah yang diperlukan untuk membangun pipeline.
Mengembangkan pipeline
Rencanakan pipeline Anda: Pelajari cara merencanakan pipeline sebelum Anda memulai pengembangan kode.
Mengembangkan dan menguji pipeline: Pelajari praktik terbaik untuk mengembangkan dan menguji pipeline Dataflow Anda.
Pipeline streaming: Pelajari pertimbangan desain penting untuk pipeline streaming, termasuk jendela, pemicu, dan tanda air.
Contoh kode
Anda dapat menggunakan contoh berikut dari GitHub Apache Beam untuk mulai membangun pipeline streaming:
- Ekstraksi kata streaming (Java)
- Jumlah kata streaming (Python), dan
streaming_wordcap(Mulai).