Kasus penggunaan Dataflow

Dataflow dirancang untuk mendukung pipeline streaming dan batch dalam skala besar. Dataflow dibangun di framework Apache Beam open source.

Halaman ini menautkan ke tutorial dan contoh kasus penggunaan untuk membantu Anda memulai.

Tentang Dataflow Tentang Apache Beam

Perpindahan data

Tutorial ini menunjukkan cara menjalankan template Dataflow yang membaca dari Layanan Terkelola untuk Apache Kafka dan menulis data ke tabel BigQuery.
Tutorial ini menunjukkan cara menjalankan template Dataflow yang membaca pesan berenkode JSON dari Pub/Sub dan menuliskannya ke tabel BigQuery.

Dataflow ML

Notebook ini menunjukkan cara menggunakan model ML di pipeline Apache Beam yang menggunakan transformasi RunInference.
Notebook ini menunjukkan cara menjalankan inferensi machine learning menggunakan vLLM dan GPU. vLLM adalah library untuk inferensi dan penyajian LLM.

Resource lainnya

Link ke kode contoh dan panduan referensi teknis untuk kasus penggunaan Dataflow umum.
Dalam tutorial ini, Anda akan membuat pipeline yang mengubah data e-commerce dari Pub/Sub dan menghasilkan output data ke BigQuery dan Bigtable.
Dengan Dataflow, Anda dapat menjalankan workload yang sangat paralel dalam satu pipeline, sehingga meningkatkan efisiensi dan mempermudah pengelolaan alur kerja.