Dokumentasi Dataflow
Dataflow adalah layanan terkelola untuk menjalankan berbagai macam pola pemrosesan data. Dokumentasi di situs ini menunjukkan cara men-deploy pipeline pemrosesan data batch dan streaming menggunakan Dataflow, termasuk petunjuk untuk menggunakan fitur layanan.
Apache Beam SDK adalah model pemrograman open source yang memungkinkan Anda mengembangkan pipeline batch dan streaming. Anda membuat pipeline dengan program Apache Beam, lalu menjalankannya di layanan Dataflow. Dokumentasi Apache Beammemberikan informasi konseptual dan materi referensi mendalam untuk model pemrograman, SDK, dan runner lainnya Apache Beam.
Untuk mempelajari konsep dasar Apache Beam, lihat Tour of Beam dan Beam Playground. Repositori Dataflow Cookbook juga menyediakan pipeline siap diluncurkan dan mandiri serta kasus penggunaan Dataflow yang paling umum.
Mulai bukti konsep Anda dengan kredit gratis senilai $300
- Kembangkan dengan model dan alat AI Generatif terbaru kami.
- Dapatkan penggunaan gratis untuk lebih dari 20 produk populer, termasuk Compute Engine dan AI API.
- Tanpa tagihan otomatis, tanpa komitmen.
Terus menjelajahi dengan lebih dari 20 produk yang selalu gratis.
Akses lebih dari 20 produk gratis untuk kasus penggunaan umum, termasuk API AI, VM, data warehouse, dan lainnya.
Referensi dokumentasi
Panduan
Referensi terkait
Menjalankan workload HPC yang sangat paralel
Dengan Dataflow, Anda dapat menjalankan workload yang sangat paralel dalam satu pipeline, sehingga meningkatkan efisiensi dan mempermudah pengelolaan alur kerja.
Menjalankan inferensi dengan Dataflow ML
Dengan Dataflow ML, Anda dapat menggunakan Dataflow untuk men-deploy dan mengelola pipeline machine learning (ML) yang lengkap. Gunakan model ML untuk melakukan inferensi lokal dan jarak jauh dengan pipeline streaming dan batch. Gunakan alat pemrosesan data guna menyiapkan data Anda untuk pelatihan model dan memproses hasil model.
Membuat pipeline streaming e-commerce
Bangun aplikasi contoh e-commerce menyeluruh yang mengalirkan data dari toko web ke BigQuery dan Bigtable. Aplikasi contoh ini menggambarkan kasus penggunaan umum dan praktik terbaik untuk menerapkan analisis data streaming dan kecerdasan buatan (AI) real-time.