Media: artikel, video, dan podcast

Halaman ini menyediakan link ke artikel, video, dan podcast publik yang terkait dengan Dataflow.

Pengumuman

Untuk membaca pengumuman dan update, lihat referensi berikut:

• Berita Dataflow: Google Cloud blog
• Update Dataflow: Catatan rilis Dataflow
• Update Apache Beam: Catatan rilis Apache Beam SDK

Ekosistem Dataflow

• Dataflow, tulang punggung analisis data
• Dataflow Under the Hood: the origin story: Part 1, Part 2, Part 3
• Buka dokumen open source Apache Beam untuk mempelajari lebih lanjut cara mengembangkan model terpadu, menentukan pipeline, danmenjalankan pipeline di Dataflow atau salah satu backend terdistribusi yang didukung Apache Beam.

Kisah pelanggan

Artikel publik

• Kumpulan kisah Dataflow - Publikasi Medium
• Dataflow a Leader in 2021 Streaming Analytics - Forrester Wave
• Building a tool which provides real-time feedback on live audiences - ITV
• Monitoring your Dataflow pipelines - Medium Publication
• Execution Model for Highly Scalable, Low-Latency Data Processing - Medium Publication
• Accelerating Machine Learning Model Inference on Dataflow with GPUs - Nvidia
• Executing computation against large datasets - Pandora
• Optimized the Largest Dataflow Job Ever for Wrapped 2020 - Spotify
• Processing billions of events in real time using Dataflow - Twitter
• Dataflow In the Smart Home Data Pipeline - Nest
• Streaming JSON messages into BigQuery JSON-type column - Medium

Studi kasus

• AXA Switzerland: Using Google Cloud analytics solutions to boost internal processes and develop services
• Bayer Crop: Improving soil health and crop management with geospatial analytics on BigQuery and Dataflow
• Dow Jones: Built a knowledge Graph of key events documented in over 30 years of news content
• HSBC: Embracing the cloud to lower risk exposure through rapid insight and analysis capabilities
• Nintendo: Using Dataflow and Pub/Sub to collect and analyze game usage logs in BigQuery
• Quantiphi: Built a serverless real-time credit card fraud detection solution
• SoFi Stadium: Building a fan ready personal concierge app to tailor game day experiences for every user
• Spotify: Experiments with stream processing on Dataflow
• Subaru Corporation: Using Google Cloud AI and Machine learning to accelerate the development
• Telus: Accelerate modernization with data science
• Tokopedia: Created a Customer Data Platform on Google Cloud
• Tyson Foods: Reimagined their Data Platform by developing Ingestion as a Service
• Vodafone: Using Google Cloud to safely share mobile phone data

Video

Brightcove: Pemrosesan data serverless dengan Dataflow dan Pub/Sub

Sky: Analisis Streaming Real-Time dengan Dataflow

Spotify: Bermigrasi dari pipeline dan layanan mikro intelijen musik ke Dataflow dan Pub/Sub

Two Sigma: Memajukan Pemrosesan Data Serverless di Dataflow

Tyson Foods: Menghasilkan nilai real time dengan analisis streaming

Veolia: Menggunakan Dataflow dalam produksi untuk mengubah, membersihkan, dan menyisipkan puluhan ribu file ke dalam data lake BigQuery kami

Verizon: Membangun platform analisis skala internet di Google Cloud

Panduan teknis

Video Pengantar

Dataflow dalam satu menit

Apa yang dimaksud dengan Dataflow?

Google Cloud Teknologi: 1) Apa yang dimaksud dengan Apache Beam?

Google Cloud Teknologi: 2) Cara menggunakan WordCount di Apache Beam

Google Cloud Teknologi: 3) Cara memproses data streaming di Apache Beam

Google Cloud Teknologi: 4) Cara memproses data terlambat di Apache Beam

Google Cloud Teknologi: 5) Menggabungkan data di Apache Beam

Apache Beam, model terpadu untuk pemrosesan data batch dan streaming

Pengantar singkat pipeline data Dataflow

Akses mudah ke analisis streaming dengan Google Cloud

Artikel

• Membangun organisasi yang didorong oleh rekayasa data
• Membuat template dari pipeline Dataflow apa pun
• Template Dataflow untuk Elastic Cloud
• Pipeline Dataflow: men-deploy dan mengelola pipeline data dalam skala besar
• Dataflow Auto Sharding untuk BigQuery memberikan performa 3x
• Mengekspor Google Cloud data ke Elastic Stack dengan template Dataflow
• Memperluas template Dataflow dengan UDF
• Pemrosesan tepat satu kali di Dataflow: Bagian 1, Bagian 2, Bagian 3
• Meningkatkan pemrosesan data dengan Dataflow GPU
• Menangani data duplikat di pipeline streaming menggunakan Dataflow &Pub/Sub
• Mempelajari pola Apache Beam dengan pemrosesan Clickstream data Google Tag Manager
• Pola machine learning dengan Apache Beam dan Runner Dataflow
• Melakukan streaming data ke BigQuery menggunakan BigQuery Storage Write API
• Menyederhanakan dan mengotomatiskan pemrosesan data dengan Dataflow Prime
• Tiga cara Dataflow memberikan ROI kepada Pelanggan
• Menggunakan pola referensi deteksi anomali real-time untuk memerangi penipuan
• Menggunakan inferensi TFX dengan Dataflow untuk pola inferensi ML skala besar
• Alasan Anda harus menggunakan template Flex untuk deployment Dataflow
• Menulis pipeline Dataflow dengan mempertimbangkan skalabilitas
• Panduan untuk pola kasus penggunaan Dataflow umum: Bagian 1, Bagian 2

Video Data &Analisis

Apache Beam Summit: Menangani Data Duplikat di Pipeline Streaming menggunakan Dataflow dan Pub/Sub

Cloud OnAir: Stream Processing with Dataflow: SDKs &Architectures

Cloud Next: Apache Beam - Portable and Parallel Data Processing

Cloud Next: Analisis streaming di Google Cloud

Cloud Next: Membangun Pipeline Analisis Peristiwa Anda Sendiri menggunakan BigQuery, Dataflow, dan Kubernetes

Cloud Next: Ekosistem Apache Kafka As-a-Service di Google Cloud dengan Confluent Cloud

Pemecahan masalah dan pemantauan

Video

Kemampuan Observasi, Pemantauan, dan Pemecahan Masalah Dataflow

Apache Beam College: Pemantauan Dataflow

Apache Beam College: Logging Dataflow

Apache Beam College: Pemecahan masalah dan proses debug Apache Beam dan Dataflow

Artikel

• Menggunakan antarmuka pemantauan Dataflow
• Membangun pipeline data siap produksi menggunakan Dataflow: Memantau pipeline data
• Pemecahan masalah dan proses debug pipeline

Podcast

• Google Cloud Episode Podcast 81 - Dataflow dengan Frances Perry
• Software Engineering Daily Podcast - Dataflow dengan Eric Anderson
• Software Engineering Radio Podcast Episode 272: Apache Beam