Dataflow è basato sul progetto open source Apache Beam. Puoi utilizzare l'SDK Apache Beam per creare pipeline per Dataflow. Questo documento elenca alcune risorse per iniziare a programmare con Apache Beam.
Inizia
Installa o aggiorna l'SDK Apache Beam: mostra come installare o aggiornare l'SDK Apache Beam per eseguire le pipeline in Dataflow.
Crea una pipeline Java: mostra come creare una pipeline con l'SDK Apache Beam Java ed eseguirla in Dataflow.
Crea una pipeline Python: mostra come creare una pipeline con l'SDK Apache Beam Python ed eseguirla in Dataflow.
Crea una pipeline Go: mostra come creare una pipeline con l'SDK Apache Beam Go ed eseguirla in Dataflow.
Scopri Apache Beam
Puoi utilizzare le seguenti pagine del sito web Apache Beam per scoprire di più sulla programmazione Apache Beam.
Guida alla programmazione di Apache Beam: fornisce indicazioni per l'utilizzo delle classi dell'SDK Apache Beam per creare e testare la pipeline.
Tour di Apache Beam: Una guida all'apprendimento che puoi utilizzare per acquisire familiarità con Apache Beam. Le unità di apprendimento sono accompagnate da esempi di codice che puoi eseguire e modificare.
Playground Apache Beam: Un ambiente interattivo per provare trasformazioni ed esempi di Apache Beam senza dover installare Apache Beam nel tuo ambiente.
Crea la pipeline: spiega il meccanismo di utilizzo delle classi negli SDK Apache Beam e i passaggi necessari per creare una pipeline.
Sviluppare pipeline
Pianifica la pipeline: scopri come pianificare la pipeline prima di iniziare lo sviluppo del codice.
Sviluppa e testa le pipeline: scopri le best practice per sviluppare e testare la pipeline Dataflow.
Pipeline di streaming: scopri le considerazioni di progettazione importanti per le pipeline di streaming, tra cui finestre, trigger e filigrane.
Esempi di codice
Puoi utilizzare i seguenti esempi di Apache Beam GitHub per iniziare a creare una pipeline di streaming:
- Estrazione di parole in streaming (Java)
- Conteggio parole in streaming (Python) e
streaming_wordcap(Vai).
Passaggi successivi
- Esegui il deployment delle pipeline Dataflow.
- Utilizza l'interfaccia di monitoraggio dei job Dataflow.