Inizia a utilizzare Dataflow.

Il servizio Dataflow esegue le pipeline definite dall'SDK Apache Beam. Tuttavia, per molti casi d'uso, non è necessario scrivere codice con l'SDK, perché Dataflow offre diverse opzioni no-code e low-code.

  • Modelli. Dataflow fornisce modelli predefiniti per spostare i dati da un prodotto all'altro. Ad esempio, puoi utilizzare un modello per spostare i dati da Pub/Sub a BigQuery.

  • Generatore di job. Il generatore di job è un'interfaccia utente visiva per la creazione di pipeline Dataflow nella consoleGoogle Cloud . Supporta un sottoinsieme di origini e sink Apache Beam, nonché trasformazioni come join, funzioni Python e query SQL. Consigliamo lo strumento per la creazione dei job per casi d'uso semplici come lo spostamento dei dati.

  • Trasformazioni chiavi in mano per ML. Per le pipeline di machine learning (ML), Dataflow fornisce trasformazioni chiavi in mano che richiedono una configurazione minima del codice. Come punto di partenza, esegui un notebook ML di esempio in Google Colab. Per scoprire di più, consulta la panoramica di Dataflow ML.

  • SDK Apache Beam. Per sfruttare tutta la potenza di Apache Beam, utilizza l'SDK per scrivere una pipeline personalizzata in Python, Java o Go.

Per aiutarti a decidere, la seguente tabella elenca alcuni esempi comuni.

Ho intenzione di… Approccio consigliato
Sposta i dati da un'origine a un sink, senza logica personalizzata.

Generatore di job o modello

Ti consigliamo di iniziare con il generatore di job. Se lo strumento di creazione dei job non supporta il tuo caso d'uso, verifica se esiste un modello.
Sposta i dati da un'origine a una destinazione e applica una logica personalizzata utilizzando funzioni Python o SQL. Generatore di job
Utilizzare un modello di ML nella mia pipeline o preparare i miei dati per l'addestramento o l'inferenza. Dataflow ML trasformazioni chiavi in mano
Scrivi una pipeline che richiede funzionalità Apache Beam più avanzate. SDK Apache Beam per Java, Python o Go

Passaggi successivi