Google fornisce
modelli Dataflow open source
che puoi utilizzare anziché scrivere codice della pipeline. Questa pagina
elenca i modelli disponibili. Le immagini container per questi modelli sono ospitate all'indirizzo
gcr.io/dataflow-templates.
- Per informazioni generali sui modelli, consulta la panoramica.
- Per iniziare, esegui il modello di esempio WordCount.
- Per creare un modello, scopri come estendere i modelli.
Modelli di streaming
Modelli per l'elaborazione continua dei dati:
- Stream di modifiche in tempo reale Bigtable a BigQuery
- Stream modifiche in tempo reale a Pub/Sub
- Modifiche in tempo reale di Spanner a BigQuery
- Flussi di modifiche in tempo reale di Spanner a Cloud Storage
- Flussi di modifiche in tempo reale di Spanner a Pub/Sub
- Datastream to BigQuery (Stream)
- Datastream a Spanner
- Datastream a MySQL o PostgreSQL (stream)
- Mascheramento/tokenizzazione dei dati da Cloud Storage a BigQuery (utilizzando Cloud DLP)
- JMS a Pub/Sub
- Kafka a BigQuery
- Kafka a Cloud Storage
- Da Kafka a Kafka
- MongoDB a BigQuery (stream)
- MQTT to Pub/Sub
- Change Data Capture da MySQL a BigQuery (stream)
- Pub/Sub Avro a BigQuery
- Pub/Sub Proto to BigQuery
- Protocollo Pub/Sub a BigQuery con UDF Python
- Sottoscrizione Pub/Sub in BigQuery
- Pub/Sub a file Avro in Cloud Storage
- Da Pub/Sub a BigQuery
- Da Pub/Sub a BigQuery con la funzione definita dall'utente Python
- Pub/Sub a Datadog
- Pub/Sub a Elasticsearch
- Da Pub/Sub a Java Database Connectivity (JDBC)
- Da Pub/Sub a MongoDB
- Da Pub/Sub a MongoDB con UDF Python
- Da Pub/Sub a Pub/Sub
- Pub/Sub a Redis
- Pub/Sub a Splunk
- Argomento o sottoscrizione Pub/Sub a file di testo su Cloud Storage
- Argomento Pub/Sub per i file di testo su Cloud Storage
- Modifiche in tempo reale di Spanner a qualsiasi database di origine
- File di testo da Cloud Storage a BigQuery (flusso)
- File di testo Cloud Storage a BigQuery con funzione definita dall'utente Python
- File di testo su Cloud Storage a Pub/Sub (stream)
Modelli batch
Modelli per l'elaborazione dei dati in blocco:
- AstraDB a BigQuery
- Avro di Cloud Storage a Bigtable
- Avro Cloud Storage a Spanner
- Convalida dei dati da Avro di Cloud Storage a Spanner
- BigQuery a Bigtable
- BigQuery a Clickhouse
- BigQuery a Elasticsearch
- BigQuery a MongoDB
- Esportazione in BigQuery in formato Parquet (tramite l'API Storage)
- BigQuery in TFRecords di Cloud Storage
- Stream di modifiche in tempo reale a Vertex AI Vector Search
- Bigtable in Avro di Cloud Storage
- Bigtable a Cloud Storage JSON
- Bigtable a Cloud Storage Parquet
- Bigtable in SequenceFile di Cloud Storage
- File da Bigtable a Vertex AI Vector Search su Cloud Storage
- Apache Cassandra a Bigtable
- Spanner to Cloud Storage Avro
- Da Spanner a BigQuery
- Spanner in Cloud Storage Text
- File Spanner to Vertex AI Vector Search su Cloud Storage
- File CSV Cloud Storage in BigQuery
- Cloud Storage Text to BigQuery
- File di testo Cloud Storage a BigQuery con funzione definita dall'utente Python
- Cloud Storage Text to Spanner
- Cloud Storage Text to Datastore [ritirato]
- Cloud Storage a Elasticsearch
- Cloud Storage Text to Firestore (Datastore mode)
- Cloud Storage Text to Pub/Sub (batch)
- Datastore to Cloud Storage Text [ritirato]
- Firestore (modalità Datastore) a Cloud Storage Text
- Google Ads a BigQuery
- Google Cloud a Neo4j
- JDBC to BigQuery
- JDBC a Pub/Sub
- Da MongoDB a BigQuery
- Da MySQL a BigQuery
- Da Oracle a BigQuery
- Cloud Storage Parquet to Bigtable
- Da PostgreSQL a BigQuery
- SequenceFile di Cloud Storage a Bigtable
- Qualsiasi DB di origine a Spanner
- Da SQL Server a BigQuery