O Google fornece
modelos de código aberto
do Dataflow que podem ser usados no lugar dos códigos de pipeline. Nesta página
listamos os modelos disponíveis. As imagens de contêiner desses modelos são hospedadas em
gcr.io/dataflow-templates.
- Para informações gerais sobre modelos, consulte o Visão geral.
- Para começar, execute o modelo WordCount de exemplo.
- Para criar seu próprio modelo, veja as instruções de como estender modelos.
Modelos de streaming
Modelos para processar dados continuamente:
- Fluxos fluxo de alterações para o BigQuery
- Fluxos fluxo de alterações para o Pub/Sub
- Fluxos fluxo de alterações para o BigQuery
- Fluxos fluxo de alterações para o Cloud Storage
- Fluxos fluxo de alterações para o Pub/Sub
- Datastream para o BigQuery (stream)
- Datastream para o Spanner
- Datastream para MySQL ou PostgreSQL (Stream)
- Tokenização/mascaramento de dados do Cloud Storage para o BigQuery (usando o Cloud DLP)
- JMS para Pub/Sub
- Kafka para BigQuery
- Kafka para Cloud Storage
- Kafka para Kafka
- MongoDB para BigQuery (stream)
- MQTT para o Pub/Sub
- Captura de dados alternados do MySQL para o BigQuery (stream)
- Avro do Pub/Sub para BigQuery
- Buffer de protocolo do Pub/Sub para BigQuery
- Proto do Pub/Sub para BigQuery com UDF em Python
- Assinatura do Pub/Sub para BigQuery
- Pub/Sub para arquivos Avro no Cloud Storage
- Pub/Sub para BigQuery
- Pub/Sub para BigQuery com UDF em Python
- Pub/Sub para Datadog
- Pub/Sub para Elasticsearch
- Pub/Sub para Java Database Connectivity (JDBC)
- Pub/Sub para MongoDB
- Pub/Sub para MongoDB com UDF em Python
- Pub/Sub para Pub/Sub
- Pub/Sub para Redis
- Pub/Sub para Splunk
- Tópico do Pub/Sub ou assinatura de arquivos de texto no Cloud Storage
- Tópico do Pub/Sub para arquivos de texto no Cloud Storage
- Fluxos fluxo de alterações para qualquer banco de dados de origem
- Arquivos de texto no Cloud Storage para BigQuery (stream)
- Arquivos de texto do Cloud Storage para o BigQuery com UDF em Python
- Arquivos de texto no Cloud Storage para o Pub/Sub (stream)
Modelos de lotes
Modelos para processamento de dados em massa:
- AstraDB para BigQuery
- Cloud Storage Avro para Bigtable
- Cloud Storage Avro para Spanner
- BigQuery para Bigtable
- BigQuery para Clickhouse
- BigQuery para Elasticsearch
- BigQuery para MongoDB
- Exportação do BigQuery para Parquet (por meio da API Storage)
- BigQuery para TFRecords do Cloud Storage
- Fluxos fluxo de alterações para a Vertex AI Busca Vetorial
- Bigtable para Cloud Storage Avro
- Bigtable para JSON do Cloud Storage
- Bigtable para Cloud Storage Parquet
- Bigtable para Cloud Storage SequenceFile
- Bigtable para arquivos de busca vetorial da Vertex AI no Cloud Storage
- Apache Cassandra para Bigtable
- Spanner para o Cloud Storage Avro
- Spanner para o BigQuery
- Spanner para texto do Cloud Storage
- Spanner para arquivos de busca vetorial da Vertex AI no Cloud Storage
- Arquivos CSV do Cloud Storage para o BigQuery
- Cloud Storage Text para BigQuery
- Arquivos de texto do Cloud Storage para o BigQuery com UDF em Python
- Cloud Storage Text para Spanner
- Cloud Storage Text para Datastore [Descontinuado]
- Cloud Storage para Elasticsearch
- Cloud Storage Text para Firestore (modo Datastore)
- Cloud Storage Text para Pub/Sub (Lote)
- Datastore para Cloud Storage Text [Descontinuado]
- Firestore (modo Datastore) para Cloud Storage Text
- Google Ads para BigQuery
- Google Cloud para Neo4j
- JDBC para BigQuery
- JDBC para Pub/Sub
- MongoDB para BigQuery
- MySQL para BigQuery
- Oracle para BigQuery
- Cloud Storage Parquet para Bigtable
- PostgreSQL para BigQuery
- Cloud Storage SequenceFile para Bigtable
- Qualquer DB de origem para o Spanner
- SQL Server para BigQuery