Google proporciona plantillas de código abierto de Dataflow que puedes usar en lugar de escribir código de canalización. En esta página
se enumeran las plantillas disponibles. Las imágenes de contenedor para estas plantillas se alojan en
gcr.io/dataflow-templates.
- Para obtener información general sobre las plantillas, consulta la Descripción general.
- Para comenzar, ejecuta la plantilla de muestra WordCount.
- Para crear tu propia plantilla, consulta cómo extender las plantillas.
Plantillas de transmisión
Plantillas para procesar datos de forma continua:
- Flujos de cambios de Bigtable a BigQuery
- Flujos de cambios de Bigtable a Pub/Sub
- Flujos de cambios de Spanner a BigQuery
- Flujos de cambios de Spanner a Cloud Storage
- Flujos de cambios de Spanner a Pub/Sub
- Datastream a BigQuery (transmisión)
- Datastream a Spanner
- Datastream a MySQL o PostgreSQL (Transmisión)
- Enmascaramiento de datos y asignación de tokens de Cloud Storage a BigQuery (con Cloud DLP)
- JMS a Pub/Sub
- Kafka a BigQuery
- Kafka a Cloud Storage
- Kafka a Kafka
- MongoDB a BigQuery (transmisión)
- MQTT a Pub/Sub
- Captura de datos modificados desde MySQL hasta BigQuery (transmisión)
- Pub/Sub Avro a BigQuery
- Proto de Pub/Sub a BigQuery
- Plantilla de Proto de Pub/Sub a BigQuery con UDF de Python
- Suscripción de Pub/Sub a BigQuery
- Pub/Sub a archivos de Avro en Cloud Storage
- Pub/Sub a BigQuery
- Pub/Sub a BigQuery con UDF de Python
- De Pub/Sub a Datadog
- Pub/Sub a Elasticsearch
- Conectividad a bases de datos de Java (JDBC) de Pub/Sub
- Pub/Sub a MongoDB
- Pub/Sub a MongoDB con UDF de Python
- Pub/Sub a Pub/Sub
- Pub/Sub a Redis
- Pub/Sub a Splunk
- Tema de Pub/Sub o suscripción a archivos de texto en Cloud Storage
- Tema de Pub/Sub a archivos de texto en Cloud Storage
- Flujos de cambios de Spanner a cualquier base de datos de origen
- Archivos de texto en Cloud Storage a BigQuery (transmisión)
- Archivos de texto de Cloud Storage a BigQuery con UDF de Python
- Archivos de texto en Cloud Storage a Pub/Sub (transmisión)
Plantillas de lotes
Plantillas para procesar datos de forma masiva:
- AstraDB a BigQuery
- Avro de Cloud Storage a Bigtable
- Avro de Cloud Storage a Spanner
- BigQuery a Bigtable
- BigQuery a Clickhouse
- BigQuery a Elasticsearch
- BigQuery a MongoDB
- Exportación de BigQuery a Parquet (a través de la API de Storage)
- BigQuery a TFRecord de Cloud Storage
- Flujos de cambios de Bigtable a Vertex AI Vector Search
- Bigtable a Avro en Cloud Storage
- Bigtable al JSON de Cloud Storage
- Bigtable a Parquet en Cloud Storage
- Bigtable a SequenceFile en Cloud Storage
- Bigtable a archivos de Vertex AI Vector Search en Cloud Storage
- Apache Cassandra a Bigtable
- Spanner a Avro en Cloud Storage
- Spanner a BigQuery
- Spanner a texto de Cloud Storage
- Spanner a archivos de Vertex AI Vector Search en Cloud Storage
- Archivos CSV de Cloud Storage a BigQuery
- Cloud Storage Text a BigQuery
- Archivos de texto de Cloud Storage a BigQuery con UDF de Python
- Texto de Cloud Storage a Spanner
- Cloud Storage en archivos de texto a Datastore [obsoleta]
- Cloud Storage a Elasticsearch
- Cloud Storage Text a Firestore (modo Datastore)
- Cloud Storage Text a Pub/Sub (por lotes)
- Datastore a Cloud Storage en archivos de texto [obsoleta]
- Firestore (modo Datastore) a Cloud Storage Text
- Google Ads a BigQuery
- Google Cloud a Neo4j
- JDBC a BigQuery
- JDBC a Pub/Sub
- MongoDB a BigQuery
- MySQL a BigQuery
- Oracle a BigQuery
- Archivos Parquet de Cloud Storage en Bigtable
- De PostgreSQL a BigQuery
- SequenceFile de Cloud Storage a Bigtable
- Cualquier Source DB a Spanner
- De SQL Server a BigQuery