Google fournit des modèles Dataflow Open Source que vous pouvez utiliser au lieu d'écrire du code de pipeline. Cette page
répertorie les modèles disponibles. Les images de conteneur pour ces modèles sont hébergées sur
gcr.io/dataflow-templates.
- Des informations générales sur les modèles sont disponibles sur la page Présentation.
- Pour commencer, exécutez l'exemple de modèle WordCount.
- Pour créer votre propre modèle, découvrez comment étendre les modèles.
Streaming templates
Modèles destinés au traitement des données en continu :
- Flux de modifications de Bigtable vers BigQuery
- Flux de modifications de Bigtable vers Pub/Sub
- Flux de modifications de Spanner vers BigQuery
- Flux de modifications de Spanner vers Cloud Storage
- Flux de modifications de Spanner vers Pub/Sub
- DataStream vers BigQuery (flux)
- Datastream vers Spanner
- Datastream vers MySQL ou PostgreSQL (flux)
- Masquage/Tokenisation de données de Cloud Storage vers BigQuery (à l'aide de Cloud DLP)
- JMS vers Pub/Sub
- Kafka vers BigQuery
- Kafka vers Cloud Storage
- Kafka vers Kafka
- MongoDB vers BigQuery (flux)
- MQTT vers Pub/Sub
- Capture des données modifiées de MySQL vers BigQuery (flux)
- Pub/Sub Avro vers BigQuery
- Proto Pub/Sub vers BigQuery
- Proto Pub/Sub vers BigQuery avec la fonction Python définie par l'utilisateur
- Abonnement Pub/Sub vers BigQuery
- Pub/Sub vers fichiers Avro dans Cloud Storage
- Pub/Sub vers BigQuery
- Pub/Sub vers BigQuery avec Python UDF
- Pub/Sub vers Datadog
- Pub/Sub vers Elasticsearch
- Pub/Sub vers Java Database Connectivity (JDBC)
- Pub/Sub vers MongoDB
- Pub/Sub vers MongoDB avec Python UDF
- Pub/Sub vers Pub/Sub
- Pub/Sub vers Redis
- Pub/Sub vers Splunk
- Sujet Pub/Sub ou abonnement vers des fichiers texte dans Cloud Storage
- Sujet Pub/Sub vers des fichiers texte dans Cloud Storage
- Flux de modifications de Spanner vers n'importe quelle base de données source
- Fichiers texte dans Cloud Storage vers BigQuery (Flux)
- Fichiers texte Cloud Storage vers BigQuery avec UDF Python
- Fichiers texte sur Cloud Storage vers Pub/Sub (flux)
Batch templates
Modèles destinés au traitement des données de manière groupée :
- AstraDB vers BigQuery
- Cloud Storage Avro vers Bigtable
- Cloud Storage Avro vers Spanner
- BigQuery vers Bigtable
- BigQuery vers Clickhouse
- BigQuery vers Elasticsearch
- BigQuery vers MongoDB
- Exporter de BigQuery vers Parquet (via l'API Storage)
- BigQuery vers TFRecords Cloud Storage
- Flux de modifications Bigtable vers Vertex AI Vector Search
- Bigtable vers Cloud Storage Avro
- Bigtable vers Cloud Storage JSON
- Bigtable vers Cloud Storage Parquet
- Bigtable vers Cloud Storage SequenceFile
- Bigtable vers fichiers Vertex AI Vector Search sur Cloud Storage
- Apache Cassandra vers Bigtable
- Spanner vers Cloud Storage Avro
- Spanner vers BigQuery
- Spanner vers Texte Cloud Storage
- Spanner vers fichiers Vertex AI Vector Search sur Cloud Storage
- Fichiers CSV Cloud Storage vers BigQuery
- Texte Cloud Storage vers BigQuery
- Fichiers texte Cloud Storage vers BigQuery avec UDF Python
- Texte Cloud Storage vers Spanner
- Texte Cloud Storage vers Datastore [obsolète]
- Cloud Storage vers Elasticsearch
- Texte Cloud Storage vers Firestore (mode Datastore)
- Texte Cloud Storage vers Pub/Sub (lot)
- Datastore vers texte Cloud Storage [obsolète]
- Firestore (mode Datastore) vers texte Cloud Storage
- Google Ads vers BigQuery
- Google Cloud vers Neo4j
- JDBC vers BigQuery
- JDBC vers Pub/Sub
- MongoDB vers BigQuery
- MySQL vers BigQuery
- Oracle vers BigQuery
- Cloud Storage Parquet vers Bigtable
- PostgreSQL vers BigQuery
- Cloud Storage SequenceFile vers Bigtable
- N'importe quelle base de données source vers Spanner
- SQL Server vers BigQuery