Google 提供開放原始碼 Dataflow 範本,您可以直接使用這些範本,無須自行編寫管道程式碼。這個頁面會列出可用的範本。這些範本的容器映像檔託管於
gcr.io/dataflow-templates。
串流範本
用於連續處理資料的範本:
- 將 Bigtable 變更串流至 BigQuery
- 將 Bigtable 變更串流至 Pub/Sub
- 將 Spanner 變更串流至 BigQuery
- 將 Spanner 變更串流至 Cloud Storage
- 將 Spanner 變更串流至 Pub/Sub
- Datastream 至 BigQuery (串流)
- Datastream 至 Spanner
- Datastream 到 MySQL 或 PostgreSQL (串流)
- 使用 Cloud DLP 將 Cloud Storage 中的資料遮蓋/代碼化至 BigQuery
- JMS 至 Pub/Sub
- Kafka 至 BigQuery
- Kafka 至 Cloud Storage
- Kafka 到 Kafka
- 從 MongoDB 遷移至 BigQuery (串流)
- MQTT 至 Pub/Sub
- 從 MySQL 到 BigQuery 的變更資料擷取 (串流)
- Pub/Sub Avro 至 BigQuery
- Pub/Sub Proto 至 BigQuery
- 使用 Python UDF 的 Pub/Sub Proto 至 BigQuery
- 將 Pub/Sub 訂閱內容串流至 BigQuery
- Cloud Storage 中的 Pub/Sub 至 Avro 檔案
- Pub/Sub 到 BigQuery
- 使用 Python UDF 的 Pub/Sub 至 BigQuery
- Pub/Sub 至 Datadog
- Pub/Sub 至 Elasticsearch
- Pub/Sub 至 Java Database Connectivity (JDBC)
- Pub/Sub 至 MongoDB
- 使用 Python UDF 的 Pub/Sub 至 MongoDB
- Pub/Sub 至 Pub/Sub
- Pub/Sub 至 Redis
- Pub/Sub 至 Splunk
- Cloud Storage 中的 Pub/Sub 主題或訂閱項目至文字檔案
- Cloud Storage 中的 Pub/Sub 主題至文字檔案
- 將 Spanner 變更串流傳輸至任何來源資料庫
- 將 Cloud Storage 中的文字檔案遷移至 BigQuery (串流)
- 使用 Python UDF 的 Cloud Storage 文字檔案至 BigQuery
- Text files on Cloud Storage to Pub/Sub (Stream)
批次範本
用於處理大量資料的範本:
- AstraDB 至 BigQuery
- Cloud Storage Avro 到 Bigtable
- Cloud Storage Avro 到 Spanner
- Cloud Storage Avro 到 Spanner 資料驗證
- BigQuery 至 Bigtable
- BigQuery 至 Clickhouse
- BigQuery 至 Elasticsearch
- BigQuery 至 MongoDB
- 將 BigQuery 匯出為 Parquet 格式 (透過 Storage API)
- BigQuery 至 Cloud Storage TFRecords
- 將 Bigtable 變更串流傳輸至 Vertex AI 向量搜尋
- Bigtable 到 Cloud Storage Avro
- Bigtable 到 Cloud Storage JSON
- Bigtable 至 Cloud Storage Parquet
- Bigtable 至 Cloud Storage SequenceFile
- Cloud Storage 中的 Bigtable 至 Vertex AI 向量搜尋檔案
- Apache Cassandra 至 Bigtable
- Spanner 到 Cloud Storage Avro
- Spanner 至 BigQuery
- Spanner 到 Cloud Storage Text
- Cloud Storage 中的 Spanner 至 Vertex AI 向量搜尋檔案
- Cloud Storage CSV 檔案至 BigQuery
- Cloud Storage 文字到 BigQuery
- 使用 Python UDF 的 Cloud Storage 文字檔案至 BigQuery
- Cloud Storage 文字到 Spanner
- Cloud Storage 文字到 Datastore [已淘汰]
- Cloud Storage 至 Elasticsearch
- Cloud Storage 文字到 Firestore (Datastore 模式)
- Cloud Storage 文字到 Pub/Sub (批次)
- Datastore 到 Cloud Storage 文字 [已淘汰]
- Firestore (Datastore 模式) 到 Cloud Storage Text
- Google Ads 至 BigQuery
- Google Cloud 至 Neo4j
- JDBC 至 BigQuery
- JDBC 至 Pub/Sub
- 從 MongoDB 遷移至 BigQuery
- 從 MySQL 遷移至 BigQuery
- 從 Oracle 遷移至 BigQuery
- Cloud Storage Parquet 至 Bigtable
- 從 PostgreSQL 遷移至 BigQuery
- Cloud Storage SequenceFile 到 Bigtable
- 任何來源資料庫至 Spanner
- 從 SQL Server 遷移至 BigQuery