Google 提供開放原始碼的 Dataflow 範本,您可以直接使用這些範本,無須自行編寫管道程式碼。此頁面列出了可用的模板。這些範本的容器鏡像託管在gcr.io/dataflow-templates。
串流範本
用於持續處理資料的模板:
- 將 Bigtable 變更串流至 BigQuery
- 將 Bigtable 變更串流至 Pub/Sub
- Spanner 變更串流至 BigQuery
- 將 Spanner 變更串流至 Cloud Storage
- 將 Spanner 變更串流至 Pub/Sub
- Datastream to BigQuery (Stream)
- Datastream 至 Spanner
- 資料流到 MySQL 或 PostgreSQL(流)
- 使用 Cloud DLP 從 Cloud Storage 到 BigQuery 的資料遮蓋/代碼化
- JMS 至 Pub/Sub
- Kafka 至 BigQuery
- Kafka 到雲端儲存
- Kafka 到 Kafka
- MongoDB 到 BigQuery(流)
- MQTT 到 Pub/Sub
- 將變更資料擷取從 MySQL 變更為 BigQuery(串流)
- Pub/Sub Avro 至 BigQuery
- Pub/Sub Proto 至 BigQuery
- 使用 Python UDF 將 Pub/Sub Proto 連接到 BigQuery
- Pub/Sub 訂閱至 BigQuery
- Cloud Storage 中的 Pub/Sub 至 Avro 檔案
- Pub/Sub 到 BigQuery
- 使用 Python UDF 發布/訂閱到 BigQuery
- Pub/Sub 到 Datadog
- Pub/Sub 至 Elasticsearch
- Pub/Sub 到 Java Database Connectivity (JDBC)
- Pub/Sub 至 MongoDB
- 使用 Python UDF 發布/訂閱到 MongoDB
- Pub/Sub 到 Pub/Sub
- Pub/Sub 至 Redis
- Pub/Sub 至 Splunk
- Cloud Storage 中的 Pub/Sub 主題或訂閱項目至文字檔案
- Pub/Sub 主題至 Cloud Storage 中的文字檔案
- 將 Spanner 變更串流傳輸至任何來源資料庫
- 將 Cloud Storage 中的文字檔案遷移至 BigQuery (串流)
- 使用 Python UDF 將 Cloud Storage 文字檔案匯入 BigQuery
- Cloud Storage 中的文字檔案到 Pub/Sub (串流)
批次範本
用於處理大量資料的範本:
- AstraDB 至 BigQuery
- Cloud Storage Avro 到 Bigtable
- Cloud Storage Avro 到 Spanner
- BigQuery 至 Bigtable
- BigQuery 至 Clickhouse
- BigQuery 至 Elasticsearch
- BigQuery 至 MongoDB
- 將 BigQuery 匯出至 Parquet (透過 Storage API)
- BigQuery 至 Cloud Storage TFRecords
- 將 Bigtable 變更串流傳輸至 Vertex AI 向量搜尋
- Bigtable 到雲端儲存 Avro
- Bigtable 至 Cloud Storage JSON
- Bigtable 到 Cloud Storage Parquet
- Bigtable 到 Cloud Storage SequenceFile
- Cloud Storage 中的 Bigtable 至 Vertex AI 向量搜尋檔案
- Apache Cassandra 至 Bigtable
- Spanner 到 Cloud Storage Avro
- Spanner 至 BigQuery
- Spanner 到 Cloud Storage 文字
- Spanner 到 Vertex AI 向量搜尋檔案在 Cloud Storage 上
- Cloud Storage CSV 檔案至 BigQuery
- Cloud Storage 文字到 BigQuery
- 使用 Python UDF 將 Cloud Storage 文字檔案匯入 BigQuery
- 雲端儲存文字轉 Spanner
- Cloud Storage 文字到 Datastore [已淘汰]
- Cloud Storage 至 Elasticsearch
- Cloud Storage 文字到 Firestore (Datastore 模式)
- 雲端儲存文字到 Pub/Sub(批次)
- 資料儲存到雲端儲存文字 [已棄用]
- Firestore (Datastore 模式) 到 Cloud Storage 文字
- Google Ads 至 BigQuery
- Google Cloud 至 Neo4j
- JDBC 到 BigQuery
- JDBC 至 Pub/Sub
- 從 MongoDB 遷移至 BigQuery
- 從 MySQL 遷移至 BigQuery
- 從 Oracle 遷移至 BigQuery
- Cloud Storage Parquet 到 Bigtable
- PostgreSQL 到 BigQuery
- Cloud Storage SequenceFile 到 Bigtable
- 任何來源資料庫至 Spanner
- 從 SQL Server 遷移至 BigQuery