Google מספקת תבניות Dataflow קוד פתוח שבהן אפשר להשתמש במקום לכתוב קוד של צינור עיבוד נתונים. בדף הזה מפורטות התבניות הזמינות. תמונות הקונטיינרים של התבניות האלה מתארחות בכתובת gcr.io/dataflow-templates.
- מידע כללי על תבניות זמין במאמר סקירה כללית.
- כדי להתחיל, מריצים את תבנית הדוגמה WordCount.
- כדי ליצור תבנית משלכם, אפשר לקרוא איך להרחיב תבניות.
תבניות סטרימינג
תבניות לעיבוד נתונים באופן רציף:
- Apache Kafka ל-Apache Kafka
- Apache Kafka ל-BigQuery
- Apache Kafka ל-Cloud Storage
- Change Data Capture from MySQL to BigQuery (Stream)
- Bigtable change streams to BigQuery
- Bigtable change streams to Pub/Sub
- Spanner change streams to BigQuery
- Spanner change streams to Cloud Storage
- Spanner change streams to any source database
- Spanner change streams to Pub/Sub
- Datastream ל-BigQuery (סטרימינג)
- Datastream ל-Spanner
- Datastream ל-MySQL או ל-PostgreSQL (סטרימינג)
- הסתרת נתונים או טוקניזציה מ-Cloud Storage ל-BigQuery (באמצעות Cloud DLP)
- JMS to Pub/Sub
- MongoDB to BigQuery (Stream)
- MQTT ל-Pub/Sub
- Pub/Sub ל-BigQuery
- Pub/Sub ל-BigQuery עם פונקציית UDF של Python
- Pub/Sub Avro ל-BigQuery
- Pub/Sub Proto to BigQuery
- העברה מ-Pub/Sub Proto ל-BigQuery באמצעות פונקציית UDF של Python
- מינוי ל-Pub/Sub ל-BigQuery
- Pub/Sub לקובצי Avro ב-Cloud Storage
- Pub/Sub ל-Datadog
- Pub/Sub ל-Elasticsearch
- Pub/Sub לקישוריות מסד נתונים של Java (JDBC)
- Pub/Sub ל-MongoDB
- Pub/Sub ל-MongoDB עם פונקציית UDF של Python
- Pub/Sub ל-Pub/Sub
- Pub/Sub to Redis
- Pub/Sub ל-Splunk
- נושא או מינוי ב-Pub/Sub לקובצי טקסט ב-Cloud Storage
- נושא Pub/Sub לקובצי טקסט ב-Cloud Storage
- ייצוא קבצי טקסט ב-Cloud Storage ל-BigQuery (סטרימינג)
- ייצוא קבצי טקסט מ-Cloud Storage ל-BigQuery באמצעות פונקציית UDF של Python
- קבצי טקסט ב-Cloud Storage ל-Pub/Sub (סטרימינג)
תבניות של בקשות באצווה
תבניות לעיבוד נתונים בכמות גדולה:
- כל מסד נתונים של מקור ל-Spanner
- Apache Cassandra ל-Bigtable
- AstraDB ל-BigQuery
- BigQuery ל-Bigtable
- BigQuery ל-Clickhouse
- ייצוא מ-BigQuery ל-Parquet (דרך Storage API)
- BigQuery ל-Cloud Storage TFRecords
- BigQuery ל-Elasticsearch
- BigQuery ל-MongoDB
- Bigtable ל-Cloud Storage Avro
- Bigtable ל-JSON ב-Cloud Storage
- Bigtable ל-Cloud Storage Parquet
- Bigtable ל-Cloud Storage SequenceFile
- Bigtable change streams to Vertex AI Vector Search
- Bigtable לקבצים של Vertex AI Vector Search ב-Cloud Storage
- Spanner ל-BigQuery
- Spanner ל-Cloud Storage Avro
- Spanner to Cloud Storage Text
- Spanner to Vertex AI Vector Search files on Cloud Storage
- Cloud Storage Avro to Bigtable
- Cloud Storage Parquet to Bigtable
- Cloud Storage SequenceFile ל-Bigtable
- Cloud Storage Avro to Spanner
- קובצי CSV ב-Cloud Storage ל-BigQuery
- Cloud Storage Text to BigQuery
- ייצוא קבצי טקסט מ-Cloud Storage ל-BigQuery באמצעות פונקציית UDF של Python
- Cloud Storage Text to Spanner
- Cloud Storage Text to Datastore [הוצא משימוש]
- Cloud Storage Text to Firestore (Datastore mode)
- Cloud Storage Text to Pub/Sub (Batch)
- Cloud Storage ל-Elasticsearch
- Datastore to Cloud Storage Text [הוצא משימוש]
- Firestore (מצב Datastore) ל-Cloud Storage Text
- מ-Google Ads אל BigQuery
- Google Cloud ל-Neo4j
- JDBC ל-BigQuery
- JDBC to Pub/Sub
- מ-MongoDB אל BigQuery
- MySQL ל-BigQuery
- Oracle to BigQuery
- מ-PostgreSQL ל-BigQuery
- SQL Server ל-BigQuery