Google מספקת תבניות Dataflow קוד פתוח שבהן אפשר להשתמש במקום לכתוב קוד של צינור עיבוד נתונים. בדף הזה מפורטות התבניות הזמינות. תמונות הקונטיינרים של התבניות האלה מתארחות בכתובת
gcr.io/dataflow-templates.
- למידע כללי על תבניות, עיינו בסקירה כללית.
- כדי להתחיל, מריצים את תבנית הדוגמה WordCount.
- כדי ליצור תבנית משלכם, אפשר לקרוא איך להרחיב תבניות.
תבניות של סטרימינג
תבניות לעיבוד נתונים באופן רציף:
- סנכרון שינויים בזרמי נתונים מ-Bigtable ל-BigQuery
- סנכרון שינויים בזרמי נתונים של Bigtable ל-Pub/Sub
- סנכרון שינויים בזרמי נתונים של Spanner ל-BigQuery
- סנכרון שינויים בזרמי נתונים של Spanner ל-Cloud Storage
- סנכרון שינויים בזרמי נתונים מ-Spanner ל-Pub/Sub
- זרם נתונים ל-BigQuery (זרם)
- Datastream ל-Spanner
- Datastream ל-MySQL או ל-PostgreSQL (סטרימינג)
- הסתרת נתונים או טוקניזציה מ-Cloud Storage ל-BigQuery (באמצעות Cloud DLP)
- JMS to Pub/Sub
- מקפקא ל-BigQuery
- Kafka ל-Cloud Storage
- מקפקא לקפקא
- MongoDB to BigQuery (Stream)
- MQTT to Pub/Sub
- Change Data Capture from MySQL to BigQuery (Stream)
- Pub/Sub Avro to BigQuery
- Pub/Sub Proto to BigQuery
- העברה מ-Pub/Sub Proto ל-BigQuery באמצעות UDF של Python
- מינוי ל-Pub/Sub ל-BigQuery
- Pub/Sub לקובצי Avro ב-Cloud Storage
- Pub/Sub ל-BigQuery
- Pub/Sub ל-BigQuery עם פונקציית UDF של Python
- Pub/Sub to Datadog
- Pub/Sub ל-Elasticsearch
- Pub/Sub לקישוריות מסד נתונים של Java (JDBC)
- Pub/Sub ל-MongoDB
- Pub/Sub ל-MongoDB עם פונקציית UDF של Python
- Pub/Sub ל-Pub/Sub
- Pub/Sub to Redis
- פרסום/העברה ל-Splunk
- נושא או מינוי ב-Pub/Sub לקובצי טקסט ב-Cloud Storage
- Pub/Sub Topic לקבצי טקסט ב-Cloud Storage
- סנכרון שינויים בזרמי נתונים של Spanner לכל מסד נתונים מקורי
- ייצוא קבצי טקסט ב-Cloud Storage ל-BigQuery (סטרימינג)
- ייצוא קבצי טקסט מ-Cloud Storage ל-BigQuery באמצעות UDF של Python
- קבצי טקסט ב-Cloud Storage ל-Pub/Sub (זרם)
תבניות של בקשות באצווה
תבניות לעיבוד נתונים בכמות גדולה:
- AstraDB ל-BigQuery
- Cloud Storage Avro to Bigtable
- Cloud Storage Avro to Spanner
- BigQuery ל-Bigtable
- BigQuery ל-Clickhouse
- BigQuery ל-Elasticsearch
- BigQuery ל-MongoDB
- ייצוא מ-BigQuery ל-Parquet (באמצעות Storage API)
- BigQuery ל-Cloud Storage TFRecords
- Bigtable change streams to Vertex AI Vector Search
- Bigtable ל-Cloud Storage Avro
- Bigtable ל-Cloud Storage JSON
- Bigtable ל-Cloud Storage Parquet
- Bigtable ל-Cloud Storage SequenceFile
- Bigtable לקבצים של Vertex AI חיפוש וקטורי ב-Cloud Storage
- Apache Cassandra ל-Bigtable
- Spanner to Cloud Storage Avro
- Spanner ל-BigQuery
- Spanner to Cloud Storage Text
- Spanner לקבצים של Vertex AI חיפוש וקטורי ב-Cloud Storage
- קובצי CSV ב-Cloud Storage ל-BigQuery
- Cloud Storage Text to BigQuery
- ייצוא קבצי טקסט מ-Cloud Storage ל-BigQuery באמצעות UDF של Python
- Cloud Storage Text to Spanner
- Cloud Storage Text to Datastore [יצא משימוש]
- Cloud Storage ל-Elasticsearch
- Cloud Storage Text to Firestore (Datastore mode)
- Cloud Storage Text to Pub/Sub (Batch)
- Datastore to Cloud Storage Text [הוצא משימוש]
- Firestore (מצב Datastore) לטקסט ב-Cloud Storage
- מ-Google Ads אל BigQuery
- Google Cloud ל-Neo4j
- JDBC ל-BigQuery
- JDBC to Pub/Sub
- מ-MongoDB אל BigQuery
- MySQL ל-BigQuery
- Oracle to BigQuery
- אחסון ענן מ-Parket ל-Bigtable
- PostgreSQL ל-BigQuery
- Cloud Storage SequenceFile ל-Bigtable
- כל מסד נתונים של מקור ל-Spanner
- מ-SQL Server אל BigQuery