יצירת תהליכי עבודה לשילוב נתונים באמצעות הדף Pipelines & Connections (צינורות עיבוד נתונים וחיבורים)

בדף Pipelines & Connections ב-BigQuery במסוף אפשר לייעל את משימות שילוב הנתונים באמצעות תהליכי עבודה מודרכים להגדרה של שירותים כמו שירות העברת הנתונים ל-BigQuery,‏ Datastream ו-Pub/Sub.

בדף Pipelines & Connections אפשר לבצע את המשימות הבאות:

  • טעינת נתונים. איתור וטעינה של נתונים ממקורות נתונים נתמכים באמצעות ממשק מודרך.
  • תזמון משימות של נתונים. לתזמן את תהליכי הנתונים כך שיפעלו באופן אוטומטי, כולל שאילתות מתוזמנות, מחברות, הכנות נתונים וצינורות.
  • טרנספורמציה של נתונים. יצירת צינורות ותהליכים להכנת נתונים שמבצעים פעולות כמו ניקוי, מבנה והכנת הנתונים לניתוח ולדיווח.
  • יצירת קישורים למקורות נתונים. התחברות למקורות נתונים חיצוניים, לסביבות זמן ריצה של מחשוב ולשירותי AI לגישה לנתונים ולהרצה מרחוק.

אחרי שיוצרים את המשימות, אפשר לנהל ולעקוב אחרי הנכסים במקום אחד בדף Pipelines & Connections. בתצוגת הרשימה אפשר לראות את הסטטוס של הנכסים, ובדפי המעקב המפורטים אפשר לראות מדדים תפעוליים של כל נכס שהוגדר, כמו שאילתות מתוזמנות, צינורות, העברות, חיבורים, סטרימינג ומינויים.

מדדים תפעוליים כוללים את היסטוריית ההרצה של שירות העברת הנתונים ל-BigQuery, את קצב העברת הנתונים ואת זמן האחזור של מינויים ל-Pub/Sub, וכן את רעננות הנתונים ואת מספר האירועים של צינורות Datastream.

דפי המעקב כוללים גם מידע לפתרון בעיות, כמו יומנים של הפעלות של שירות העברת הנתונים ל-BigQuery וסטטוס של אובייקטים ב-Datastream.

הצטרפות או ביטול הצטרפות

במהלך תקופת התצוגה המקדימה, אתם יכולים להביע הסכמה לשימוש בדף Pipelines & Connections או לבטל את ההסכמה.

הפעלה

כדי להצטרף לשימוש בדף Pipelines & Connections, פועלים לפי השלבים הבאים:

  1. נכנסים למסוף Google Cloud .

    כניסה למסוף

  2. בסרגל הכלים של מסוף Google Cloud , לוחצים על תפריט הניווט.

  3. לוחצים על פתרונות > כל המוצרים.

  4. בקטע Analytics, לוחצים על BigQuery.

    הדף Studio של BigQuery ייפתח.

  5. כדי להרחיב את תפריט הניווט, לוחצים על החלפת המצב של תפריט הניווט ב-BigQuery.

    תפריט הניווט של BigQuery.

  6. בתפריט הניווט, לוחצים על אחת מהאפשרויות הבאות:

    • העברות נתונים
    • שאילתות מתוזמנות
    • תזמון

  7. עוברים לבאנר של צינורות וחיבורים מאוחדים.

    באנר עם מידע על צינורות עיבוד נתונים וחיבורים מאוחדים בממשק המשתמש

  8. לוחצים על הצטרפות.

    אחרי שמצטרפים, הדפים הקיימים העברות נתונים, תזמון ושאילתות מתוזמנות מוחלפים בדף צינורות וחיבורים.

ביטול הצטרפות

כדי לבטל את ההסכמה לשימוש בדף המאוחד Pipelines & Connections:

  1. בדף Pipelines & Connections (צינורות וחיבורים), לוחצים על Opt-out (ביטול הסכמה) בבאנר של צינורות וחיבורים מאוחדים.

  2. תיפתח תיבת דו-שיח של משוב. אפשר לספק משוב על הסיבה לביטול ההסכמה, למשל אם חסרות תכונות או אם יש באגים.

  3. לוחצים על שליחה ואז על סגירה.

    אחרי שליחת הטופס, תוחזרו לדפים נפרדים בתפריט הניווט: העברות נתונים, תזמון ושאילתות מתוזמנות.

יצירה של נכס שילוב נתונים

כדי ליצור נכסים כמו שאילתות מתוזמנות, העברות נתונים וחיבורים חיצוניים:

  1. עוברים לדף Pipelines & Connections.

    כניסה לדף Pipelines & Connections

  2. לוחצים על יצירה.

  3. בכרטיס של הנכס שרוצים ליצור, לוחצים על האפשרות הרצויה:

    1. כדי להוסיף נתונים מאחד ממקורות הנתונים הנתמכים באמצעות תהליך עבודה מודרך, בכרטיס טעינת נתונים לוחצים על הוספת נתונים.

    2. כדי לתזמן שאילתה, מחברת, הכנת נתונים או צינור, בכרטיס תזמון משימות נתונים, לוחצים על תזמון ואז בוחרים באפשרות המתאימה.

    3. כדי ליצור צינור להמרת נתונים או להכנת נתונים, בכרטיס Transform data (המרת נתונים), לוחצים על Create (יצירה) ואז בוחרים באפשרות המתאימה.

    4. כדי ליצור חיבור למקור נתונים חיצוני, בכרטיס חיבורים חיצוניים לוחצים על יצירת חיבור.

מעקב אחרי הנכסים

אחרי שיוצרים נכסים, אפשר לראות אותם ולעקוב אחריהם.

  1. עוברים לדף Pipelines & Connections.

    כניסה לדף Pipelines & Connections

  2. כדי לראות פרטים על החיבורים, לוחצים על הכרטיסייה חיבורים.

  3. כדי לעקוב אחר צינורות המכירה, לוחצים על הכרטיסייה צינורות מכירה. בדף הזה אפשר לראות פרטים כמו הסטטוס, הסוג והיסטוריית ההרצה של צינור הנתונים.

  4. כדי לראות את הפרטים של צינור, בעמודה שם לתצוגה, לוחצים על הקישור.

המאמרים הבאים