יצירת תהליכי עבודה לשילוב נתונים באמצעות הדף Pipelines & Connections (צינורות עיבוד נתונים וחיבורים)

אפשר לנהל ולייעל משימות של שילוב נתונים ישירות במסוףGoogle Cloud באמצעות הדף Pipelines & Connections ב-BigQuery. בדף הזה מפורטים תהליכי עבודה מודרכים להגדרות ספציפיות ל-BigQuery בשירותים כמו שירות העברת הנתונים ל-BigQuery,‏ Datastream ו-Pub/Sub.

בדף Pipelines & Connections אתם יכולים לבצע את המשימות הבאות:

  • טעינת נתונים. איתור וטעינה של נתונים ממקורות נתונים נתמכים באמצעות תהליך מודרך.
  • לתזמן משימות של נתונים. לתזמן את תהליכי הנתונים כך שיפעלו באופן אוטומטי, כולל שאילתות מתוזמנות, מחברות, הכנות נתונים וצינורות.
  • טרנספורמציה של נתונים. יצירת צינורות ותהליכים להכנת נתונים שמבצעים פעולות כמו ניקוי, מבנה והכנת הנתונים לניתוח ולדיווח.
  • יצירת חיבורים למקורות נתונים. התחברות למקורות נתונים חיצוניים, לזמני ריצה של מחשוב ולשירותי AI לגישה לנתונים ולהרצה מרחוק.

אחרי שמגדירים את הדף Pipelines & Connections, אפשר לנהל ולעקוב אחרי נכסי שילוב הנתונים במקום מרכזי אחד. בדף מוצג הסטטוס של הנכסים ומוצגים מדדים תפעוליים.

הצטרפות או ביטול הצטרפות

במהלך תקופת הטרום-השקה, אתם יכולים להביע הסכמה לשימוש בדף Pipelines & Connections או לבטל את ההסכמה.

הסכמת הצטרפות

כדי להצטרף לשימוש בדף Pipelines & Connections:

  1. נכנסים למסוף Google Cloud .

    כניסה למסוף

  2. בסרגל הכלים של מסוף Google Cloud , לוחצים על תפריט הניווט.

  3. לוחצים על פתרונות > כל המוצרים.

  4. בקטע Analytics, לוחצים על BigQuery.

    הדף Studio של BigQuery ייפתח.

  5. כדי להרחיב את תפריט הניווט, לוחצים על החלפת המצב של תפריט הניווט ב-BigQuery.

    תפריט הניווט של BigQuery.

  6. בתפריט הניווט, לוחצים על אחת מהאפשרויות הבאות:

    • העברות נתונים
    • שאילתות מתוזמנות
    • תזמון

  7. עוברים לבאנר של צינורות וחיבורים מאוחדים.

    באנר עם מידע על צינורות עיבוד נתונים וחיבורים מאוחדים בממשק המשתמש

  8. לוחצים על הצטרפות.

    אחרי שמצטרפים, הדפים הקיימים העברות נתונים, תזמון ושאילתות מתוזמנות מוחלפים בדף צינורות וחיבורים.

ביטול הצטרפות

כדי להפסיק להשתמש בדף המאוחד Pipelines & Connections:

  1. בדף Pipelines & Connections (צינורות וחיבורים), לוחצים על Opt-out (ביטול הסכמה) בבאנר של צינורות וחיבורים מאוחדים.

  2. תיפתח תיבת דו-שיח של משוב. לספק משוב על הסיבה לביטול ההסכמה, למשל תכונות חסרות או באגים.

  3. לוחצים על שליחה ואז על סגירה.

    אחרי שליחת הטופס, תפריט הניווט יחזור להשתמש בדפים נפרדים של העברות נתונים, תזמון ושאילתות מתוזמנות.

יצירה של נכס שילוב נתונים

כדי ליצור נכסים כמו שאילתות מתוזמנות, העברות נתונים וחיבורים חיצוניים:

  1. עוברים לדף Pipelines & Connections.

    כניסה לדף Pipelines & Connections

  2. לוחצים על יצירה.

  3. בכרטיס של הנכס שרוצים ליצור, לוחצים על האפשרות:

    1. כדי להוסיף נתונים מאחד ממקורות הנתונים הנתמכים באמצעות תהליך עבודה מודרך, בכרטיס טעינת נתונים לוחצים על הוספת נתונים.

    2. כדי לתזמן שאילתה, מחברת, הכנת נתונים או צינור, בכרטיס תזמון משימות נתונים, לוחצים על תזמון ואז בוחרים באפשרות המתאימה.

    3. כדי ליצור צינור להמרת נתונים או להכנת נתונים, בכרטיס Transform data (המרת נתונים), לוחצים על Create (יצירה) ואז בוחרים את האפשרות המתאימה.

    4. כדי ליצור חיבור למקור נתונים חיצוני, בכרטיס חיבורים חיצוניים לוחצים על יצירת חיבור.

מעקב אחרי הנכסים

אחרי שיוצרים את הנכסים, אפשר לראות אותם ולעקוב אחריהם. מדדים תפעוליים שזמינים בדף Pipelines & Connections כוללים את היסטוריית ההרצות של שירות העברת הנתונים ל-BigQuery, את קצב העברת הנתונים ואת זמן האחזור של מינויים ל-Pub/Sub, וכן את עדכניות הנתונים ואת מספר האירועים של צינורות Datastream. אפשר גם למצוא מידע לפתרון בעיות, כמו יומנים של הפעלות של שירות העברת הנתונים ל-BigQuery וסטטוס של אובייקטים ב-Datastream.

  1. עוברים לדף Pipelines & Connections.

    כניסה לדף Pipelines & Connections

  2. כדי לראות פרטים על החיבורים, לוחצים על הכרטיסייה חיבורים.

  3. כדי לעקוב אחרי צינורות עיבוד הנתונים, לוחצים על הכרטיסייה צינורות עיבוד נתונים. בדף הזה אפשר לראות פרטים כמו הסטטוס, הסוג והיסטוריית ההרצה של צינור הנתונים.

  4. כדי לראות את הפרטים של צינור, בעמודה שם לתצוגה, לוחצים על הקישור.

המאמרים הבאים