יצירת התראות של צינורות עיבוד נתונים

בדף הזה מוסבר איך להגדיר התראות לצינורות נתונים ב-Cloud Data Fusion.

אפשר ליצור התראות באמצעות השירותים הבאים:

  • התראות דרך Cloud Data Fusion: מגדירים את ההתראות האלה כשמעצבים צינור עיבוד נתונים באצווה ב-Cloud Data Fusion. אחרי שפורסים את צינור הנתונים, אי אפשר להוסיף או לערוך התראה.

  • התראות מבוססות-יומן באמצעות Cloud Monitoring: מגדירים את ההתראות האלה במסוף Google Cloud לפני ואחרי פריסת צינור הנתונים.

לפני שמתחילים

צריך מכונת Cloud Data Fusion. מידע נוסף זמין במאמר יצירת מכונת Cloud Data Fusion.

הוספת התראה ב-Cloud Data Fusion

  1. פותחים את המופע.

    1. במסוף Google Cloud , נכנסים לדף Cloud Data Fusion.

    2. כדי לפתוח את המכונה ב-Cloud Data Fusion Studio, לוחצים על Instances (מכונות) ואז על View instance (הצגת מכונה).

      כניסה לדף Instances

  2. עוברים לדף Studio שבו מתכננים את צינור העיבוד.

  3. לוחצים על הגדרה > התראות על צינורות > הוספה.

  4. בוחרים את ההתראה ומגדירים אותה. מידע נוסף על הגדרת התראות זמין במאמר התראות על צינורות להעברת נתונים באצווה.

  5. אחרי שמגדירים את ההתראה, לוחצים על אימות כדי לבדוק אם יש שגיאות, ואז לוחצים על אישור.

יצירת התראה ב-Monitoring

  1. מפעילים את Cloud Logging במכונת Cloud Data Fusion.

  2. יצירת התראה שמבוססת על יומן.

    1. נכנסים לדף Logs Explorer במסוף Google Cloud .

      כניסה לדף Logs Explorer

      בדף הזה אפשר לאחסן, לשאול שאילתות, לעדכן ולמחוק נתונים.

    2. מזינים את השאילתה הבאה:

      resource.type="cloud_dataproc_cluster"
logName="projects/PROJECT_ID/logs/datafusion-pipeline-logs"
resource.labels.project_id="PROJECT_ID"
severity=ERROR
jsonPayload.message=~"Pipeline '.*' failed."

      מחליפים את PROJECT_ID במזהה הפרויקט.

    3. לוחצים על יצירת התראה ומגדירים את ההתראה.

התראה נוצרת רק כשצינור הנתונים פועל באשכול Managed Service for Apache Spark ונכשל. ההתראה לא נוצרת במקרים של כשלים ביצירת אשכולות של Managed Service for Apache Spark.

המאמרים הבאים