צפייה ביומנים של Cloud Data Fusion

במאמר הזה מוסבר איך לגשת ליומנים של צינורות נתונים ויומנים של שירותים ב-Cloud Data Fusion ולצפות בהם.

החל מגרסה 6.11 של Cloud Data Fusion, יומני צינורות ויומני שירות זמינים ב-Cloud Logging.

מידע על סוגי יומנים

‫Cloud Data Fusion יוצר כמה סוגים של יומנים כדי לעזור לכם לעקוב אחרי תהליכי שילוב הנתונים ולפתור בעיות בהם:

יומני פייפליין
היומנים האלה מספקים מידע מפורט על הפעלות נפרדות של צינורות, כולל הפעלות של תצוגה מקדימה. הם כוללים את כל השלבים של הרצת צינור, כמו הגדרה לפני ההרצה, ביצוע משימות ופעילויות אחרי ההרצה.

יומני שירות
היומנים האלה מספקים מידע מפורט על שירותי המערכת של Cloud Data Fusion, כמו AppFabric ומעבד AppFabric.

יומני ביקורת
‫
Cloud Data Fusion יוצר יומני ביקורת, כמו יומני ביקורת של פעילות אדמין. מידע נוסף זמין במאמר בנושא רישום ביומן של ביקורת ב-Cloud Data Fusion.

יומנים מתקדמים של צינורות
היומנים האלה מספקים מידע מפורט על הפעלות ספציפיות של צינורות. היומנים האלה שימושיים במיוחד לפתרון בעיות שקשורות לכשלים בפייפליינים, כי הם מתעדים מידע גם לפני שהקצאת המשאבים של אשכול Managed Service for Apache Spark מסתיימת. כך אפשר לזהות בעיות או עיכובים באשכול. מידע נוסף זמין במאמר בנושא הצגת יומנים מתקדמים של צינורות ב-Cloud Logging.

תמחור

השימוש ב-Cloud Logging וב-Cloud Monitoring כרוך בעלויות. מידע נוסף זמין במאמר בנושא תמחור של Google Cloud Observability.

אופציונלי: ייבוא לוח הבקרה של Cloud Data Fusion Logging

כדי להציג יומנים של צינורות עיבוד נתונים ויומנים של שירותים באמצעות לוח הבקרה Cloud Data Fusion Logging, צריך לייבא את לוח הבקרה:

  1. נכנסים לדף Dashboards של Cloud Monitoring במסוף Google Cloud .

    מעבר למרכזי השליטה

  2. לוחצים על הצגת תבניות של מרכזי בקרה.

  3. מחפשים את האפשרות Cloud Data Fusion Logging ובוחרים את לוח הבקרה.

  4. לוחצים על הוספת לוח בקרה של רישום ביומן של Cloud Data Fusion לרשימה.

צפייה ביומני צינורות

אפשר לראות את יומני צינורות עיבוד הנתונים באמצעות לוח הבקרה של Cloud Data Fusion Logging או ישירות בכלי Logs Explorer.

צפייה ביומני צינורות באמצעות מרכז הבקרה

  1. אם עדיין לא עשיתם זאת, מייבאים את לוח הבקרה Cloud Data Fusion Logging.

  2. בקטע My dashboards, לוחצים על Cloud Data Fusion Logging.

  3. בקטע Pipeline logs (יומני צינור עיבוד הנתונים), רואים את רשימת היומנים של צינור עיבוד הנתונים. אפשר לסנן את היומנים לפי חומרה, שמות שדות וערכים.

    כדי לצמצם את החיפוש באמצעות שאילתות, משתמשים ב-Logs Explorer.

צפייה ביומני צינורות ב-Logs Explorer

  1. נכנסים לדף Logs Explorer במסוף Google Cloud .

    כניסה לדף Logs Explorer

  2. מזינים את השאילתה הבאה:

    resource.type="datafusion.googleapis.com/PipelineV2"

    תוצג רשימה של יומני צינורות. אפשר להשתמש במסננים כדי לצמצם את התוצאות.

סינון יומני צינורות

אפשר לסנן את היומנים של צינור עיבוד הנתונים לפי מזהה הפעלה, מזהה מופע, מזהה צינור עיבוד נתונים, מיקום, מרחב שמות או תוויות בהתאמה אישית.

לכל הרצה של צינור נתונים ב-Cloud Data Fusion מוקצה RunIDייחודי. אחרי שפורסים את צינור עיבוד הנתונים ומריצים אותו, אפשר למצוא את RunID של צינור עיבוד הנתונים ולראות את היומנים המתאימים של צינור עיבוד הנתונים.

כדי לסנן את יומני הצינור לפי RunID:

  1. קבלת מזהה ההרצה של צינור הנתונים

  2. נכנסים לדף Logs Explorer במסוף Google Cloud .

  3. מזינים את השאילתה הבאה:

    resource.type="datafusion.googleapis.com/PipelineV2" resource.labels.run_id=RUN_ID

צפייה ביומני השירות

אפשר לראות את יומני השירות באמצעות לוח הבקרה של Cloud Data Fusion Logging או בכלי Logs Explorer.

הצגת יומני השירות באמצעות מרכז הבקרה

  1. אם עדיין לא עשיתם זאת, מייבאים את לוח הבקרה Cloud Data Fusion Logging.

  2. בקטע My dashboards, לוחצים על Cloud Data Fusion Logging.

  3. בקטע Service logs, מעיינים ברשימת יומני השירות. אפשר לסנן את היומנים לפי חומרה, שמות שדות וערכים.

    כדי לצמצם את החיפוש באמצעות שאילתות, משתמשים ב-Logs Explorer.

צפייה ביומני שירות בכלי Logs Explorer

החל מגרסה 6.11.1.1 של Cloud Data Fusion, יומני השירות של המערכת משתמשים בInstanceV3 monitored-resource (datafusion.googleapis.com/InstanceV3) כברירת מחדל. היומנים האלה משתמשים בסיומת שם היומן services-v3 ולא כוללים את התוויות org_id או namespace שנמצאות בגרסה הקודמת. הפליטה של יומני InstanceV2 מושבתת כברירת מחדל במופעים חדשים ובמופעים ששודרגו, אבל אתם יכולים להפעיל מחדש את הרישום ביומן InstanceV2 באמצעות Cloud Data Fusion API בארכיטקטורת REST אם הפעולות שלכם מסתמכות על התוויות מדור קודם.

כדי לראות את יומני השירות ב-Logs Explorer:

  1. נכנסים לדף Logs Explorer במסוף Google Cloud .

    כניסה לדף Logs Explorer

  2. כדי למצוא את יומני השירות, מזינים את השאילתה הספציפית לשירות הזה.

    שם השירות שאילתת יומן עבור InstanceV2 שאילתה ביומן עבור InstanceV3
    Appfabric 
    resource.type="datafusion.googleapis.com/InstanceV2"
labels.".serviceId"="appfabric"

    resource.type="datafusion.googleapis.com/InstanceV3"
labels.".serviceId"="appfabric"
    מעבד AppFabric 
    resource.type="datafusion.googleapis.com/InstanceV2"
labels.".serviceId"="appfabric.processor"

    resource.type="datafusion.googleapis.com/InstanceV3"
labels.".serviceId"="appfabric.processor"
    המוציא לפועל של קבוצת הנתונים 
    resource.type="datafusion.googleapis.com/InstanceV2"
labels.".serviceId"="dataset.executor"

    resource.type="datafusion.googleapis.com/InstanceV3"
labels.".serviceId"="dataset.executor"
    שמירת יומן 
    resource.type="datafusion.googleapis.com/InstanceV2"
labels.".serviceId"="log.saver"

    resource.type="datafusion.googleapis.com/InstanceV3"
labels.".serviceId"="log.saver"
    שירות מטא-נתונים 
    resource.type="datafusion.googleapis.com/InstanceV2"
labels.".serviceId"="metadata.service"

    resource.type="datafusion.googleapis.com/InstanceV3"
labels.".serviceId"="metadata.service"
    מדדים 
    resource.type="datafusion.googleapis.com/InstanceV2"
labels.".serviceId"="metrics"

    resource.type="datafusion.googleapis.com/InstanceV3"
labels.".serviceId"="metrics"
    Pipeline Studio 
    resource.type="datafusion.googleapis.com/InstanceV2" 
resource.labels.namespace="system"
labels.".userserviceid"="studio"

    resource.type="datafusion.googleapis.com/InstanceV3"
labels.".userserviceid"="studio"
    זמן ריצה 
    resource.type="datafusion.googleapis.com/InstanceV2"
labels.".serviceId"="runtime"

    resource.type="datafusion.googleapis.com/InstanceV3"
labels.".serviceId"="runtime"
    שירות Wrangler 
    resource.type="datafusion.googleapis.com/InstanceV2"
resource.labels.namespace="system"
labels.".applicationId"="dataprep"
labels.".userserviceid"="service"

    resource.type="datafusion.googleapis.com/InstanceV3"
labels.".applicationId"="dataprep"
labels.".userserviceid"="service"

הפעלת יומנים של InstanceV2

כברירת מחדל, במופעים של Cloud Data Fusion שמופעלת בהם גרסה 6.11.1.1 או גרסה מתקדמת יותר, הרישום ביומן של InstanceV2 מושבת. אם הפעולות שלכם דורשות את פורמט הרישום ביומן הקודם (לדוגמה, אם אתם מסתמכים על התוויות org_id או namespace), אתם יכולים להפעיל מחדש את היומנים InstanceV2 באמצעות Cloud Data Fusion API בארכיטקטורת REST.

כדי להפעיל יומנים של InstanceV2, משתמשים ב-method ‏instances.patch עם enable_instance_v2_logs שמוגדר ל-true. ההגדרה הזו יוצרת יומנים של InstanceV2 ושל InstanceV3.

   curl -X PATCH \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  -H "X-GFE-SSL: yes" \
  -H "Host: datafusion.googleapis.com" \
  -d '{"loggingConfig": {"enable_instance_v2_logs": true}}' \
  "https://datafusion.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/instances/INSTANCE_ID?updateMask=loggingConfig"

מחליפים את מה שכתוב בשדות הבאים:

  • ‫PROJECT_ID: מזהה הפרויקט Google Cloud
  • ‫LOCATION: המיקום של המכונה
  • ‫INSTANCE_ID: המזהה של מופע Cloud Data Fusion

הגדרה של יומנים ב-Cloud Data Fusion

ב-Cloud Data Fusion 6.11.0 אפשר להגדיר את הרישום ביומן, ו-Cloud Logging מופעל כברירת מחדל. אפשר להשבית את Cloud Logging, אבל מומלץ מאוד להשאיר אותו מופעל כדי לוודא שיש לכם גישה ליומנים קריטיים של צינורות עיבוד נתונים ומופעים.

כדי להשבית את Cloud Logging, מריצים את הפקודה הבאה:

echo '{ "loggingConfig": {"instance_cloud_logging_disabled": "true"}}' | curl -X POST \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    -H "Content-Type: application/json" \
    --data @- \
    "https://datafusion.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/instances?instanceId=$INSTANCE_ID?updateMask=logging_config"

מחליפים את מה שכתוב בשדות הבאים:

  • ‫PROJECT_ID: מזהה הפרויקט Google Cloud
  • ‫LOCATION: המיקום של המכונה
  • ‫INSTANCE_ID: המזהה של מופע Cloud Data Fusion

המאמרים הבאים