צפייה ביומנים של Cloud Data Fusion

יומני צינורות עיבוד הנתונים ויומני השירות של Cloud Data Fusion מאפשרים לכם לעקוב אחרי תקינות ההפעלה ולפתור בעיות בהרצות של צינורות עיבוד נתונים שנכשלו או בעיות בשירות. החל מגרסה 6.11 של Cloud Data Fusion, היומנים האלה זמינים ב-Cloud Logging.

מידע על סוגי היומנים

ב-Cloud Data Fusion נוצרים כמה סוגים של יומנים שעוזרים לעקוב אחרי תהליכי שילוב הנתונים ולפתור בהם בעיות:

יומני פייפליין
ביומנים האלה יש מידע מפורט על הפעלות ספציפיות של צינורות עיבוד נתונים, כולל הפעלות של גרסאות טרום-השקה (Preview). הם כוללים את כל השלבים של הרצת צינור עיבוד נתונים, כמו הגדרה לפני ההרצה, הפעלת משימות ופעילויות אחרי ההרצה.

יומני שירות
ביומנים האלה יש מידע מפורט על שירותי המערכת של Cloud Data Fusion, כמו AppFabric ומעבד AppFabric.

יומני ביקורת
ב-Cloud Data Fusion נוצרים יומני ביקורת, כמו יומני ביקורת של פעילות אדמין. מידע נוסף זמין במאמר רישום ביומן הביקורת של Cloud Data Fusion.

יומני צינור עיבוד נתונים מתקדמים
ביומנים האלה יש מידע מפורט על כל הרצה של צינור עיבוד נתונים. היומנים האלה שימושיים במיוחד לפתרון בעיות שקשורות לכשלים בצינור עיבוד הנתונים, כי הם מתעדים מידע עוד לפני שהקצאת האשכול של Managed Service for Apache Spark מסתיימת, וכך עוזרים לזהות בעיות או עיכובים באשכול. מידע נוסף זמין במאמר הצגת יומני צינור עיבוד נתונים מתקדמים ב-Cloud Logging.

תמחור

השימוש ב-Cloud Logging וב-Cloud Monitoring כרוך בחיובים. למידע נוסף, קראו את המאמר התמחור של Google Cloud Observability.

אופציונלי: ייבוא של מרכז הבקרה Cloud Data Fusion Logging

כדי לצפות ביומני צינורות עיבוד הנתונים וביומני השירות באמצעות לוח הבקרה של Cloud Data Fusion Logging, צריך לייבא את לוח הבקרה:

  1. נכנסים לדף Dashboards של Cloud Monitoring במסוף Google Cloud .

    כניסה לדף Dashboards

  2. לוחצים על הצגת תבניות של מרכזי בקרה.

  3. מחפשים את Cloud Data Fusion Logging ובוחרים את מרכז הבקרה.

  4. לוחצים על Add Cloud Data Fusion Logging dashboard to your list.

צפייה ביומני הפייפליין

אתם יכולים לצפות ביומנים של צינורות עיבוד הנתונים באמצעות מרכז הבקרה של Cloud Data Fusion Logging, או ישירות ב-Logs Explorer.

הצגת יומני צינור עיבוד נתונים באמצעות מרכז הבקרה

  1. אם עדיין לא עשיתם זאת, ייבאו את לוח הבקרה Cloud Data Fusion Logging.

  2. בקטע My dashboards, לוחצים על Cloud Data Fusion Logging.

  3. בקטע Pipeline logs, מעיינים ברשימת היומנים של צינורות עיבוד הנתונים. אפשר לסנן את היומנים לפי חומרה, שמות שדות וערכים.

    כדי לצמצם את החיפוש באמצעות שאילתות, משתמשים ב-Logs Explorer.

הצגת יומני צינורות עיבוד נתונים ב-Logs Explorer

  1. נכנסים לדף Logs Explorer במסוף Google Cloud .

    כניסה לדף Logs Explorer

  2. מזינים את השאילתה הבאה:

    resource.type="datafusion.googleapis.com/PipelineV2"

    תוצג רשימה של יומני צינור עיבוד הנתונים. אפשר להשתמש במסננים כדי לצמצם את התוצאות.

סינון יומני צינור עיבוד הנתונים

אפשר לסנן את יומני צינורות עיבוד הנתונים לפי מזהה הרצה, מזהה מכונה, מזהה צינור עיבוד נתונים, מיקום, מרחב שמות או תוויות בהתאמה אישית.

לכל הפעלה של צינור עיבוד נתונים ב-Cloud Data Fusion מוקצה RunID ייחודי. אחרי שפורסים ומריצים את צינור עיבוד הנתונים, אפשר למצוא את ה-RunID שלו ולצפות ביומנים התואמים.

כדי לסנן את יומני הצינורות לפי RunID:

  1. משיגים את ה-RunID של צינור עיבוד הנתונים.

  2. נכנסים לדף Logs Explorer במסוף Google Cloud .

  3. מזינים את השאילתה הבאה:

    resource.type="datafusion.googleapis.com/PipelineV2" resource.labels.run_id=RUN_ID

צפייה ביומני השירות

אפשר לראות את יומני השירות באמצעות לוח הבקרה של Cloud Data Fusion Logging או ב-Logs Explorer.

הצגת יומני שירות באמצעות מרכז הבקרה

  1. אם עדיין לא עשיתם זאת, ייבאו את לוח הבקרה Cloud Data Fusion Logging.

  2. בקטע My dashboards, לוחצים על Cloud Data Fusion Logging.

  3. בקטע יומני שירות, מעיינים ברשימה של יומני השירות. אפשר לסנן את היומנים לפי חומרה, שמות שדות וערכים.

    כדי לצמצם את החיפוש באמצעות שאילתות, משתמשים ב-Logs Explorer.

הצגת יומני השירות ב-Logs Explorer

החל מגרסה 6.11.1.1 של Cloud Data Fusion, יומני השירות של המערכת משתמשים כברירת מחדל במשאב במעקב InstanceV3 (datafusion.googleapis.com/InstanceV3). ביומנים האלה נעשה שימוש בסיומת שם היומן services-v3, והם לא כוללים את התוויות org_id או namespace שמופיעות בגרסה הקודמת. הנפקת היומנים של InstanceV2 מושבתת כברירת מחדל במכונות חדשות ומשודרגות, אבל אם הפעולות שלכם מסתמכות על התוויות הקודמות, אתם יכולים להפעיל מחדש את הרישום ביומן של InstanceV2 באמצעות Cloud Data Fusion API בארכיטקטורת REST.

כדי לראות את יומני השירות ב-Logs Explorer:

  1. נכנסים לדף Logs Explorer במסוף Google Cloud .

    כניסה לדף Logs Explorer

  2. כדי למצוא את יומני השירות, מזינים את השאילתה הספציפית לשירות הזה.

    שם השירות שאילתת יומן ל-InstanceV2 שאילתת יומן ל-InstanceV3
    Appfabric 
    resource.type="datafusion.googleapis.com/InstanceV2"
labels.".serviceId"="appfabric"

    resource.type="datafusion.googleapis.com/InstanceV3"
labels.".serviceId"="appfabric"
    מעבד AppFabric 
    resource.type="datafusion.googleapis.com/InstanceV2"
labels.".serviceId"="appfabric.processor"

    resource.type="datafusion.googleapis.com/InstanceV3"
labels.".serviceId"="appfabric.processor"
    מבצע של קבוצת נתונים 
    resource.type="datafusion.googleapis.com/InstanceV2"
labels.".serviceId"="dataset.executor"

    resource.type="datafusion.googleapis.com/InstanceV3"
labels.".serviceId"="dataset.executor"
    שמירת יומנים 
    resource.type="datafusion.googleapis.com/InstanceV2"
labels.".serviceId"="log.saver"

    resource.type="datafusion.googleapis.com/InstanceV3"
labels.".serviceId"="log.saver"
    שירות מטא-נתונים 
    resource.type="datafusion.googleapis.com/InstanceV2"
labels.".serviceId"="metadata.service"

    resource.type="datafusion.googleapis.com/InstanceV3"
labels.".serviceId"="metadata.service"
    מדדים 
    resource.type="datafusion.googleapis.com/InstanceV2"
labels.".serviceId"="metrics"

    resource.type="datafusion.googleapis.com/InstanceV3"
labels.".serviceId"="metrics"
    Pipeline Studio 
    resource.type="datafusion.googleapis.com/InstanceV2" 
resource.labels.namespace="system"
labels.".userserviceid"="studio"

    resource.type="datafusion.googleapis.com/InstanceV3"
labels.".userserviceid"="studio"
    זמן ריצה 
    resource.type="datafusion.googleapis.com/InstanceV2"
labels.".serviceId"="runtime"

    resource.type="datafusion.googleapis.com/InstanceV3"
labels.".serviceId"="runtime"
    שירותי Wrangler 
    resource.type="datafusion.googleapis.com/InstanceV2"
resource.labels.namespace="system"
labels.".applicationId"="dataprep"
labels.".userserviceid"="service"

    resource.type="datafusion.googleapis.com/InstanceV3"
labels.".applicationId"="dataprep"
labels.".userserviceid"="service"

הפעלת יומני InstanceV2

כברירת מחדל, במכונות של Cloud Data Fusion שפועלות בגרסה 6.11.1.1 ואילך, רישום ביומן של InstanceV2 מושבת. אם הפעולות שלכם דורשות את פורמט הרישום ביומן הקודם (לדוגמה, אם אתם מסתמכים על התוויות org_id או namespace), אתם יכולים להפעיל מחדש את היומנים של InstanceV2 באמצעות Cloud Data Fusion API בארכיטקטורת REST.

כדי להפעיל את היומנים של InstanceV2, משתמשים ב-method ‏instances.patch ומגדירים את enable_instance_v2_logs ל-true. ההגדרה הזו מפיקה גם יומני InstanceV2 וגם יומני InstanceV3.

   curl -X PATCH \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  -H "X-GFE-SSL: yes" \
  -H "Host: datafusion.googleapis.com" \
  -d '{"loggingConfig": {"enable_instance_v2_logs": true}}' \
  "https://datafusion.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/instances/INSTANCE_ID?updateMask=loggingConfig"

מחליפים את מה שכתוב בשדות הבאים:

  • ‫PROJECT_ID: מזהה הפרויקט ב- Google Cloud
  • ‫LOCATION: המיקום של המכונה
  • ‫INSTANCE_ID: המזהה של המכונה ב-Cloud Data Fusion

רישום ביומן שניתן להגדרה ב-Cloud Data Fusion

בגרסה 6.11.0 של Cloud Data Fusion אפשר להגדיר את הרישום ביומן, ו-Cloud Logging מופעל כברירת מחדל. אפשר להשבית את Cloud Logging, אבל מומלץ מאוד להשאיר אותו מופעל כדי להבטיח שתהיה לכם גישה ליומנים קריטיים של צינורות עיבוד נתונים ומכונות.

כדי להשבית את Cloud Logging, מריצים את הפקודה הבאה:

echo '{ "loggingConfig": {"instance_cloud_logging_disabled": "true"}}' | curl -X POST \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    -H "Content-Type: application/json" \
    --data @- \
    "https://datafusion.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/instances?instanceId=$INSTANCE_ID?updateMask=logging_config"

מחליפים את מה שכתוב בשדות הבאים:

  • ‫PROJECT_ID: מזהה הפרויקט ב- Google Cloud
  • ‫LOCATION: המיקום של המכונה
  • ‫INSTANCE_ID: המזהה של המכונה ב-Cloud Data Fusion

המאמרים הבאים