ניהול של משימות מחברים

במאמר הזה מוסבר איך לצפות במשימות של מחברי קטלוג הידע (לשעבר Dataplex Universal Catalog), לעדכן אותן ולמחוק אותן. המשימות האלה משמשות לייבוא מטא-נתונים.

לפני שמתחילים

כדי לנהל משימות של מחברים, צריך את תפקידי ה-IAM המתאימים. פרטים נוספים זמינים במאמר בנושא תפקידים ב-IAM.

  • כדי לראות את המשימות ואת היסטוריית ההרצה:
    • BigQuery User (roles/bigquery.user)
    • בעל הרשאת צפייה ב-Dataplex‏ (roles/dataplex.viewer)
  • כדי לערוך, למחוק או להפעיל ידנית משימות:
    • אדמין של BigQuery (roles/bigquery.admin)
    • אדמין Dataplex‏ (roles/dataplex.admin) או עורך Dataplex‏ (roles/dataplex.editor)

צריך להפעיל את שירות העברת הנתונים ל-BigQuery.

בנוסף, צריך להעניק לסוכן השירות של שירות העברת נתונים ל-BigQuery‏ (service-PROJECT_NUMBER@gcp-sa-bigquerydatatransfer.iam.gserviceaccount.com) את ההרשאה dataplex.entryGroups.import או את התפקיד Dataplex Entry Group Importer (ייבוא קבוצת רשומות ב-Dataplex)‏ (roles/dataplex.entryGroupImporter). אפשר להעניק את ההרשאה הזו ברמת הפרויקט או ברמת קבוצת הרשומות.

הצגת משימות של מחברים

  1. נכנסים לדף Knowledge Catalog במסוף Google Cloud .

    מעבר אל Knowledge Catalog

  2. בתפריט הניווט, בקטע ניהול, לוחצים על מחברים. בדף Connectors מפורטים כל תהליכי הייבוא של מטא-נתונים בפרויקט.

  3. כדי לראות את הפרטים, היסטוריית ההרצה או ההגדרה של משימה ספציפית, לוחצים על השם שלה לתצוגה ברשימה.

צפייה בהיסטוריית ההרצות של משימות וביומנים

בכל משימת מחבר אפשר לראות את היסטוריית ההרצות שלה, כולל הרצות מוצלחות וכאלה שנכשלו. הפעלות של משימות מלפני יותר מ-90 ימים נמחקות אוטומטית.

  1. בדף מחברים, לוחצים על השם לתצוגה של העבודה שרוצים לראות.
  2. לוחצים על הכרטיסייה Run history (היסטוריית ההרצה). בכרטיסייה הזו מוצגות הפעלות של משימות מהזמן האחרון.
  3. כדי לראות את היומנים של הרצה ספציפית, מחפשים את ההרצה ברשימה ולוחצים על הצגת פרטים.

רישום ביומן ומעקב

מחברים של מטא-נתונים ב-Knowledge Catalog מייצאים יומנים ומדדים ל-Cloud Monitoring ול-Cloud Logging, ומספקים יכולת מעקב אחר הגדרות הייבוא. אתם יכולים להשתמש ב-Monitoring כדי להגדיר לוחות בקרה שיאפשרו לכם לעקוב אחרי הגדרות של ייבוא מטא-נתונים, להעריך את ביצועי ההרצה ולראות הודעות שגיאה כדי לפתור בעיות שגורמות לכשלים בהרצה. אתם יכולים להשתמש ב-Logging כדי לראות יומנים שקשורים להרצה או להגדרה.

עדכון של משימת מחבר

אפשר לשנות את ההגדרות של משימה קיימת, כולל לוח הזמנים שלה, קבוצת היעד, הגדרות ההתראות ואובייקטי המקור לייבוא.

  1. בדף מחברים, לוחצים על השם לתצוגה של העבודה שרוצים לעדכן.
  2. לוחצים על Edit.
  3. משנים את הגדרות העבודה לפי הצורך.
  4. לוחצים על Save.

השבתה או הפעלה של עבודת מחבר

כשמשביתים משימה, השם שלה מתעדכן לסטטוס disabled ולא מתוזמנים ריצות חדשות של המשימה. כל ההרצות שכבר מתבצעות יושלמו. השבתת משימה לא מסירה מטא-נתונים שכבר יובאו אל Knowledge Catalog.

  1. בדף Connectors, מוצאים את העבודה שרוצים להשבית או להפעיל.
  2. לוחצים על פעולות ובוחרים באפשרות השבתה או הפעלה.

מחיקה של משימת מחבר

כשמוחקים משימה, לא מתוזמנות הרצות חדשות, וכל ההרצות שמתבצעות מופסקות. מחיקת משימה לא מסירה מטא-נתונים שכבר יובאו אל Knowledge Catalog.

  1. בדף Connectors (מחברים), מוצאים את העבודה שרוצים למחוק.
  2. לוחצים על פעולות ובוחרים באפשרות מחיקה.
  3. כדי לאשר, מקלידים delete ולוחצים על מחיקה.

הפעלת משימה באופן ידני

אפשר להפעיל את הריצה של משימה מחוץ ללוח הזמנים הרגיל שלה. הפעולה הזו נקראת לפעמים backfill.

  1. בדף Connectors, לוחצים על השם לתצוגה של העבודה שרוצים להריץ.

  2. לוחצים על הפעלת ההעברה עכשיו ובוחרים באפשרות הפעלת העברה חד-פעמית.