ניהול של משימות מחברים

במאמר הזה מוסבר איך לצפות במשימות של מחברי קטלוג הידע (לשעבר Dataplex Universal Catalog), לעדכן אותן ולמחוק אותן. המשימות האלה משמשות לייבוא מטא-נתונים.

לפני שמתחילים

כדי לנהל משימות של מחברים, צריך את תפקידי ה-IAM המתאימים. פרטים נוספים זמינים במאמר בנושא תפקידים ב-IAM.

  • כדי לראות את המשימות ואת היסטוריית ההפעלה:
    • BigQuery User (roles/bigquery.user)
    • בעל הרשאת צפייה ב-Dataplex‏ (roles/dataplex.viewer)
  • כדי לערוך, למחוק או להפעיל ידנית משימות:
    • אדמין של BigQuery (roles/bigquery.admin)
    • אדמין של Dataplex‏ (roles/dataplex.admin) או עורך של Dataplex‏ (roles/dataplex.editor)

צריך להפעיל את שירות העברת הנתונים ל-BigQuery.

בנוסף, צריך להעניק לסוכן השירות של שירות העברת נתונים ל-BigQuery‏ (service-PROJECT_NUMBER@gcp-sa-bigquerydatatransfer.iam.gserviceaccount.com) את ההרשאה dataplex.entryGroups.import או את התפקיד Dataplex Entry Group Importer (roles/dataplex.entryGroupImporter). אפשר להעניק את ההרשאה הזו ברמת הפרויקט או ברמת קבוצת הרשומות.

צפייה במשימות של מחברים

  1. נכנסים לדף Knowledge Catalog במסוף Google Cloud .

    מעבר אל Knowledge Catalog

  2. בתפריט הניווט, בקטע ניהול, לוחצים על מחברים. בדף Connectors מפורטות כל משימות הייבוא של מטא-נתונים בפרויקט.

  3. כדי לראות את הפרטים, היסטוריית ההרצה או ההגדרה של משימה ספציפית, לוחצים על השם שלה לתצוגה ברשימה.

צפייה בהיסטוריית ההרצות של משימות וביומנים

בכל משימת מחבר, אפשר לראות את היסטוריית ההפעלות שלה, כולל הפעלות מוצלחות והפעלות שנכשלו. הפעלות של משימות מלפני יותר מ-90 ימים נמחקות אוטומטית.

  1. בדף מחברים, לוחצים על השם לתצוגה של העבודה שרוצים לראות.
  2. לוחצים על הכרטיסייה Run history (היסטוריית ההרצה). בכרטיסייה הזו מוצגות הפעלות של עבודות מהזמן האחרון.
  3. כדי לראות את היומנים של הרצה ספציפית, מחפשים את ההרצה ברשימה ולוחצים על הצגת פרטים.

רישום ביומן ומעקב

מחברים של מטא-נתונים של Knowledge Catalog מייצאים יומנים ומדדים ל-Cloud Monitoring ול-Cloud Logging, ומספקים יכולת מעקב אחרי הגדרות הייבוא. אתם יכולים להשתמש ב-Monitoring כדי להגדיר לוחות בקרה שיאפשרו לכם לעקוב אחרי הגדרות של ייבוא מטא-נתונים, להעריך את ביצועי ההרצה ולראות הודעות שגיאה כדי לפתור בעיות שגורמות להרצה להיכשל. אתם יכולים להשתמש ב-Logging כדי לראות יומנים שקשורים להרצה או להגדרה.

עדכון של משימת מחבר

אתם יכולים לשנות את ההגדרות של משימה קיימת, כולל לוח הזמנים שלה, קבוצת היעד, הגדרות ההתראות ואובייקטי המקור לייבוא.

  1. בדף מחברים, לוחצים על השם לתצוגה של העבודה שרוצים לעדכן.
  2. לוחצים על Edit.
  3. משנים את הגדרות העבודה לפי הצורך.
  4. לוחצים על Save.

השבתה או הפעלה של עבודת מחבר

כשמשביתים משימה, השם שלה מתעדכן לסטטוס disabled ולא מתוזמנים ריצות חדשות של המשימה. כל ההרצות שכבר מתבצעות יושלמו. השבתת משימה לא מסירה מטא-נתונים שכבר יובאו אל Knowledge Catalog.

  1. בדף Connectors, מוצאים את העבודה שרוצים להשבית או להפעיל.
  2. לוחצים על פעולות ובוחרים באפשרות השבתה או הפעלה.

מחיקה של משימת מחבר

כשמוחקים משימה, לא מתוזמנות הרצות חדשות, וכל ההרצות שמתבצעות מופסקות. מחיקת משימה לא מסירה מטא-נתונים שכבר יובאו אל Knowledge Catalog.

  1. בדף Connectors (מחברים), מוצאים את העבודה שרוצים למחוק.
  2. לוחצים על פעולות ובוחרים באפשרות מחיקה.
  3. כדי לאשר, מקלידים delete ולוחצים על מחיקה.

הפעלת משימה באופן ידני

אפשר להפעיל את הריצה של משימה מחוץ ללוח הזמנים הרגיל שלה. הפעולה הזו נקראת לפעמים backfill.

  1. בדף Connectors, לוחצים על השם לתצוגה של העבודה שרוצים להריץ.

  2. לוחצים על הפעלת ההעברה עכשיו ובוחרים באפשרות הפעלת העברה חד-פעמית.