ניהול של משימות מחברים

במאמר הזה מוסבר איך לצפות במשימות של מחבר Knowledge Catalog (לשעבר Dataplex Universal Catalog) שמשמשות לייבוא מטא-נתונים, ואיך לעדכן ולמחוק אותן.

לפני שמתחילים

כדי לנהל משימות של מחברים, צריך את תפקידי ה-IAM המתאימים. פרטים נוספים זמינים במאמר בנושא תפקידים ב-IAM.

  • כדי לראות את העבודות ואת היסטוריית ההרצות:
    • BigQuery User (roles/bigquery.user)
    • צפייה ב-Dataplex‏ (roles/dataplex.viewer)
  • כדי לערוך, למחוק או להפעיל ידנית משימות:
    • אדמין של BigQuery (roles/bigquery.admin)
    • אדמין Dataplex‏ (roles/dataplex.admin) או עריכה ב-Dataplex‏ (roles/dataplex.editor)

צריך להפעיל את שירות העברת הנתונים ל-BigQuery.

בנוסף, צריך להעניק לסוכן השירות של שירות העברת נתונים ל-BigQuery‏ (service-PROJECT_NUMBER@gcp-sa-bigquerydatatransfer.iam.gserviceaccount.com) את ההרשאה dataplex.entryGroups.import או את התפקיד Dataplex Entry Group Importer (roles/dataplex.entryGroupImporter). אפשר להעניק את ההרשאה הזו ברמת הפרויקט או ברמת קבוצת הערכים.

צפייה במשימות של מחברים

  1. נכנסים לדף Knowledge Catalog במסוף Google Cloud .

    מעבר אל Knowledge Catalog

  2. בתפריט הניווט, בקטע Manage (ניהול), לוחצים על Connectors (מחברים). בדף Connectors מפורטים כל תהליכי הייבוא של המטא-נתונים בפרויקט.

  3. כדי לראות את הפרטים, היסטוריית ההרצה או ההגדרה של משימה ספציפית, לוחצים על השם שלה לתצוגה ברשימה.

איך רואים את היסטוריית ההרצות של משימות ואת היומנים

בכל משימת מחבר, אפשר לראות את היסטוריית ההפעלות שלה, כולל הפעלות מוצלחות והפעלות שנכשלו. הפעלות של משימות מלפני יותר מ-90 ימים נמחקות באופן אוטומטי.

  1. בדף מחברים, לוחצים על השם לתצוגה של העבודה שרוצים לראות.
  2. לוחצים על הכרטיסייה Run history (היסטוריית ההרצה). בכרטיסייה הזו מוצגות הפעלות עדכניות של עבודות.
  3. כדי לראות את היומנים של הרצה ספציפית, מחפשים את ההרצה ברשימה ולוחצים על הצגת פרטים.

רישום ביומן ומעקב

מחברים של מטא-נתונים ב-Knowledge Catalog מייצאים יומנים ומדדים ל-Cloud Monitoring ול-Cloud Logging, ומספקים יכולת מעקב אחרי הגדרות הייבוא. אתם יכולים להשתמש ב-Monitoring כדי להגדיר מרכזי בקרה למעקב אחרי הגדרות של ייבוא מטא-נתונים, להעריך את ביצועי ההרצה ולצפות בהודעות שגיאה כדי לפתור בעיות שגורמות לכשלים בהרצה. אתם יכולים להשתמש ב-Logging כדי לראות יומנים שקשורים להרצה או להגדרה.

עדכון של משימת מחבר

אתם יכולים לשנות את התצורה של משימה קיימת, כולל לוח הזמנים שלה, קבוצת רשומות היעד, הגדרות ההתראות ואובייקטי המקור לייבוא.

  1. בדף Connectors, לוחצים על השם המוצג של העבודה שרוצים לעדכן.
  2. לוחצים על Edit.
  3. משנים את הגדרות העבודה לפי הצורך.
  4. לוחצים על Save.

השבתה או הפעלה של עבודת מחבר

כשמשביתים משימה, השם שלה מתעדכן עם הסטטוס disabled ולא מתוזמנים ריצות חדשות של המשימה. כל ההרצות שכבר מתבצעות יושלמו. השבתת משימה לא מסירה מטא-נתונים שכבר יובאו אל Knowledge Catalog.

  1. בדף Connectors, מוצאים את העבודה שרוצים להשבית או להפעיל.
  2. לוחצים על פעולות ואז בוחרים באפשרות השבתה או הפעלה.

מחיקת משימת מחבר

כשמוחקים משימה, לא מתוזמנות הרצות חדשות וכל ההרצות שמתבצעות מופסקות. מחיקת משימה לא מסירה מטא-נתונים שכבר יובאו אל Knowledge Catalog.

  1. בדף מחברים, מוצאים את העבודה שרוצים למחוק.
  2. לוחצים על פעולות ובוחרים באפשרות מחיקה.
  3. כדי לאשר, מקלידים delete ולוחצים על מחיקה.

הפעלת משימה באופן ידני

אפשר להפעיל את הריצה של פעולה מחוץ ללוח הזמנים הרגיל שלה. הפעולה הזו נקראת לפעמים מילוי חוסרים.

  1. בדף Connectors, לוחצים על השם לתצוגה של העבודה שרוצים להריץ.

  2. לוחצים על הפעלת ההעברה עכשיו ובוחרים באפשרות הפעלת העברה חד-פעמית.