ניהול של משימות מחברים

במאמר הזה מוסבר איך לצפות במשימות של מחבר Knowledge Catalog (לשעבר Dataplex Universal Catalog) שמשמשות לייבוא מטא-נתונים, ואיך לעדכן ולמחוק אותן.

לפני שמתחילים

כדי לנהל משימות של מחברים, צריך את תפקידי ה-IAM המתאימים. פרטים נוספים זמינים במאמר תפקידי IAM.

  • כדי לראות את העבודות ואת היסטוריית ההרצות:
    • BigQuery User (roles/bigquery.user)
    • צפייה ב-Dataplex‏ (roles/dataplex.viewer)
  • כדי לערוך, למחוק או להפעיל משימות באופן ידני:
    • אדמין של BigQuery (roles/bigquery.admin)
    • אדמין של Dataplex‏ (roles/dataplex.admin) או עריכה ב-Dataplex‏ (roles/dataplex.editor)

צריך להפעיל את שירות העברת הנתונים ל-BigQuery.

בנוסף, צריך לתת לסוכן השירות של שירות העברת הנתונים ל-BigQuery‏ (service-PROJECT_NUMBER@gcp-sa-bigquerydatatransfer.iam.gserviceaccount.com) את ההרשאה dataplex.entryGroups.import או את התפקיד ייבוא קבוצת רשומות של Dataplex‏ (roles/dataplex.entryGroupImporter). אפשר להעניק את ההרשאה הזו ברמת הפרויקט או ברמת קבוצת הערכים.

צפייה במשימות של המחבר

  1. נכנסים לדף Knowledge Catalog במסוף Google Cloud .

    מעבר אל Knowledge Catalog

  2. בתפריט הניווט, בקטע Manage (ניהול), לוחצים על Connectors (מחברים). בדף Connectors מופיעה רשימה של כל משימות ייבוא המטא-נתונים בפרויקט.

  3. כדי לראות את הפרטים, היסטוריית ההרצה או ההגדרה של משימה ספציפית, לוחצים על השם שלה לתצוגה ברשימה.

איך רואים את היסטוריית ההרצות של משימות ואת היומנים

בכל משימת מחבר, אתם יכולים לראות את היסטוריית ההפעלות שלה, כולל הפעלות שהצליחו והפעלות שנכשלו. הרצות של משימות שנוצרו לפני יותר מ-90 ימים נמחקות באופן אוטומטי.

  1. בדף מחברים, לוחצים על השם לתצוגה של העבודה שרוצים לראות.
  2. לוחצים על הכרטיסייה Run history (היסטוריית ההרצה). בכרטיסייה הזו מוצגות הפעלות עדכניות של עבודות.
  3. כדי להציג את היומנים של הפעלה ספציפית, מאתרים את ההפעלה ברשימה ולוחצים על View details.

רישום ביומן ומעקב

מחברי מטא-נתונים של Knowledge Catalog מייצאים יומנים ומדדים ל-Cloud Monitoring ול-Cloud Logging, ומספקים יכולת מעקב אחרי הגדרות הייבוא. אתם יכולים להשתמש ב-Monitoring כדי להגדיר מרכזי בקרה למעקב אחרי הגדרות של ייבוא מטא-נתונים, להעריך את ביצועי ההרצה ולצפות בהודעות שגיאה כדי לפתור בעיות שגורמות לכשלים בהרצה. אתם יכולים להשתמש ב-Logging כדי לצפות ביומנים שקשורים להפעלה או להגדרה.

עדכון של משימת מחבר

אתם יכולים לשנות את ההגדרות של משימה קיימת, כולל לוח הזמנים, קבוצת רשומות היעד, הגדרות ההתראות והאובייקטים של המקור לייבוא.

  1. בדף Connectors, לוחצים על השם המוצג של המשימה שרוצים לעדכן.
  2. לוחצים על Edit.
  3. משנים את הגדרות העבודה לפי הצורך.
  4. לוחצים על Save.

השבתה או הפעלה של עבודת מחבר

כשמשביתים משימה, השם שלה מתעדכן בסטטוס disabled ולא מתוזמנות הפעלות חדשות של המשימה. כל ההרצות שכבר מתבצעות יושלמו. השבתת משימה לא מסירה מטא-נתונים שכבר יובאו אל Knowledge Catalog.

  1. בדף Connectors, מוצאים את העבודה שרוצים להשבית או להפעיל.
  2. לוחצים על פעולות ואז בוחרים באפשרות השבתה או הפעלה.

מחיקת משימה של מחבר

כשמוחקים משימה, לא מתוזמנות הרצות חדשות, וכל ההרצות שמתבצעות מופסקות. מחיקת משימה לא מסירה מטא-נתונים שכבר יובאו אל Knowledge Catalog.

  1. בדף Connectors, מוצאים את העבודה שרוצים למחוק.
  2. לוחצים על פעולות ובוחרים באפשרות מחיקה.
  3. כדי לאשר, מקלידים delete ולוחצים על מחיקה.

הפעלת משימה באופן ידני

אפשר להפעיל משימה מחוץ ללוח הזמנים הרגיל שלה. הפעולה הזו נקראת לפעמים מילוי חוסרים.

  1. בדף Connectors, לוחצים על השם המוצג של המשימה שרוצים להריץ.

  2. לוחצים על הפעלת ההעברה עכשיו ובוחרים באפשרות הפעלת העברה חד-פעמית.