ניהול של משימות מחברים

ב-Knowledge Catalog (לשעבר Dataplex Universal Catalog) אתם יכולים לנהל משימות של מחברים שמפעילות ייבוא מתוזמן וייבוא על פי דרישה של מטא-נתונים, כדי לסנכרן את הקטלוג עם מקורות נתונים חיצוניים. אתם יכולים לראות את הגדרות המשימה, את היסטוריית ההרצה ואת היומנים, לעדכן את הגדרות הייבוא, להשבית או להפעיל הרצות מתוזמנות, להפעיל הרצות של משימות באופן ידני ולמחוק משימות.

מידע נוסף על מחברי מטא-נתונים

לפני שמתחילים

כדי לנהל משימות של מחברים, צריך את תפקידי ה-IAM המתאימים. פרטים נוספים זמינים במאמר תפקידי IAM.

  • כדי לראות את המשימות ואת היסטוריית ההרצות:
    • BigQuery User (roles/bigquery.user)
    • צפייה ב-Dataplex (roles/dataplex.viewer)
  • כדי לערוך, למחוק או להפעיל משימות באופן ידני:
    • אדמין ב-BigQuery ‏ (roles/bigquery.admin)
    • אדמין ב-Dataplex‏ (roles/dataplex.admin) או עריכה ב-Dataplex‏ (roles/dataplex.editor)

צריך להפעיל את שירות העברת הנתונים ל-BigQuery.

בנוסף, צריך לתת לסוכן השירות של שירות העברת הנתונים ל-BigQuery‏ (service-PROJECT_NUMBER@gcp-sa-bigquerydatatransfer.iam.gserviceaccount.com) את ההרשאה dataplex.entryGroups.import או את התפקיד Dataplex Entry Group Importer‏ (roles/dataplex.entryGroupImporter). אפשר להקצות את התפקיד הזה ברמת הפרויקט או ברמת קבוצת הרשומות.

צפייה במשימות של המחבר

  1. נכנסים לדף Knowledge Catalog במסוף Google Cloud .

    מעבר אל Knowledge Catalog

  2. בתפריט הניווט, בקטע ניהול, לוחצים על מחברים. בדף Connectors מופיעה רשימה של כל משימות ייבוא המטא-נתונים בפרויקט.

  3. כדי לראות את הפרטים, היסטוריית ההרצה או ההגדרות של משימה ספציפית, לוחצים על השם שלה ברשימה.

הצגת היסטוריית ההרצות והיומנים של המשימות

בכל משימת מחבר, אתם יכולים לראות את היסטוריית ההפעלות שלה, כולל הפעלות שהצליחו והפעלות שנכשלו. הרצות של משימות שנוצרו לפני יותר מ-90 ימים נמחקות באופן אוטומטי.

  1. בדף Connectors, לוחצים על השם המוצג של המשימה שרוצים לראות.
  2. לוחצים על הכרטיסייה היסטוריית הפעלות. בכרטיסייה הזו מוצגות הרצות של משימות מהזמן האחרון.
  3. כדי להציג יומנים של הפעלה ספציפית, מאתרים את ההפעלה ברשימה ולוחצים על View details.

רישום ביומן ומעקב

מחברי המטא-נתונים של Knowledge Catalog מייצאים יומנים ומדדים ל-Cloud Monitoring ול-Cloud Logging, שמאפשרים לכם לעקוב אחרי הגדרות הייבוא. אתם יכולים להשתמש ב-Monitoring כדי להגדיר לוחות בקרה למעקב אחרי הגדרות הייבוא של המטא-נתונים, להעריך את ביצועי ההרצה ולראות הודעות שגיאה כדי לפתור בעיות בכשלים בהרצה. אתם יכולים להשתמש ב-Logging כדי לצפות ביומנים שקשורים להפעלה או להגדרה.

עדכון משימת מחבר

אתם יכולים לשנות את ההגדרות של משימה קיימת, כולל לוח הזמנים, קבוצת הרשומות של היעד, הגדרות ההתראות והאובייקטים של המקור לייבוא.

  1. בדף Connectors, לוחצים על השם המוצג של המשימה שרוצים לעדכן.
  2. לוחצים על Edit.
  3. משנים את הגדרות המשימה לפי הצורך.
  4. לוחצים על Save.

השבתה או הפעלה של משימת מחבר

כשמשביתים משימה, השם שלה מתעדכן בסטטוס disabled ולא מתוזמנות הפעלות חדשות של המשימה. כל ההרצות שכבר מתבצעות יושלמו. השבתת משימה לא מסירה מטא-נתונים שכבר יובאו אל Knowledge Catalog.

  1. בדף Connectors, מוצאים את המשימה שרוצים להשבית או להפעיל.
  2. לוחצים על פעולות ובוחרים באפשרות השבתה או הפעלה.

מחיקת משימה של מחבר

כשמוחקים משימה, לא מתוזמנות הפעלות חדשות וכל ההפעלות שמתבצעות נעצרות. מחיקת משימה לא מסירה מטא-נתונים שכבר יובאו ל-Knowledge Catalog.

  1. בדף מחברים, מוצאים את המשימה שרוצים למחוק.
  2. לוחצים על פעולות ובוחרים באפשרות מחיקה.
  3. כדי לאשר, מקלידים delete ולוחצים על מחיקה.

הפעלה ידנית של משימה

אפשר להפעיל משימה מחוץ ללוח הזמנים הרגיל שלה. התהליך הזה נקרא לפעמים מילוי חוסרים.

  1. בדף Connectors, לוחצים על השם המוצג של המשימה שרוצים להריץ.

  2. לוחצים על Run transfer now ובוחרים באפשרות Run one time transfer.