מעבר מ-Data Catalog ל-Knowledge Catalog

‫Knowledge Catalog (לשעבר Dataplex Universal Catalog) מחליף את Data Catalog, ומספק ניהול מורכב יותר של מטא-נתונים, תכונות מתקדמות של ניהול נתונים, חיפוש נתונים יעיל יותר, בקרת גישה פשוטה יותר ו-API מאוחד שמקל על הפיתוח. במאמר הזה מוסבר איך להעביר את התוכן והשימוש שלכם ב-Data Catalog אל Knowledge Catalog.

אם אתם חדשים בשימוש בקטלוג, כדאי להתחיל עם Knowledge Catalog על ידי הגדרתו כחוויית הקטלוג שמוגדרת כברירת מחדל.

ל-Knowledge Catalog יש ממשק אינטרנט וממשק API מאוחדים. המעבר אל Knowledge Catalog מאפשר לעומסי העבודה ולמשתמשים הקיימים והעתידיים ליהנות מהתכונות והיכולות המתקדמות שלו. מידע נוסף זמין במאמר מידע על ניהול מטא-נתונים ב-Knowledge Catalog.

השוואה בין Knowledge Catalog לבין Data Catalog מופיעה במאמר Knowledge Catalog לעומת Data Catalog.

לפני שמתחילים

לפני שמתחילים את המעבר, כדאי לעיין בתכונות לניהול מטא-נתונים שלא נתמכות ב-Knowledge Catalog.

הערה: תגי מדיניות וטקסונומיות של תגי מדיניות, שמשמשים לבקרת גישה ברמת העמודה ב-BigQuery, לא הוצאו משימוש.

סקירה כללית על המעבר

בדף Manage transition to Knowledge Catalog במסוף Google Cloud יש נקודת גישה אחת לניהול המעבר.

בקטע הזה מתוארים תרחישי מעבר שונים ומפורט תהליך המעבר לכל אחד מהתרחישים.

אם אין לכם מטא נתונים מותאמים אישית בקטלוג הנתונים או אם אף פעם לא השתמשתם בקטלוג הנתונים

אם אתם משתמשים בקטלוג הנתונים ואין לכם מטא-נתונים מותאמים אישית, כמו תגים, תבניות תגים, רשומות מותאמות אישית או קבוצות רשומות, או אם אף פעם לא השתמשתם בקטלוג הנתונים, אתם צריכים להשלים את המעבר על ידי הגדרת חוויית המשתמש של קטלוג ברירת המחדל לקטלוג הידע.

הערה: אם אין לכם מטא-נתונים מותאמים אישית ב-Data Catalog או אם מעולם לא השתמשתם ב-Data Catalog, אתם יכולים לדלג על כל המשימות האחרות שמתוארות במסמך הזה.

אם יש לכם מטא-נתונים מותאמים אישית ב-Data Catalog או עומסי עבודה פרוגרמטיים

אם אתם משתמשים ב-Data Catalog עם מטא-נתונים מותאמים אישית (כמו תגים, תבניות תגים, רשומות מותאמות אישית או קבוצות רשומות), אפשר לייבא את המטא-נתונים המותאמים אישית האלה באופן אוטומטי ל-Knowledge Catalog בתור read-only. כדי להפעיל את היכולת הזו, צריך לבצע שינויים בהגדרות, כמו שמתואר בשלב ההכנה.

השלב השני הוא שלב השדרוג, שבו המצב הפעיל (read-write) של המטא נתונים המותאמים אישית מועבר אל Knowledge Catalog. במהלך השלב הזה, צריך גם לעדכן את כל עומסי העבודה הפרוגרמטיים (כמו API, ספריות לקוח, מודולים של Terraform ופקודות של Google Cloud CLI) כדי ליצור אינטראקציה עם Knowledge Catalog.

בהמשך מפורט כל שלב בתהליך המעבר:

1. שלב ההכנה: מבצעים את משימות ההגדרה הנדרשות כדי שהתוכן של Data Catalog יהיה זמין בו-זמנית ב-Knowledge Catalog בתור read-only. במהלך השלב הזה, Data Catalog נשאר מקור הסמכות לתוכן המטא-נתונים.

   השלב המקדים כולל את המשימות הבאות:

   1. מעדכנים את תבניות התגים הפרטיות של Data Catalog לציבוריות.
   2. הגדרת הרשאות IAM בקטלוג הידע למטא-נתונים מותאמים אישית.

   מידע נוסף זמין במאמר בנושא שלב ההכנה.

2. שלב השדרוג: מעבירים את השימוש בקטלוג ואת המצב הפעיל (read-write) של המטא-נתונים המותאמים אישית ל-Knowledge Catalog.

   שלב השדרוג כולל את המשימות הבאות:

   1. הגדרת חוויית המשתמש בקטלוג כברירת מחדל ל-Knowledge Catalog.
   2. שדרוג המטא-נתונים המותאמים אישית של Data Catalog ל-Knowledge Catalog.
   3. עדכון עומסי עבודה פרוגרמטיים.

   אחרי שתשלימו את שלב השדרוג, Knowledge Catalog יהפוך למקור הסמכות לכל המטא-נתונים שלכם, ולא תצטרכו להשתמש ב-Data Catalog.

   מידע נוסף זמין במאמר בנושא שלב השדרוג.

התפקידים הנדרשים

כדי לקבל את ההרשאות שנדרשות למעבר מ-Data Catalog ל-Knowledge Catalog, צריך להקצות את תפקידי ה-IAM הבאים במשאב:

• עדכון תבניות תגים פרטיות לציבוריות: Data Catalog TagTemplate Owner (roles/datacatalog.tagTemplateOwner)

  התפקיד המוגדר מראש הזה מכיל את ההרשאה datacatalog.tagTemplates.update, שנדרשת כדי לעדכן תבניות תגים פרטיות לתבניות ציבוריות.

• הגדרת חוויית המשתמש של קטלוג ברירת המחדל ל-Knowledge Catalog: DataCatalog Migration Config Admin (roles/datacatalog.migrationConfigAdmin)

  זהו תפקיד שמוגדר מראש ומכיל את ההרשאה datacatalog.migrationConfig.set, שנדרשת כדי להגדיר את חוויית המשתמש של קטלוג ברירת המחדל.

• שדרוג תבניות תגים ציבוריות של Data Catalog ל-Knowledge Catalog: Data Catalog TagTemplate Owner (roles/datacatalog.tagTemplateOwner)

  התפקיד המוגדר מראש הזה מכיל את ההרשאה datacatalog.tagTemplates.update, שנדרשת כדי לשדרג תבניות תגים ציבוריות.

• שדרוג של קבוצות רשומות ב-Data Catalog ל-Knowledge Catalog: DataCatalog EntryGroup Owner (roles/datacatalog.entryGroupOwner)

  התפקיד המוגדר מראש הזה מכיל את ההרשאה datacatalog.entryGroups.update, שנדרשת כדי לשדרג קבוצות של רשומות.

כדי לקרוא הסבר על מתן תפקידים, קראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

יכול להיות שתוכלו לקבל את ההרשאות הנדרשות גם באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש אחרים.

שלב ההכנה

הערה: מבצעים את המשימות שמתוארות בקטע הזה רק אם יש לכם מטא נתונים בהתאמה אישית של קטלוג הנתונים או עומסי עבודה פרוגרמטיים.

בשלב הזה מתבצעות משימות כדי להפוך את תוכן המטא-נתונים של Data Catalog לזמין בו-זמנית ב-Knowledge Catalog, במצב read-only.

הנקודות החשובות שכדאי לזכור בשלב ההכנה:

• ‫Data Catalog ממשיך להיות מקור הסמכות למטא-נתונים המותאמים אישית.
• יכול להיות שהחיפוש ב-Knowledge Catalog לא יכלול את כל התגים ותבניות התגים הציבוריים של Data Catalog עד שתשלימו את שלב ההכנה.

מידע נוסף על הזמינות בו-זמנית של מטא-נתונים של Data Catalog ב-Knowledge Catalog

קבוצות של רשומות מותאמות אישית, רשומות, תגים ותבניות תגים ציבוריות של Data Catalog זמינים באופן אוטומטי ב-Knowledge Catalog כמשאבי read-only.

בטבלה הבאה מוצג מיפוי בין משאבי Data Catalog ומשאבי Knowledge Catalog, כשמשאבי Data Catalog זמינים בו-זמנית ב-Knowledge Catalog:

מיפוי בין Data Catalog לבין Knowledge Catalog

משאב Data Catalog	משאב תואם ב-Knowledge Catalog	תיאור
תבנית ליצירת תג	סוג ההיבט (גלובלי)	תבניות תגים ב-Data Catalog הן משאבים אזוריים. התוכן שלהם זמין בו-זמנית כסוגי היבטים גלובליים ב-Knowledge Catalog. הסיבה לכך היא לשמר את ההפניות בין-אזוריות בין תגים ותבניות תגים. ההגדרות של סוגי היבטים גלובליים משוכפלות לכל האזורים Google Cloud . מושגים סטנדרטיים כמו Schema מיוצגים על ידי סוגי היבטים של המערכת, שזמינים ב-Knowledge Catalog. מידע נוסף זמין במאמר קטגוריות של סוגי היבטים.
תג	מאפיין אופציונלי	התגים זמינים בו-זמנית כהיבטים אופציונליים ב-Knowledge Catalog. מידע נוסף זמין במאמר בנושא קטגוריות של היבטים.
קבוצת רשומות	קבוצת רשומות	קבוצות של רשומות של מערכת נוצרות לכל פרויקט ולכל אזור בנפרד ב-Knowledge Catalog. קבוצות של רשומות שנוצרו בקטלוג הנתונים זמינות בו-זמנית ב-Knowledge Catalog.
רשומה בהתאמה אישית	רשומה בהתאמה אישית	כל הרשומות המותאמות אישית ב-Data Catalog זמינות בו-זמנית כרשומות של GenericEntryType ב-Knowledge Catalog. מידע נוסף זמין במאמר בנושא קטגוריות של סוגי רשומות.
רשומה במערכת (Google Cloud)	היבט שנדרש לרישום במערכת	מטא-נתונים שמתארים רשומות במערכת, כמו Schema לטבלאות BigQuery, נרשמים בהיבטים הנדרשים של סוגי ההיבטים שמוגדרים על ידי המערכת.

הערה: בדרך כלל, עדכונים בתוכן של Data Catalog מועברים אל Knowledge Catalog תוך 10 דקות. במקרים מסוימים, התהליך עשוי להימשך זמן רב יותר. כדי לוודא שהנתונים עקביים, מומלץ להפסיק את כל הפעולות של כתיבה ל-Data Catalog, ולאמת את משאבי Knowledge Catalog מול משאבי Data Catalog או מול מערכת המקור המקורית לפני השימוש.

עדכון תבניות תגים פרטיות ב-Data Catalog לתבניות ציבוריות

הערה: צריך לבצע את המשימה הזו רק אם משתמשים בתבניות תגים פרטיות ובתגים במרכז הנתונים.
רק מנהלי נתונים או נאמני נתונים יכולים לבצע את המשימה הזו.

Knowledge Catalog אינו תומך במושג של היבטים פרטיים (מקבילים לתגים פרטיים). לכן, תבניות תגים ותגים פרטיים לא זמינים בו-זמנית ב-Knowledge Catalog. כדי להפיץ תבניות תגים ותגים פרטיים ב-Knowledge Catalog, צריך לעדכן אותם לציבוריים.

לפני שממשיכים, כדאי לעיין במבנה של תבניות תגים פרטיות כדי לוודא שהמבנה והמטא-נתונים שלהן עקביים עם רמת החשיפה של תגים ציבוריים.

כדי לעדכן תגיות ותבניות תגיות פרטיות לציבוריות, פועלים לפי השלבים הבאים:

המסוף

1. נכנסים לדף Tag templates במסוף Google Cloud .

   מעבר אל Tag templates

2. לוחצים על ניהול המעבר לקטלוג הידע.

3. לוחצים על הכרטיסייה תבניות תגים פרטיות.

4. לוחצים על ניהול תבניות תגים.

5. בדף Tag templates (תבניות ליצירת תג), לוחצים על תבנית התג הפרטית שרוצים לעדכן.

6. בדף פרטי התבנית, לוחצים על עריכה.

7. בקטע חשיפה, בוחרים באפשרות גלוי לכולם.

8. לוחצים על עדכון.

REST

כדי לעדכן את תבניות התגים הפרטיות לציבוריות, משתמשים בשיטה tagTemplates.patch.

הגדרת הרשאות IAM ב-Knowledge Catalog למטא-נתונים מותאמים אישית

סוגי ההיבטים וקבוצות הרשומות המותאמות אישית ב-Knowledge Catalog שמייצגים תבניות תגים וקבוצות רשומות מ-Data Catalog לא מקבלים בירושה את הרשאות ה-IAM המקוריות של Data Catalog. גם ההרשאות הספציפיות ב-IAM שנדרשות שונות בין Knowledge Catalog לבין Data Catalog.

לדוגמה, אם רוצים ליצור היבטים באמצעות סוג היבט שהועבר (שמייצג תבנית ליצירת תג של Data Catalog), צריך להגדיר את הרשאות ה-IAM הנדרשות לסוג ההיבט הזה. באופן דומה, כשמבצעים הטמעה של מטא נתונים בהתאמה אישית כדי ליצור רשומות בהתאמה אישית בתוך קבוצת רשומות בהתאמה אישית שהועברה, צריך להגדיר את הרשאות ה-IAM הדרושות לקבוצת הרשומות הזו.

אם אתם משתמשים בתפקידי IAM של Data Catalog כדי לנהל גישה ב-Data Catalog ברמת הפרויקט או ברמה גבוהה יותר, ההרשאות הדרושות של Knowledge Catalog נכללות באופן אוטומטי. עם זאת, אם אתם משתמשים בתפקידים בהתאמה אישית או מקצים תפקידים ב-IAM ישירות למשאבים ספציפיים, אתם צריכים להגדיר באופן ידני את ההרשאות של Knowledge Catalog עבור ההיבטים הספציפיים האלה וקבוצות הרשומות בהתאמה אישית.

במאמר מיפוי הרשאות IAM בין Data Catalog לבין Knowledge Catalog מוסבר איך הרשאות IAM ב-Data Catalog תואמות להרשאות ב-Knowledge Catalog.

כדי להגדיר את הרשאות ה-IAM הנדרשות ב-Knowledge Catalog לסוגי היבטים ולקבוצות רשומות בהתאמה אישית, צריך לבצע את השלבים הבאים:

המסוף

1. נכנסים לדף Tag templates במסוף Google Cloud .

   מעבר אל Tag templates

2. לוחצים על ניהול המעבר לקטלוג הידע.

3. לוחצים על הכרטיסייה Dataplex IAM permissions (הרשאות IAM ב-Dataplex).

4. כדי להגדיר הרשאות IAM של Knowledge Catalog לסוגי היבטים, לוחצים על סוגי היבטים ותבניות תגים.

   1. בתבנית ליצירת תג שהועברה מ-Data Catalog, לוחצים על > הרשאות.

   2. לוחצים על Add principals.

   3. מוסיפים חשבון ראשי חדש ומקצים לו את התפקידים הנדרשים.

   4. לוחצים על Save.

5. כדי להגדיר הרשאות IAM ב-Knowledge Catalog לקבוצות של רשומות, לוחצים על קבוצות של רשומות.

   1. בשורה של קבוצת הרשומות שהועברה מקטלוג הנתונים, לוחצים על > הרשאות.

   2. לוחצים על Add principals.

   3. מוסיפים חשבון ראשי חדש ומקצים לו את התפקידים הנדרשים.

   4. לוחצים על Save.

REST

כדי להגדיר הרשאות IAM בקטלוג הידע לסוגי היבטים, משתמשים בשיטה aspectTypes.setIamPolicy.

כדי להגדיר הרשאות IAM בקטלוג הידע לקבוצות של רשומות, משתמשים ב-method ‏entryGroups.setIamPolicy.

שלב השדרוג

הערה: מבצעים את המשימות שמתוארות בקטע הזה רק אם יש לכם מטא נתונים בהתאמה אישית של קטלוג הנתונים או עומסי עבודה פרוגרמטיים.

בשלב הזה צריך לבצע משימות כדי להעביר את המצב הפעיל (read-write) של המטא-נתונים המותאמים אישית של Data Catalog אל Knowledge Catalog.

הנקודות החשובות שכדאי לזכור במהלך שלב השדרוג:

• אתם יכולים לגלות ולקרוא את המטא-נתונים של Data Catalog ושל Knowledge Catalog ב-Knowledge Catalog.
• כדי לעדכן את המטא-נתונים במסוף Google Cloud , תועברו למקור שלו. לדוגמה, אם אתם מעדכנים תבניות תגים של Data Catalog, תופנו לדף של תבניות התגים ב-Data Catalog.

הגדרת חוויית ברירת המחדל בממשק המשתמש של הקטלוג ל-Knowledge Catalog

הערה: בארגון Google Cloud , אדמין הארגון צריך להגדיר את ההגדרה הזו ברמת הארגון. אפשר גם להגדיר אותו לפרויקט שלכם, בלי להשפיע על ההגדרות של כל הארגון. בפרויקטים ללא ארגון, האדמין של הפרויקט צריך להגדיר את ההגדרה הזו עבור כל פרויקט בנפרד.

הגדרת חוויית ברירת המחדל של ממשק המשתמש של הקטלוג ל-Knowledge Catalog משמעותה:

• ממשק האינטרנט מעודד אתכם ליצור משאבים חדשים ב-Knowledge Catalog. לדוגמה, ברירת המחדל היא Create Aspect Types (יצירת סוגי מאפיינים) במקום Create Tag Templates (יצירת תבניות תגים), ו-Create Entry Group (Knowledge Catalog) (יצירת קבוצת רשומות (Knowledge Catalog)) במקום Create Entry Group (Data Catalog) (יצירת קבוצת רשומות (Data Catalog)).

• הגדרת חוויית ברירת המחדל של ממשק המשתמש של הקטלוג ל-Knowledge Catalog היא בדרך כלל פעולה חד-כיוונית. עם זאת, במקרים חריגים, למשל אם רוצים לחזור מממשק ברירת המחדל של קטלוג ל-Data Catalog, אפשר לבטל שינויים ב-Knowledge Catalog. אם מבטלים את השינויים, אי אפשר לגשת לתוכן שנוצר ב-Knowledge Catalog, בממשק האינטרנט של קטלוג הנתונים.

כדי להגדיר את חוויית המשתמש של קטלוג ברירת המחדל ל-Knowledge Catalog, פועלים לפי השלבים הבאים:

המסוף

1. נכנסים לדף Tag templates במסוף Google Cloud .

   מעבר אל Tag templates

2. לוחצים על ניהול המעבר לקטלוג הידע.

3. לוחצים על הכרטיסייה חוויית ברירת המחדל של ממשק המשתמש בקטלוג.

4. לוחצים על הגדרת חוויית המשתמש של קטלוג ברירת המחדל ל-Knowledge Catalog.

REST

כדי להגדיר את חוויית המשתמש של קטלוג ברירת המחדל ל-Knowledge Catalog, משתמשים בשיטה setConfig.

שדרוג מטא-נתונים בהתאמה אישית מ-Data Catalog ל-Knowledge Catalog

הערה: את המשימה הזו צריכים לבצע אדמינים של נתונים, נאמני נתונים או מהנדסי נתונים.

אפשר לשדרג את תבניות התגים הציבוריות של Data Catalog ואת קבוצות הרשומות המותאמות אישית ל-Knowledge Catalog. חשוב לשדרג כל תבנית ליצירת תג וכל קבוצת רשומות מותאמת אישית בנפרד.

אזהרה: פעולת השדרוג היא בלתי הפיכה. אחרי שמשדרגים את תבניות התגים וקבוצות הרשומות הקיימות ב-Data Catalog ל-Knowledge Catalog, אי אפשר לעדכן אותן ב-Data Catalog. אבל אפשר למחוק אותה בקטלוג הנתונים כי אין לה השפעה על הגרסה ששודרגה ל-Knowledge Catalog.

סיכום של תהליך השדרוג:

• אפקט

  • העברת המצב הפעיל של משאבים מ-Data Catalog אל Knowledge Catalog. אחרי השדרוג, כדי לשנות את המשאב או לגשת למצב הנוכחי שלו, צריך להשתמש במאגר הידע.

• שינויים בתוכן ובזרימה של הנתונים

  • מסמן את המשאב כ-read-only ב-Data Catalog.
  • סימון המשאב כread-write ב-Knowledge Catalog.
  • מפסיק את הזמינות הסימולטנית של המשאב הזה.

• תלויות

  • שדרוג של תבנית ליצירת תג משדרג גם את כל התגים שמשתמשים בתבנית הזו.
  • שדרוג של קבוצות רשומות משדרג גם את כל הרשומות בקבוצה.
  • שדרוג של רשומות לא משפיע על סטטוס השדרוג של התגים שלהן ותבניות התגים הרלוונטיות.

לפני השדרוג, כדי לשנות את ההקשר העסקי של רשומה (לדוגמה, overview, contacts), אפשר להשתמש ב-Data Catalog API וב-Dataplex API. אחרי השדרוג, אפשר להשתמש רק ב-Dataplex API.

בטבלה הבאה מפורטות הפעולות שמותרות ברשומה מותאמת אישית ב-Data Catalog שתויגה, בהתאם למצב השדרוג של קבוצת הרשומות המותאמות אישית ותבנית ליצירת תג שקשורות אליה:

• כשתבנית ליצירת תג פעילה ב-Data Catalog, אפשר להשתמש בה כדי ליצור תגים. אחרי שמשדרגים את תבנית ליצירת תג ל-Knowledge Catalog, אי אפשר להשתמש בה כדי ליצור תגים ב-Data Catalog.
• אפשר ליצור היבטים באמצעות סוגי היבטים שמופצים מתבניות תגים של Data Catalog, רק אחרי שמשדרגים את תבניות התגים.

כדי לשדרג את תבניות התגים של Data Catalog ואת קבוצות הרשומות המותאמות אישית ל-Knowledge Catalog, פועלים לפי השלבים הבאים:

המסוף

1. נכנסים לדף Tag templates במסוף Google Cloud .

   מעבר אל Tag templates

2. לוחצים על ניהול המעבר לקטלוג הידע.

3. לוחצים על הכרטיסייה שדרוג ל-Knowledge Catalog.

4. כדי לשדרג את תבניות התגים של Data Catalog ל-Knowledge Catalog, לוחצים על View aspect types and tag templates (הצגת סוגי ההיבטים ותבניות התגים).

   1. בוחרים את תבניות התגים שרוצים לשדרג.

   2. לוחצים על שדרוג.

   3. בתיבת הדו-שיח לאישור, לוחצים על אישור.

5. כדי לשדרג קבוצות רשומות מותאמות אישית של Data Catalog ל-Knowledge Catalog, לוחצים על הצגת קבוצות רשומות.

   1. בוחרים את קבוצות הרשומות שרוצים לשדרג.

   2. לוחצים על שדרוג.

   3. בתיבת הדו-שיח לאישור, לוחצים על אישור.

REST

כדי לשדרג תבניות תגים וקבוצות רשומות מותאמות אישית של Data Catalog ל-Knowledge Catalog, משתמשים בשיטה tagTemplates.patch.

כשמסיימים את שלב השדרוג, Knowledge Catalog הופך למקור הסמכות לכל המטא-נתונים, ואין צורך להשתמש ב-Data Catalog.

הערה: יכול להיות שיהיה עיכוב קצר אחרי השדרוג, לפני שכל השינויים בקטלוג הנתונים יופיעו ב-Knowledge Catalog. כדי לוודא שהנתונים עקביים בעומסי עבודה שבהם הזמן הוא גורם קריטי, מומלץ לבדוק את המשאבים של Knowledge Catalog מול המשאבים של Data Catalog או מול מערכת המקור המקורית לפני השימוש.

עדכון עומסי עבודה פרוגרמטיים

ב-Knowledge Catalog יש API חדש, ספריות לקוח, מודולים של Terraform ופקודות של Google Cloud CLI. לכן, צריך לעדכן את כל עומסי העבודה הקיימים שמשתמשים ב-Data Catalog באופן פרוגרמטי ל-Knowledge Catalog. דוגמאות קוד ל-Knowledge Catalog

חשוב לוודא שעדכון עומסי העבודה התוכנתיים מתבצע בהתאם לשדרוג המשאבים התלויים, כמו תבניות תגים וקבוצות מותאמות אישית של רשומות. השדרוג נדרש כי הוא מעביר את המצב הפעיל (read-write) של משאב מקטלוג הנתונים ל-Knowledge Catalog.

לפניכם דוגמה לרצף של עדכון עומסי עבודה פרוגרמטיים כדי ליצור אינטראקציה עם Knowledge Catalog, בתיאום עם שדרוג המשאבים התלויים:

1. אם עומסי העבודה יכולים לסבול מודל עקביות הדרגתי, כדאי להעביר את פעולות read של עומסי העבודה אל Knowledge Catalog.

2. העברת עומסי עבודה שמבצעים פעולות תיוג write אל Knowledge Catalog, תוך תיאום עם שדרוג תבניות התגים התואמות.

3. העברת עומסי עבודה שמבצעים פעולות של הכנסת נתונים בהתאמה אישית write אל Knowledge Catalog, תוך תיאום עם שדרוג קבוצות הרשומות המותאמות אישית הרלוונטיות.

אם אתם צריכים להפריד בין עדכון עומסי עבודה לבין שדרוג המשאבים התואמים, כדאי להטמיע לוגיקה בעומסי העבודה כדי להפנות את read-write אל Data Catalog או אל Knowledge Catalog בהתאם לסטטוס השדרוג של המשאב. לכן, עומסי העבודה יפעלו באופן עצמאי מסטטוס השדרוג של המשאב הקשור.

הערה: אי אפשר לנהל רשומות מותאמות אישית והיבטים באמצעות Terraform ב-Knowledge Catalog. במקום זאת, אפשר לנהל את המטא-נתונים המותאמים אישית באופן פרוגרמטי בקנה מידה גדול באמצעות צינור קישוריות מנוהל או שיטות של API לייבוא מטא-נתונים.

המאמרים הבאים

• מידע נוסף על ניהול מטא-נתונים ב-Knowledge Catalog
• איך מחפשים משאבים ב-Knowledge Catalog
• איך מנהלים היבטים ומשפרים את המטא-נתונים
• איך מנהלים רשומות ומייבאים מקורות בהתאמה אישית
• הפניית ה-API של Dataplex