מעבר מ-Data Catalog אל Dataplex Universal Catalog

‫Dataplex Universal Catalog מחליף את Data Catalog ומספק ניהול מורכב יותר של מטא-נתונים, תכונות מתקדמות של ניהול נתונים, חיפוש נתונים יעיל יותר, בקרת גישה פשוטה יותר וממשק API אחיד שמקל על הפיתוח. במאמר הזה מוסבר איך להעביר את התוכן והשימוש ב-Data Catalog אל Dataplex Universal Catalog.

אם אתם חדשים בשימוש בקטלוג, כדאי להתחיל עם Dataplex Universal Catalog על ידי הגדרתו כחוויית הקטלוג שמוגדרת כברירת מחדל.

ל-Dataplex Universal Catalog יש ממשק אינטרנט ו-API מאוחדים. המעבר ל-Dataplex Universal Catalog מאפשר לעומסי העבודה ולמשתמשים הקיימים והעתידיים שלכם ליהנות מהתכונות והיכולות המשופרות שלו. מידע נוסף זמין במאמר בנושא ניהול מטא-נתונים ב-Dataplex Universal Catalog.

השוואה בין Dataplex Universal Catalog לבין Data Catalog מופיעה במאמר Dataplex Universal Catalog לעומת Data Catalog.

לפני שמתחילים

לפני שמתחילים את המעבר, כדאי לעיין בתכונות לניהול מטא-נתונים שלא נתמכות ב-Dataplex Universal Catalog.

הערה: תגי מדיניות וטקסונומיות של תגי מדיניות, שמשמשים לבקרת גישה ברמת העמודה ב-BigQuery, לא הוצאו משימוש.

סקירה כללית על המעבר

הדף Manage transition to Dataplex Universal Catalog במסוף Google Cloud מספק נקודת גישה יחידה לניהול המעבר.

בקטע הזה מתוארים תרחישי מעבר שונים ומפורט תהליך המעבר לכל אחד מהתרחישים.

אם אין לכם מטא נתונים מותאמים אישית ב-Data Catalog או אם אף פעם לא השתמשתם ב-Data Catalog

אם אתם משתמשים ב-Data Catalog ואין לכם מטא-נתונים מותאמים אישית, כמו תגים, תבניות תגים, רשומות מותאמות אישית או קבוצות רשומות, או אם אף פעם לא השתמשתם ב-Data Catalog, אתם צריכים להשלים את המעבר על ידי הגדרת חוויית המשתמש של קטלוג ברירת המחדל ל-Dataplex Universal Catalog.

הערה: אם אין לכם מטא-נתונים מותאמים אישית ב-Data Catalog או אם אף פעם לא השתמשתם ב-Data Catalog, דלגו על כל המשימות האחרות שמתוארות במסמך הזה.

אם יש לכם מטא-נתונים מותאמים אישית ב-Data Catalog או עומסי עבודה פרוגרמטיים

אם אתם משתמשים ב-Data Catalog עם מטא-נתונים מותאמים אישית (כמו תגים, תבניות תגים, רשומות מותאמות אישית או קבוצות רשומות), אפשר לייבא את המטא-נתונים המותאמים אישית האלה באופן אוטומטי אל Dataplex Universal Catalog בתור read-only. כדי להפעיל את היכולת הזו, צריך לבצע שינויים בהגדרות, כמו שמתואר בשלב ההכנה.

השלב השני הוא שלב השדרוג, שבו המצב הפעיל (read-write) של המטא-נתונים המותאמים אישית מועבר אל Dataplex Universal Catalog. במהלך השלב הזה, צריך גם לעדכן את כל עומסי העבודה הפרוגרמטיים (כמו API, ספריות לקוח, מודולים של Terraform ופקודות של Google Cloud CLI) כדי ליצור אינטראקציה עם Dataplex Universal Catalog.

בהמשך מפורט כל שלב בתהליך המעבר:

1. שלב ההכנה: מבצעים את משימות ההגדרה הנדרשות כדי שהתוכן של Data Catalog יהיה זמין בו-זמנית ב-Dataplex Universal Catalog בתור read-only. במהלך השלב הזה, Data Catalog נשאר מקור הסמכות לתוכן המטא-נתונים.

   השלב המקדים כולל את המשימות הבאות:

   1. מעדכנים את תבניות התגים הפרטיות של Data Catalog לציבוריות.
   2. אם הפרויקט שלכם נמצא ב-Assured Workloads, אתם יכולים להפעיל תגיות ותבניות תגיות כדי שהמטא-נתונים יהיו זמינים בו-זמנית ב-Dataplex Universal Catalog.
   3. הגדרת הרשאות IAM ב-Dataplex Universal Catalog למטא-נתונים בהתאמה אישית.

   מידע נוסף זמין במאמר בנושא שלב ההכנה.

2. שלב השדרוג: מעבירים את השימוש בקטלוג ואת המצב הפעיל (read-write) של המטא-נתונים המותאמים אישית אל Dataplex Universal Catalog.

   שלב השדרוג כולל את המשימות הבאות:

   1. הגדרת חוויית ברירת המחדל של ממשק המשתמש של הקטלוג ל-Dataplex Universal Catalog.

   2. שדרוג המטא-נתונים המותאמים אישית של Data Catalog ל-Dataplex Universal Catalog.

      צריך להמתין לפחות 48 שעות אחרי שמפעילים את תבניות התגים והתגים, ואחרי שהופכים את תבניות התגים לגלויות לכולם, לפני שאפשר לשדרג את המטא-נתונים המותאמים אישית. הזמן הזה נדרש לעיבוד פנימי.

   3. עדכון עומסי עבודה פרוגרמטיים.

   אחרי שמסיימים את שלב השדרוג, Dataplex Universal Catalog הופך למקור הסמכות לכל המטא-נתונים, ואין צורך להשתמש ב-Data Catalog.

   מידע נוסף זמין במאמר בנושא שלב השדרוג.

התפקידים הנדרשים

כדי לקבל את ההרשאות שנדרשות למעבר מ-Data Catalog ל-Dataplex Universal Catalog, צריך להקצות את תפקידי ה-IAM הבאים במשאב:

• עדכון תבניות תגים פרטיות לציבוריות: Data Catalog TagTemplate Owner (roles/datacatalog.tagTemplateOwner)

  התפקיד המוגדר מראש הזה מכיל את ההרשאה datacatalog.tagTemplates.update, שנדרשת כדי לעדכן תבניות תגים פרטיות לתבניות ציבוריות.

• הסכמה לשימוש בתבניות תגים ציבוריות ובתגים כדי להפוך את המטא-נתונים לזמינים בו-זמנית ב-Dataplex Universal Catalog: DataCatalog Migration Config Admin (roles/datacatalog.migrationConfigAdmin)

  התפקיד שמוגדר מראש מכיל את ההרשאה datacatalog.migrationConfig.set, שנדרשת כדי להפעיל תבניות תגים ותגים.

• הגדרת חוויית המשתמש של קטלוג ברירת המחדל ל-Dataplex Universal Catalog: DataCatalog Migration Config Admin (roles/datacatalog.migrationConfigAdmin)

  זהו תפקיד שמוגדר מראש וכולל את ההרשאה datacatalog.migrationConfig.set, שנדרשת כדי להגדיר את חוויית המשתמש של קטלוג ברירת המחדל.

• שדרוג תבניות תגים ציבוריות של Data Catalog ל-Dataplex Universal Catalog: Data Catalog TagTemplate Owner (roles/datacatalog.tagTemplateOwner)

  התפקיד המוגדר מראש הזה מכיל את ההרשאה datacatalog.tagTemplates.update, שנדרשת כדי לשדרג תבניות תגים ציבוריות.

• שדרוג קבוצות של רשומות ב-Data Catalog ל-Dataplex Universal Catalog: DataCatalog EntryGroup Owner (roles/datacatalog.entryGroupOwner)

  התפקיד שמוגדר מראש הזה מכיל את ההרשאה datacatalog.entryGroups.update, שנדרשת כדי לשדרג קבוצות של רשומות.

כדי לקרוא הסבר על מתן תפקידים, קראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

יכול להיות שתוכלו לקבל את ההרשאות הנדרשות גם באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש אחרים.

שלב ההכנה

הערה: מבצעים את המשימות שמתוארות בקטע הזה רק אם יש לכם מטא נתונים בהתאמה אישית של קטלוג הנתונים או עומסי עבודה פרוגרמטיים.

בשלב הזה מתבצעות משימות שמאפשרות להפוך את תוכן המטא-נתונים של Data Catalog לזמין בו-זמנית ב-Dataplex Universal Catalog, במצב read-only.

הנקודות העיקריות שחשוב לזכור בשלב ההכנה:

• ‫Data Catalog ממשיך להיות מקור הסמכות למטא-נתונים המותאמים אישית.
• בדף חיפוש של Dataplex Universal Catalog, החיפוש מוגדר כברירת מחדל לחיפוש ב-Data Catalog, שכולל רק מטא-נתונים של Data Catalog ולא מטא-נתונים של Dataplex Universal Catalog.
• יכול להיות שהחיפוש ב-Dataplex Universal Catalog לא יכלול את כל התגים ותבניות התגים הציבוריים של Data Catalog עד שתשלימו את שלב ההכנה.

מידע נוסף על זמינות בו-זמנית של מטא-נתונים של Data Catalog ב-Dataplex Universal Catalog

קבוצות מותאמות אישית של רשומות ב-Data Catalog והרשומות שלהן כבר זמינות בו-זמנית ב-Dataplex Universal Catalog בתור read-only. כשמצטרפים לתוכנית של תגיות ותבניות תיוג ציבוריות בשלב ההכנה, התוכן שלהן יהיה זמין בו-זמנית ב-Dataplex Universal Catalog בתור read-only.

בטבלה הבאה מוצגת מיפוי בין משאבי Data Catalog לבין משאבי Dataplex Universal Catalog, כשמשאבי Data Catalog זמינים בו-זמנית ב-Dataplex Universal Catalog:

מיפוי בין Data Catalog לבין Dataplex Universal Catalog

משאב Data Catalog	משאב תואם ב-Dataplex Universal Catalog	תיאור
תבנית ליצירת תג	סוג ההיבט (גלובלי)	תבניות תגים ב-Data Catalog הן משאבים אזוריים. כשמפעילים תבניות תגים, התוכן שלהן זמין בו-זמנית כסוגי מאפיינים גלובליים ב-Dataplex Universal Catalog. הסיבה לכך היא לשמר את ההפניות בין-אזוריות בין תגים ותבניות תגים. ההגדרות של סוגי היבטים גלובליים מועתקות לכל האזורים [ Google Cloud ]. מושגים סטנדרטיים כמו Schema מיוצגים על ידי סוגי היבטים של המערכת, שזמינים ב-Dataplex Universal Catalog. מידע נוסף זמין במאמר בנושא קטגוריות של סוגי מאפיינים.
תג	היבט אופציונלי	כשמפעילים תבניות תגים, התגים שלהן הופכים לזמינים בו-זמנית כהיבטים אופציונליים ב-Dataplex Universal Catalog. מידע נוסף זמין במאמר בנושא קטגוריות של היבטים.
קבוצת רשומות	קבוצת רשומות	קבוצות של רשומות של המערכת נוצרות לכל פרויקט ולכל אזור ב-Dataplex Universal Catalog. קבוצות של רשומות שנוצרו ב-Data Catalog זמינות בו-זמנית ב-Dataplex Universal Catalog.
רשומה בהתאמה אישית	רשומה בהתאמה אישית	כל הרשומות המותאמות אישית ב-Data Catalog זמינות בו-זמנית כרשומות של GenericEntryType ב-Dataplex Universal Catalog. מידע נוסף זמין במאמר בנושא קטגוריות של סוגי רשומות.
רשומה במערכת (Google Cloud)	היבט שנדרש להזין במערכת	מטא-נתונים שמתארים רשומות מערכת, כמו Schema לטבלאות BigQuery, נרשמים בהיבטים הנדרשים של סוגי ההיבטים שמוגדרים על ידי המערכת.

הערה: בדרך כלל, עדכונים בתוכן של Data Catalog מועברים אל Dataplex Universal Catalog תוך 10 דקות. במקרים מסוימים, התהליך עשוי להימשך זמן רב יותר. כדי לוודא שהנתונים עקביים, מומלץ להפסיק את כל הפעולות של כתיבה אל Data Catalog, ולאחר מכן לוודא שמשאבי Dataplex Universal Catalog תואמים למשאבי Data Catalog או למערכת המקורית לפני השימוש בהם.

עדכון תבניות תגים פרטיות ב-Data Catalog לתבניות ציבוריות

הערה: מבצעים את המשימה הזו רק אם משתמשים בתבניות תגים פרטיות ובתגים בקטלוג הנתונים.
רק נאמני נתונים או אדמינים של נתונים יכולים לבצע את המשימה הזו.

ב-Dataplex Universal Catalog אין תמיכה במושג של היבטים פרטיים (מקבילים לתגים פרטיים). לכן, תבניות תגים ותגים פרטיים לא זמינים בו-זמנית ב-Dataplex Universal Catalog. כדי להפיץ תבניות ותגים פרטיים ב-Dataplex Universal Catalog, צריך לעדכן אותם לגלויים לכולם.

לפני שממשיכים, כדאי לבדוק את המבנה של תבניות תגים פרטיות כדי לוודא שהמבנה והמטא-נתונים שלהן תואמים למידת החשיפה של תגים ציבוריים.

כדי לעדכן תגיות ותבניות תגיות פרטיות לציבוריות:

המסוף

1. נכנסים לדף Catalog במסוף Google Cloud של Dataplex Universal Catalog.

   מעבר אל קטלוג

2. לוחצים על ניהול המעבר אל Dataplex Universal Catalog.

3. לוחצים על הכרטיסייה תבניות תגים פרטיות.

4. לוחצים על ניהול תבניות תגים.

5. בדף Tag templates (תבניות ליצירת תג), לוחצים על תבנית ליצירת התג הפרטית שרוצים לעדכן.

6. בדף פרטי התבנית, לוחצים על עריכה.

7. בקטע חשיפה, בוחרים באפשרות גלוי לכולם.

8. לוחצים על עדכון.

REST

כדי לעדכן את תבניות התגים הפרטיות לציבוריות, משתמשים בשיטה tagTemplates.patch.

הסכמה לשימוש בתבניות תגים ובתגים ציבוריים כדי שהמטא-נתונים יהיו זמינים בו-זמנית ב-Dataplex Universal Catalog

הערה: מבצעים את המשימה הזו רק אם הפרויקטים נמצאים ב-Assured Workloads ויש להם תבניות תגים ותגים ציבוריים ב-Data Catalog.
אם יש לכם ארגון, מנהל חשבון ארגוני יכול להגדיר את ההגדרה הזו ברמת הארגון, כך שהיא תחול על כל תבניות ליצירת תג בארגון. Google Cloud
כדי להעביר את תבניות התגים רק בפרויקט ספציפי, אפשר להגדיר את ההגדרה הזו לפרויקטים ספציפיים, בלי להשפיע על ההגדרות של כל הארגון.
בפרויקטים ללא ארגון, מנהל הפרויקט צריך להגדיר את ההגדרה הזו עבור פרויקטים ספציפיים, והיא חלה על כל תבניות התגים בפרויקט.

כשאתם מביעים הסכמה, התוכן של תבניות תגים ותגים ציבוריים של Data Catalog מועבר באופן אוטומטי ומתמשך אל Dataplex Universal Catalog בכל הארגון או הפרויקט שלכם ב- Google Cloud . תבניות התגים והתגים הציבוריים של Data Catalog מועברים ל-Dataplex Universal Catalog כסוגי היבטים ציבוריים והיבטים, בהתאמה. ההגדרות של סוגי היבטים גלובליים משוכפלות לכל האזורים של Google Cloud .

כדי להצטרף לתבניות ולתגים ציבוריים:

המסוף

1. נכנסים לדף Catalog של Dataplex Universal Catalog במסוף Google Cloud .

   מעבר אל קטלוג

2. לוחצים על ניהול המעבר אל Dataplex Universal Catalog.

3. לוחצים על הכרטיסייה הצטרפות.

4. לוחצים על הסכמה להצטרפות.

5. בתיבת הדו-שיח לאישור, מזינים את הטקסט שמוצג ולוחצים על אישור.

REST

כדי להביע הסכמה לשימוש בתבניות תגים ובתגים, משתמשים בשיטה setConfig.

גם בארגונים וגם בפרויקטים, אפשר לבטל את ההסכמה המקורית על ידי לחיצה על Revoke opt-in (ביטול ההסכמה). Google Cloud כשמבטלים את ההסכמה, התהליך של הפצת תבניות תגים ותגים של Data Catalog אל Dataplex Universal Catalog נפסק. היבטים וסוגי היבטים של Dataplex Universal Catalog שנוצרו בתהליך ההצטרפות אבל לא שודרגו ל-Dataplex Universal Catalog נמחקים. תהליך המחיקה עשוי להימשך עד 12 שעות.

הערה: אם תבטלו את ההסכמה להצטרפות לפרויקט, אבל האדמין של הארגון יספק הסכמה להצטרפות ברמת הארגון, ההגדרה של הארגון תקבל עדיפות ותבניות התגים בכל הפרויקטים בארגון יועברו.

הגדרת הרשאות IAM ב-Dataplex Universal Catalog למטא-נתונים בהתאמה אישית

סוגי ההיבטים של Dataplex Universal Catalog וקבוצות הרשומות המותאמות אישית שמייצגות תבניות תגים וקבוצות רשומות מ-Data Catalog לא מקבלים בירושה את הרשאות ה-IAM המקוריות של Data Catalog. גם ההרשאות הספציפיות שנדרשות ב-IAM שונות בין Dataplex Universal Catalog לבין Data Catalog.

לדוגמה, אם רוצים ליצור היבטים באמצעות סוג היבט שהועבר (שמייצג תבנית ליצירת תג של Data Catalog), צריך להגדיר את הרשאות ה-IAM הנדרשות לסוג ההיבט הזה. באופן דומה, כשמייבאים מטא-נתונים מותאמים אישית, כדי ליצור רשומות מותאמות אישית בתוך קבוצת רשומות מותאמות אישית שהועברה, צריך להגדיר את הרשאות ה-IAM הדרושות לקבוצת הרשומות הזו.

אם אתם משתמשים בתפקידי IAM של Data Catalog כדי לנהל גישה ב-Data Catalog ברמת הפרויקט או ברמה גבוהה יותר, ההרשאות הדרושות של Dataplex Universal Catalog נכללות באופן אוטומטי. עם זאת, אם אתם משתמשים בתפקידים בהתאמה אישית או מקצים תפקידי IAM ישירות למשאבים ספציפיים, אתם צריכים להגדיר באופן ידני את ההרשאות של Dataplex Universal Catalog עבור ההיבטים הספציפיים האלה וקבוצות הרשומות בהתאמה אישית.

מידע נוסף על ההתאמה בין הרשאות IAM ב-Data Catalog לבין הרשאות IAM ב-Dataplex Universal Catalog זמין במאמר מיפוי הרשאות IAM בין Data Catalog לבין Dataplex Universal Catalog.

כדי להגדיר את הרשאות ה-IAM הנדרשות ב-Dataplex Universal Catalog לסוגי היבטים ולקבוצות מותאמות אישית של רשומות, צריך לבצע את השלבים הבאים:

המסוף

1. נכנסים לדף Catalog במסוף Google Cloud של Dataplex Universal Catalog.

   מעבר אל קטלוג

2. לוחצים על ניהול המעבר אל Dataplex Universal Catalog.

3. לוחצים על הכרטיסייה Dataplex IAM permissions (הרשאות IAM ב-Dataplex).

4. כדי להגדיר הרשאות IAM ב-Dataplex Universal Catalog לסוגי היבטים, לוחצים על סוגי היבטים ותבניות תגים.

   1. בתבנית התג שהועברה מ-Data Catalog, לוחצים על > הרשאות.

   2. לוחצים על Add principals.

   3. מוסיפים חשבון ראשי חדש ומקצים לו את התפקידים הנדרשים.

   4. לוחצים על Save.

5. כדי להגדיר הרשאות IAM ב-Dataplex Universal Catalog לקבוצות של רשומות, לוחצים על קבוצות של רשומות.

   1. לגבי קבוצת הרשומות שהועברה מקטלוג הנתונים, לוחצים על > הרשאות.

   2. לוחצים על Add principals.

   3. מוסיפים חשבון ראשי חדש ומקצים לו את התפקידים הנדרשים.

   4. לוחצים על Save.

REST

כדי להגדיר הרשאות IAM ב-Dataplex Universal Catalog לסוגי היבטים, משתמשים בשיטה aspectTypes.setIamPolicy.

כדי להגדיר הרשאות IAM ב-Dataplex Universal Catalog לקבוצות של רשומות, משתמשים בשיטה entryGroups.setIamPolicy.

שלב השדרוג

הערה: מבצעים את המשימות שמתוארות בקטע הזה רק אם יש לכם מטא נתונים בהתאמה אישית של קטלוג הנתונים או עומסי עבודה פרוגרמטיים.

בשלב הזה מתבצעות משימות להעברת המצב הפעיל (read-write) של המטא-נתונים בהתאמה אישית ב-Data Catalog אל Dataplex Universal Catalog.

אלה הנקודות העיקריות שחשוב לזכור במהלך שלב השדרוג:

• דף החיפוש של Dataplex Universal Catalog מפנה כברירת מחדל לחיפוש ב-Dataplex Universal Catalog.
• אתם יכולים לגלות ולקרוא את המטא-נתונים של Data Catalog ושל Dataplex Universal Catalog ב-Dataplex Universal Catalog.
• כדי לעדכן את המטא-נתונים במסוף Google Cloud , תועברו למקור שלו. לדוגמה, אם אתם מעדכנים תבניות של תגים ב-Data Catalog, תופנו לדף של תבניות התגים ב-Data Catalog.

הגדרת חוויית המשתמש של קטלוג ברירת המחדל ל-Dataplex Universal Catalog

הערה: בארגון Google Cloud , האדמין הארגוני צריך להגדיר את ההגדרה הזו ברמת הארגון. אתם יכולים גם להגדיר אותו לפרויקט שלכם, בלי להשפיע על ההגדרות של כל הארגון. בפרויקטים ללא ארגון, האדמין של הפרויקט צריך להגדיר את ההגדרה הזו עבור כל פרויקט בנפרד.

הגדרת חוויית ברירת המחדל של ממשק המשתמש של הקטלוג ל-Dataplex Universal Catalog פירושה:

• כשעוברים לדף Search ב-Dataplex Universal Catalog במסוףGoogle Cloud , החיפוש ב-Dataplex Universal Catalog (Dataplex Catalog) מוצג כברירת מחדל. החיפוש ב-Dataplex Universal Catalog פועל על Dataplex Universal Catalog ומוצא את כל תוכן המטא נתונים שלכם, כולל תוכן שנוצר ב-Dataplex Universal Catalog ותוכן שהובא מ-Data Catalog.

  חיפוש ב-Data Catalog מוצא רק תוכן של Data Catalog, ולא תוכן של Dataplex Universal Catalog. לכן, אנחנו ממליצים להשתמש בחיפוש ב-Dataplex Universal Catalog.

• ממשק האינטרנט מעודד אתכם ליצור משאבים חדשים ב-Dataplex Universal Catalog. לדוגמה, ברירת המחדל היא Create Aspect Types (יצירת סוגי היבטים) במקום Create Tag Templates (יצירת תבניות תגים), ו-Create Entry Group (Dataplex Universal Catalog) (יצירת קבוצת רשומות (Dataplex Universal Catalog)) במקום Create Entry Group (Data Catalog) (יצירת קבוצת רשומות (Data Catalog)).

• הגדרת חוויית ברירת המחדל של ממשק המשתמש של הקטלוג ל-Dataplex Universal Catalog היא בדרך כלל פעולה חד-כיוונית. עם זאת, Dataplex Universal Catalog מאפשר לכם לבטל שינויים במקרים חריגים, למשל אם אתם רוצים לחזור לממשק המשתמש של Data Catalog במקום להשתמש בממשק המשתמש של Catalog כברירת מחדל. אם תחזרו לגרסה קודמת של השינויים, לא תוכלו לגשת לתוכן שנוצר ב-Dataplex Universal Catalog בממשק האינטרנט של קטלוג הנתונים.

כדי להגדיר את חוויית המשתמש של קטלוג ברירת המחדל ל-Dataplex Universal Catalog, פועלים לפי השלבים הבאים:

המסוף

1. נכנסים לדף Catalog במסוף Google Cloud של Dataplex Universal Catalog.

   מעבר אל קטלוג

2. לוחצים על ניהול המעבר אל Dataplex Universal Catalog.

3. לוחצים על הכרטיסייה חוויית ברירת המחדל של ממשק המשתמש בקטלוג.

4. לוחצים על הגדרת חוויית המשתמש של קטלוג ברירת המחדל ל-Dataplex Universal Catalog.

REST

כדי להגדיר את ממשק המשתמש של הקטלוג כברירת מחדל ל-Dataplex Universal Catalog, משתמשים בשיטה setConfig.

שדרוג מטא-נתונים בהתאמה אישית ב-Data Catalog ל-Dataplex Universal Catalog

הערה: את המשימה הזו צריכים לבצע אדמינים של נתונים, נאמני נתונים או מהנדסי נתונים.

אתם יכולים לשדרג את תבניות התגים הציבוריות של Data Catalog (שהסכמתם להשתמש בהן) ואת קבוצות הרשומות בהתאמה אישית ל-Dataplex Universal Catalog. חשוב לוודא שמשדרגים כל תבנית ליצירת תג וכל קבוצת רשומות מותאמת אישית בנפרד.

אזהרה: פעולת השדרוג היא בלתי הפיכה. אחרי שמשדרגים את תבניות התגים וקבוצות הרשומות הקיימות ב-Data Catalog ל-Dataplex Universal Catalog, אי אפשר לעדכן אותן ב-Data Catalog. אבל אפשר למחוק אותה ב-Data Catalog כי אין לה השפעה על הגרסה ששודרגה ל-Dataplex Universal Catalog.

סיכום של תהליך השדרוג:

• אפקט

  • העברת המצב הפעיל של משאבים מ-Data Catalog אל Dataplex Universal Catalog. אחרי השדרוג, כדי לשנות את המשאב או לגשת למצב הנוכחי שלו, צריך להשתמש ב-Dataplex Universal Catalog.

• שינויים בתוכן ובזרימה של הנתונים

  • מסמן את המשאב כ-read-only ב-Data Catalog.
  • סימון המשאב כ-read-write ב-Dataplex Universal Catalog.
  • מפסיק את הזמינות הסימולטנית של המשאב הזה.

• תלויות

  • שדרוג של תבנית ליצירת תג משדרג גם את כל התגים שמשתמשים בתבנית הזו.
  • שדרוג של קבוצות ערכים משדרג גם את כל הערכים בקבוצה.
  • שדרוג של רשומות לא משפיע על סטטוס השדרוג של התגים שלהן ותבניות התגים המתאימות.

לפני השדרוג, כדי לשנות את ההקשר העסקי של רשומה (לדוגמה, overview, contacts), אפשר להשתמש ב-Data Catalog API וב-Dataplex API. אחרי השדרוג, חובה להשתמש רק ב-Dataplex API.

בטבלה הבאה מפורטות הפעולות שמותרות לגבי רשומה מותאמת אישית ב-Data Catalog שתויגה, בהתאם למצב השדרוג של קבוצת הרשומות המותאמות אישית ותבנית ליצירת תג שקשורות אליה:

• כשתבנית ליצירת תג פעילה ב-Data Catalog, אפשר להשתמש בה כדי ליצור תגים. אחרי שמשדרגים את תבנית התגים ל-Dataplex Universal Catalog, אי אפשר להשתמש בה כדי ליצור תגים ב-Data Catalog.
• אפשר ליצור היבטים באמצעות סוגי היבטים שמופצים מתבניות תגים של Data Catalog, רק אחרי שמשדרגים את תבניות התגים.

כדי לשדרג את תבניות התגים ואת קבוצות הרשומות המותאמות אישית של Data Catalog ל-Dataplex Universal Catalog, פועלים לפי השלבים הבאים:

המסוף

1. חשוב לוודא שעברו לפחות 48 שעות מאז ההצטרפות ומאז שתבניות התגים הפכו לגלויות לכולם, לפני שמשדרגים את תבניות התגים של Data Catalog ל-Dataplex Universal Catalog. הזמן הזה נדרש לעיבוד פנימי.

2. נכנסים לדף Catalog במסוף Google Cloud של Dataplex Universal Catalog.

   מעבר אל קטלוג

3. לוחצים על ניהול המעבר אל Dataplex Universal Catalog.

4. לוחצים על הכרטיסייה שדרוג ל-Dataplex.

5. כדי לשדרג את תבניות התגים של Data Catalog ל-Dataplex Universal Catalog, לוחצים על View aspect types and tag templates (הצגת סוגי היבטים ותבניות תגים).

   1. בוחרים את תבניות התגים שרוצים לשדרג.

   2. לוחצים על שדרוג.

   3. בתיבת הדו-שיח לאישור, לוחצים על אישור.

6. כדי לשדרג קבוצות של רשומות מותאמות אישית ב-Data Catalog ל-Dataplex Universal Catalog, לוחצים על הצגת קבוצות של רשומות.

   1. בוחרים את קבוצות הרשומות שרוצים לשדרג.

   2. לוחצים על שדרוג.

   3. בתיבת הדו-שיח לאישור, לוחצים על אישור.

REST

חשוב לוודא שעברו לפחות 48 שעות מאז ההסכמה והפיכת תבניות התגים לציבוריות, לפני שמשדרגים את תבניות התגים של Data Catalog ל-Dataplex Universal Catalog. הזמן הזה נדרש לעיבוד פנימי.

לאחר מכן, כדי לשדרג תבניות תגים וקבוצות רשומות בהתאמה אישית ב-Data Catalog ל-Dataplex Universal Catalog, משתמשים בשיטה tagTemplates.patch.

כשמסיימים את שלב השדרוג, Dataplex Universal Catalog הופך למקור הסמכות לכל המטא-נתונים, ולא צריך להשתמש ב-Data Catalog.

הערה: יכול להיות שיהיה עיכוב קצר אחרי השדרוג, לפני שכל השינויים בקטלוג הנתונים יופיעו ב-Dataplex Universal Catalog. כדי לוודא את עקביות הנתונים בעומסי עבודה שבהם הזמן הוא גורם קריטי, מומלץ לאמת את המשאבים של Dataplex Universal Catalog מול המשאבים של Data Catalog או מול מערכת המקור המקורית לפני השימוש.

עדכון עומסי עבודה פרוגרמטיים

‫Dataplex Universal Catalog כולל API חדש, ספריות לקוח, מודולים של Terraform ופקודות של Google Cloud CLI. לכן, צריך לעדכן את כל עומסי העבודה הקיימים שמשתמשים ב-Data Catalog באופן פרוגרמטי ל-Dataplex Universal Catalog. דוגמאות קוד ל-Dataplex Universal Catalog

חשוב לוודא שעדכון עומסי העבודה התוכנתיים מתבצע בהתאם לשדרוג המשאבים התלויים, כמו תבניות תגים וקבוצות מותאמות אישית של רשומות. השדרוג נדרש כי הוא מעביר את המצב הפעיל (read-write) של משאב מ-Data Catalog אל Dataplex Universal Catalog.

זוהי דוגמה לרצף של עדכון עומסי עבודה תוכנתיים כדי ליצור אינטראקציה עם Dataplex Universal Catalog, בתיאום עם שדרוג המשאבים התלויים:

1. אם עומסי העבודה יכולים לסבול מודל עקביות הדרגתי, כדאי להעביר פעולות read של עומסי עבודה אל Dataplex Universal Catalog.

2. העברת עומסי עבודה שמבצעים פעולות תיוג write אל Dataplex Universal Catalog, תוך תיאום עם שדרוג תבניות התגים התואמות.

3. העברת עומסי עבודה שמבצעים פעולות של קליטה בהתאמה אישית write אל Dataplex Universal Catalog, תוך תיאום עם השדרוג של קבוצות הרשומות המותאמות אישית הרלוונטיות.

אם אתם צריכים להפריד בין עדכון עומסי עבודה לבין שדרוג המשאבים התואמים, כדאי להטמיע לוגיקה בעומסי העבודה כדי להפנות את read-write אל Data Catalog או אל Dataplex Universal Catalog בהתאם לסטטוס של שדרוג המשאבים. לכן, עומסי העבודה יפעלו באופן עצמאי מסטטוס השדרוג של המשאב הקשור.

הערה: אי אפשר לנהל רשומות מותאמות אישית והיבטים באמצעות Terraform ב-Dataplex Universal Catalog. במקום זאת, אפשר לנהל באופן פרוגרמטי את המטא-נתונים המותאמים אישית בהיקף גדול באמצעות צינור קישוריות מנוהל או שיטות של API לייבוא מטא-נתונים.

המאמרים הבאים

• מידע נוסף על ניהול מטא-נתונים ב-Dataplex Universal Catalog
• איך מחפשים משאבים ב-Dataplex Universal Catalog
• איך מנהלים היבטים ומשפרים את המטא-נתונים
• איך מנהלים רשומות ומייבאים מקורות בהתאמה אישית
• מידע נוסף על הפניית Dataplex API