מידע על ניהול מטא-נתונים ב-Dataplex Universal Catalog

Dataplex Universal Catalog הוא שירות שמנוהל במלואו שמאפשר לגלות ולסווג באופן אוטומטי את הנתונים המבוזרים ואת נכסי ה-AI שלכם. הוא יוצר מאגר ידע מאוחד שאפשר לחפש בו, שמנהל את הנתונים ב- Google Cloud ובסביבות אחרות, וכך מבטיח שהניתוחים ומודלי ה-AI שלכם מבוססים על מידע מהימן ותואם.

הערה: אפשר להגדיר את חוויית הקטלוג שמוגדרת כברירת מחדל ל-Dataplex Universal Catalog. אם אתם משתמשים ב-Data Catalog, אתם צריכים להעביר את התוכן והשימוש ב-Data Catalog העצמאי אל Dataplex Universal Catalog. למידע נוסף, אפשר לעיין במאמר מעבר מ-Data Catalog ל-Dataplex Universal Catalog.

תרחישים לדוגמה

• האצת ניתוח נתונים בשירות עצמי: הפתרון מאפשר לנתח נתונים בשירות עצמי בלי להסתמך על תמיכה הנדסית, וכך לפתור את בעיית ה-cold start. בעזרת הפתרון, אנליסטים יכולים למצוא נתונים, להבין אותם ולאמת את איכותם.

• ניהול מוצרי AI ונתונים: ניהול מחזור החיים של מודלים של AI ושל מערכי נתונים ביחד, כדי להבטיח שאפליקציות AI בהמשך התהליך יסתמכו על קלטים מאושרים ומאובטחים.

• ייעול התאימות: אוטומציה של מעקב אחר מקורות נתונים כדי למפות את זרימת המידע הרגיש, כולל פרטים אישיים מזהים (PII), בארגון.

איך Dataplex Universal Catalog פועל

אפשר לחשוב על Dataplex Universal Catalog כספרייה חכמה ואוטומטית לארגון. במקום להזין ידנית, המערכת מעכלת באופן אוטומטי מטא-נתונים טכניים ממערכות האחסון שלכם (כמו BigQuery).

לאחר מכן, תוכלו להוסיף למטא-נתונים האלה הקשר עסקי – כמו ציוני איכות הנתונים או בעלות – ולסדר אותם בקבוצות לוגיות. כך מובטח שכאשר משתמשים יחפשו בקטלוג, הם ימצאו נכסים שהם גלויים וכפופים למדיניות אבטחה פעילה.

בנוסף, אפשר להשתמש בפידים של שינויים במטא-נתונים כדי להזרים שינויים במטא-נתונים כמעט בזמן אמת באמצעות Dataplex Universal Catalog. פיד של שינויים במטא-נתונים שולח התראות על יצירה, עדכונים או מחיקה של מטא-נתונים לנושא Pub/Sub שאתם מציינים. ‫Pub/Sub הוא שירות העברת הודעות אסינכרוני וניתן להרחבה. אחרי כן, אפשר להשתמש בלקוח רשום כדי להירשם לנושא ב-Pub/Sub ולקבל את ההתראות האלה. אתם יכולים לעבד שינויים במטא-נתונים באופן פרוגרמטי, להפעיל תהליכי עבודה או לשלב עם מערכות אחרות כדי לפעול בהתאם להתראות האלה. לדוגמה, אפשר להשתמש בהתראות האלה כדי להפעיל אוטומטית בדיקות של איכות הנתונים כשסכימת טבלה משתנה. מידע נוסף זמין במאמר פידים של שינויים במטא-נתונים.

הסברים על המונחים

תכונות ניהול המטא-נתונים ב-Dataplex Universal Catalog מבוססות על המושגים הבאים:

הערך

רשומה מייצגת נכס נתונים. הוא דומה לרשומות בקטלוג הנתונים.

דוגמה: טבלה ב-BigQuery בשם test-project.sales_data.customer_orders מיוצגת כרשומה.

עמודה של רשומה מייצגת חלק משנה ספציפי של נכס נתונים, כמו עמודה יחידה בטבלה ב-BigQuery או שדה בקובץ JSON. עמודות מאפשרות לכם לצרף מטא-נתונים לשדות ספציפיים ברשומה, ולא רק לרשומה כולה. אתם לא מגדירים עמודות ישירות, אלא הן נוצרות כשמצרפים רכיב מסוג schema לרשומה. עמודות נקראות גם נתיבים.

דוגמה: כדי לתאר את השדה email_address בתוך הרשומה customer_orders ככזה שמכיל פרטים אישיים מזהים (PII), אפשר לצרף היבט לעמודה email_address.

מידע נוסף על רשומות זמין במאמר רשומות.

קישור לכניסה

קישור של רשומה יוצר קשר בין שני נכסי נתונים (רשומות) ב-Dataplex Universal Catalog. קישורים יכולים להיות סימטריים (לא מכוונים), כמו מילים נרדפות או פריטים קשורים, או אסימטריים (מכוונים), עם מקור ויעד מפורשים, למשל הגדרה. קישור יכול להפנות לרשומה כולה או לנתיב ספציפי, כמו עמודה יחידה בסכימה.

דוגמה: קישור של רשומה מסוג 'מילה נרדפת' מקשר את המונח העסקי רווח כמילה נרדפת למונח הכנסות.

מגבלה: Dataplex Universal Catalog תומך רק בקישורים לרשומות שקשורות למילון מונחים עסקי.

מידע נוסף על קישורים לדפים זמין במאמר EntryLinks.

סוג קישור לכניסה

סוג קישור של רשומה הוא תבנית לשימוש חוזר לקישורי רשומות, שמתארת את המשמעות של הקשר בין שתי רשומות. כל קישור לכניסה הוא מופע של סוג קישור לכניסה. הכיווניות של קישורי הכניסה מוגדרת ברמה של סוג קישור הכניסה.

דוגמה: כדי להסביר את המשמעות של העמודות בטבלה, אפשר להשתמש בdefinition סוג קישור של רשומה כדי לקשר בין העמודות האלה לבין מונחים במילון המונחים העסקי.

‫Dataplex Universal Catalog תומך בסוגי הקישורים הבאים לרשומות: ‫synonym,‏ related ו-definition.

היבט

אספקט הוא קבוצה של שדות מטא-נתונים קשורים. אפשר לצרף היבט לרשומה כדי לתאר את הרשומה כולה. רוב המטא-נתונים מתוארים על ידי היבטים בתוך רשומה. התכונה הזו דומה לתגים ב-Data Catalog. עם זאת, ההיבטים מאוחסנים בתוך הרשומות ולא כמשאבים עצמאיים.

דוגמה: כדי להגדיר את כל העמודות של הרשומה customer_orders, כמו order_id, order_date ו-email_address, אפשר לצרף היבט schema לרשומה customer_orders. כדי לציין שהעמודה email_addressמכילה כתובת אימייל, אפשר לצרף את ההיבט schema לעמודה email_address.

מידע נוסף על היבטים זמין במאמר היבטים.

סוג הרשומה

סוג רשומה הוא תבנית ליצירת רשומות. הוא מגדיר את רכיבי המטא-נתונים החיוניים, שמפורטים כרשימה של היבטים נדרשים לרשומות מהסוג הזה. סוג רשומה מציין אילו סוגי היבטים נדרשים עבור נכס נתונים ספציפי.

לדוגמה: כדי לוודא שלכל הרשומות יש את המטא-נתונים הנדרשים, אפשר ליצור סוג רשומה בשם StandardOperationalTable שדורש צירוף של היבט OwnerInfo לכל רשומה חדשה מהסוג הזה.

מידע נוסף על סוגי רשומות זמין במאמר סוגי רשומות.

סוג ההיבט

סוג היבט הוא תבנית שאפשר לעשות בה שימוש חוזר להיבטים. כל היבט הוא מופע של סוג היבט. זה דומה לתבניות תגים ב-Data Catalog.

דוגמה: כדי להגדיר תבנית לשימוש חוזר לפרטים ליצירת קשר, אפשר להגדיר סוג מאפיין בשם ContactInfo עם שדות לowner_name, לemail ולsupport_team. לאחר מכן, תוכלו ליצור ContactInfo היבטים מהתבנית הזו ולצרף אותם לרשומות או לעמודות.

מידע נוסף על סוגי יחס גובה-רוחב זמין במאמר סוגי יחס גובה-רוחב.

קבוצת רשומות

קבוצת רשומות היא מאגר של רשומות שמשמש כיחידת ניהול של הרשומות האלה. לדוגמה, אפשר להשתמש בקבוצת רשומות כדי להגדיר בקרת גישה של ניהול זהויות והרשאות גישה, שיוך לפרויקט או מיקום לרשומות בקבוצת הרשומות. זה דומה לקבוצות של רשומות ב-Data Catalog.

דוגמה: צוות פיננסי רוצה לנהל את ההרשאות לכל הטבלאות שלו בבת אחת. הם יכולים ליצור קבוצת רשומות בשם production_finance_dataולכלול בה את הרשומות של טבלה customer_orders, טבלה quarterly_revenue וטבלה employee_salaries.

מידע נוסף על קבוצות של רשומות זמינות במאמר קבוצות של רשומות.

איור 1. רשומות וקבוצות של רשומות

איור 2. סוגי היבטים וסוגי רשומות

Dataplex Universal Catalog לעומת Data Catalog

‫Dataplex Universal Catalog מספק יכולות משולבות לניהול המטא-נתונים. אחסון המטא-נתונים ושיטות ה-API משולבים ב-Dataplex API.

התכונות העיקריות לניהול מטא-נתונים ב-Dataplex Universal Catalog כוללות את התכונות הבאות:

• מטא-מודל חזק יותר

  • הערכים שהוקלדו. אתם יכולים לאכוף סטנדרטים מינימליים של מטא-נתונים על ידי הגדרת תוכן המטא-נתונים הנדרש עבור רשומות מותאמות אישית
  • מטא-מודל שניתן להגדרה על ידי המשתמש עבור רשומות מותאמות אישית, שעוזר להפוך את ההטמעה המותאמת אישית לחזקה יותר ומשפר את העקביות והמקיפות של המטא-נתונים המותאמים אישית.
  • תמיכה במגוון רחב יותר של מטא-נתונים מורכבים, כולל תמיכה במבני קינון כמו רשימות, מפות ומערכים.

• שיפור המדרגיות, כולל היכולת ליצור אינטראקציה עם כל המטא-נתונים שמשויכים לרשומה באמצעות פעולות CRUD אטומיות יחידות, והיכולת לאחזר כמה הערות של מטא-נתונים שמשויכות לתשובות של חיפוש או רשימה.

בטבלה הבאה מוצגת השוואה בין התכונות לניהול מטא-נתונים ב-Dataplex Universal Catalog וב-Data Catalog:

השוואה בין Dataplex Universal Catalog לבין Data Catalog

תכונה	Dataplex Universal Catalog	Data Catalog
מקורות Google Cloud נתמכים	כל המקורות כפי שמתואר בקטע מקורות Google Cloud נתמכים במסמך הזה.	כל המקורות שמתוארים בקטע רשומות וקבוצות רשומות.
הטמעה של מקורות בהתאמה אישית	הטמעה ברשומות מותאמות אישית עם מבנה מנוהל, שמוגדר על ידי סוגי רשומות. רשומות מותאמות אישית וקבוצות רשומות של Data Catalog זמינות ב-Dataplex Universal Catalog בקטע generic entry type.	הטמעה של נתונים ברשומות כלליות בהתאמה אישית.
העשרת מטא-נתונים	הקשר של מטא-נתונים לרשומות נשמר באמצעות מילונים עסקיים, היבטים וסוגי היבטים.	הקשר של המטא-נתונים של הרשומות מתועד באמצעות מילונים עסקיים, תגים ותבניות תגים.
פידים של שינויים במטא-נתונים	התראות על שינויים במטא-נתונים כמעט בזמן אמת מועברות בסטרימינג ל-Pub/Sub.	לא זמין.
חיפוש	החיפוש מתבצע בנתונים הבאים: כל Google Cloud המקורות שמתוארים במקורות Google Cloud נתמכים רשומות בהתאמה אישית שנוצרו ב-Dataplex Universal Catalog היבטים שנוצרים ב-Dataplex Universal Catalog רשומות בהתאמה אישית שנוצרות ב-Data Catalog ומועברות אל Dataplex Universal Catalog תוצאות החיפוש כוללות רק את המשאבים ששייכים לאותו ארגון ולאותו היקף של VPC-SC כמו הפרויקט שבו מתבצע החיפוש. כשמשתמשים במסוף Google Cloud , זה הפרויקט שנבחר במסוף. שימו לב: כדי לחפש רשומות, צריך לפחות אחד מתפקידי ה-IAM הבאים בפרויקט שמשמש לחיפוש: אדמין קטלוג Dataplex, עורך קטלוג Dataplex או צופה בקטלוג Dataplex. ההרשאות בתוצאות החיפוש נבדקות בנפרד מהפרויקט שנבחר.	החיפוש מתבצע בנתונים הבאים: כל המקורות שמתוארים בקטע רשומות וקבוצות של רשומות Google Cloud רשומות מותאמות אישית שנוצרות בקטלוג הנתונים תגים שנוצרו ב-Data Catalog
שושלת נתונים	ה-API של Dataplex משמש לאחזור פרטי רשומות עבור צמתי נכסים. במסוף Google Cloud מוצגים ההיבטים המצורפים.	התכונה Data Lineage מאחזרת פרטים של רשומות לצמתים של נכסים באמצעות Data Catalog API.
מילוני מונחים עסקיים	מילון המונחים הארגוני מאפשר לכם ליצור טקסונומיה של מונחים עסקיים ולשייך אותם לנכסי נתונים ולעמודות. אפשר להשתמש בחיפוש כדי למצוא נכסים שמקושרים למונח מסוים.	מילון המונחים הארגוני מאפשר לכם ליצור טקסונומיה של מונחים עסקיים ולשייך אותם לעמודות. אפשר להשתמש בחיפוש כדי לגלות נכסים שמקושרים למונח מסוים.

בטבלה הבאה מוסבר איך משאבים ב-Dataplex Universal Catalog תואמים למשאבים ב-Data Catalog:

מיפוי בין משאבים של Dataplex Universal Catalog ו-Data Catalog

משאב Dataplex Universal Catalog	משאב Data Catalog	תיאור
סוג ההיבט (global)	תבנית ליצירת תג ציבורית	תבניות תגים הן משאבים אזוריים. עם זאת, אפשר להשתמש בהם כדי ליצור תגים באזורים שונים. תבניות תגים תואמות לסוגי ההיבטים global ב-Dataplex Universal Catalog.
היבט אופציונלי	תג ציבורי	תגים ציבוריים ב-Data Catalog מקבילים להיבטים אופציונליים ב-Dataplex Universal Catalog.
קבוצת רשומות	קבוצת רשומות	בקטלוג האוניברסלי של Dataplex, קבוצות של רשומות במערכת כמו @bigquery נוצרות לכל פרויקט. Google Cloud
היבטים שנדרשים לרישום בהתאמה אישית	רשומה בהתאמה אישית	ל-Data Catalog ול-Dataplex Universal Catalog יש מושגים דומים לגבי רשומות מותאמות אישית. מאפייני כניסה רגילים מוגדרים כהיבטים נדרשים ב-Dataplex Universal Catalog.
היבטים שנדרשים לרישום במערכת	רשומה של המערכת (Google Cloud)	מטא-נתונים שמתארים ישויות מובנות, כמו Schema לטבלאות BigQuery, נשמרים בהיבטים הנדרשים של סוגי ההיבטים שמוגדרים על ידי המערכת.
מילוני מונחים עסקיים	מילוני מונחים עסקיים	אפשר להשתמש במילוני מונחים כדי ליצור טקסונומיה של מונחים עסקיים, שתאפשר ליצור סטנדרטיזציה של ההקשר העסקי בכל הארגון.

מידע נוסף על התכונות שזמינות ב-Data Catalog אבל לא נתמכות ב-Dataplex Universal Catalog זמין בקטע תכונות לניהול מטא-נתונים שלא נתמכות ב-Dataplex Universal Catalog במאמר הזה.

למשתמשים קיימים ב-Data Catalog

אם אתם כבר משתמשים ב-Data Catalog, חשוב לשים לב לנקודות הבאות:

• רשומות בהתאמה אישית, הקשר של סקירה כללית, מילוני מונחים וקבוצות של רשומות שיצרתם ב-Data Catalog זמינים ב-Dataplex Universal Catalog.
• אדמינים יכולים לבחור להפוך את התוכן של תבניות תגים ותגים של Data Catalog לזמין בו-זמנית ב-Dataplex Universal Catalog. מידע נוסף זמין במאמר מעבר מ-Data Catalog ל-Dataplex Universal Catalog.
• כשמחפשים נכסי נתונים ב-Dataplex Universal Catalog, נכללים גם המטא-נתונים שנוצרו ישירות ב-Dataplex Universal Catalog וגם המטא-נתונים שהועברו מ-Data Catalog אל Dataplex Universal Catalog.
• כשמחפשים נכסי נתונים ב-Data Catalog, נכללים רק המטא-נתונים שנוצרו ב-Data Catalog.
• תיאורים של קבוצות רשומות ב-Data Catalog שאורכם עולה על 1,024 תווים נחתכים ל-1,024 תווים ב-Dataplex Universal Catalog.
• אדמינים יכולים להעביר מילונים וקישורים משויכים בין מונחים עסקיים ועמודות שיצרו ב-Data Catalog אל Dataplex Universal Catalog. כדי לעשות זאת, אפשר לעיין במאמר בנושא העברת מילונים אל Dataplex Universal Catalog.

מידע נוסף על מעבר מ-Data Catalog עצמאי ל-Dataplex Universal Catalog זמין במאמר מעבר מ-Data Catalog ל-Dataplex Universal Catalog.

מיפוי של שיטות Data Catalog API ל-Dataplex Universal Catalog

אם אתם עוברים מ-Data Catalog ל-Dataplex Universal Catalog, אתם צריכים לעדכן את תהליכי העבודה התוכנתיים שלכם כדי להשתמש ב-Dataplex API. בקטע הזה מפורט מיפוי בין Data Catalog API לבין Dataplex API.

מידע נוסף על רכיבי ה-method של Dataplex Universal Catalog API זמין במסמכי התיעוד של Dataplex API לרכיבי method של REST ובמסמכי התיעוד של Dataplex API לרכיבי method של RPC.

בטבלאות הבאות מפורט מיפוי של שיטות Data Catalog API למקבילות שלהן ב-Dataplex API.

קבוצות של רשומות

הקונספט של קבוצות רשומות זהה ב-Dataplex Universal Catalog וב-Data Catalog.

שיטת Data Catalog API	שיטת Dataplex API
‫projects.locations.entryGroups.create (REST) CreateEntryGroup (RPC)	‫projects.locations.entryGroups.create (REST) CreateEntryGroup (RPC)
‫projects.locations.entryGroups.get (REST) GetEntryGroup (RPC)	‫projects.locations.entryGroups.get (REST) GetEntryGroup (RPC)
‫projects.locations.entryGroups.patch (REST) UpdateEntryGroup (RPC)	‫projects.locations.entryGroups.patch (REST) UpdateEntryGroup (RPC)
‫projects.locations.entryGroups.delete (REST) DeleteEntryGroup (RPC)	‫projects.locations.entryGroups.delete (REST) DeleteEntryGroup (RPC)
‫projects.locations.entryGroups.list (REST) ListEntryGroups (RPC)	‫projects.locations.entryGroups.list (REST) ListEntryGroups (RPC)

דפים

המושג 'רשומות', שמייצג נכסי נתונים, דומה גם ב-Dataplex Universal Catalog וגם ב-Data Catalog.

שיטת Data Catalog API	שיטת Dataplex API
‫projects.locations.entryGroups.entries.create (REST) CreateEntry (RPC)	‫projects.locations.entryGroups.entries.create (REST) CreateEntry (RPC)
‫projects.locations.entryGroups.entries.get (REST) GetEntry (RPC)	‫projects.locations.entryGroups.entries.get (REST) GetEntry (RPC)
‫projects.locations.entryGroups.entries.patch (REST) UpdateEntry (RPC)	‫projects.locations.entryGroups.entries.patch (REST) UpdateEntry (RPC)
‫projects.locations.entryGroups.entries.delete (REST) DeleteEntry (RPC)	‫projects.locations.entryGroups.entries.delete (REST) DeleteEntry (RPC)
‫projects.locations.entryGroups.entries.list (REST) ListEntries (RPC)	‫projects.locations.entryGroups.entries.list (REST) ListEntries (RPC)
‫entries.lookup (REST) LookupEntry (RPC)	‫projects.locations.lookupEntry (REST) LookupEntry (RPC) הערה: כדי להשתמש בשיטות projects.locations.lookupEntry (REST) ו-LookupEntry (RPC), צריך לספק את שם הרשומה ב-Dataplex Universal Catalog. כדי לתרגם שם של SQL ב-BigQuery, שם מוגדר במלואו או שם של משאב מקושר לשם של רשומה ב-Dataplex Universal Catalog, קודם צריך להפעיל את ה-method‏ projects.locations.searchEntries (REST) או SearchEntries (RPC).
‫projects.locations.entryGroups.entries.modifyEntryContacts (REST) ModifyEntryContacts (RPC)	‫projects.locations.entryGroups.entries.patch (REST) UpdateEntry (RPC) הערה: כשמבצעים העברה מהשיטה של קטלוג הנתונים entries.modifyEntryContacts, צריך להשתמש ב-update_mask כדי לשנות רק את ההיבט contacts.
‫projects.locations.entryGroups.entries.modifyEntryOverview (REST) ModifyEntryOverview (RPC)	‫projects.locations.entryGroups.entries.patch (REST) UpdateEntry (RPC) הערה: כשמבצעים העברה מהשיטה של קטלוג הנתונים entries.modifyEntryOverview, צריך להשתמש ב-update_mask כדי לשנות רק את ההיבט overview.
‫projects.locations.entryGroups.entries.tags.reconcile (REST) ReconcileTags (RPC)	projects.locations.metadataJobs.create (REST) CreateMetadataJob (RPC), projects.locations.entryGroups.entries.patch (REST) UpdateEntry (RPC) הערה: כשמבצעים מיגרציה מהשיטה של Data Catalog‏ projects.locations.entryGroups.entries.reconcileTags, צריך להשתמש בשיטה projects.locations.metadataJobs.create (REST) או CreateMetadataJob (RPC) עם סוג העבודה import כדי לייבא תוכן של Catalog למספר רשומות. כדי לעדכן את כל ההיבטים של רשומה אחת, משתמשים בשיטה projects.locations.entryGroups.entries.patch (REST) או UpdateEntry (RPC).
‫catalog.search (REST) SearchCatalog (RPC)	‫projects.locations.searchEntries (REST) SearchEntries (RPC) הערה: שיטות projects.locations.searchEntries (REST) ו-SearchEntries (RPC) של Dataplex Universal Catalog לא תומכות בחיפוש בכמה ארגונים. צריך להנפיק קריאות נפרדות ל-API לכל אחד מהארגונים.

תבניות ליצירת תגים ותגים

ב-Dataplex Universal Catalog, סוגי ההיבטים הם המחליפים של תבניות התגים של Data Catalog, וההיבטים הם המחליפים של התגים של Data Catalog.

שיטת Data Catalog API	שיטת Dataplex API
‫projects.locations.tagTemplates.create (REST) CreateTagTemplate (RPC)	‫projects.locations.aspectTypes.create (REST) CreateAspectType (RPC)
‫projects.locations.tagTemplates.get (REST) GetTagTemplate (RPC)	‫projects.locations.aspectTypes.get (REST) GetAspectType (RPC)
‫projects.locations.tagTemplates.patch (REST) UpdateTagTemplate (RPC)	‫projects.locations.aspectTypes.patch (REST) UpdateAspectType (RPC)
‫projects.locations.tagTemplates.delete (REST) DeleteTagTemplate (RPC)	‫projects.locations.aspectTypes.delete (REST) DeleteAspectType (RPC)
‫catalog.search (REST) עם פרדיקט type=tag_template SearchCatalog (RPC) עם פרדיקט type=tag_template	‫projects.locations.aspectTypes.list (REST) ListAspectTypes (RPC)

שדות של תבנית ליצירת תג

השדות בתבנית ליצירת תג תואמים לתוכן של השדה metadata_template בסוג היבט. כדי להעביר פעולה ברמת השדה ב-Data Catalog, משתמשים בפעולה UpdateAspectType עם מטען הייעודי (payload) המתאים ב-Dataplex Universal Catalog.

שיטת Data Catalog API	שיטת Dataplex API
‫projects.locations.tagTemplates.fields.create (REST) CreateTagTemplateField (RPC)	‫projects.locations.aspectTypes.patch (REST) UpdateAspectType (RPC)
‫projects.locations.tagTemplates.fields.patch (REST) UpdateTagTemplateField (RPC)	‫projects.locations.aspectTypes.patch (REST) UpdateAspectType (RPC)
‫projects.locations.tagTemplates.fields.rename (REST) RenameTagTemplateField (RPC)	‫projects.locations.aspectTypes.patch (REST) UpdateAspectType (RPC)
‫projects.locations.tagTemplates.fields.delete (REST) DeleteTagTemplateField (RPC)	‫projects.locations.aspectTypes.patch (REST) UpdateAspectType (RPC)

ערכי enum של שדות בתבנית ליצירת תג

בדומה לשדות של תבניות ליצירת תגים, אפשר לערוך ערכי טיפוסים בני מנייה (enum) ב-Dataplex API על ידי שינוי השדה metadata_template בסוג ההיבט המתאים.

שיטת Data Catalog API	שיטת Dataplex API
‫projects.locations.tagTemplates.fields.enumValues.rename (REST) RenameTagTemplateFieldEnumValue (RPC)	‫projects.locations.aspectTypes.patch (REST) UpdateAspectType (RPC)

תגים

המאפיינים הם המחליף של התגים ב-Data Catalog. היבטים הם לא משאבים עצמאיים והם מוכללים ברשומות ההורה שלהם. אפשר להשתמש בפרמטר field_mask כדי לעדכן באופן סלקטיבי היבט יחיד ברשומה.

שיטת Data Catalog API	שיטת Dataplex API
‫projects.locations.entryGroups.entries.tags.create (REST) CreateTag (RPC)	‫projects.locations.entryGroups.entries.patch (REST) UpdateEntry (RPC)
‫projects.locations.entryGroups.entries.tags.list (REST) ListTags (RPC)	‫projects.locations.entryGroups.entries.get (REST) GetEntry (RPC) הערה: כדי להגביל את התשובה רק להיבטים הנדרשים, משתמשים בפרמטרים views, aspect_types ו-paths.
‫projects.locations.entryGroups.entries.tags.patch (REST) UpdateTag (RPC)	‫projects.locations.entryGroups.entries.patch (REST) UpdateEntry (RPC)
‫projects.locations.entryGroups.entries.tags.delete (REST) DeleteTag (RPC)	‫projects.locations.entryGroups.entries.patch (REST) UpdateEntry (RPC)

תגי מדיניות וטקסונומיות

ממשקי ה-API האלה לא משתנים, ולכן לא צריך להעביר אותם.

מקורות נתמכים

• גילוי אוטומטי של נתונים ב-Cloud Storage
• מטא-נתונים מהמקורות הבאים Google Cloud נבלעים אוטומטית ב-Dataplex Universal Catalog:
  • אשכולות, מכונות, מסדי נתונים, סכימות, טבלאות ותצוגות של AlloyDB ל-PostgreSQL – ראו הפעלת השילוב של AlloyDB ל-PostgreSQL (גרסת Preview)
  • שיתוף ב-BigQuery (לשעבר Analytics Hub) – חילופי נתונים ורישומים
  • מערכי נתונים, טבלאות, תצוגות, מודלים, שגרות, חיבורים ומערכי נתונים מקושרים ב-BigQuery
  • מופעים, אשכולות וטבלאות של Bigtable (כולל פרטים על משפחות עמודות)
  • מאגרי Dataform ונכסי קוד
  • מכונות, מסדי נתונים, סכימות, טבלאות ותצוגות של Cloud SQL – ראו הפעלת השילוב של Cloud SQL
  • שירותים, מסדי נתונים וטבלאות של Dataproc Metastore
  • נושאים ב-Pub/Sub
  • מכונות, מסדי נתונים, טבלאות ותצוגות של Spanner
  • מודלים, מערכי נתונים, קבוצות תכונות, תצוגות תכונות ומופעים של חנות וירטואלית ב-Vertex AI

כדי לייבא מטא-נתונים ממקור צד שלישי אל Dataplex Universal Catalog, אפשר להשתמש בצינור קישוריות מנוהל. מידע נוסף מופיע במאמר סקירה כללית על קישוריות מנוהלת.

אילוצים של פרויקטים ומיקומים

משאבי קטלוג ב-Dataplex Universal Catalog מאוחסנים בפרויקטים ובמיקומים שונים. יש הגבלות:

• מיקום:

  • המיקום של רשומה חייב להיות זהה למיקום של סוג הרשומה, או שסוג הרשומה חייב להיות global.
  • המאפיין שמוסיפים לרשומה צריך להתבסס על סוג מאפיין שמאוחסן באותו מיקום כמו הרשומה, או שסוג המאפיין צריך להיות global.
  • סוג רשומה חייב להיות מורכב מסוגי היבטים שמאוחסנים באותו מיקום שבו מאוחסן סוג הרשומה.

• פרויקט:

  • אם סוג רשומה מפנה לסוגי היבטים בהתאמה אישית, סוגי ההיבטים צריכים להיות באותו מיקום ובאותו פרויקט כמו סוג הרשומה.

תכונות לניהול מטא-נתונים שלא נתמכות ב-Dataplex Universal Catalog

התכונות הבאות שזמינות ב-Data Catalog לא נתמכות ב-Dataplex Universal Catalog:

• המושג של היבטים פרטיים וסוגי היבטים פרטיים (מקבילים לתגים פרטיים ולתבניות תגים פרטיות ב-Data Catalog) לא קיים ב-Dataplex Universal Catalog.
• אי אפשר לחפש תגי מדיניות בחיפוש ב-Dataplex Universal Catalog. לכן, פרדיקטים policytag ו-policytagid לא פועלים בחיפוש ב-Dataplex Universal Catalog.
• כשמעבירים ל-Dataplex Universal Catalog קבוצות רשומות מותאמות אישית, רשומות מותאמות אישית, תבניות תגים ותגים מ-Data Catalog, ההרשאות המקוריות שלהם לא מועברות. כדי להשתמש במטא-נתונים שהועתקו, צריך להגדיר הרשאות IAM באופן מפורש.
• אי אפשר לשלוח את תוצאות הבדיקה של Sensitive Data Protection ישירות לקטלוג ב-Dataplex Universal Catalog. במקום זאת, אפשר לשלוח את תוצאות הבדיקה של Sensitive Data Protection אל Data Catalog, ואז להעביר את התוצאות אל Dataplex Universal Catalog.
• אי אפשר להשתמש ב-API כדי להציג רשימה של סוגי רשומות וסוגי היבטים בפרויקטים שונים. אפשר להגביל את הבקשה לרשימה לפרויקט בלבד.
• אי אפשר לרשום אגמים, אזורים, נכסים וישויות כרשומות בקטלוג האוניברסלי של Dataplex. המשמעות היא שמטא-נתונים של Data Catalog שמצורפים לאגמים, לאזורים, לנכסים וליישויות לא מועברים לקטלוג ב-Dataplex Universal Catalog. בנוסף, כשמשתמשים בחיפוש ב-Dataplex Universal Catalog, אי אפשר לחפש אזורים וישויות, ואי אפשר לסנן לפי אגמים ואזורים. אתם יכולים להשתמש באגמים ובאזורים בנפרד מהקטלוג ב-Dataplex Universal Catalog.
• אין תמיכה בחיפוש של אדמינים, שמבטיח שליפה מלאה. במקום זאת, אפשר לייצא מטא-נתונים ל-Cloud Storage ואז להריץ עליהם שאילתות מ-BigQuery.

השוואה בין התכונות והמשאבים שנתמכים ב-Dataplex Universal Catalog וב-Data Catalog מופיעה בקטע השוואה בין Dataplex Universal Catalog לבין Data Catalog במסמך הזה.

תמחור

ב-Dataplex Universal Catalog, החיוב על אחסון מטא-נתונים מתבצע לפי המק"ט של אחסון מטא-נתונים. מידע נוסף זמין במאמר תמחור של Dataplex Universal Catalog.

אין חיובים על השימוש במוצרים הבאים:

• יצירה וניהול של משאבי קטלוג ב-Dataplex Universal Catalog
• חיפוש קריאות ל-API של Dataplex Universal Catalog
• שאילתות חיפוש שבוצעו בדף Dataplex Universal Catalog במסוףGoogle Cloud

המאמרים הבאים

• איך מחפשים משאבים ב-Dataplex Universal Catalog
• איך מנהלים היבטים ומוסיפים מטא-נתונים
• איך מנהלים רשומות ומייבאים מקורות מותאמים אישית
• מידע נוסף על מעבר מ-Data Catalog אל Dataplex Universal Catalog
• מידע נוסף על העברת מילונים ל-Dataplex Universal Catalog
• פועלים לפי ה-codelab: Build the data foundation with Dataplex Universal Catalog metadata.