מידע על ניהול מטא-נתונים ב-Knowledge Catalog

‫Knowledge Catalog (לשעבר Dataplex Universal Catalog) הוא שירות מנוהל מלא שמבצע אוטומטית חיפוש ורישום של נתונים מבוזרים ונכסי AI. הוא יוצר מאגר ידע מאוחד שאפשר לחפש בו, שמנהל את הנתונים ב- Google Cloud ובסביבות אחרות, וכך מבטיח שהניתוחים והמודלים של ה-AI מבוססים על מידע מהימן ותואם.

תרחישים לדוגמה

  • גילוי נתונים מהיר יותר ל-AI ולניתוח נתונים. הפתרון לבעיית ההתנעה הקרה של נתונים הוא שימוש בתובנות מבוססות-AI כדי ליצור באופן אוטומטי הקשר עסקי. מדעני נתונים, אנליסטים וסוכני AI יכולים לגלות, להבין ולאמת באופן מיידי את איכות הנתונים באמצעות חיפוש סמנטי בשפה טבעית, בלי לחכות לתמיכה הנדסית ידנית.

  • הגדרת סוכני AI וניהול מוצרי נתונים. יוצר גרף הקשר מאוחד שמקשר בין מערכי נתונים פיזיים לבין סמנטיקה עסקית ויחסי שימוש. כך אפליקציות AI גנרטיביות במורד הזרם, שגשת לנתונים באמצעות ממשקי סטנדרט כמו Model Context Protocol‏ (MCP), מסתמכות על נתונים מאומתים שאושרו על ידי הארגון, מה שמפחית באופן משמעותי את ההזיות של ה-AI.

  • הסבר על נתונים לא גלויים המערכת מאתרת וסורקת באופן אוטומטי קבצים גולמיים לא מובְנים (כמו קובצי PDF ב-Cloud Storage) באמצעות סריקת גילוי לנתונים לא מובְנים או פרופיל נתונים עצמאי לנתונים לא מובְנים כדי לחלץ ישויות וקשרים. הוא מוסיף מאפיין Graph Profile לרשומה בקטלוג שמייצגת את טבלת האובייקטים, וממיר נתונים לא מובנים לנכסים שאפשר להריץ עליהם שאילתות ב-BigQuery לצורך ניתוח מתקדם וסוכני AI מבוססי-קרקע. מידע נוסף על תובנות לגבי נתונים לא מובְנים

  • ייעול התאימות והגדרת אמצעי הגנה סמנטיים. אוטומציה של מעקב אחר מקורות נתונים כדי למפות את הזרימה והשינויים של מידע רגיש, כולל פרטים אישיים מזהים (PII), בנכסי הנתונים. כך נוצר בסיס נתונים מהימן, שמבטיח שתהליכי עבודה מסורתיים של ניתוח נתונים ומודלים אוטונומיים של AI יפעלו בגבולות מאובטחים ותואמים למדיניות.

איך Knowledge Catalog עובד

אפשר לחשוב על Knowledge Catalog כספרייה חכמה ואוטומטית לארגון שלכם. במקום ליצור אינדקס של מטא-נתונים באופן ידני, המערכת קולטת אוטומטית מטא-נתונים טכניים ממערכות האחסון שלכם, כמו BigQuery.

לאחר מכן, תוכלו להוסיף למטא-נתונים האלה הקשר עסקי – כמו ציוני איכות הנתונים או בעלות – ולסדר את הנתונים בקבוצות לוגיות. כך, כשמשתמשים מחפשים בקטלוג, הם מוצאים נכסים שאפשר לגלות אותם וגם נכסים הכפופים למדיניות אבטחה פעילה.

בנוסף, אפשר להשתמש ב-Knowledge Catalog כדי להזרים שינויים במטא-נתונים כמעט בזמן אמת באמצעות פידים של שינויים במטא-נתונים. פיד של שינויים במטא-נתונים שולח התראות על יצירה, עדכונים או מחיקה של מטא-נתונים לנושא Pub/Sub שאתם מציינים. ‫Pub/Sub הוא שירות הודעות אסינכרוני וניתן להרחבה. אחרי כן, אפשר להשתמש בלקוח רשום כדי להירשם לנושא ב-Pub/Sub ולקבל את ההתראות האלה. אפשר לעבד שינויים במטא-נתונים באופן פרוגרמטי, להפעיל תהליכי עבודה או לשלב עם מערכות אחרות כדי לבצע פעולות על סמך ההתראות האלה. לדוגמה, אפשר להשתמש בהתראות האלה כדי להפעיל אוטומטית בדיקות של איכות הנתונים כשסכימת הטבלה משתנה. מידע נוסף זמין במאמר פידים של שינויים במטא-נתונים.

הסברים על המונחים

התכונות לניהול מטא-נתונים ב-Knowledge Catalog מבוססות על המושגים הבאים:

הערך

כל רשומה מייצגת נכס נתונים. הוא דומה לרשומות ב-Data Catalog.

דוגמה: טבלה ב-BigQuery בשם test-project.sales_data.customer_orders מיוצגת כרשומה.

עמודה של רשומה מייצגת חלק משנה ספציפי של נכס נתונים, כמו עמודה יחידה בטבלת BigQuery או שדה בקובץ JSON. העמודות מאפשרות לכם לצרף מטא-נתונים לשדות ספציפיים ברשומה, ולא רק לרשומה כולה. אתם לא מגדירים עמודות ישירות, אלא הן נוצרות כשמצרפים היבט מסוג schema לרשומה. עמודות נקראות גם נתיבים.

דוגמה: כדי לתאר את השדה email_address בתוך הרשומה customer_orders ככזה שמכיל פרטים אישיים מזהים (PII), אפשר לצרף היבט לעמודה email_address.

מידע נוסף על רשומות זמין במאמר רשומות.

קישור לכניסה

קישור לרשומה יוצר קשר בין שני נכסי נתונים (רשומות) ב-Knowledge Catalog. הקישורים יכולים להיות סימטריים (לא מכוונים), כמו synonym, related items או schema-join, או אסימטריים (מכוונים), כמו definition עם מקור ויעד מפורשים. הקישורים יכולים להפנות לרשומה שלמה או לנתיב ספציפי (לדוגמה, עמודה אחת בסכימה), למעט קישור לרשומה schema-join.

דוגמה: קישור כניסה synonym משייך את המונח העסקי רווח כמילה נרדפת להכנסות.

מידע נוסף על קישורים לדפים זמין במאמר EntryLinks.

סוג קישור לכניסה

סוג קישור של רשומה הוא תבנית לשימוש חוזר לקישורי רשומות, שמתארת את המשמעות של הקשר בין שתי רשומות. כל קישור לכניסה הוא מופע של סוג קישור לכניסה. הכיווניות של קישורי הכניסה מוגדרת ברמה של סוג קישור הכניסה.

דוגמה: כדי לציין שאפשר לשלב את הנתונים ברשומות המקושרות על סמך הסכימה שלהן, אפשר להשתמש בסוג קישור של רשומה schema-join. כדי להסביר את המשמעות של העמודות בטבלה, אפשר להשתמש בסוג definition entry link כדי לקשר בין העמודות האלה לבין מונחים במילון המונחים הארגוני.

‫Knowledge Catalog תומך בסוגי הקישורים הבאים לרשומות: synonym,‏ related,‏ definition ו-schema-join.

כיוון המדרון

אספקט הוא קבוצה של שדות מטא-נתונים קשורים. אפשר לצרף היבט לרשומה כדי לתאר את הרשומה או את הקישור לרשומה כמכלול. רוב המטא-נתונים מתוארים על ידי היבטים בתוך רשומה. התכונה הזו דומה לתגים ב-Data Catalog. עם זאת, ההיבטים מאוחסנים בתוך רשומות או קישורים לרשומות, ולא כמשאבים עצמאיים.

דוגמה: כדי להגדיר את כל העמודות של רשומה מסוג customer_orders, כמו order_id, order_date ו-email_address, אפשר לצרף היבט schema לרשומה מסוג customer_orders. כדי לציין שהעמודה email_address מכילה כתובת אימייל, אפשר לצרף את ההיבט schema לעמודה email_address.

מידע נוסף על היבטים זמין במאמר היבטים.

מידע נוסף על שימוש בהיבטים לאיכות הנתונים זמין במאמר שימוש חוזר בכללים לאיכות הנתונים.

סוג הרשומה

סוג רשומה הוא תבנית ליצירת רשומות. הוא קובע את רכיבי המטא-נתונים החיוניים, שמפורטים כרשימה של היבטים נדרשים לרשומות מהסוג הזה. סוג רשומה מציין אילו סוגי היבטים נדרשים עבור נכס נתונים ספציפי.

דוגמה: כדי לוודא שלכל הרשומות יש את המטא-נתונים הנדרשים, אפשר ליצור סוג רשומה בשם StandardOperationalTable שדורש צירוף של היבט OwnerInfo לכל רשומה חדשה מהסוג הזה.

מידע נוסף על סוגי רשומות זמין במאמר סוגי רשומות.

סוג היחס

סוג היבט הוא תבנית לשימוש חוזר להיבטים. כל היבט הוא מופע של סוג היבט. התכונה הזו דומה לתבניות תגים ב-Data Catalog.

לדוגמה: כדי להגדיר תבנית לשימוש חוזר לפרטים ליצירת קשר, אפשר להגדיר סוג מאפיין בשם ContactInfo עם שדות ל-owner_name, ל-email ול-support_team. לאחר מכן, תוכלו ליצור ContactInfo היבטים מהתבנית הזו ולצרף אותם לרשומות או לעמודות.

מידע נוסף על סוגי היבטים זמין במאמר סוגי היבטים.

קבוצת רשומות

קבוצת רשומות היא מאגר של רשומות וקישורים לרשומות, שמשמש כיחידת ניהול של הרשומות והקישורים האלה. לדוגמה, אפשר להשתמש בקבוצת רשומות כדי להגדיר בקרת גישה של ניהול זהויות והרשאות גישה, שיוך לפרויקט או מיקום לרשומות ולקישורי הרשומות בקבוצת הרשומות. ההגדרה הזו דומה לקבוצות של רשומות ב-Data Catalog.

דוגמה: צוות פיננסי רוצה לנהל את ההרשאות לכל הטבלאות שלו בבת אחת. הם יכולים ליצור קבוצת רשומות בשם production_finance_data ולכלול בה את הרשומות של הטבלה customer_orders, הטבלה quarterly_revenue והטבלה employee_salaries.

מידע נוסף על קבוצות של רשומות אפשר למצוא במאמר קבוצות של רשומות.

רשומות וקבוצות של רשומות
איור 1. קבוצות של רשומות, רשומות וקישורים לרשומות
סוגי היבטים וסוגי רשומות
איור 2. סוגי היבטים וסוגי רשומות
סוגי היבטים וקישורים לדף הכניסה
איור 3. קישור לרשומה עם רשומות מקושרות, היבטים והסוגים שלהם

ההבדלים בין Knowledge Catalog לבין Data Catalog

‫Knowledge Catalog מספק יכולות משולבות לניהול המטא-נתונים. אחסון המטא-נתונים ושיטות ה-API משולבים ב-Dataplex API.

התכונות העיקריות לניהול מטא-נתונים ב-Knowledge Catalog כוללות את האפשרויות הבאות:

  • מטא-מודל חזק יותר

    • הערכים שהוקלדו. אתם יכולים לאכוף סטנדרטים מינימליים של מטא-נתונים על ידי הגדרת תוכן המטא-נתונים הנדרש עבור רשומות מותאמות אישית
    • מטא-מודל שניתן להגדרה על ידי המשתמש עבור רשומות מותאמות אישית, שעוזר להפוך את ההטמעה המותאמת אישית לחזקה יותר ומשפר את העקביות והמקיפות של המטא-נתונים המותאמים אישית.
    • תמיכה במגוון רחב יותר של מטא-נתונים מורכבים, כולל תמיכה במבני קינון כמו רשימות, מפות ומערכים.

  • שיפור יכולת ההתאמה לגודל, כולל האפשרות ליצור אינטראקציה עם כל המטא-נתונים שמשויכים לרשומה באמצעות פעולות CRUD אטומיות יחידות, והאפשרות לאחזר כמה הערות של מטא-נתונים שמשויכות לתשובות של חיפוש או רשימה.

בטבלה הבאה מוצגת השוואה בין התכונות לניהול מטא-נתונים ב-Knowledge Catalog וב-Data Catalog:

השוואה בין Knowledge Catalog לבין Data Catalog
תכונה Knowledge Catalog Data Catalog
מקורות Google Cloud נתמכים כל המקורות שמתוארים בקטע מקורות נתמכים Google Cloud במסמך הזה. כל המקורות שמתוארים בקטע רשומות וקבוצות של רשומות.
הטמעה של מקורות מותאמים אישית

הטמעה ברשומות מותאמות אישית עם מבנה מנוהל, שמוגדר על ידי סוגי רשומות.

רשומות מותאמות אישית וקבוצות רשומות מ-Data Catalog זמינות ב-Knowledge Catalog בסוג הרשומה generic.

הטמעה של נתונים ברשומות גנריות בהתאמה אישית.
העשרת מטא-נתונים

הקשר של מטא-נתונים לרשומות נשמר באמצעות מילונים עסקיים, היבטים וסוגי היבטים.

יש תמיכה בקישורים להצטרפות. אפשר לצרף היבטים לקישור לכניסה.

הקשר של המטא-נתונים של הרשומות נשמר באמצעות מילונים עסקיים, תגים ותבניות תגים.

אין תמיכה בקישורי כניסה.
קישורים לכניסה יש תמיכה בקישורים להצטרפות. סוגי קישורים לרשומות, כמו schema-join מאפשרים לצרף היבטים לקישורים לרשומות. לא זמין.
פידים של שינויים במטא-נתונים התראות על שינויים במטא-נתונים נשלחות בסטרימינג ל-Pub/Sub כמעט בזמן אמת. לא זמין.
חיפוש החיפוש מתבצע בנתונים הבאים:
  • כל Google Cloud המקורות שמתוארים בקטע מקורות Google Cloud נתמכים
  • רשומות בהתאמה אישית שנוצרות ב-Knowledge Catalog
  • היבטים שנוצרו ב-Knowledge Catalog, חוץ מאלה שמצורפים לקישורי הרשומה.
  • רשומות מותאמות אישית שנוצרות ב-Data Catalog ומועברות ל-Knowledge Catalog

תוצאות החיפוש כוללות רק את המשאבים ששייכים לאותו ארגון ולאותו גבול גזרה של VPC Service Controls כמו הפרויקט שבו מתבצע החיפוש. כשמשתמשים במסוף Google Cloud , זה הפרויקט שנבחר במסוף.

שימו לב: כדי לחפש רשומות, צריך לפחות אחד מתפקידי ה-IAM הבאים בפרויקט שמשמש לחיפוש: Dataplex Catalog Admin (אדמין קטלוג Dataplex),‏ Dataplex Catalog Editor (עורך קטלוג Dataplex) או Dataplex Catalog Viewer (צפייה בקטלוג Dataplex). ההרשאות בתוצאות החיפוש נבדקות בנפרד מהפרויקט שנבחר.

 החיפוש מתבצע בנתונים הבאים:
שושלת נתונים

השירות Data lineage מאחזר פרטי רשומות לצמתי נכסים באמצעות Dataplex API.

במסוף Google Cloud מוצגים ההיבטים המצורפים.

התכונה Data Lineage מאחזרת פרטים של רשומות לצמתים של נכסים באמצעות Data Catalog API.
מילוני מונחים עסקיים

מילון המונחים הארגוני מאפשר לכם ליצור טקסונומיה של מונחים עסקיים ולשייך אותם לנכסי נתונים ולעמודות. אפשר להשתמש בחיפוש כדי לגלות נכסים שמקושרים למונח מסוים.

מילון המונחים הארגוני מאפשר לכם ליצור טקסונומיה של מונחים עסקיים ולשייך אותם לעמודות. אפשר להשתמש בחיפוש כדי לגלות נכסים שמקושרים למונח מסוים.

בטבלה הבאה מפורט איך משאבים ב-Knowledge Catalog תואמים למשאבים ב-Data Catalog:

מיפוי בין משאבים ב-Knowledge Catalog לבין משאבים ב-Data Catalog
משאב ב-Knowledge Catalog משאב Data Catalog תיאור
סוג היחס (global) תבנית ליצירת תג ציבורית תבניות תגים הן משאבים אזוריים. עם זאת, אפשר להשתמש בהם כדי ליצור תגים באזורים שונים. תבניות התגים תואמות לסוגי ההיבטים global ב-Knowledge Catalog.
מאפיין אופציונלי תג ציבורי תגים ציבוריים ב-Data Catalog מקבילים להיבטים אופציונליים ב-Knowledge Catalog.
קבוצת רשומות קבוצת רשומות במקורות Google Cloud , קבוצות של רשומות במערכת, כמו @bigquery נוצרות לכל פרויקט ב-Knowledge Catalog.
היבטים נדרשים של רשומות בהתאמה אישית רשומה בהתאמה אישית

ל-Data Catalog ול-Knowledge Catalog יש מושגים דומים לגבי רשומות בהתאמה אישית.

מאפייני רשומה רגילים מוגדרים כמאפייני חובה ב-Knowledge Catalog.
היבטים שנדרשים לרישום במערכת רשומה (Google Cloud) של המערכת מטא-נתונים שמתארים ישויות מובנות, כמו Schema לטבלאות BigQuery, נשמרים בהיבטים הנדרשים של סוגי ההיבטים שמוגדרים על ידי המערכת.
מילוני מונחים עסקיים מילוני מונחים עסקיים אפשר להשתמש במילוני מונחים כדי ליצור טקסונומיה של מונחים עסקיים, שתאפשר ליצור סטנדרטיזציה של ההקשר העסקי בכל הארגון.

מידע נוסף על התכונות שזמינות ב-Data Catalog אבל לא נתמכות ב-Knowledge Catalog מופיע בקטע תכונות לניהול מטא נתונים שלא נתמכות ב-Knowledge Catalog במאמר הזה.

למשתמשים קיימים ב-Data Catalog

אם אתם כבר משתמשים ב-Data Catalog, חשוב לשים לב לנקודות הבאות:

  • רשומות בהתאמה אישית, הקשר של סקירה כללית, מילונים וקבוצות רשומות שיצרתם בקטלוג הנתונים זמינים ב-Knowledge Catalog.
  • כאדמין, תוכל לבחור להפוך את התוכן של תבניות תגים ותגים של קטלוג הנתונים לזמין בו-זמנית ב-Knowledge Catalog. מידע נוסף זמין במאמר מעבר מ-Data Catalog ל-Knowledge Catalog.
  • כשמחפשים נכסי נתונים ב-Knowledge Catalog, נכללים גם המטא-נתונים שנוצרו ישירות ב-Knowledge Catalog וגם המטא-נתונים שהועברו מ-Data Catalog אל Knowledge Catalog.
  • כשמחפשים נכסי נתונים ב-Data Catalog, נכללים רק המטא-נתונים שנוצרו ב-Data Catalog.
  • תיאורי קבוצות הרשומות ב-Data Catalog שאורכם עולה על 1,024 תווים מקוצרים ל-1,024 תווים ב-Knowledge Catalog.
  • אדמינים יכולים להעביר מילונים וקישורים משויכים בין מונחים עסקיים לבין עמודות שיצרתם ב-Data Catalog אל Knowledge Catalog. כדי לעשות זאת, אפשר לעיין במאמר בנושא העברת מילונים אל Knowledge Catalog.

מידע נוסף על מעבר מ-Data Catalog ל-Knowledge Catalog זמין במאמר מעבר מ-Data Catalog ל-Knowledge Catalog.

מיפוי של שיטות Data Catalog API ל-Knowledge Catalog

אם אתם מעבירים נתונים מ-Data Catalog ל-Knowledge Catalog, אתם צריכים לעדכן את תהליכי העבודה הפרוגרמטיים כדי להשתמש ב-Dataplex API. בקטע הזה מפורט מיפוי בין Data Catalog API לבין Dataplex API.

מידע נוסף על רכיבי ה-method של Dataplex API מופיע במסמכי התיעוד של Dataplex API לרכיבי method של REST ובמסמכי התיעוד של Dataplex API לרכיבי method של RPC.

בטבלאות הבאות מפורט מיפוי של שיטות Data Catalog API למקבילות שלהן ב-Dataplex API.

קבוצות של רשומות

הקונספט של קבוצות רשומות זהה גם ב-Knowledge Catalog וגם בקטלוג הנתונים.

שיטת Data Catalog API שיטת Dataplex API
‫projects.locations.entryGroups.create (REST)
CreateEntryGroup (RPC)		 ‫projects.locations.entryGroups.create (REST)
CreateEntryGroup (RPC)
‫projects.locations.entryGroups.get (REST)
GetEntryGroup (RPC)		 ‫projects.locations.entryGroups.get (REST)
GetEntryGroup (RPC)
‫projects.locations.entryGroups.patch (REST)
UpdateEntryGroup (RPC)		 ‫projects.locations.entryGroups.patch (REST)
UpdateEntryGroup (RPC)
‫projects.locations.entryGroups.delete (REST)
DeleteEntryGroup (RPC)		 ‫projects.locations.entryGroups.delete (REST)
DeleteEntryGroup (RPC)
‫projects.locations.entryGroups.list (REST)
ListEntryGroups (RPC)		 ‫projects.locations.entryGroups.list (REST)
ListEntryGroups (RPC)

דפים

המושג 'רשומות', שמייצג נכסי נתונים, דומה ב-Knowledge Catalog וב-Data Catalog.

שיטת Data Catalog API שיטת Dataplex API
‫projects.locations.entryGroups.entries.create (REST)
CreateEntry (RPC)		 ‫projects.locations.entryGroups.entries.create (REST)
CreateEntry (RPC)
‫projects.locations.entryGroups.entries.get (REST)
GetEntry (RPC)		 ‫projects.locations.entryGroups.entries.get (REST)
GetEntry (RPC)
‫projects.locations.entryGroups.entries.patch (REST)
UpdateEntry (RPC)

‫projects.locations.entryGroups.entries.patch (REST)
UpdateEntry (RPC)

הערה: אפשר גם להשתמש בשיטות projects.locations.modifyEntry (REST) ו-ModifyEntry (RPC) כדי לעדכן רשומות במערכת באמצעות הרשאות של מערכת המקור במקום הרשאות של Knowledge Catalog.
‫projects.locations.entryGroups.entries.delete (REST)
DeleteEntry (RPC)		 ‫projects.locations.entryGroups.entries.delete (REST)
DeleteEntry (RPC)
‫projects.locations.entryGroups.entries.list (REST)
ListEntries (RPC)		 ‫projects.locations.entryGroups.entries.list (REST)
ListEntries (RPC)
‫entries.lookup (REST)
LookupEntry (RPC)		 ‫projects.locations.lookupEntry (REST)
LookupEntry (RPC)

הערה: כדי להשתמש בשיטות projects.locations.lookupEntry (REST) ו-LookupEntry (RPC), צריך לציין את שם הרשומה ב-Knowledge Catalog. כדי לתרגם שם של SQL ב-BigQuery, שם מוגדר במלואו או שם של משאב מקושר לשם של רשומה ב-Knowledge Catalog, קודם צריך להפעיל את ה-method‏ projects.locations.searchEntries (REST) או SearchEntries (RPC).
‫projects.locations.entryGroups.entries.modifyEntryContacts (REST)
ModifyEntryContacts (RPC)		 ‫projects.locations.entryGroups.entries.patch (REST)
UpdateEntry (RPC)

הערה: כשמבצעים העברה מהשיטה של קטלוג הנתונים entries.modifyEntryContacts, צריך להשתמש ב-update_mask כדי לשנות רק את ההיבט contacts.
‫projects.locations.entryGroups.entries.modifyEntryOverview (REST)
ModifyEntryOverview (RPC)		 ‫projects.locations.entryGroups.entries.patch (REST)
UpdateEntry (RPC)

הערה: כשמבצעים העברה מהשיטה של קטלוג הנתונים entries.modifyEntryOverview, צריך להשתמש ב-update_mask כדי לשנות רק את ההיבט overview.
‫projects.locations.entryGroups.entries.tags.reconcile (REST)
ReconcileTags (RPC)		 projects.locations.metadataJobs.create (REST)
CreateMetadataJob (RPC),
projects.locations.entryGroups.entries.patch (REST)
UpdateEntry (RPC)

הערה: כשמבצעים מיגרציה מהשיטה של Data Catalog‏ projects.locations.entryGroups.entries.reconcileTags, צריך להשתמש בשיטה projects.locations.metadataJobs.create (REST) או CreateMetadataJob (RPC) עם סוג העבודה import כדי לייבא תוכן של Catalog למספר רשומות. כדי לעדכן את כל ההיבטים של רשומה אחת, משתמשים בשיטה projects.locations.entryGroups.entries.patch (REST) או UpdateEntry (RPC).
‫catalog.search (REST)
SearchCatalog (RPC)		 ‫projects.locations.searchEntries (REST)
SearchEntries (RPC)

הערה: השיטות של Knowledge Catalog projects.locations.searchEntries (REST) ו-SearchEntries (RPC) לא תומכות בחיפוש בכמה ארגונים. צריך להנפיק קריאות נפרדות ל-API לכל אחד מהארגונים.

תבניות ליצירת תגים ותגים

ב-Knowledge Catalog, סוגי ההיבטים הם המחליפים של תבניות התגים של Data Catalog, וההיבטים הם המחליפים של התגים של Data Catalog.

שיטת Data Catalog API שיטת Dataplex API
‫projects.locations.tagTemplates.create (REST)
CreateTagTemplate (RPC)		 ‫projects.locations.aspectTypes.create (REST)
CreateAspectType (RPC)
‫projects.locations.tagTemplates.get (REST)
GetTagTemplate (RPC)		 ‫projects.locations.aspectTypes.get (REST)
GetAspectType (RPC)
‫projects.locations.tagTemplates.patch (REST)
UpdateTagTemplate (RPC)		 ‫projects.locations.aspectTypes.patch (REST)
UpdateAspectType (RPC)
‫projects.locations.tagTemplates.delete (REST)
DeleteTagTemplate (RPC)		 ‫projects.locations.aspectTypes.delete (REST)
DeleteAspectType (RPC)
‫catalog.search (REST) עם פרדיקט type=tag_template
SearchCatalog (RPC) עם פרדיקט type=tag_template		 ‫projects.locations.aspectTypes.list (REST)
ListAspectTypes (RPC)

שדות של תבנית ליצירת תג

השדות בתבנית התגים תואמים לתוכן של השדה metadata_template בסוג היבט. כדי להעביר פעולה ברמת השדה ב-Data Catalog, צריך להשתמש בפעולה UpdateAspectType עם המטען הייעודי (payload) המתאים ב-Knowledge Catalog.

שיטת Data Catalog API שיטת Dataplex API
‫projects.locations.tagTemplates.fields.create (REST)
CreateTagTemplateField (RPC)		 ‫projects.locations.aspectTypes.patch (REST)
UpdateAspectType (RPC)
‫projects.locations.tagTemplates.fields.patch (REST)
UpdateTagTemplateField (RPC)		 ‫projects.locations.aspectTypes.patch (REST)
UpdateAspectType (RPC)
‫projects.locations.tagTemplates.fields.rename (REST)
RenameTagTemplateField (RPC)		 ‫projects.locations.aspectTypes.patch (REST)
UpdateAspectType (RPC)
‫projects.locations.tagTemplates.fields.delete (REST)
DeleteTagTemplateField (RPC)		 ‫projects.locations.aspectTypes.patch (REST)
UpdateAspectType (RPC)

ערכי enum של שדות בתבנית ליצירת תג

בדומה לשדות של תבניות ליצירת תגים, אפשר לערוך ערכי טיפוסים בני מנייה (enum) ב-Dataplex API על ידי שינוי השדה metadata_template בסוג ההיבט המתאים.

שיטת Data Catalog API שיטת Dataplex API
‫projects.locations.tagTemplates.fields.enumValues.rename (REST)
RenameTagTemplateFieldEnumValue (RPC)		 ‫projects.locations.aspectTypes.patch (REST)
UpdateAspectType (RPC)

תגים

היבטים הם הדור הבא של תגי Data Catalog. היבטים הם לא משאבים עצמאיים והם מוכללים ברשומות ההורה שלהם. אפשר להשתמש בפרמטר field_mask כדי לעדכן באופן סלקטיבי היבט אחד ברשומה.

שיטת Data Catalog API שיטת Dataplex API
‫projects.locations.entryGroups.entries.tags.create (REST)
CreateTag (RPC)		 ‫projects.locations.entryGroups.entries.patch (REST)
UpdateEntry (RPC)
‫projects.locations.entryGroups.entries.tags.list (REST)
ListTags (RPC)		 ‫projects.locations.entryGroups.entries.get (REST)
GetEntry (RPC)

הערה: כדי להגביל את התשובה רק להיבטים הנדרשים, משתמשים בפרמטרים views, aspect_types ו-paths.
‫projects.locations.entryGroups.entries.tags.patch (REST)
UpdateTag (RPC)		 ‫projects.locations.entryGroups.entries.patch (REST)
UpdateEntry (RPC)
‫projects.locations.entryGroups.entries.tags.delete (REST)
DeleteTag (RPC)		 ‫projects.locations.entryGroups.entries.patch (REST)
UpdateEntry (RPC)

תגי מדיניות וטקסונומיות

ממשקי ה-API האלה לא משתנים, ולכן לא צריך להעביר אותם.

מקורות Google Cloud נתמכים

מערכת Knowledge Catalog מעכלת באופן אוטומטי מטא-נתונים מהGoogle Cloud מקורות הבאים. בשירותים מסוימים, כמו AlloyDB ל-PostgreSQL ו-Cloud SQL, צריך קודם להפעיל את השילוב עם Knowledge Catalog כדי שאפשר יהיה להטמיע מטא-נתונים:

  • Analytics ו-lakehouse

    • מערכי נתונים, טבלאות, תצוגות, מודלים, שגרות, חיבורים ומערכי נתונים מקושרים ב-BigQuery
    • שיתוף ב-BigQuery (לשעבר Analytics Hub) – חילופי נתונים ורישומים
    • מאגרי Dataform ונכסי קוד
    • שירותים, מסדי נתונים וטבלאות של Dataproc Metastore

    • טבלאות של קטלוג REST של Iceberg (כולל Google Cloud קטלוג זמן ריצה של Lakehouse IRC,‏ Databricks Unity IRC,‏ AWS Glue Data Catalog IRC ו-Snowflake Horizon IRC)

  • AI ולמידת מכונה

    • מודלים, מערכי נתונים, קבוצות תכונות, תצוגות תכונות ומופעים של חנות וירטואלית ב-Vertex AI

  • בינה עסקית

    • מכונות, מרכזי בקרה, רכיבים של מרכזי בקרה, תצוגות, פרויקטים של LookML, מודלים, ניתוחים ותצוגות ב-Looker (Google Cloud Core)‎ (תצוגה מקדימה)

  • מסדי נתונים

    • מופעים, אשכולות וטבלאות של Bigtable (כולל פרטים על משפחות עמודות)
    • מכונות, מסדי נתונים, טבלאות ותצוגות של Spanner

  • סטרימינג והעברת הודעות

    • נושאים ב-Pub/Sub

  • נתונים לא מובְנים

  • מסדי נתונים תפעוליים

כדי לייבא מטא-נתונים ממקור של צד שלישי אל Knowledge Catalog, אפשר להשתמש במחברים של Knowledge Catalog או בצינור קישוריות מנוהל. מידע נוסף זמין במאמרים מידע על מחברים של Knowledge Catalog וסקירה כללית על קישוריות מנוהלת.

אילוצים של פרויקטים ומיקומים

משאבי קטלוג ב-Knowledge Catalog מאוחסנים בפרויקטים ובמיקומים שונים. ההגבלות הבאות חלות:

  • מיקום:

    • רשומות:

      • המיקום של רשומה חייב להיות זהה למיקום של סוג הרשומה, או שסוג הרשומה חייב להיות global.
      • מאפיין שמוסיפים לרשומה צריך להתבסס על סוג מאפיין שמאוחסן באותו מיקום כמו הרשומה, או שסוג המאפיין צריך להיות global.
      • סוג רשומה חייב להיות מורכב מסוגי היבטים שמאוחסנים באותו מיקום כמו סוג הרשומה.

    • קישורים להצטרפות:

      • המיקום של קישור הכניסה צריך להיות זהה למיקום של סוג קישור הכניסה, או שסוג קישור הכניסה צריך להיות global.
      • מאפיין שמוסיפים לקישור לכניסה צריך להתבסס על סוג מאפיין שמאוחסן באותו מיקום כמו הקישור לכניסה, או שסוג המאפיין צריך להיות global.
      • סוג של קישור לדף נחיתה חייב להיות מורכב מסוגי היבטים שמאוחסנים באותו מיקום שבו מאוחסן סוג הקישור לדף הנחיתה.

  • פרויקט:

    • אם סוג רשומה מפנה לסוגי היבטים בהתאמה אישית, סוגי ההיבטים צריכים להיות באותו מיקום ובאותו פרויקט כמו סוג הרשומה.

תכונות לניהול מטא-נתונים שלא נתמכות ב-Knowledge Catalog

התכונות הבאות שזמינות ב-Data Catalog לא נתמכות ב-Knowledge Catalog:

  • המושג של היבטים פרטיים וסוגי היבטים פרטיים (מקבילים לתגים פרטיים ולתבניות תגים פרטיות ב-Data Catalog) לא קיים ב-Knowledge Catalog.
  • חיפוש תגי מדיניות אינו נתמך בחיפוש ב-Knowledge Catalog. לכן, פרדיקטים policytag ו-policytagid לא פועלים בחיפוש ב-Knowledge Catalog.
  • כשמעבירים ל-Knowledge Catalog קבוצות רשומות מותאמות אישית, רשומות מותאמות אישית, תבניות תגים ותגים מ-Data Catalog, ההרשאות המקוריות שלהם לא מועברות. כדי להשתמש במטא-נתונים שהועתקו, צריך להגדיר במפורש הרשאות IAM.
  • אי אפשר לשלוח ישירות לקטלוג ב-Knowledge Catalog את תוצאות הבדיקה של Sensitive Data Protection. במקום זאת, אפשר לשלוח את תוצאות הבדיקה של Sensitive Data Protection אל Data Catalog, ואז להעביר את התוצאות אל Knowledge Catalog.
  • אי אפשר להשתמש ב-API כדי להציג רשימה של סוגי רשומות, סוגי קישורים לרשומות וסוגי היבטים בפרויקטים שונים. אפשר להגביל את הבקשה לרשימה לפרויקט בלבד.
  • אין תמיכה ברישום של אגמים, אזורים, נכסים וישויות כרשומות ב-Knowledge Catalog. המשמעות היא שמטא-נתונים של Data Catalog שמצורפים לאגמים, לאזורים, לנכסים וליישויות לא מועברים לקטלוג ב-Knowledge Catalog. בנוסף, כשמשתמשים בחיפוש ב-Knowledge Catalog, אי אפשר לחפש אזורים וישויות, ואי אפשר לסנן לפי אגמים ואזורים. אתם יכולים להשתמש באגמים ובאזורים בנפרד מהקטלוג ב-Knowledge Catalog.
  • אין תמיכה בחיפוש של אדמינים, שמבטיח היזכרות מלאה. במקום זאת, אפשר לייצא מטא-נתונים ל-Cloud Storage ואז להריץ עליהם שאילתות מ-BigQuery.

בקטע Knowledge Catalog לעומת Data Catalog במסמך הזה מופיע השוואה בין התכונות והמשאבים שנתמכים ב-Knowledge Catalog וב-Data Catalog.

תמחור

ב-Knowledge Catalog, משתמשים במק"ט של אחסון המטא-נתונים כדי לחייב על אחסון המטא-נתונים. מידע נוסף זמין במאמר בנושא תמחור של Knowledge Catalog.

אין חיובים על השימוש בתכונות הבאות:

  • יצירה וניהול של משאבי קטלוג ב-Knowledge Catalog
  • קריאות ל-API של חיפוש ב-Knowledge Catalog
  • שאילתות חיפוש שבוצעו בדף Knowledge Catalog במסוףGoogle Cloud

המאמרים הבאים