סביבות נתונים ארגוניות מכילות לעיתים קרובות מאות מערכי נתונים, טבלאות ומודלים של נתונים במערכות אחסון מרובות. כדי להבין מי הבעלים של כל קבוצת נתונים, אם היא מכילה מידע רגיש כמו פרטים אישיים מזהים (PII) או אם היא עומדת בתקני איכות, בדרך כלל צריך לבדוק באופן ידני את מקורות הנתונים או לאתר מסמכים מפוזרים.
היבטים וסוגי היבטים ב-Knowledge Catalog (לשעבר Dataplex Universal Catalog) פותרים את הבעיה הזו. הם מספקים דרך סטנדרטית וניתנת להרחבה לצרף הקשר עסקי מובנה, מדיניות משילות ומאפיינים תפעוליים ישירות לנכסי הנתונים.
במאמר הזה מתוארים המושגים הארכיטקטוניים, כללי ההיקף וגבולות הפיקוח של סוגי היבטים והיבטים ב-Knowledge Catalog. כדי לצרף היבטים לרשומות קיימות או ליצור סוגי היבטים בהתאמה אישית, קראו את המאמר ניהול היבטים והעשרת מטא-נתונים.
סוגי היבטים
סוג היבט (AspectType) הוא תבנית סכימה לשימוש חוזר שמגדירה את שדות המטא-נתונים, סוגי הנתונים וכללי האימות של היבט. כדי ליצור או לצרף היבט, צריך להיות לכם סוג היבט שמגדיר את הסכימה שלו.
כשיוצרים סוג היבט בהתאמה אישית, צריך לציין מזהה שתואם להנחיות למתן שמות למשאבים ב-Knowledge Catalog.
קטגוריות של סוגי היבטים
סוגי ההיבטים מחולקים לשתי קטגוריות על סמך הבעלות וההיקף: סוגי היבטים בהתאמה אישית וסוגי היבטים של המערכת.
סוגי היבטים בהתאמה אישית
סוגי היבטים בהתאמה אישית הם תבניות סכימה שנוצרות ומנוהלות על ידי הארגון שלכם. משתמשים בהם כדי לתעד מטא-נתונים ספציפיים לדומיין, כמו בעלות על העסק, רמות SLA, מדיניות שמירת נתונים או סיווגי תאימות.
סוגי מאפיינים מותאמים אישית חלים על רשומות ועמודות, אבל לא על קישורים לרשומות. כלומר, אתם יכולים להשתמש בסוגי מאפיינים בהתאמה אישית כדי להגדיר טקסונומיה ספציפית לארגון שלכם לנכסי נתונים ולשדות סכימה ספציפיים. סוגי מאפיינים בהתאמה אישית לא חלים על קישורי רשומות, ולכן אי אפשר להשתמש בהם כדי להגדיר מטא-נתונים של קשרים בהתאמה אישית בין רשומות. קישורים לרשומות תומכים רק בסוגים ספציפיים של היבטי מערכת. אפשר להגדיר סוג היבט בהתאמה אישית במיקום אזורי ספציפי או כמשאב global:
- סוגי היבטים גלובליים: משוכפלים בכל האזורים של Google Cloud ואפשר לצרף אותם לרשומות שנמצאות בכל אזור. הגדרה של סוג היבט גלובלי מאפשרת לאכוף סכימה סטנדרטית אחת בכל הנכסים המבוזרים, בלי לנהל כפילויות. עם זאת, מכיוון שהגדרות הסכימה משוכפלות באופן גלובלי, כדאי לבחור סוג היבט אזורי אם דרישות המדיניות או מיקום אחסון הנתונים של הארגון מחייבים שהגדרות המטא-נתונים יישארו מוגבלות באופן קפדני לגבול גיאוגרפי ספציפי.
- סוגי היבטים אזוריים: מאוחסנים באזור ספציפי, כמו
us-central1אוeurope-west1, ואפשר לצרף אותם רק לרשומות שנמצאות באותו אזור. כדאי לבחור סוג היבט אזורי כדי לעמוד בדרישות של ריבונות הנתונים, או כשמבני המטא-נתונים ייחודיים לעומס עבודה אזורי. אם אתם צריכים את אותו מבנה מטא-נתונים בכמה אזורים מבודדים, אתם צריכים ליצור ולתחזק הגדרות נפרדות של סוגי היבטים בכל אזור יעד.
מידע נוסף על היקף המשאבים זמין במאמר אילוצים של פרויקטים ומיקומים.
סוגי היבטים של המערכת
סוגי היבטים של המערכת הם תבניות מוגדרות מראש ש- Google Cloud מספקת ומתחזקת. סוגי ההיבטים של המערכת הם תמיד גלובליים, והם מאוחסנים בפרויקט בניהול Google עם מספר הפרויקט 655216118709 והכינוי dataplex-types. לדוגמה:
projects/655216118709/locations/global/aspectTypes/schema
סוגי ההיבטים של המערכת מתחלקים לשתי קבוצות פונקציונליות:
- סוגי היבטים של המערכת לשימוש חוזר: תבניות של צד ראשון שאפשר לצרף לרשומות או לעמודות כדי לתעד מטא-נתונים סטנדרטיים, כמו הגדרות סכימה, פרופיל נתונים אוטומטי או כרטיסי מידע על איכות הנתונים.
- סוגי היבטים מוגבלים של המערכת: מנוהלים באופן אוטומטי על ידי שירותי Google Cloud כדי לייצג מאפייני תשתית בסיסיים, כמו פריסות של טבלאות ב-BigQuery או הגדרות של קטגוריות ב-Cloud Storage. אתם יכולים לראות היבטים בסוגים מוגבלים, אבל לא ליצור, לשנות או למחוק אותם באופן ידני.
לכל סוג של היבט מערכת יש הרשאות IAM משלו. מידע נוסף זמין במאמר הרשאות IAM לסוגי מאפיינים, סוגי רשומות וסוגי קישורים של רשומות במערכת.
בטבלה הבאה מפורטים סוגי ההיבטים של המערכת ש-Knowledge Catalog מספק:
| קטגוריה | תיאור | סוגי ההיבטים ש-Knowledge Catalog מספק |
|---|---|---|
| סוג היבט מערכת לשימוש חוזר | תבניות מוגדרות מראש שאפשר לצרף לרשומות, לעמודות או לקישורים לרשומות. |
|
| סוג היבט המערכת המוגבל | תבניות תשתית שמנוהלות באופן אוטומטי על ידי שירותי Google Cloud . ההיבטים מוגדרים לקריאה בלבד. |
כולל, בין היתר:
|
סוגי היבטים בהתאמה אישית ו-Gemini ב-BigQuery
Gemini ב-BigQuery מבסס את יצירת ה-SQL ואת הסקת הנתונים על הגדרות סכימה סטנדרטיות, אילוצי טבלאות ושדות תיאור מקוריים של טבלאות או עמודות. סוגי היבטים מותאמים אישית שמוגדרים על ידי המשתמש ב-Knowledge Catalog מאוחסנים במישור הקטלוג לצורכי פיקוח, חיפוש ואחזור של API, אבל הם לא מוזרקים באופן דינמי לצינור עיבוד הנתונים של אחזור ההנחיות לפי הקשר של Gemini.
זה אומר שתכונות מבוססות-AI גנרטיבי ב-BigQuery לא יכולות לקרוא באופן אוטומטי מטא-נתונים שמאוחסנים בשדות של היבטים בהתאמה אישית, כשהן יוצרות שאילתות SQL או עונות על שאלות לגבי הנתונים שלכם.
שיטה מומלצת
כדי לוודא שמודלים של AI גנרטיבי ב-BigQuery משלבים הקשר עסקי בשאילתות שנוצרות, כדאי לאכלס תיאורי טבלאות מקוריים ותיאורי עמודות ב-BigQuery לצד היבטים של קטלוגים בהתאמה אישית. הגישה הכפולה הזו עוזרת להבטיח שעוזרים אישיים תפעוליים מבוססי-AI מאחזרים את ההקשר של הטבלה באופן אינטראקטיבי, בזמן שצינורות עיבוד הנתונים של ניהול הקטלוג אוכפים את מדיניות המטא-נתונים של הארגון.
היבטים
היבט (Aspect) הוא מופע קונקרטי של סוג היבט שמצורף לרשומה, לעמודה או לקשר ספציפיים, ומכיל את ערכי המטא-נתונים בפועל. ההיבטים מוכללים ישירות במשאבי ההורה שלהם, וכך אפשר לבצע פעולות קריאה וכתיבה אטומיות לצד עדכוני רשומות. כלומר, אתם יכולים לאחזר או לעדכן רשומה ואת כל המטא-נתונים שמשויכים אליה בקריאה אחת ל-API, וכך להימנע מבעיות עקביות שנובעות מכמה קריאות.
מיקום ההיבט ורמות היעד
אפשר לצרף היבטים בשלוש רמות יעד שונות ב-Knowledge Catalog:
- היבטים ברמת הרשומה: מתארים את נכס הנתונים כולו. השתמשו בהיבטים ברמת הרשומה לבעלות ברמת הנכס (
contacts), סיכומי מנהלים (overview), מדדי שימוש בקבוצת נתונים (usage) וציוני איכות מצטברים (data-quality-scorecard). - היבטים ברמת העמודה (נתיבי סכימה): תיאור של עמודות ספציפיות או שדות בתצוגת עץ בטבלה מובנית. כשמפנים לעמודה, מצרפים את ההיבט באמצעות סימון נתיב הסכימה
@Schema.<column_name>(לדוגמה,@Schema.email_addressאו@Schema.billing_address.postal_code). משתמשים בהיבטים ברמת העמודה לסיווג פרטים אישיים מזהים, לכללי איכות נתונים ברמת העמודה ולתגים סמנטיים. - היבטים ברמת הקישור בין הרשומות: תיאור הקשר בין שתי רשומות מקושרות. אתם יכולים לצרף היבטים לקישורי רשומות כיווניים או לא כיווניים (חוץ מקישורי
schema-join) כדי לתעד מטא-נתונים של קשרים. השתמשו בהיבטים ברמת הקישור של הרשומה כדי להצטרף לציוני מהימנות, לכללי טרנספורמציה או למיפוי הערות שושלת.
בטבלה הבאה מפורטים המיקומים הנתמכים של ההיבטים:
| רמת היעד | משאב המטרה | תחביר של מזהה מפתח | סוגי היבטים נפוצים |
|---|---|---|---|
| רמת כניסה | נכס נתונים (טבלה, מודל, קבוצת קבצים) | <aspect_type_id> |
contacts, overview, data-profile, הסכמי SLA בהתאמה אישית |
| רמת העמודה | שדה או עמודה בסכימה של רשומה | <aspect_type_id>@Schema.<column_name> |
סיווג פרטים אישיים מזהים, כללים להסתרת עמודות, ציוני אימות שדות |
| רמת הקישור של הרשומה | קשר סמנטי בין הערכים | <aspect_type_id> |
רמת הסמך של הקשר, קריטריונים להצטרפות, מיפוי שושלת היוחסין |
קטגוריות של היבטים
בהתאם לEntryType שחלה על הרשומה, ההיבטים שמשויכים אליה מסווגים כהיבטי חובה או כהיבטים אופציונליים:
- היבטים נדרשים: מוגדרים כהיבטי חובה על ידי
EntryTypeשל הרשומה. חובה לאכלס את ההיבטים הנדרשים כשיוצרים את הרשומה, ואי אפשר למחוק אותם כל עוד הרשומה קיימת. ברשומות של המערכת (כמו טבלאות ב-BigQuery), היבטים נדרשים כמוSchemaמאוכלסים ומסונכרנים באופן אוטומטי על ידי Google Cloud. - היבטים אופציונליים: מטא-נתונים משלימים שמצורפים על ידי מנהלי נתונים, צינורות עיבוד נתונים אוטומטיים או סוכני AI כדי להעשיר רשומה מעבר לדרישות הבסיסיות של התבנית. אפשר להוסיף, לעדכן או להסיר היבטים אופציונליים בכל שלב, בלי להשפיע על מחזור החיים של הרשומה.
סוגי היבטים של מערכות מיוחדות
ב-Knowledge Catalog יש סוגים מיוחדים של היבטי מערכת שאפשר להשתמש בהם שוב ושוב, שמתעדים את התוצאות של יצירת פרופיל נתונים, איכות הנתונים וחילוץ קשרים:
- כרטיס מידע על איכות הנתונים (
data-quality-scorecard): מתעד את הציונים הכוללים של איכות הנתונים, סטטוס ההערכה וציוני המאפיינים לכל עמודה שנוצרו על ידי סריקות של איכות הנתונים ב-Dataplex. - כללי נתונים (
data-rules) ותבניות של כללים (data-quality-rule-template): אחסון וניהול של כללים ותבניות לאימות נתונים שאפשר להשתמש בהם שוב ושוב ולהחיל אותם על כמה מערכי נתונים. - פרופיל נתונים (
data-profile): מאחסן מדדים סטטיסטיים לגבי נתוני הטבלה, כמו אחוזי ערכי null, ערכים ייחודיים ותדירויות התפלגות. - פרופיל תרשים (
graph-profile): מתעד ישויות שחולצו על ידי AI, קצוות של קשרים ו-Knowledge Graphs שחולצו ממסמכים לא מובְנים.
אילוצים בהיקף הפרויקט והמיקום
כדי לשמור על גבולות משילות המידע ולמנוע תלות מקרית במטא-נתונים בין אזורים, Knowledge Catalog אוכף את מגבלות ההיקף הבאות:
| משאב | כלל מיקום | כלל פרויקט |
|---|---|---|
| רשומות | המיקום של הרשומה חייב להתאים למיקום של EntryType,
או שהערך של EntryType חייב להיות global. |
יכולה להפנות לסוגי רשומות גלובליים או לסוגי רשומות באותו פרויקט. |
| היבטים של רשומות | ה-AspectType של ההיבט חייב להיות באותו מיקום כמו הרשומה, או שה-AspectType חייב להיות global. |
אפשר להפנות לסוגי מאפיינים גלובליים של המערכת או לסוגי מאפיינים בהתאמה אישית באותו פרויקט. |
| קישורים לערכים | המיקום של קישור הרשומה חייב להתאים ל-EntryLinkType שלו, או
שה-EntryLinkType חייב להיות global. |
אפשר לקשר רשומות שנמצאות בפרויקטים שונים באותו ארגון. |
| סוגי רשומות | מורכב מסוגי מאפיינים שמאוחסנים באותו מיקום כמו סוג הרשומה, או מסוגי מאפיינים שהם global. |
אם סוג רשומה מפנה לסוגי היבטים בהתאמה אישית, סוגי ההיבטים חייבים להיות באותו פרויקט ובאותו מיקום. |
המאמרים הבאים
ניהול היבטים והעשרת מטא-נתונים
אפשר לצרף היבטים לרשומות, לעמודות ולקישורים לרשומות, ולנהל סוגי היבטים בהתאמה אישית באמצעות המסוף, ה-CLI של gcloud או ממשקי API.
מידע על מטא-נתונים ב-Knowledge Catalog
הסבר על המטא-מודל המאוחד, כולל קבוצות של רשומות, רשומות, סוגי היבטים ותרשימי הקשר פעילים.
הוספת מטא-נתונים לטבלה
מדריך מפורט לגילוי נכסים והוספת מטא-נתונים של היבטים בהתאמה אישית לטבלה ב-BigQuery.
חיפוש וגילוי של נכסים
חיפוש משאבים ב-Google Cloud ובמקורות מותאמים אישית באמצעות פרדיקטים של חיפוש שמבוססים על היבטים.