שימוש ב-Knowledge Catalog עם BigQuery

‫Knowledge Catalog (לשעבר Dataplex Universal Catalog) פועל עם BigQuery כשכבת גישה מרכזית לניהול נתונים ולסוכנים עבור המטא-נתונים של BigQuery. סקירה כללית על Knowledge Catalog

איך משתמשים ב-Knowledge Catalog עם BigQuery?

Knowledge Catalog מתקשר עם BigQuery בדרכים הבאות:

הטמעה אוטומטית של מטא-נתונים

ב-Knowledge Catalog מתבצעת באופן אוטומטי גילוי ואינדוקס של מטא-נתונים טכניים מנכסי BigQuery. הדוגמאות הבאות ממחישות את המצב הזה:

• סוגי נכסים: מערכי נתונים, טבלאות, תצוגות, מודלים, שגרות, חיבורים ומערכי נתונים מקושרים.
• BigQuery sharing: exchanges and listings from BigQuery sharing (formerly Analytics Hub).
• עדכונים בזמן אמת: המערכת תומכת בהטמעה כמעט בזמן אמת ומספקת פידים של שינויים במטא-נתונים באמצעות Pub/Sub כדי להודיע למערכות במורד הזרם על שינויים בסכימה או על מחיקות ב-BigQuery.
• גילוי נתונים לא גלויים: Knowledge Catalog יכול לסרוק קבצים לא מובנים (כמו קובצי PDF ב-Cloud Storage), לחלץ ישויות ולהמיר אותן לנכסים שאפשר להריץ עליהם שאילתות ב-BigQuery. היכולת הזו מאפשרת גישה ל "נתונים לא גלויים" שלא הייתה אליהם גישה בעבר, לצורך ניתוח מבוסס-BigQuery וביסוס של AI.

ייצוג והעשרה של מטא-נתונים

• רשומות: כל טבלה או נכס ב-BigQuery מיוצגים כרשומה בקטלוג, ולא כטבלה שלמה. לדוגמה, project.dataset.table.
• מטא-נתונים ברמת העמודה: עמודות או שדות בודדים מיוצגים כנתיבים, כך שאפשר לצרף מטא-נתונים ספציפיים, כמו סמני פרטים אישיים מזהים (PII) או ציוני איכות נתונים, לשדות בודדים בטבלה ב-BigQuery ולא רק לטבלה עצמה.
• היבטים: מטא-נתונים טכניים מועשרים בהיבטים, שמוסיפים הקשר עסקי לנתונים, כמו בעלות, איכות הנתונים ותיעוד.
• מוצרי נתונים: אתם יכולים לארוז נכסים קשורים ב-BigQuery במוצרי נתונים – לדוגמה, נתונים של עסק מסחר אלקטרוני – שיש להם גישה משותפת ומגבלות ניהול.

גילוי נתונים וחיפוש

• חיפוש סמנטי: משתמשים יכולים להשתמש בשפה טבעית כדי לחפש נתונים ב-BigQuery. זה שימושי במיוחד למדעני נתונים ולסוכני AI שרוצים למצוא מוצרי נתונים מהימנים באמצעות שאילתות ארוכות או מורכבות.
• תרגום שמות: כדי להקל על חיפוש תוכנות, המערכת מאפשרת לתרגם שמות של SQL ב-BigQuery, או שמות מלאים, לשמות של רשומות ב-Knowledge Catalog.

גישה והצמדה לסוכנים

• גישה אג'נטית: סוכני AI יכולים לגלות ולהשתמש בכלים של Knowledge Catalog באופן אדפטיבי דרך שרת MCP מקומי או מרוחק.
• הקשר לסוכני AI: Knowledge Catalog יוצר תרשים הקשר שמקשר בין מערכי נתונים של BigQuery לבין סמנטיקה עסקית, וכך עוזר לצמצם הזיות של AI על ידי שימוש בנתונים שאושרו על ידי הארגון.

ניהול ותאימות

• מקורות נתונים: Knowledge Catalog עוקב באופן אוטומטי אחרי זרימת הנתונים והשינויים שמתבצעים בהם בטבלאות של BigQuery. היכולת הזו חשובה מאוד לביצוע ביקורת על מידע רגיש, כמו פרטים אישיים מזהים (PII), בכלל הנכסים של הנתונים.
• בקרת גישה: ניהול המטא-נתונים משולב עם ניהול זהויות והרשאות גישה (IAM) ועם VPC Service Controls כדי לוודא שהחיפוש והגישה למטא-נתונים של BigQuery מתבצעים בהתאם למדיניות האבטחה של הארגון.

שיקולים לגבי מיגרציה

המעבר אל Knowledge Catalog מ-Data Catalog שהוצא משימוש כולל כמה שלבים. מטא-נתונים רגילים מ-BigQuery (כמו מערכי נתונים, טבלאות ותצוגות) זמינים באופן אוטומטי ב-Knowledge Catalog, ולכן תהליך ההעברה מתמקד בעיקר במטא-נתונים מותאמים אישית, בשימוש ב-API ובברירות המחדל של ממשק המשתמש.

אלה הנקודות העיקריות שכדאי להביא בחשבון כשמבצעים העברה:

הסבר על השינוי

בהשוואה ל-Data Catalog,‏ Knowledge Catalog מציע תכונות משופרות לניהול מטא-נתונים, לממשל ולגילוי. ב-Knowledge Catalog נעשה שימוש ב-API אחר (Knowledge Catalog API) ובמודל נתונים שונה במקצת. לדוגמה, ב-Knowledge Catalog נעשה שימוש בהיבטים ובסוגי היבטים במקום בתגים ובתבניות תגים.

הערכת השימוש הנוכחי ב-Data Catalog

• לא נעשה שימוש במטא-נתונים בהתאמה אישית: אם הסתמכתם רק על Knowledge Catalog לצורך הטמעה וגילוי אוטומטיים של מטא-נתונים רגילים של BigQuery בלי ליצור תגיות בהתאמה אישית, תבניות תגיות, רשומות בהתאמה אישית או קבוצות רשומות, המעבר יהיה פשוט. אפשר להתחיל להשתמש בממשק של Knowledge Catalog באופן מיידי.
• מטא-נתונים מותאמים אישית או שימוש פרוגרמטי: אם יצרתם תגי או תבניות מותאמים אישית, רשומות מותאמות אישית או שאתם משתמשים ב-Data Catalog API, בספריות לקוח, בפקודות Google Cloud CLI או ב-Terraform, אתם צריכים מעבר מובנה יותר.

שיקולים ספציפיים לגבי BigQuery

• הטמעה אוטומטית: מטא-נתונים טכניים מנכסי BigQuery (מערכי נתונים, טבלאות, תצוגות, מודלים ושגרות) ממשיכים להיות מוטמעים אוטומטית ב-Knowledge Catalog, כמו שהם הוטמעו ב-Dataplex Universal Catalog.
• תגי מדיניות: תגי מדיניות שמשמשים לבקרת גישה ברמת העמודה ב-BigQuery לא הוצאו משימוש, והניהול שלהם נשאר ב-BigQuery.
• Lineage: נתוני שושלת (lineage) של פעולות ב-BigQuery מוצגים ב-Knowledge Catalog. מידע נוסף על שושלת נתונים זמין במאמר מעקב אחר שושלת נתונים של טבלה ב-BigQuery.

פועלים לפי המדריך למעבר

כדי לעבור אל Knowledge Catalog, פועלים לפי השלבים במאמר מעבר מ-Data Catalog אל Knowledge Catalog.

כדי לעדכן תהליכי עבודה פרוגרמטיים ל-Knowledge Catalog API, אפשר לעיין במאמר בנושא מיפוי שיטות של Data Catalog API ל-Knowledge Catalog.

המאמרים הבאים

מידע נוסף על Knowledge Catalog:

• תרחישים לדוגמה לשימוש ב-Knowledge Catalog
• שאלות נפוצות בנושא Knowledge Catalog
• מידע על ניהול מטא-נתונים ב-Knowledge Catalog