סקירה כללית של Data Catalog עם BigQuery

במאמר הזה מוסבר איך Data Catalog קשור ל-BigQuery.

‫Data Catalog הוא שירות מנוהל לניהול מטא-נתונים שאפשר להתאים לעומס.

תרחישי שימוש ב-Data Catalog

‫BigQuery משתמש ב-Data Catalog כדי לבצע את תרחישי השימוש הבאים:

  • המחשה חזותית של שושלת הנתונים.
  • חיפוש משאבים שיש לכם גישה אליהם.
  • תיוג משאבים באמצעות מטא-נתונים.

לתיאור מלא יותר של Data Catalog, אפשר לעיין במאמר מהו Data Catalog.

איך Data Catalog עובד

ב-Data Catalog אפשר לקטלג מטא-נתונים ממקורות נתונים של BigQuery. אחרי שהמטא-נתונים שלכם יוכנסו לקטלוג, תוכלו להוסיף מטא-נתונים משלכם למקורות הנתונים האלה באמצעות תגים. בכל פרויקט BigQuery,‏ Data Catalog מחלק אוטומטית את המטא-נתונים של BigQuery לגבי מערכי נתונים, טבלאות, תצוגות ומודלים. ‫Data Catalog מטפל בשני סוגים של מטא-נתונים: מטא-נתונים טכניים ומטא-נתונים עסקיים. מידע נוסף על מטא-נתונים זמין במאמר מטא-נתונים של Data Catalog.

חיפוש וגילוי

Data Catalog מציע חוויית חיפוש עוצמתית שמבוססת על פרדיקטים של מטא-נתונים טכניים ועסקיים שמשויכים לרשומה ב-Data Catalog שמייצגת מקור נתונים ב-BigQuery. צריכות להיות לכם הרשאות לקרוא את המטא-נתונים של משאב כדי שתוכלו להשתמש בחיפוש ובגילוי במטא-נתונים. הנתונים בתוך משאב לא עוברים אינדוקס ב-Data Catalog. ב-Data Catalog מתבצע אינדוקס רק של המטא-נתונים שמתארים מקור נתונים של BigQuery.

Data Catalog שולט במטא נתונים מסוימים, כמו תגים שנוצרו על ידי משתמשים. לגבי כל המטא-נתונים שמגיעים מ-BigQuery,‏ Data Catalog הוא שירות לקריאה בלבד שמשקף את המטא-נתונים וההרשאות שסופקו על ידי BigQuery. אפשר לערוך ב-BigQuery כדי להוסיף, לעדכן או למחוק את המטא-נתונים של רשומה.

מידע נוסף על חיפוש ב-Data Catalog

גישה ל-Data Catalog

אפשר לגשת לפונקציונליות של Data Catalog באמצעות הממשקים הבאים:

המאמרים הבאים