הוספת מטא-נתונים לטבלה ב-BigQuery

הוספת מטא-נתונים לטבלה ב-BigQuery

כאן מוסבר איך מתחילים לנהל מטא-נתונים ב-Knowledge Catalog (לשעבר Dataplex Universal Catalog).

במדריך המקוצר הזה מוסבר איך מוסיפים מטא-נתונים לטבלה ב-BigQuery. במדריך למתחילים הזה תבצעו את הפעולות הבאות:

1. יצירת מערך נתונים וטבלה ב-BigQuery על סמך מערך נתונים ציבורי.

2. יוצרים תבנית שמגדירה קבוצה של שדות מטא-נתונים קשורים.

   התבנית נקראת סוג היבט. קבוצת השדות של מטא-נתונים קשורים, שמתארים את המטא-נתונים העסקיים והטכניים של נכסי הנתונים, נקראת היבט.

3. הוספת מטא-נתונים לטבלה.

   ב-Knowledge Catalog, כל נכס נתונים מיוצג כרשומה. כדי לצרף מטא-נתונים לנכס נתונים, מוסיפים היבטים לרשומה.

לפני שמתחילים

נכנסים לחשבון Google Cloud . אם אתם משתמשים חדשים ב- Google Cloud, צרו חשבון כדי שתוכלו להעריך את הביצועים של המוצרים שלנו בתרחישים מהעולם האמיתי. לקוחות חדשים מקבלים בחינם גם קרדיט בשווי 300$ להרצה, לבדיקה ולפריסה של עומסי העבודה.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

If you're using an existing project for this guide, verify that you have the permissions required to complete this guide. If you created a new project, then you already have the required permissions.

Verify that billing is enabled for your Google Cloud project.

Enable the Dataplex and BigQuery APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

If you're using an existing project for this guide, verify that you have the permissions required to complete this guide. If you created a new project, then you already have the required permissions.

Verify that billing is enabled for your Google Cloud project.

Enable the Dataplex and BigQuery APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

התפקידים הנדרשים

כדי לקבל את ההרשאות שדרושות להוספת מטא-נתונים לטבלת BigQuery, צריך לבקש מהאדמין להקצות לכם את תפקידי ה-IAM הבאים בפרויקט:

• אדמין ב-Dataplex Catalog (roles/dataplex.catalogAdmin)
• בעלים של נתונים ב-BigQuery (roles/bigquery.dataOwner)
• BigQuery Job User (roles/bigquery.jobUser)

להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

יכול להיות שאפשר לקבל את ההרשאות הנדרשות גם באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש.

יצירת מערך נתונים וטבלה

1. במסוף Google Cloud , עוברים לדף BigQuery Studio.

   כניסה ל-BigQuery Studio

2. יוצרים מערך נתונים:

   1. בחלונית הימנית, לוחצים על כלי הניתוחים:

      

      אם החלונית הימנית לא מוצגת, לוחצים על הרחבת החלונית הימנית כדי לפתוח אותה.

   2. בחלונית Explorer, מוצאים את הפרויקט. לוחצים על View actions, ואז על Create dataset.

   3. בשדה Dataset ID (מזהה מערך הנתונים), מזינים catalog_demo_dataset.

      משאירים את ערכי ברירת המחדל בשאר השדות.

   4. לוחצים על יצירת מערך נתונים.

3. כדי להעתיק טבלה ציבורית לקבוצת הנתונים שלכם:

   1. בחלונית Explorer, מחפשים את הטבלה שנקראת bigquery-public-data.new_york_citibike.citibike_stations. יכול להיות שתצטרכו להגדיר את היקף החיפוש כך שיכלול את הפרויקט bigquery-public-data.

      הטבלה הזו היא חלק ממערך הנתונים NYC Citi Bike Trips, מערך נתונים ציבורי שמכיל נתונים על תוכנית לשיתוף אופניים.

   2. בוחרים את הטבלה citibike_stations.

   3. לוחצים על Copy. הזן את פריטי המידע הבאים:

      • פרויקט: בוחרים את הפרויקט.
      • מערך נתונים: בוחרים באפשרות catalog_demo_dataset.
      • Table: מזינים bike_stations.

   4. לוחצים על Copy.

4. בחלונית Explorer, מאתרים את מערך הנתונים catalog_demo_dataset ומוודאים שהטבלה bike_stations מופיעה במערך הנתונים.

הגדרת תבנית מטא-נתונים: יצירת סוג מאפיין

1. במסוף Google Cloud , עוברים לדף Metadata types ב-Knowledge Catalog.

   מעבר אל 'סוגי מטא-נתונים'

2. לוחצים על הכרטיסייה סוגי היבטים ותבניות תגים ואז על הכרטיסייה בהתאמה אישית.

3. לוחצים על יצירת סוג מאפיין.

4. בשדה Aspect type ID (מזהה סוג ההיבט), מזינים data-governance-demo.

5. בקטע מיקום, בוחרים באפשרות global.

6. בקטע תבנית, לוחצים על הוספת שדה. אפשר להשתמש במידע שבטבלה הבאה כדי להוסיף כמה שדות לסוג ההיבט:

   שם	סוג	חובה	תיאור
   source-of-data-asset	טקסט	לא	-
   retention-date	תאריך ושעה	לא	-
   data-classification	ספירה מוסיפים את הערכים Public,‏ Sensitive ו-Confidential.	כן	-
   has-pii	בוליאני	כן	Whether the data asset has personally identifiable information

7. לוחצים על Save.

הוספת מטא-נתונים לטבלה: הוספת היבט לרשומה

1. נכנסים לדף Search בקטלוג הידע במסוף Google Cloud .

   מעבר אל חיפוש

2. בתיבת החיפוש, מזינים catalog_demo_dataset.

3. בוחרים בטבלה bike_stations.

4. מוסיפים היבט מותאם אישית לרשומה:

   1. בקטע Tags & aspects (תגים ומאפיינים), לצד Optional tags & aspects (תגים ומאפיינים אופציונליים), לוחצים על Add (הוספה).

   2. בוחרים את סוג היחס data-governance-demo.

      כך נוצר היבט שמשתמש בסוג ההיבט שלכם כתבנית.

   3. מזינים את הערכים הבאים:

      • מקור נכס הנתונים: Copied from NYC Citi Bike Trips public dataset
      • תאריך השמירה: מזינים תאריך.
      • סיווג נתונים לקטגוריות: Public
      • Has PII: False

   4. לוחצים על Save.

5. כדי לראות את ערכי המטא-נתונים שהוספתם, בקטע Tags & aspects בוחרים את ההיבט data-governance-demo.

הסרת המשאבים

כדי לא לצבור חיובים לחשבון Google Cloud על המשאבים שבהם השתמשתם בדף הזה, פועלים לפי השלבים הבאים:

מחיקת הפרויקט

הדרך הקלה ביותר להפסיק את החיוב היא למחוק את הפרויקט שיצרתם במדריך למתחילים.

זהירות: כשמוחקים פרויקט:

• התוכן של הפרויקט נמחק כולו. אם השתמשתם בפרויקט קיים כדי לתרגל את המשימות במדריך הזה, כשתמחקו אותו תימחק גם כל העבודה שביצעתם באותו פרויקט.
• מאבדים את מזהה הפרויקט בהתאמה אישית. כשיצרתם את הפרויקט, יכולתם לבחור לו מזהה פרויקט בהתאמה אישית כדי להשתמש בו בעתיד. כדי לשמור על כתובות ה-URL שמשתמשות במזהה הפרויקט, כמו appspot.com, צריך למחוק את המשאבים שנבחרו בפרויקט אבל לא את הפרויקט כולו.

אם אתם מתכננים להיעזר בכמה ארכיטקטורות, מדריכים או מדריכים למתחילים, מומלץ להשתמש שוב באותו פרויקט כדי לא לחרוג ממכסות הפרויקטים.

1. במסוף Google Cloud , נכנסים לדף Manage resources.

   כניסה לדף Manage resources

2. ברשימת הפרויקטים, בוחרים את הפרויקט שרוצים למחוק ולוחצים על Delete.
3. כדי למחוק את הפרויקט, כותבים את מזהה הפרויקט בתיבת הדו-שיח ולוחצים על Shut down.

מחיקת משאבים בודדים

אם רוצים לעשות שימוש חוזר בפרויקט, צריך למחוק את המשאבים שיצרתם.

1. מחיקת מערך הנתונים:

   1. במסוף Google Cloud , עוברים לדף BigQuery Studio.

      כניסה ל-BigQuery Studio

   2. בחלונית הימנית, לוחצים על כלי הניתוחים:

      

   3. בחלונית Explorer, מחפשים את מערך הנתונים catalog_demo_dataset.

   4. לוחצים על הצגת פעולות ואז על מחיקה. מאשרים כשמוצגת בקשה.

2. מוחקים את סוג ההיבט:

   1. במסוף Google Cloud , עוברים לדף Metadata types ב-Knowledge Catalog.

      מעבר אל 'סוגי מטא-נתונים'

   2. לוחצים על הכרטיסייה סוגי היבטים ותבניות תגים ואז על הכרטיסייה בהתאמה אישית.

   3. לוחצים על סוג היחס data-governance-demo.

   4. לוחצים על Delete. מאשרים כשמוצגת בקשה.

המאמרים הבאים

• מידע נוסף על ניהול מטא-נתונים
• איך מחפשים משאבים
• איך עובדים עם היבטים וסוגי היבטים
• תרחישים לדוגמה לשימוש ב-Knowledge Catalog