מעקב אחרי מקורות הנתונים של טבלה ב-BigQuery

מעקב אחרי מקורות הנתונים של טבלה ב-BigQuery

במאמר הזה מוסבר איך לעקוב אחרי שרשרת המקור של נתונים בטבלאות של BigQuery. המונח 'שיוך מקורות לנתונים' מתייחס לתהליך של מעקב אחרי המקור של הנתונים, האופן שבו הם עוברים טרנספורמציה והמקומות שאליהם הם מועברים לאורך זמן. הבנה של שושלת הנתונים חיונית כדי להבטיח תאימות, לפתור בעיות בנתונים ולבצע ניתוח של שורש הבעיה.

במדריך למתחילים הזה מוסבר איך להתחיל לעבוד עם מעקב אחר מקורות נתונים בטבלאות של BigQuery:

1. העתקה של שתי טבלאות מקבוצת נתונים שזמינה לכולם ב-new_york_taxi_trips.

2. לשלב את המספר הכולל של נסיעות במונית משתי הטבלאות בטבלה חדשה.

3. הצגת תרשים שושלת נתונים להמחשה עבור כל שלוש הפעולות.

הערה: במדריך הזה למתחילים נעשה שימוש במסוף Google Cloud לביצוע משימות, אבל אפשר גם לבצע אינטראקציה עם התכונות האלה באופן פרוגרמטי. מידע נוסף זמין במאמר ספריות לקוח של Knowledge Catalog ושל Data Lineage.

לפני שמתחילים

מגדירים את הפרויקט:

נכנסים לחשבון Google Cloud . אם אתם משתמשים חדשים ב- Google Cloud, צרו חשבון כדי שתוכלו להעריך את הביצועים של המוצרים שלנו בתרחישים מהעולם האמיתי. לקוחות חדשים מקבלים בחינם גם קרדיט בשווי 300$ להרצה, לבדיקה ולפריסה של עומסי העבודה.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

If you're using an existing project for this guide, verify that you have the permissions required to complete this guide. If you created a new project, then you already have the required permissions.

Verify that billing is enabled for your Google Cloud project.

Enable the Dataplex, BigQuery, and Data Lineage APIs.

Roles required to enable APIs

To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

Enable the APIs

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

If you're using an existing project for this guide, verify that you have the permissions required to complete this guide. If you created a new project, then you already have the required permissions.

Verify that billing is enabled for your Google Cloud project.

Enable the Dataplex, BigQuery, and Data Lineage APIs.

Roles required to enable APIs

To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

Enable the APIs

חשוב לדעת: תכונת שרשרת מקורות הנתונים מופעלת ברמת הפרויקט ולא ברמת השירות. אחרי שמפעילים את Data Lineage API, פרטי השושלת מדווחים באופן אוטומטי על כמה שירותים בפרויקט, בהתאם לבקרת השושלת ברמת המוצר. Google Cloud פרטים נוספים זמינים במאמר שיקולים ומגבלות לגבי שושלת הנתונים.

התפקידים הנדרשים

כדי לקבל את ההרשאות שדרושות להצגת תרשימים של ויזואליזציה של שושלת, צריך לבקש מהאדמין להקצות לכם את תפקידי ה-IAM הבאים:

• בעל הרשאת צפייה ב-Dataplex Catalog (roles/dataplex.catalogViewer) בפרויקט המשאבים של Knowledge Catalog (לשעבר Dataplex Universal Catalog)
• Data Lineage Viewer (roles/datalineage.viewer) בפרויקט שבו משתמשים ב- BigQuery
• BigQuery Data Viewer (roles/bigquery.dataViewer) בפרויקט שבו משתמשים ב- BigQuery

להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

יכול להיות שאפשר לקבל את ההרשאות הנדרשות גם באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש.

הוספת מערך נתונים ציבורי לפרויקט

1. במסוף Google Cloud , עוברים לדף BigQuery.

   כניסה ל-BigQuery

2. בחלונית הימנית, לוחצים על כלי הניתוחים:

   

   אם החלונית הימנית לא מוצגת, לוחצים על הרחבת החלונית הימנית כדי לפתוח אותה.

3. בחלונית Explorer, לוחצים על הוספת נתונים.

4. בחלונית הוספת נתונים, בוחרים באפשרות קבוצות נתונים ציבוריות.

5. בחלונית Marketplace, מחפשים את NYC TLC Trips ולוחצים על התוצאה NYC TLC Trips.

6. לוחצים על הצגת מערך הנתונים.

הפעולה הזו מוסיפה את הפרויקט של מערך הנתונים הציבורי כהפניה שאפשר לראות בחלונית Explorer. בחלונית הפרטים מוצג מידע על מערך הנתונים, כולל פרטים כמו מזהה מערך הנתונים, מיקום הנתונים ותאריך השינוי האחרון.

יצירת מערך נתונים בפרויקט

1. בחלונית הימנית, לוחצים על כלי הניתוחים:

   

2. בחלונית Explorer, בוחרים את הפרויקט שבו רוצים ליצור את מערך הנתונים.

3. לוחצים על פעולות ואז על יצירת מערך נתונים.

4. בדף Create dataset, בשדה Dataset ID, מזינים: data_lineage_demo. משאירים את ערכי ברירת המחדל בשאר השדות.

5. לוחצים על יצירת מערך נתונים.

6. בחלונית Explorer לוחצים על Datasets (מערכי נתונים) ואז על מערך הנתונים החדש data_lineage_demo.

בחלונית הפרטים מוצגים פרטי קבוצת הנתונים.

העתקה של שתי טבלאות שנגישות לציבור למערך הנתונים

1. פותחים עורך שאילתות: בחלונית הפרטים, ליד הכרטיסייה data_lineage_demo, לוחצים על שאילתת SQL. בשלב הזה נוצר כרטיסייה בשם Untitled.

2. בעורך השאילתות, מעתיקים את הטבלה הראשונה על ידי הזנת השאילתה הבאה. מחליפים את PROJECT_ID במזהה הפרויקט.

   CREATE TABLE `PROJECT_ID.data_lineage_demo.nyc_green_trips_2021`
   COPY `bigquery-public-data.new_york_taxi_trips.tlc_green_trips_2021`
   

3. לוחצים על הפעלה. בשלב הזה נוצרת הטבלה הראשונה, שנקראת nyc_green_trips_2021.

4. בחלונית Query results, לוחצים על Go to table. בשלב הזה מוצג התוכן של הטבלה הראשונה.

5. בעורך השאילתות, מעתיקים את הטבלה השנייה על ידי החלפת השאילתה הקודמת בשאילתה הבאה. מחליפים את PROJECT_ID במזהה הפרויקט.

   CREATE TABLE `PROJECT_ID.data_lineage_demo.nyc_green_trips_2022`
   COPY `bigquery-public-data.new_york_taxi_trips.tlc_green_trips_2022`
   

6. לוחצים על הפעלה. בשלב הזה נוצרת הטבלה השנייה, שנקראת nyc_green_trips_2022.

7. בחלונית Query results, לוחצים על Go to table. בשלב הזה מוצג התוכן של הטבלה השנייה.

צבירת נתונים בטבלה חדשה

1. מזינים את השאילתה הבאה בעורך השאילתות. מחליפים את PROJECT_ID במזהה הפרויקט.

   CREATE TABLE `PROJECT_ID.data_lineage_demo.total_green_trips_22_21`
   AS SELECT vendor_id, COUNT(*) AS number_of_trips
   FROM (
        SELECT vendor_id FROM `PROJECT_ID.data_lineage_demo.nyc_green_trips_2022`
        UNION ALL
        SELECT vendor_id FROM `PROJECT_ID.data_lineage_demo.nyc_green_trips_2021`
   )
   GROUP BY vendor_id
   

2. לוחצים על הפעלה. בשלב הזה נוצרת טבלה משולבת בשם total_green_trips_22_21.

3. בחלונית Query results, לוחצים על Go to table. בשלב הזה מוצגת הטבלה המשולבת.

הצגת תרשים שושלת הנתונים ב-Knowledge Catalog

1. במסוף Google Cloud , עוברים לדף Search ב-Knowledge Catalog.

   מעבר אל חיפוש

2. אם פלטפורמת החיפוש מוגדרת לקטלוג נתונים, בתפריט בחירת פלטפורמת חיפוש בוחרים באפשרות Knowledge Catalog.

3. בתיבת החיפוש, מזינים total_green_trips_22_21 ולוחצים על חיפוש.

4. ברשימת התוצאות, לוחצים על total_green_trips_22_21. בשלב הזה מוצגת הכרטיסייה Details (פרטים) של הטבלה ב-BigQuery.

5. לוחצים על הכרטיסייה Lineage (מקורות נתונים).

הערה: יכול להיות שיעבור זמן עד שהשינויים האלה יופיעו בנתוני השושלת האוטומטיים. אם תרשים השושלת עדיין לא מופיע, כדאי לבדוק שוב אחרי כמה דקות.

איור 1. שושלת נתונים עם פרטי צומת

בתרשים שושלת הנתונים, כל צומת מלבני מייצג טבלה, בין אם מדובר בטבלה מקורית, בטבלה שהועתקה או בטבלה משולבת. אפשר לבצע את הפעולות הבאות:

• כדי להציג או להסתיר את המקור של טבלה, לוחצים על + (הרחבה) או על - (כיווץ).

• כדי להציג מידע על הטבלה, לוחצים על צומת. בשלב הזה מוצגת חלונית פרטים של הצומת.

• כדי להציג את פרטי התהליך, לוחצים על . בשלב הזה מוצגת חלונית Details של תהליך, שבה מופיעה המשימה שהמירה טבלת מקור לטבלת יעד.

איור 2. שושלת נתונים עם פרטי תהליך

הסרת המשאבים

כדי לא לצבור חיובים לחשבון Google Cloud על המשאבים שבהם השתמשתם בדף הזה, פועלים לפי השלבים הבאים:

מחיקת הפרויקט

זהירות: כשמוחקים פרויקט:

• התוכן של הפרויקט נמחק כולו. אם השתמשתם בפרויקט קיים כדי לתרגל את המשימות במדריך הזה, כשתמחקו אותו תימחק גם כל העבודה שביצעתם באותו פרויקט.
• מאבדים את מזהה הפרויקט בהתאמה אישית. כשיצרתם את הפרויקט, יכולתם לבחור לו מזהה פרויקט בהתאמה אישית כדי להשתמש בו בעתיד. כדי לשמור על כתובות ה-URL שמשתמשות במזהה הפרויקט, כמו appspot.com, צריך למחוק את המשאבים שנבחרו בפרויקט אבל לא את הפרויקט כולו.

אם אתם מתכננים להיעזר בכמה ארכיטקטורות, מדריכים או מדריכים למתחילים, מומלץ להשתמש שוב באותו פרויקט כדי לא לחרוג ממכסות הפרויקטים.

1. במסוף Google Cloud , נכנסים לדף Manage resources.

   כניסה לדף Manage resources

2. ברשימת הפרויקטים, בוחרים את הפרויקט שרוצים למחוק ולוחצים על Delete.
3. כדי למחוק את הפרויקט, כותבים את מזהה הפרויקט בתיבת הדו-שיח ולוחצים על Shut down.

מחיקת מערך הנתונים

1. במסוף Google Cloud , עוברים לדף BigQuery.

   כניסה ל-BigQuery

2. בחלונית הימנית, לוחצים על כלי הניתוחים:

   

3. בחלונית Explorer, מחפשים את מערך הנתונים data_lineage_demo שיצרתם.

4. לוחצים על מערך הנתונים ואז על מחיקה.

5. מאשרים את פעולת המחיקה.

המאמרים הבאים

• מידע נוסף על שרשרת מקורות הנתונים
• איך מריצים שאילתות ב-BigQuery
• איך משתמשים במעקב אחר מקורות הנתונים
• איך משתמשים בספריות הלקוח של Knowledge Catalog ושל Data Lineage
• מידע על התמחור של Knowledge Catalog
• תרחישים לדוגמה לשימוש ב-Knowledge Catalog