מעקב אחרי שושלת נתונים של טבלה ב-BigQuery

מעקב אחרי שושלת נתונים של טבלה ב-BigQuery

בעזרת שושלת נתונים אתם יכולים לעקוב אחרי המקור של הנתונים, השינויים שבוצעו בהם והתנועה שלהם בטבלאות ב-BigQuery לאורך זמן. מעקב אחרי התנועות האלה עוזר לכם לשמור על תאימות, לפתור בעיות בנתונים ולבצע ניתוח של שורש הבעיה. במדריך למתחילים הזה תשתמשו במסוףGoogle Cloud כדי להעתיק שתי טבלאות ציבוריות של new_york_taxi_trips, לשלב את מספר הנסיעות שלהן בטבלה חדשה ב-BigQuery ולצפות בתרשים החזותי של שושלת היוחסין. כדי לבצע פעולות ב-data lineage באופן פרוגרמטי, אפשר להשתמש בספריות הלקוח של Knowledge Catalog ו-data lineage.

לפני שמתחילים

מגדירים את הפרויקט:

נכנסים לחשבון Google Cloud . אנחנו ממליצים למשתמשים חדשים ב- Google Cloud ליצור חשבון כדי שיוכלו להעריך את הביצועים של המוצרים שלנו בתרחישים מהעולם האמיתי. לקוחות חדשים מקבלים בחינם גם קרדיט בשווי 300$ להרצה, לבדיקה ולפריסה של עומסי העבודה.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

If you're using an existing project for this guide, verify that you have the permissions required to complete this guide. If you created a new project, then you already have the required permissions.

Verify that billing is enabled for your Google Cloud project.

Enable the Dataplex, BigQuery, and Data Lineage APIs, if any are not already enabled.

Roles required to enable APIs

To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

Enable the APIs

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

If you're using an existing project for this guide, verify that you have the permissions required to complete this guide. If you created a new project, then you already have the required permissions.

Verify that billing is enabled for your Google Cloud project.

Enable the Dataplex, BigQuery, and Data Lineage APIs, if any are not already enabled.

Roles required to enable APIs

To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

Enable the APIs

זהירות: שושלת הנתונים מופעלת לכל פרויקט בנפרד, ולא לכל שירות בנפרד. אחרי שמפעילים את Data Lineage API, מידע על שושלת הנתונים מדווח באופן אוטומטי לכמה שירותי Google Cloud בפרויקט, בהתאם לבקרת שושלת הנתונים ברמת המוצר. למידע נוסף, קראו את המאמר שיקולים ומגבלות של שושלת נתונים.

התפקידים הנדרשים

כדי לקבל את ההרשאות שדרושות לצפייה בתרשימים של שושלת היוחסין, בקשו מהאדמין לתת לכם את התפקידים הבאים ב-IAM:

• Dataplex Catalog Viewer (roles/dataplex.catalogViewer) בפרויקט המשאבים של Knowledge Catalog (לשעבר Dataplex Universal Catalog)
• צפייה בשושלת נתונים (roles/datalineage.viewer) בפרויקט שבו משתמשים ב-BigQuery
• BigQuery Data Viewer (roles/bigquery.dataViewer) בפרויקט שבו משתמשים ב-BigQuery

להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

יכול להיות שאפשר לקבל את ההרשאות הנדרשות גם באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש.

הוספת מערך נתונים ציבורי לפרויקט

1. נכנסים לדף BigQuery במסוף Google Cloud .

   כניסה ל-BigQuery

2. בחלונית הימנית, לוחצים על database Data Explorer.

   אם החלונית הימנית לא מוצגת, לוחצים על הרחבת החלונית הימנית כדי לפתוח אותה.

3. בחלונית נתונים, לוחצים על הוספת נתונים.

4. בחלונית Add data, בוחרים באפשרות Public datasets.

5. בחלונית Marketplace, מחפשים את NYC TLC Trips ולוחצים על התוצאה NYC TLC Trips.

6. לוחצים על View dataset.

הפעולה הזו מוסיפה את הפרויקט של מערך הנתונים הציבורי כקובץ עזר שאפשר לראות בחלונית Explorer. בחלונית הפרטים מוצג Dataset info, כולל מידע כמו Dataset ID,‏ Data location ותאריך Last modified.

יצירת מערך נתונים בפרויקט

1. בחלונית הימנית, לוחצים על Explorer.

2. בחלונית Explorer, בוחרים את הפרויקט שבו רוצים ליצור את מערך הנתונים.

3. לוחצים על Actions ואז על Create dataset.

4. בדף Create dataset, בשדה Dataset ID מזינים את הערך data_lineage_demo. משאירים את ערכי ברירת המחדל בשאר השדות.

5. לוחצים על Create dataset.

6. בחלונית Explorer, לוחצים על Datasets ואז על מערך הנתונים data_lineage_demo שנוסף.

בחלונית הפרטים מוצג מידע על קבוצת הנתונים.

העתקת שתי טבלאות שנגישות באופן ציבורי למערך הנתונים שלכם

1. פותחים את עורך השאילתות: בחלונית הפרטים, לצד הכרטיסייה data_lineage_demo, לוחצים על שאילתת SQL. בשלב הזה נוצרת כרטיסייה בשם Untitled.

2. בעורך השאילתות, מעתיקים את הטבלה הראשונה באמצעות הזנת השאילתה הבאה. מחליפים את PROJECT_ID במזהה הפרויקט.

   CREATE TABLE `PROJECT_ID.data_lineage_demo.nyc_green_trips_2021`
   COPY `bigquery-public-data.new_york_taxi_trips.tlc_green_trips_2021`
   

3. ‫לוחצים על Run. בשלב הזה נוצרת הטבלה הראשונה, שנקראת nyc_green_trips_2021.

4. בחלונית Query results, לוחצים על Go to table. בשלב הזה מוצג התוכן של הטבלה הראשונה.

5. בעורך השאילתות, מחליפים את השאילתה הקודמת בשאילתה הבאה כדי להעתיק את הטבלה השנייה. מחליפים את PROJECT_ID במזהה הפרויקט.

   CREATE TABLE `PROJECT_ID.data_lineage_demo.nyc_green_trips_2022`
   COPY `bigquery-public-data.new_york_taxi_trips.tlc_green_trips_2022`
   

6. ‫לוחצים על Run. בשלב הזה נוצרת הטבלה השנייה, שנקראת nyc_green_trips_2022.

7. בחלונית Query results, לוחצים על Go to table. בשלב הזה מוצג התוכן של הטבלה השנייה.

צבירת נתונים בטבלה חדשה

1. בעורך השאילתות, מזינים את השאילתה הבאה. מחליפים את PROJECT_ID במזהה הפרויקט.

   CREATE TABLE `PROJECT_ID.data_lineage_demo.total_green_trips_22_21`
   AS SELECT vendor_id, COUNT(*) AS number_of_trips
   FROM (
        SELECT vendor_id FROM `PROJECT_ID.data_lineage_demo.nyc_green_trips_2022`
        UNION ALL
        SELECT vendor_id FROM `PROJECT_ID.data_lineage_demo.nyc_green_trips_2021`
   )
   GROUP BY vendor_id
   

2. ‫לוחצים על Run. בשלב הזה נוצרת טבלה משולבת בשם total_green_trips_22_21.

3. בחלונית Query results, לוחצים על Go to table. בשלב הזה מוצגת הטבלה המשולבת.

צפייה בתרשים השושלת ב-Knowledge Catalog

1. נכנסים לדף Search של Knowledge Catalog במסוף Google Cloud .

   מעבר לחיפוש

2. בתיבת החיפוש, מזינים את הערך total_green_trips_22_21 ולוחצים על חיפוש.

3. ברשימת התוצאות, לוחצים על total_green_trips_22_21. בשלב הזה מוצגת הכרטיסייה Details של הטבלה ב-BigQuery.

4. לוחצים על הכרטיסייה Lineage.

הערה: יכול להיות שיעבור זמן מה עד שהשינויים האלה יופיעו בשושלת היוחסין האוטומטית. אם תרשים השושלת עדיין לא מופיע, נסו שוב אחרי כמה דקות.

איור 1. שושלת נתונים עם פרטי צומת

בתרשים השושלת, כל צומת מלבני מייצג טבלה – מקורית, מועתקת או משולבת. אתם יכולים לבצע את הפעולות הבאות:

• כדי להציג או להסתיר את המקור של טבלה, לוחצים על + (הרחבה) או על - (כיווץ).

• כדי להציג מידע על הטבלה, לוחצים על צומת. בשלב הזה מוצגת חלונית Details של הצומת.

• כדי להציג מידע על התהליך, לוחצים על . בשלב הזה מוצגת חלונית Details של התהליך, שבה מופיעה המשימה שהמירה טבלת מקור לטבלת יעד.

איור 2. שושלת נתונים עם פרטי התהליך

הסרת המשאבים

כדי לא לצבור חיובים בחשבון Google Cloud על המשאבים שבהם השתמשתם בדף הזה, מבצעים את הפעולות הבאות.

מחיקת הפרויקט

זהירות: כשמוחקים פרויקט:

• התוכן של הפרויקט נמחק כולו. אם השתמשתם בפרויקט קיים כדי לתרגל את המשימות במדריך הזה, כשתמחקו אותו תימחק גם כל העבודה שביצעתם באותו פרויקט.
• מאבדים את מזהה הפרויקט בהתאמה אישית. כשיצרתם את הפרויקט, יכולתם לבחור לו מזהה פרויקט בהתאמה אישית כדי להשתמש בו בעתיד. כדי לשמור על כתובות ה-URL שמשתמשות במזהה הפרויקט, כמו appspot.com, צריך למחוק את המשאבים שנבחרו בפרויקט אבל לא את הפרויקט כולו.

אם אתם מתכננים להיעזר בכמה ארכיטקטורות, מדריכים או מדריכים למתחילים, מומלץ להשתמש שוב באותו פרויקט כדי לא לחרוג ממכסות הפרויקטים.

1. במסוף Google Cloud , נכנסים לדף Manage resources.

   כניסה לדף Manage resources

2. ברשימת הפרויקטים, בוחרים את הפרויקט שרוצים למחוק ולוחצים על Delete.
3. כדי למחוק את הפרויקט, כותבים את מזהה הפרויקט בתיבת הדו-שיח ולוחצים על Shut down.

מחיקת מערך הנתונים

1. נכנסים לדף BigQuery במסוף Google Cloud .

   כניסה ל-BigQuery

2. בחלונית הימנית, לוחצים על Explorer.

3. בחלונית Explorer, מחפשים את מערך הנתונים data_lineage_demo שיצרתם.

4. לוחצים על מערך הנתונים ואז על מחיקה.

5. מאשרים את פעולת המחיקה.

המאמרים הבאים

• מידע נוסף על שושלת נתונים
• איך מריצים שאילתות ב-BigQuery
• איך משתמשים בשושלת נתונים
• איך משתמשים בספריות הלקוח של Knowledge Catalog ו-Data Lineage
• מידע על התמחור של Knowledge Catalog
• תרחישים לדוגמה לשימוש ב-Knowledge Catalog