דרישות מוקדמות והגדרה

כדי להשלים את המדריכים לתרחישי שימוש בנתוני שושלת, מבצעים את שלבי ההגדרה הבאים:

Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

1. Enable the BigQuery, Data lineage , Dataform, BigQuery Data Transfer, and Secret Manager APIs.

   Roles required to enable APIs

   To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

   Enable the APIs

   For new projects, the BigQuery API is automatically enabled.

התפקידים הנדרשים

כדי לקבל את ההרשאות שדרושות לביצוע ההדרכות לתרחישי שימוש ב-Lineage, צריך לבקש מהאדמין להקצות לכם בפרויקטים את תפקידי ה-IAM הבאים:

• Data Lineage Viewer ‏ (roles/datalineage.viewer): בפרויקט שבו מתועד ומוצג מקור הנתונים.
• ‫BigQuery Data Viewer (roles/bigquery.dataViewer): בפרויקט האחסון של הטבלה.
• BigQuery Resource Viewer‏ (roles/bigquery.resourceViewer): בפרויקט החישוב של העבודה.
• ‫Dataplex Catalog Viewer ‏ (roles/dataplex.catalogViewer): בפרויקט שבו מאוחסנים רשומות הקטלוג.
• ‫Dataform Editor‏ (roles/dataform.editor): בפרויקט שבו נמצאים סביבות העבודה והמאגרים.

ברשימה הבאה מפורטים סוגי הפרויקטים והשירותים שמשויכים לתפקידים הנדרשים:

• פרויקט האחסון מאחסן את מערכי הנתונים והטבלאות ב-BigQuery.
• פרויקט Compute מעבד את הנתונים שלכם ומאחסן את המטא-נתונים של שושלת הנתונים. הוא משמש להרצת משימות של BigQuery ולביצוע טרנספורמציות של נתונים.
• רשומות בקטלוג מכילות מטא-נתונים שמתארים את הטבלאות, כך שאפשר למצוא ולארגן אותן בלי לגשת לנתונים הבסיסיים.
• פרויקט Lineage מתעד ומציג באופן ויזואלי את היסטוריית הנתונים והטרנספורמציות שלהם.
• ‫Dataform הוא שירות שמשמש לבנייה, לבקרת גרסאות ולהרצה של צינורות עיבוד נתונים מבוססי SQL. הוא הופך נתונים גולמיים למערכי נתונים נקיים ומתועדים.

להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון. יכול להיות שאפשר לקבל את ההרשאות הנדרשות גם באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש אחרים.

קדימה, מתחילים

כדי להשלים את המדריכים, צריך להשתמש במאגר התרחישים לדוגמה של שרשרת מקורות הנתונים. המאגר הזה מכיל קוד מוגדר מראש להגדרת מערכי נתונים ולהפעלת טרנספורמציות של נתונים.

סקירה כללית על מערכי נתונים

בכל מדריך נעשה שימוש בקבוצת נתונים שונה מהעולם האמיתי, כמו נתונים של ספק שירותים רפואיים, נתוני תעסוקה או נתונים עסקיים, כדי להדגים את שושלת הנתונים בתרחישים ריאליסטיים.

הגדרת מערכי נתונים

כדי לעקוב אחרי שינויים בנתונים באמצעות היסטוריית הנתונים, צריך לבצע את ההגדרה החד-פעמית הזו:

1. יוצרים אסימון גישה אישי ומאחסנים אותו ב-Secret Manager.
2. מקשרים את המאגר ל-Dataform.

אחרי ההגדרה, מריצים את טרנספורמציות הנתונים כדי לעבד את הנתונים וליצור את היסטוריית השינויים.