יצירת מאגר

במסמך הזה מוסבר על הרעיון של מאגרי מידע ב-Dataform ואיך ליצור מאגר מידע חדש.

מידע על מאגרי Dataform

כל מאגר Dataform מכיל אוסף של קובצי SQLX ו-JavaScript שמרכיבים את תהליך העבודה, וגם קובצי הגדרה וחבילות של Dataform. אתם יכולים ליצור אינטראקציה עם התוכן של המאגר בסביבת עבודה לפיתוח.

מאגרי המידע מוצגים בדף Dataform לפי סדר אלפביתי של מזהי מאגרי המידע. אפשר למיין ולסנן אותם.

• כדי לראות את המאגרים, במסוף Google Cloud נכנסים לדף Dataform.

  מעבר אל Dataform

כל מאגר Dataform צריך להיות מקושר לחשבון שירות מותאם אישית. בוחרים חשבון שירות בהתאמה אישית כשיוצרים מאגר. אפשר לערוך את חשבון השירות מאוחר יותר.

‫Dataform משתמש ב-Git כדי לתעד שינויים ולנהל גרסאות של קבצים. כל מאגר Dataform תואם למאגר Git. אחרי שיוצרים מאגר Dataform, אפשר לקשר אותו למאגר מרוחק ב-GitHub, ב-GitLab או ב-Bitbucket.

במאגר Dataform, הקוד של המאגר מאוחסן ב-Dataform. במאגר מקושר, מאגר הצד השלישי מאחסן את קוד המאגר. ‫Dataform מתקשר עם המאגר של צד שלישי כדי לאפשר לכם לערוך את התוכן שלו ולהריץ אותו בסביבת עבודה לפיתוח ב-Dataform.

דף המאגר של Dataform מורכב מהרכיבים הבאים:

הכרטיסייה 'סביבות עבודה לפיתוח'

הצגת סביבות עבודה לפיתוח שנוצרו במאגר.

הכרטיסייה 'יומני ביצוע של תהליכי עבודה'

הצגת יומני הביצוע של תהליכי עבודה ב-Dataform.

הכרטיסייה 'הפצה ותזמון'

אפשר לבדוק, ליצור, לערוך ולמחוק הגדרות של גרסאות והגדרות של תהליכי עבודה.

הכרטיסייה 'הגדרות'

השם והמיקום של המאגר. אם המאגר מחובר למאגר Git של צד שלישי, מוצגים מקור המאגר של הצד השלישי, שם ברירת המחדל של הענף וטוקן סודי. מוצגים הלחצנים לחיבור המאגר למאגר Git של צד שלישי ולעריכת חיבור Git.

כפתור ליצירת סביבת עבודה לפיתוח

אפשר ליצור סביבת עבודה לפיתוח.

אחרי שיוצרים ומפעילים סביבת פיתוח, אפשר לערוך את קובץ הגדרות תהליך העבודה כדי להגדיר את ההגדרות הבאות של Dataform במאגר:

• מסד הנתונים שמוגדר כברירת מחדל (Google Cloud מזהה הפרויקט).
• סכימת ברירת המחדל (מזהה מערך הנתונים ב-BigQuery).
• מיקום ברירת המחדל ב-BigQuery.
• סכימת ברירת המחדל (מזהה מערך הנתונים ב-BigQuery) לאישורים.
• המחסן, שחייב להיות מוגדר כ-bigquery.
• משתנים שהוגדרו על ידי המשתמש וזמינים לקוד הפרויקט במהלך ההידור.

חשוב: מאגרי מידע שנוצרו ב-Dataform לא מוצגים במאגרי מידע של BigQuery.

מידע נוסף על הגדרות מאגר Dataform זמין במאמר בנושא IProjectConfig במאמר העזר בנושא Dataform Core.

הגדרות המאגר

כשיוצרים מאגר Dataform, צריך להגדיר את ההגדרות הבאות של המאגר:

מזהה מאגר

מזהה ייחודי של המאגר. המזהים יכולים לכלול רק מספרים, אותיות, מקפים וקווים תחתונים.

אזור

אזור Dataform לאחסון המאגר והתכנים שלו.

אזור האחסון הזה יכול להיות שונה מאזור העיבוד שבו Dataform מעבד את הקוד ומאחסן את הפלט של ההרצות. כברירת מחדל, אזור העיבוד מוגדר לאזור ברירת המחדל של מערך הנתונים של BigQuery. אחרי שיוצרים את המאגר, אפשר לערוך את אזור העיבוד בקובץ ההגדרות של תהליך העבודה. מידע נוסף זמין במאמר הגדרת הגדרות של תהליכי עבודה ב-Dataform.

חשבון שירות

חשבון השירות המותאם אישית שמשויך למאגר. אפשר לבחור חשבון שירות שמשויך לפרויקט או להזין ידנית חשבון שירות אחר. Google Cloud

כדי להריץ תהליכי עבודה במאגר, צריך להשתמש בחשבון שירות בהתאמה אישית. כל הפעולות האחרות במאגר מתבצעות על ידי סוכן השירות של Dataform שמוגדר כברירת מחדל.

מצב קפדני של פעולה בשם אחר

הפעלה של בדיקת אבטחה נוספת שנדרשת עבורה ההרשאה iam.serviceAccounts.actAs בחשבון השירות. מצב פעולה קפדני מופעל בכל המאגרים.

הצפנה

שיטת ההצפנה של המאגר. אתם יכולים להשתמש בהצפנת ברירת המחדל, במפתח הצפנה ייחודי בניהול הלקוח ב-Cloud KMS או במפתח ברירת המחדל של Dataform CMEK. מידע נוסף על שימוש במפתחות הצפנה בניהול הלקוח (CMEK) ב-Dataform זמין במאמר שימוש במפתחות הצפנה בניהול הלקוח.

אחרי שיוצרים מאגר, אפשר לקשר אותו ל-GitHub או ל-GitLab.

חשוב: כדי ליצור מאגר Dataform שמקושר למאגר Git מרוחק שלא נמצא ברשימת ההיתרים במדיניות dataform.restrictGitRemotes, צריך קודם להוסיף את מאגר Git המרוחק לרשימת allowedValues במדיניות, ואז ליצור מאגר Dataform חדש ולקשר אותו למאגר המרוחק. מידע נוסף מופיע במאמר בנושא הגבלת מאגרי מידע מרוחקים.

לפני שמתחילים

נכנסים לחשבון Google Cloud . אם אתם משתמשים חדשים ב- Google Cloud, צרו חשבון כדי שתוכלו להעריך את הביצועים של המוצרים שלנו בתרחישים מהעולם האמיתי. לקוחות חדשים מקבלים בחינם גם קרדיט בשווי 300$ להרצה, לבדיקה ולפריסה של עומסי העבודה.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the BigQuery and Dataform APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the BigQuery and Dataform APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

1. כדי להשתמש בהצפנת CMEK למאגר, מפעילים הצפנת CMEK של מאגרי Dataform.

חשוב: לפני שיוצרים מאגר Dataform שרוצים לקשר למאגר Git מרוחק, צריך לבדוק אם הארגון או הפרויקט מגבילים מאגרי Git מרוחקים באמצעות dataform.restrictGitRemotes מדיניות הארגון. אם המדיניות קיימת, צריך לוודא שהמאגר המרוחק נמצא ברשימת ההיתרים לפני שיוצרים את מאגר Dataform ומקשרים אותו למאגר המרוחק. מידע נוסף זמין במאמר בנושא הגבלת מאגרי נתונים מרוחקים

התפקידים הנדרשים

כדי לקבל את ההרשאות שדרושות ליצירה ולמחיקה של מאגר, צריך לבקש מהאדמין להקצות לכם את תפקידי ה-IAM הבאים במאגרים:

• אדמין Dataform‏ (roles/dataform.admin) – הפרויקט
• משתמש בחשבון שירות (roles/iam.serviceAccountUser) – חשבון השירות המותאם אישית

להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

יכול להיות שאפשר לקבל את ההרשאות הנדרשות גם באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש.

מתן התפקידים הנדרשים

כדי להריץ תהליכי עבודה במאגר Dataform וב-BigQuery, אפשר להשתמש בחשבון שירות בהתאמה אישית או בחשבון Google.

לחשבון השירות בהתאמה אישית צריכים להיות התפקידים הנדרשים הבאים:

• עריכה של נתוני BigQuery (roles/bigquery.dataEditor) בפרויקטים או במערכי נתונים ספציפיים של BigQuery ש-Dataform צריכה גישת קריאה וכתיבה אליהם. בדרך כלל זה כולל את הפרויקט שמארח את מאגר Dataform.
• BigQuery Data Viewer (roles/bigquery.dataViewer) בפרויקטים או במערכי נתונים ספציפיים ב-BigQuery ש-Dataform צריכה גישה לקריאה בלבד אליהם.
• BigQuery Job User (roles/bigquery.jobUser) בפרויקט שמארח את מאגר Dataform.

כדי לאפשר ל-Dataform להשתמש בחשבון השירות בהתאמה אישית, לסוכן השירות שמוגדר כברירת מחדל ב-Dataform צריכים להיות התפקידים הבאים במשאב של חשבון השירות בהתאמה אישית:

• יצירת אסימונים בחשבון שירות (roles/iam.serviceAccountTokenCreator)
• משתמש בחשבון שירות (roles/iam.serviceAccountUser)

כדי להקצות את התפקידים האלה:

1. נכנסים לדף IAM במסוף Google Cloud .

   כניסה לדף IAM

2. לוחצים על הענקת גישה.

3. בשדה New principals, מזינים את המזהה של חשבון השירות המותאם אישית.

4. בתפריט Select a role (בחירת תפקיד), בוחרים את התפקידים הבאים אחד אחרי השני. כדי להוסיף עוד תפקידים, לוחצים על Add another role (הוספת תפקיד נוסף):

   • עריכה של נתוני BigQuery
   • BigQuery Data Viewer (צפייה בנתוני BigQuery)
   • BigQuery Job User

5. לוחצים על Save.

6. נכנסים לדף Service accounts במסוף Google Cloud .

   כניסה לדף Service accounts

7. בוחרים את חשבון השירות המותאם אישית.

8. עוברים אל Principals with access ולוחצים על Grant access.

9. בשדה New principals, מזינים את מזהה סוכן השירות שמוגדר כברירת מחדל ב-Dataform.

   מזהה סוכן השירות שמוגדר כברירת מחדל ב-Dataform הוא בפורמט הבא:

   [e-mail]
   

   מחליפים את PROJECT_NUMBER במזהה המספרי שלGoogle Cloud הפרויקט. אפשר לראות את Google Cloud מזהה הפרויקט בלוח הבקרה של המסוף.Google Cloud מידע נוסף זמין במאמר איך מוצאים את השם, המספר והמזהה של הפרויקט.

10. ברשימה Select a role, מוסיפים את התפקידים הבאים:

    • משתמש בחשבון שירות
    • יצירת אסימונים בחשבון שירות

11. לוחצים על Save.

מידע נוסף על הקצאת תפקידים זמין במאמר הקצאת הגישה הנדרשת ל-Dataform.

יצירת מאגר

כדי ליצור מאגר Dataform:

1. נכנסים לדף Dataform במסוף Google Cloud .

   מעבר אל Dataform

2. לוחצים על יצירת מאגר.

3. בדף Create repository, בשדה Repository ID, מזינים מזהה ייחודי.

   המזהים יכולים לכלול רק מספרים, אותיות, מקפים וקווים תחתונים.

4. ברשימה הנפתחת Region, בוחרים אזור Dataform לאחסון המאגר והתוכן שלו. בוחרים את האזור ב-Dataform שהכי קרוב למיקום שלכם.

   רשימת האזורים הזמינים ב-Dataform מופיעה במאמר בנושא מיקומים. האזור של המאגר לא צריך להיות זהה למיקום של מערכי הנתונים ב-BigQuery.

   בקובץ workflow_settings.yaml, אפשר להגדיר את אזור העיבוד שבו Dataform מעבד את הקוד ומאחסן את הפלט של ההרצות. האזור שבו מתבצע העיבוד צריך להיות זהה למיקום של מערכי הנתונים ב-BigQuery, אבל לא צריך להיות זהה לאזור של המאגר. מידע נוסף זמין במאמר הגדרת הגדרות של תהליכי עבודה ב-Dataform.

5. בתפריט Service account, בוחרים חשבון שירות מותאם אישית למאגר.

   חשוב: כשיוצרים מאגר, אי אפשר לבחור את סוכן השירות שמוגדר כברירת מחדל ב-Dataform. חובה להשתמש בחשבון שירות בהתאמה אישית עבור המאגר.

   בתפריט, אפשר לבחור חשבון שירות מותאם אישית שמשויך לGoogle Cloud פרויקט שיש לכם גישה אליו. חשבונות שירות בהתאמה אישית משמשים רק להרצת תהליכי עבודה. כל הפעולות האחרות במאגר מבוצעות על ידי סוכן השירות שמוגדר כברירת מחדל ב-Dataform.

   1. אופציונלי: כדי לבחור חשבון שירות שלא מוצג בתפריט – למשל, אם אין לכם את ההרשאה iam.serviceAccounts.list שנדרשת כדי לראות את רשימת התפקידים – לוחצים על Enter manually ומזינים את מזהה חשבון השירות.
   הערה: ההרשאה iam.serviceAccounts.list זמינה בתפקיד View Service Accounts ‏(roles/iam.serviceAccountViewer).

6. בקטע actAs permission checks (בדיקות הרשאות actAs), אוכפים את בדיקות ההרשאות על פעולות משתמש במאגר. פרטים על הבדיקות האלה מופיעים במאמר בנושא שימוש במצב 'פועל בתור' מחמיר.

7. מגדירים את מנגנון ההצפנה שנבחר למאגר:

   זהירות: אי אפשר לשנות את מנגנון ההצפנה של מאגר Dataform אחרי שיוצרים אותו. מידע נוסף זמין במאמר בנושא הגבלות על CMEK ב-Dataform

   מפתח CMEK שמוגדר כברירת מחדל

   תיבת הסימון Use the default KMS key (שימוש במפתח ברירת המחדל של KMS) מוצגת ב-Dataform ומסומנת כברירת מחדל.

   • כדי להצפין את המאגר באמצעות מפתח ברירת המחדל של Dataform CMEK, משאירים את תיבת הסימון Use the default KMS key (שימוש במפתח ברירת המחדל של KMS) מסומנת.

   חשוב לדעת: אם מסמנים את התיבה Use the default KMS key (שימוש במפתח ברירת המחדל של KMS), אבל לא מוגדר מפתח CMEK של Dataform כברירת מחדל לפרויקט, Dataform מחיל הצפנה במנוחה על המאגר. שימוש במפתחות הצפנה בניהול הלקוח.

   מפתח CMEK ייחודי

   כדי להצפין את המאגר באמצעות מפתח CMEK ייחודי, מבצעים את הפעולות הבאות:

   1. אם תיבת הסימון Use the default KMS key (שימוש במפתח KMS שמשמש כברירת מחדל) מסומנת כברירת מחדל, צריך לבטל את הסימון שלה.
   2. בקטע Encryption, בוחרים באפשרות Customer-managed encryption keys (CMEK).
   3. בתפריט הנפתח Select a customer-managed key, בוחרים מפתח CMEK ייחודי.

   הצפנה במנוחה

   • כדי להשתמש בהצפנה שמוגדרת כברירת מחדל, בוחרים באפשרות Google-managed encryption key בקטע Encryption.

   זהירות: אם מוגדר מפתח CMEK של Dataform כברירת מחדל לאזור המאגר, אתם חייבים להשתמש בהצפנת CMEK. לא בוחרים באפשרות Google-managed encryption key. מידע נוסף זמין במאמר בנושא הגבלות על CMEK ב-Dataform.

8. לוחצים על יצירה ואז על מעבר למאגרי מידע.

עריכה של חשבון השירות

כדי להריץ תהליכי עבודה במאגר, צריך להשתמש בחשבון שירות בהתאמה אישית. כל הפעולות האחרות במאגר מתבצעות על ידי סוכן השירות של Dataform שמוגדר כברירת מחדל.

כדי לערוך את חשבון השירות של מאגר Dataform, פועלים לפי השלבים הבאים:

1. נכנסים לדף Dataform במסוף Google Cloud .

   מעבר אל Dataform

2. בוחרים מאגר ואז לוחצים על הגדרות.

   הערה: רשימת מאגרי Dataform כוללת רק מאגרים שנוצרו לפיתוח תהליכי עבודה ב-Dataform. מאגרים של נכסי BigQuery Studio, כמו מחברות או שאילתות שמורות, מנוהלים בנפרד ולא מופיעים ברשימה הזו.

3. לצד השדה חשבון שירות, לוחצים על עריכת חשבון שירות.

4. בתפריט Service account בוחרים חשבון שירות למאגר.

   בתפריט, אפשר לבחור חשבון שירות מותאם אישית שמשויך לGoogle Cloud פרויקט שיש לכם גישה אליו.

   1. אופציונלי: כדי לבחור חשבון שירות שלא מוצג בתפריט, לוחצים על Enter manually ומזינים מזהה של חשבון שירות.

5. לוחצים על Save.

מחיקת מאגר

כדי למחוק מאגר וכל התוכן שלו, פועלים לפי השלבים הבאים:

1. נכנסים לדף Dataform במסוף Google Cloud .

   מעבר אל Dataform

2. לצד המאגר שרוצים למחוק, לוחצים על תפריט האפשרויות הנוספות ואז בוחרים באפשרות מחיקה.

3. בחלון Delete repository (מחיקת מאגר), מזינים את שם המאגר כדי לאשר את המחיקה.

4. לוחצים על Delete.

המאמרים הבאים

• כאן מוסבר איך לקשר מאגר Dataform למאגר Git של צד שלישי.
• מידע נוסף על ההשפעה של גודל המאגר על הפיתוח ב-Dataform זמין במאמר סקירה כללית על גודל המאגר.
• מידע נוסף על פיצול מאגר ב-Dataform זמין במאמר מבוא לפיצול מאגרים.
• איך מגדירים את ההגדרות של עיבוד ב-Dataform
• במאמר יצירת סביבת עבודה מוסבר איך ליצור סביבת עבודה ולהפעיל אותה.