יצירת סביבות פיתוח

יצירת סביבות פיתוח

במדריך למתחילים הזה מוסבר איך ליצור סביבות פיתוח נפרדות ב-Dataform, כדי שכל מפתח יוכל לעבוד בסביבת פיתוח משלו:

• יצירת מאגר Dataform.
• הקצאת התפקידים הנדרשים.

• הגדרת שינויים מברירת המחדל בהידור של סביבת העבודה.

  הגדרת שינויים בהידור ש-Dataform מחיל על כל סביבות העבודה במאגר, והופך את סביבות העבודה לסביבות פיתוח מבודדות.

• ניקוי הנכסים שנוצרו.

לפני שמתחילים

נכנסים לחשבון Google Cloud . אם אתם משתמשים חדשים ב- Google Cloud, צרו חשבון כדי שתוכלו להעריך את הביצועים של המוצרים שלנו בתרחישים מהעולם האמיתי. לקוחות חדשים מקבלים בחינם גם קרדיט בשווי 300$ להרצה, לבדיקה ולפריסה של עומסי העבודה.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the BigQuery and Dataform APIs.

Roles required to enable APIs

To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

Enable the APIs

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the BigQuery and Dataform APIs.

Roles required to enable APIs

To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

Enable the APIs

בנוסף, אם רוצים להשתמש בחשבון שירות בהתאמה אישית כדי להריץ תהליכי עבודה ב-BigQuery, בוחרים או יוצרים חשבון שירות בהתאמה אישית.

התפקידים הנדרשים

כדי לקבל את ההרשאות שדרושות לביצוע כל המשימות במדריך למתחילים הזה, אתם צריכים לבקש מהאדמין להקצות לכם את תפקידי ה-IAM הבאים:

• אדמין של Dataform (roles/dataform.admin) במאגר
• משתמש בחשבון שירות (roles/iam.serviceAccountUser) בחשבון השירות המותאם אישית
• אדמין IAM של פרויקט (roles/resourcemanager.projectIamAdmin) בפרויקט

להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

יכול להיות שאפשר לקבל את ההרשאות הנדרשות גם באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש.

מתן התפקידים הנדרשים

כדי להריץ תהליכי עבודה ב-BigQuery, אפשר להשתמש בחשבון שירות בהתאמה אישית או בחשבון Google.

לחשבון השירות בהתאמה אישית צריכים להיות התפקידים הנדרשים הבאים:

• עריכה של נתוני BigQuery (roles/bigquery.dataEditor) בפרויקטים או במערכי נתונים ספציפיים של BigQuery ש-Dataform צריכה גישת קריאה וכתיבה אליהם. בדרך כלל זה כולל את הפרויקט שמארח את מאגר Dataform.
• BigQuery Data Viewer (roles/bigquery.dataViewer) בפרויקטים או במערכי נתונים ספציפיים ב-BigQuery ש-Dataform צריכה גישה לקריאה בלבד אליהם.
• BigQuery Job User (roles/bigquery.jobUser) בפרויקט שמארח את מאגר Dataform.

כדי לאפשר ל-Dataform להשתמש בחשבון השירות בהתאמה אישית, לסוכן השירות שמוגדר כברירת מחדל ב-Dataform צריכים להיות התפקידים הבאים במשאב של חשבון השירות בהתאמה אישית:

• יצירת אסימונים בחשבון שירות (roles/iam.serviceAccountTokenCreator)
• משתמש בחשבון שירות (roles/iam.serviceAccountUser)

כדי להקצות את התפקידים האלה:

1. נכנסים לדף IAM במסוף Google Cloud .

   כניסה לדף IAM

2. לוחצים על הענקת גישה.

3. בשדה New principals, מזינים את המזהה של חשבון השירות המותאם אישית.

4. בתפריט Select a role (בחירת תפקיד), בוחרים את התפקידים הבאים אחד אחרי השני. כדי להוסיף עוד תפקידים, לוחצים על Add another role (הוספת תפקיד נוסף):

   • עריכה של נתוני BigQuery
   • BigQuery Data Viewer (צפייה בנתוני BigQuery)
   • BigQuery Job User

5. לוחצים על Save.

6. נכנסים לדף Service accounts במסוף Google Cloud .

   כניסה לדף Service accounts

7. בוחרים את חשבון השירות המותאם אישית.

8. עוברים אל Principals with access ולוחצים על Grant access.

9. בשדה New principals, מזינים את מזהה סוכן השירות שמוגדר כברירת מחדל ב-Dataform.

   מזהה סוכן השירות שמוגדר כברירת מחדל ב-Dataform הוא בפורמט הבא:

   [e-mail]
   

   מחליפים את PROJECT_NUMBER במזהה המספרי שלGoogle Cloud הפרויקט. אפשר לראות את Google Cloud מזהה הפרויקט בלוח הבקרה של המסוף.Google Cloud מידע נוסף זמין במאמר איך מוצאים את השם, המספר והמזהה של הפרויקט.

10. ברשימה Select a role, מוסיפים את התפקידים הבאים:

    • משתמש בחשבון שירות
    • יצירת אסימונים בחשבון שירות

11. לוחצים על Save.

מידע נוסף על הקצאת תפקידים זמין במאמר הקצאת הגישה הנדרשת ל-Dataform.

יצירת מאגר Dataform

1. נכנסים לדף Dataform במסוף Google Cloud .

   מעבר אל Dataform

2. לוחצים על Create repository (יצירת מאגר).

3. בדף Create repository, מבצעים את הפעולות הבאות:

   1. בשדה Repository ID (מזהה המאגר), מזינים quickstart-dev.

   2. ברשימה Region בוחרים באזור europe-west4.

   3. ברשימה Service account, בוחרים חשבון שירות בהתאמה אישית עבור המאגר.

      הערה: אם חשבון השירות לא מופיע ברשימה, יכול להיות שאין לכם את ההרשאה iam.serviceAccounts.list ברמת הפרויקט. כדי לבחור את חשבון השירות, לוחצים על Enter manually ומזינים את המזהה של חשבון השירות.

   4. בקטע actAs permission checks (בדיקות הרשאות actAs), אוכפים את בדיקות ההרשאות על פעולות משתמש במאגר.

   5. לוחצים על יצירה.

4. לוחצים על מעבר למאגרי מידע.

הגדרת שינויים מברירת המחדל בהידור של סביבת עבודה

כדי ליצור סביבות פיתוח מבודדות עם שינויים בהידור של סביבת העבודה ב-Dataform:

1. נכנסים לדף Dataform במסוף Google Cloud .

   מעבר אל Dataform

2. לחץ על quickstart-dev.

3. לוחצים על הגדרות ואז על עריכה.

4. בחלונית Workspace compilation overrides, בשדה Schema suffix, מזינים ${workspaceName}.

   כשמפעילים ריצה בסביבת עבודה, אפליקציית Dataform מוסיפה את שם סביבת העבודה כסיומת לסכימה שמוגדרת כברירת מחדל בהגדרות של זרימת עבודה. במדריך הזה נשתמש בהגדרות ברירת המחדל של Dataform עם סכימת ברירת המחדל dataform.

5. לוחצים על Save.

‫Dataform מחיל שינויים בהגדרות של קומפילציה של סביבת עבודה על כל סביבות העבודה במאגר.

בהגדרה הזו, כשמריצים ידנית תהליך עבודה בסביבת עבודה, Dataform מריץ אותו עם שינויים בהידור של סביבת העבודה. כתוצאה מכך, Dataform מריץ את תהליך העבודה בסכימה dataform_workspaceName ב-BigQuery, והופך את סביבת העבודה לסביבת פיתוח מבודדת.

לדוגמה, כשמפעילים ידנית הרצה בסביבת עבודה sasha,‏ Dataform מריץ את זרימת העבודה בסכימה dataform_sasha ב-BigQuery.

כדי להריץ תהליכי עבודה בלי שינויים מברירת המחדל של קומפילציית סביבת העבודה, אבל להשאיר את השינויים מברירת המחדל של קומפילציית סביבת העבודה לסביבות פיתוח, אפשר ליצור הגדרות של גרסאות הפצה כדי להגדיר סביבות הפעלה אחרות, למשל, staging ו-production.

הסרת המשאבים

כדי לא לצבור חיובים לחשבון Google Cloud על המשאבים שבהם השתמשתם בדף הזה, פועלים לפי השלבים הבאים:

מחיקת מערכי נתונים שנוצרו ב-BigQuery

כדי להימנע מחיובים על נכסי BigQuery, צריך למחוק מערכי נתונים שהשמות שלהם מתחילים ב-dataform, למשל dataform-sasha.

1. במסוף Google Cloud , עוברים לדף BigQuery.

   כניסה ל-BigQuery

2. בחלונית Explorer מרחיבים את הפרויקט ובוחרים מערך נתונים.

3. לוחצים על התפריט פעולות ואז על מחיקה.

4. בתיבת הדו-שיח מחיקת מערך נתונים, מזינים delete בשדה ולוחצים על מחיקה.

מחיקת מאגר Dataform

אין עלויות שקשורות ליצירת מאגרי Dataform. עם זאת, אם רוצים למחוק מאגר ואת כל התוכן שלו, צריך לפעול לפי השלבים הבאים:

1. נכנסים לדף Dataform במסוף Google Cloud .

   מעבר אל Dataform

2. ליד quickstart-dev, לוחצים על סמל האפשרויות הנוספות ובוחרים באפשרות מחיקה.

   1. בחלון Delete repository (מחיקת מאגר), מזינים את שם המאגר כדי לאשר את המחיקה.

3. כדי לאשר, לוחצים על מחיקה.

המאמרים הבאים

• מידע נוסף על חשבונות שירות זמין במאמר מידע על חשבונות שירות בהתאמה אישית וסוכני שירות של Dataform.
• מידע נוסף על מחזור החיים של הקוד ב-Dataform זמין במאמר מבוא למחזור החיים של הקוד ב-Dataform.
• מידע נוסף על שיטות מומלצות לניהול מחזור החיים של תהליכי עבודה ב-Dataform זמין במאמר בנושא שיטות מומלצות לניהול מחזור החיים של תהליכי עבודה.
• מידע נוסף על שינויים בהגדרות של קומפילציה של סביבת עבודה ב-Dataform זמין במאמר בנושא יצירת שינויים בהגדרות של קומפילציה של סביבת עבודה.
• במאמר תזמון הרצות של עדכונים מוסבר איך לתזמן הרצות של עדכונים ב-Dataform.