יצירה והרצה של תהליך עבודה ב-Dataform

המדריך הזה מיועד למהנדסי נתונים ולמנתחי נתונים שרוצים לנהל המרות נתונים ב-BigQuery. במדריך הזה תלמדו איך ליצור ולהפעיל תהליך עבודה של Dataform באמצעות Dataform Core, מסגרת מבוססת-SQL לטרנספורמציה של נתונים גולמיים לנכסי נתונים שנאספו, נבדקו ותועדו. בעזרת Dataform, תוכלו לפתח צינורות עיבוד נתונים לבניית מודלים של נתונים ולנהל את הגרסאות שלהם במאגר מרכזי, כדי להבטיח אמינות וגמישות.

במדריך למתחילים הזה מוסבר איך ליצור תהליך עבודה ב-Dataform ולהפעיל אותו ב-BigQuery:

לפני שמתחילים

  1. נכנסים לחשבון Google Cloud . אם אתם משתמשים חדשים ב- Google Cloud, צרו חשבון כדי שתוכלו להעריך את הביצועים של המוצרים שלנו בתרחישים מהעולם האמיתי. לקוחות חדשים מקבלים בחינם גם קרדיט בשווי 300$ להרצה, לבדיקה ולפריסה של עומסי העבודה.

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  3. Verify that billing is enabled for your Google Cloud project.

  4. Enable the BigQuery and Dataform APIs.

    Roles required to enable APIs

    To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

    Enable the APIs

  5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  6. Verify that billing is enabled for your Google Cloud project.

  7. Enable the BigQuery and Dataform APIs.

    Roles required to enable APIs

    To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

    Enable the APIs

    8.

התפקידים הנדרשים

כדי לקבל את ההרשאות שדרושות לביצוע כל המשימות במדריך למתחילים הזה, אתם צריכים לבקש מהאדמין להקצות לכם את תפקידי ה-IAM הבאים:

להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

יכול להיות שאפשר לקבל את ההרשאות הנדרשות גם באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש.

מתן התפקידים הנדרשים

כדי להריץ תהליכי עבודה ב-BigQuery, אפשר להשתמש בחשבון שירות בהתאמה אישית או בחשבון Google.

לחשבון השירות בהתאמה אישית צריכים להיות התפקידים הנדרשים הבאים:

  • עריכה של נתוני BigQuery (roles/bigquery.dataEditor) בפרויקטים או במערכי נתונים ספציפיים של BigQuery ש-Dataform צריכה גישת קריאה וכתיבה אליהם. בדרך כלל זה כולל את הפרויקט שמארח את מאגר Dataform.
  • BigQuery Data Viewer (roles/bigquery.dataViewer) בפרויקטים או במערכי נתונים ספציפיים ב-BigQuery ש-Dataform צריכה גישה לקריאה בלבד אליהם.
  • BigQuery Job User (roles/bigquery.jobUser) בפרויקט שמארח את מאגר Dataform.

כדי לאפשר ל-Dataform להשתמש בחשבון השירות בהתאמה אישית, לסוכן השירות שמוגדר כברירת מחדל ב-Dataform צריכים להיות התפקידים הבאים במשאב של חשבון השירות בהתאמה אישית:

כדי להקצות את התפקידים האלה:

  1. נכנסים לדף IAM במסוף Google Cloud .

    כניסה לדף IAM

  2. לוחצים על הענקת גישה.

  3. בשדה New principals, מזינים את המזהה של חשבון השירות המותאם אישית.

  4. בתפריט Select a role (בחירת תפקיד), בוחרים את התפקידים הבאים אחד אחרי השני. כדי להוסיף עוד תפקידים, לוחצים על Add another role (הוספת תפקיד נוסף):

    • עריכה של נתוני BigQuery
    • BigQuery Data Viewer (צפייה בנתוני BigQuery)
    • BigQuery Job User

  5. לוחצים על Save.

  6. נכנסים לדף Service accounts במסוף Google Cloud .

    כניסה לדף Service accounts

  7. בוחרים את חשבון השירות המותאם אישית.

  8. עוברים אל Principals with access ולוחצים על Grant access.

  9. בשדה New principals, מזינים את מזהה סוכן השירות שמוגדר כברירת מחדל ב-Dataform.

    מזהה סוכן השירות שמוגדר כברירת מחדל ב-Dataform הוא בפורמט הבא:

    service-PROJECT_NUMBER@gcp-sa-dataform.iam.gserviceaccount.com

    מחליפים את PROJECT_NUMBER במזהה המספרי שלGoogle Cloud הפרויקט. אפשר לראות את Google Cloud מזהה הפרויקט בלוח הבקרה של המסוף.Google Cloud מידע נוסף זמין במאמר איך מוצאים את השם, המספר והמזהה של הפרויקט.

  10. ברשימה Select a role, מוסיפים את התפקידים הבאים:

    • משתמש בחשבון שירות
    • יצירת אסימונים בחשבון שירות

  11. לוחצים על Save.

מידע נוסף על הקצאת תפקידים זמין במאמר הקצאת הגישה הנדרשת ל-Dataform.

יצירת מאגר Dataform

מאגר Dataform הוא משאב שמייצג מאגר Git שמכיל קוד של פרויקט Dataform. הקוד הזה משמש לפיתוח, לבקרת גרסאות ולניהול זרימות עבודה. כדי ליצור מאגר, בוחרים באחת מהאפשרויות הבאות:

המסוף

  1. במסוף Google Cloud , עוברים לדף BigQuery Dataform.

    מעבר אל Dataform

  2. לוחצים על Create repository (יצירת מאגר).

  3. בדף Create repository, מבצעים את הפעולות הבאות:

    1. בשדה Repository ID (מזהה המאגר), מזינים quickstart-repository.

    2. ברשימה Region בוחרים באפשרות europe-west4.

    3. ברשימה Service account, בוחרים חשבון שירות בהתאמה אישית עבור המאגר.

    4. בקטע actAs permission checks (בדיקות הרשאה של actAs), אוכפים בדיקות הרשאה על פעולות משתמשים במאגר.

    5. לוחצים על יצירה.

    6. לוחצים על מעבר למאגרי מידע.

יצרתם בהצלחה מאגר Dataform. לאחר מכן, אפשר ליצור סביבת עבודה לפיתוח ולהפעיל אותה.

API

כדי ליצור מאגר, משתמשים ב-‎projects.locations.repositories.create method.

מריצים את בקשת ה-API עם הפרטים הבאים:

  • נקודת קצה: POST https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories
  • פרמטר של שאילתה: repositoryId=REPOSITORY_ID

לחלופין, בטרמינל, מריצים את הפקודה curl הבאה:

curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  -d '{"serviceAccount": "SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com"}' \
  "https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories?repositoryId=REPOSITORY_ID"

מחליפים את מה שכתוב בשדות הבאים:

  • ‫PROJECT_ID: המזהה הייחודי שלGoogle Cloud הפרויקט שבו רוצים ליצור את מאגר Dataform.
  • ‫LOCATION: Google Cloud האזור שבו רוצים ליצור את המאגר, לדוגמה europe-west4.
  • ‫REPOSITORY_ID: המזהה הייחודי של מאגר Dataform החדש. לדוגמה: quickstart-repository.
  • ‫SERVICE_ACCOUNT_NAME: המזהה של חשבון השירות המותאם אישית שנוצר כדי להריץ משימות ב-BigQuery.

יצירה ואתחול של סביבת עבודה לפיתוח

סביבת עבודה ב-Dataform היא סביבת פיתוח מבודדת – כמו ענף Git – שבה אפשר לערוך ולבצע קומפילציה של קוד. כדי ליצור סביבת עבודה, בוחרים באחת מהאפשרויות הבאות:

המסוף

  1. במסוף Google Cloud , עוברים לדף BigQuery Dataform.

    מעבר אל Dataform

  2. לוחצים על quickstart-repository.

  3. לוחצים על יצירת סביבת עבודה לפיתוח.

  4. בחלון Create development workspace (יצירת סביבת עבודה לפיתוח):

    1. בשדה מזהה Workspace, מזינים את הערך quickstart-workspace.

    2. לוחצים על יצירה.

    מופיע הדף של סביבת הפיתוח.

  5. לוחצים על Initialize workspace (הפעלת סביבת העבודה).

API

  1. כדי ליצור סביבת עבודה של Dataform, משתמשים ב-method‏ projects.locations.repositories.workspaces.create.

    מריצים את בקשת ה-API עם הפרטים הבאים:

    • נקודת קצה: POST https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/workspaces
    • פרמטר של שאילתה: workspaceId=WORKSPACE_ID

    לחלופין, בטרמינל, מריצים את הפקודה curl הבאה:

    curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  -d "{}" \
  "https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/workspaces?workspaceId=WORKSPACE_ID"

    מחליפים את WORKSPACE_ID במזהה הייחודי של סביבת הפיתוח שלכם ב-Dataform, לדוגמה, feature-branch-1.

  2. כדי לאתחל את סביבת העבודה עם ההגדרות הנדרשות, יוצרים קובץ מקומי בשם workflow_settings.yaml ומדביקים בו את ההגדרות הבאות:

    defaultProject: PROJECT_ID
defaultDataset: dataform
dataformCoreVersion: CORE_VERSION

    מחליפים את CORE_VERSION בגרסה היציבה העדכנית (לא בטא) של Dataform Core – לדוגמה, 3.0.43. הגרסה העדכנית מופיעה בגרסאות.

  3. בטרמינל, מריצים את הפקודה הבאה כדי לקודד את תוכן הקובץ למחרוזת רציפה אחת:

    base64 -w 0 workflow_settings.yaml

  4. מעתיקים את מחרוזת הפלט שמתקבלת כדי להשתמש בה ב-placeholder‏ SETTINGS_DEFINITION אם מחליטים להשתמש בפקודה החלופית curl בהמשך השלבים האלה.

  5. כדי ליצור את קובץ התצורה בסביבת העבודה, משתמשים בשיטה projects.locations.repositories.workspaces.writeFile.

    מריצים את בקשת ה-API עם הפרטים הבאים:

    • נקודת קצה: POST https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/workspaces/WORKSPACE_ID:writeFile

    לחלופין, בטרמינל, מריצים את הפקודה curl הבאה:

    curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  -d '{
    "path": "workflow_settings.yaml",
    "contents": "SETTINGS_DEFINITION"
  }' \
  "https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/workspaces/WORKSPACE_ID:writeFile"

    מחליפים את SETTINGS_DEFINITION בתוכן של קובץ ה-YAML כמחרוזת בקידוד Base64.

יצירת תצוגה

תצוגה ב-Dataform היא נכס שמוגדר בקובץ SQLX ומאפשר לכם לשנות נתונים ומשמש כמקור לטבלאות או לתצוגות אחרות בתהליך העבודה. כדי ליצור ולהגדיר תצוגה שתשמש בהמשך כמקור נתונים לטבלה, בוחרים באחת מהאפשרויות הבאות:

המסוף

  1. במסוף Google Cloud , עוברים לדף BigQuery Dataform.

    מעבר אל Dataform

  2. לוחצים על quickstart-repository ואז על quickstart-workspace.

  3. בחלונית קבצים, לצד definitions/, לוחצים על התפריט אפשרויות נוספות.

  4. לוחצים על יצירת קובץ.

  5. בחלונית Create new file:

    1. בשדה Add a file path (הוספת נתיב קובץ), מזינים את הערך definitions/quickstart-source.sqlx.

    2. לוחצים על יצירת קובץ.

  6. בחלונית Files, מרחיבים את תיקיית ההגדרות.

  7. לוחצים על definitions/quickstart-source.sqlx.

  8. מזינים את קטע הקוד הבא בקובץ:

    config {
  type: "view"
}

SELECT
  "apples" AS fruit,
  2 AS count
UNION ALL
SELECT
  "oranges" AS fruit,
  5 AS count
UNION ALL
SELECT
  "pears" AS fruit,
  1 AS count
UNION ALL
SELECT
  "bananas" AS fruit,
  0 AS count

  9. לוחצים על עיצוב.

API

כדי ליצור תצוגה מפורטת, קודם צריך להכין את התוכן של קובץ ה-SQLX לבקשת ה-API.

  1. יוצרים קובץ מקומי בשם quickstart-source.sqlx ומדביקים בו את קטע קוד ה-SQL הבא:

    config {
  type: "view"
}

SELECT
  "apples" AS fruit,
  2 AS count
UNION ALL
SELECT
  "oranges" AS fruit,
  5 AS count
UNION ALL
SELECT
  "pears" AS fruit,
  1 AS count
UNION ALL
SELECT
  "bananas" AS fruit,
  0 AS count

  2. בטרמינל, מריצים את הפקודה הבאה כדי לקודד את תוכן הקובץ למחרוזת רציפה אחת:

    base64 -w 0 quickstart-source.sqlx

  3. מעתיקים את מחרוזת הפלט שמתקבלת כדי להשתמש בה בשדה VIEW_DEFINITION בגוף בקשת ה-JSON.

  4. כדי ליצור ולהגדיר את קובץ הגדרת התצוגה בסביבת העבודה, משתמשים בשיטה projects.locations.repositories.workspaces.writeFile.

    מריצים את בקשת ה-API עם הפרטים הבאים:

    • נקודת קצה: POST https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/workspaces/WORKSPACE_ID:writeFile

    • גוף הבקשה:

      {
  "path": "definitions/quickstart-source.sqlx",
  "contents": "VIEW_DEFINITION"
}

    לחלופין, בטרמינל, שומרים את תוכן גוף הבקשה בקובץ מקומי בשם write_view.json, ואז מריצים את הפקודה curl הבאה:

    curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  -d @write_view.json \
  "https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/workspaces/WORKSPACE_ID:writeFile"

    מחליפים את הערך VIEW_DEFINITION בתוכן של קובץ ה-SQLX כמחרוזת בקידוד Base64.

צור טבלה

טבלה ב-Dataform היא נכס שמוגדר בקובץ SQLX ומאחסן תוצאות של שאילתות שעברו טרנספורמציה ב-BigQuery כחלק מתהליך העבודה. כדי להגדיר טבלה לתהליך העבודה, בוחרים באחת מהאפשרויות הבאות:

המסוף

  1. במסוף Google Cloud , עוברים לדף BigQuery Dataform.

    מעבר אל Dataform

  2. לוחצים על quickstart-repository ואז על quickstart-workspace.

  3. בחלונית קבצים, לצד definitions/, לוחצים על התפריט עוד ואז בוחרים באפשרות יצירת קובץ.

  4. בשדה Add a file path (הוספת נתיב קובץ), מזינים את הערך definitions/quickstart-table.sqlx.

  5. לוחצים על יצירת קובץ.

  6. בחלונית Files, מרחיבים את הספרייה definitions/.

  7. בוחרים באפשרות quickstart-table.sqlx ומזינים את סוג הטבלה ואת הצהרת SELECT הבאים:

    config {
  type: "table"
}

SELECT
  fruit,
  SUM(count) as count
FROM ${ref("quickstart-source")}
GROUP BY 1

  8. לוחצים על עיצוב.

אחרי שמגדירים את סוג הטבלה, Dataform מחזירה שגיאת אימות של שאילתה כי quickstart-source עדיין לא קיימת ב-BigQuery. השגיאה הזו נפתרת כשמריצים את תהליך העבודה.

API

כדי ליצור טבלה, קודם צריך להכין את התוכן של קובץ ה-SQLX לבקשת ה-API.

  1. יוצרים קובץ מקומי בשם quickstart-table.sqlx ומדביקים בו את קטע קוד ה-SQL הבא:

    config {
  type: "table"
}

SELECT
  fruit,
  SUM(count) as count
FROM ${ref("quickstart-source")}
GROUP BY 1

  2. בטרמינל, מריצים את הפקודה הבאה כדי לקודד את תוכן הקובץ למחרוזת רציפה אחת:

    base64 -w 0 quickstart-table.sqlx

  3. מעתיקים את מחרוזת הפלט שמתקבלת כדי להשתמש בה בשדה TABLE_DEFINITION בגוף בקשת ה-JSON.

  4. כדי להגדיר טבלה בסביבת העבודה, משתמשים בשיטה projects.locations.repositories.workspaces.writeFile. בקשת API יחידה מחליפה את השלבים הידניים של יצירת קובץ SQLX והגדרת מבנה הטבלה והתלות.

    מריצים את בקשת ה-API עם הפרטים הבאים:

    • נקודת קצה: POST https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/workspaces/WORKSPACE_ID:writeFile

    • גוף הבקשה:

      {
  "path": "definitions/quickstart-table.sqlx",
  "contents": "TABLE_DEFINITION"
}

    לחלופין, בטרמינל, שומרים את תוכן גוף הבקשה בקובץ מקומי בשם write_table.json, ואז מריצים את הפקודה curl הבאה:

    curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  -d @write_table.json \
  "https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/workspaces/WORKSPACE_ID:writeFile"

    מחליפים את הערך TABLE_DEFINITION בתוכן של קובץ ה-SQLX כמחרוזת בקידוד Base64.

הרצת זרימת העבודה ב-BigQuery

כדי להפעיל את תהליך העבודה, בוחרים באחת מהאפשרויות הבאות:

המסוף

  1. במסוף Google Cloud , עוברים לדף BigQuery Dataform.

    מעבר אל Dataform

  2. לוחצים על quickstart-repository ואז על quickstart-workspace.

  3. לוחצים על התחלת ההרצה.

  4. לוחצים על כל הפעולות.

  5. לוחצים על התחלת ההרצה.

  6. בתיבת הדו-שיח שנפתחת, לוחצים על אישור כדי לתת הרשאה ל-BigQuery Pipelines לגשת לחשבון Google.

    ‫Dataform משתמש בהגדרות ברירת המחדל של המאגר כדי ליצור את התוכן של זרימת העבודה במערך נתונים ב-BigQuery שנקרא dataform.

יצרתם בהצלחה תהליך עבודה ב-Dataform והרצתם את תהליך העבודה ב-BigQuery.

API

כדי להריץ את תהליך העבודה ב-BigQuery, צריך לקמפל את קובצי ה-SQLX ל-SQL סטנדרטי ואז להפעיל קריאה לפונקציה.

  1. כדי ליצור תוצאת אוסף על סמך סביבת העבודה, משתמשים בmethod‏ projects.locations.repositories.compilationResults.create.

    מריצים את בקשת ה-API עם הפרטים הבאים:

    • נקודת קצה: POST https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/compilationResults

    לחלופין, בטרמינל, מריצים את הפקודה curl הבאה:

    curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  -d '{
    "workspace": "projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/workspaces/WORKSPACE_ID"
  }' \
  "https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/compilationResults"

  2. מהתשובה, מציינים את מזהה תוצאת ההידור בפורמט /compilationResults/COMPILATION_ID.

  3. כדי להפעיל קריאה של תהליך עבודה, משתמשים בשיטה projects.locations.repositories.workflowInvocations.create. צריך לציין את המזהה של תוצאת האוסף שיצרתם.

    מריצים את בקשת ה-API עם הפרטים הבאים:

    • נקודת קצה: POST https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/workflowInvocations

    לחלופין, בטרמינל, מריצים את הפקודה curl הבאה:

    curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  -d '{
    "compilationResult": "projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/compilationResults/COMPILATION_ID"
  }' \
  "https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/workflowInvocations"

    מחליפים את COMPILATION_ID במזהה הייחודי של תוצאת ההידור.

יצרתם בהצלחה תהליך עבודה ב-Dataform והרצתם את תהליך העבודה ב-BigQuery.

צפייה ביומני הביצוע ב-Dataform

כדי להציג את יומני ההרצה, בוחרים באחת מהאפשרויות הבאות:

המסוף

  1. במסוף Google Cloud , עוברים לדף BigQuery Dataform.

    מעבר אל Dataform

  2. לוחצים על quickstart-repository ואז על quickstart-workspace.

  3. לוחצים על Workflow Execution Logs (יומני ביצוע של תהליכי עבודה).

  4. כדי לראות את פרטי הביצוע, לוחצים על הביצוע האחרון.

API

  1. כדי לראות את היסטוריית ההרצות, משתמשים בשיטה projects.locations.repositories.workflowInvocations.list.

    מריצים את בקשת ה-API עם הפרטים הבאים:

    • נקודת קצה: GET https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/workflowInvocations
    • פרמטר שאילתה: כדי לוודא שההפעלות האחרונות יופיעו בראש התוצאות, משתמשים ב-?orderBy=create_time desc.

    לחלופין, בטרמינל, מריצים את הפקודה curl הבאה:

      curl -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    "https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/workflowInvocations?orderBy=create_time%20desc"

  2. כדי לראות את היומנים המפורטים ואת הסטטוס של ביצוע ספציפי, משתמשים בשיטה projects.locations.repositories.workflowInvocations.query.

    מריצים את בקשת ה-API עם הפרטים הבאים:

    • נקודת קצה: GET https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/workflowInvocations/WORKFLOW_INVOCATION_ID:query

    לחלופין, בטרמינל, מריצים את הפקודה curl הבאה:

      curl -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    "https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/workflowInvocations/WORKFLOW_INVOCATION_ID:query"

    מחליפים את WORKFLOW_INVOCATION_ID במזהה הייחודי של הפעלת תהליך עבודה ספציפי. אפשר לאחזר את המזהה הזה מהתוצאות של בקשת workflowInvocations.list או מהשדה name של תגובת workflowInvocations.create.

הסרת המשאבים

כדי לא לצבור חיובים לחשבון Google Cloud על המשאבים שבהם השתמשתם בדף הזה, פועלים לפי השלבים הבאים:

מחיקת מערך הנתונים שנוצר ב-BigQuery

כדי להימנע מחיובים על נכסי BigQuery, צריך למחוק את מערך הנתונים שנקרא dataform.

  1. במסוף Google Cloud , עוברים לדף BigQuery.

    כניסה ל-BigQuery

  2. בחלונית Explorer מרחיבים את הפרויקט ובוחרים באפשרות dataform.

  3. לוחצים על התפריט פעולות ואז על מחיקה.

  4. בתיבת הדו-שיח מחיקת מערך נתונים, מזינים delete בשדה ולוחצים על מחיקה.

מחיקת סביבת הפיתוח של Dataform

אין עלויות ליצירת סביבת פיתוח ב-Dataform, אבל כדי למחוק את סביבת הפיתוח, צריך לפעול לפי השלבים הבאים:

  1. במסוף Google Cloud , עוברים לדף BigQuery Dataform.

    מעבר אל Dataform

  2. לוחצים על quickstart-repository.

  3. בכרטיסייה סביבות עבודה לפיתוח, לוחצים על תפריט אפשרויות נוספות לצד quickstart-workspace ואז בוחרים באפשרות מחיקה.

  4. כדי לאשר, לוחצים על מחיקה.

מחיקת מאגר Dataform

יצירת מאגר Dataform לא כרוכה בעלויות, אבל כדי למחוק את המאגר, צריך לפעול לפי השלבים הבאים:

  1. במסוף Google Cloud , עוברים לדף BigQuery Dataform.

    מעבר אל Dataform

  2. ליד quickstart-repository, לוחצים על תפריט האפשרויות הנוספות ואז בוחרים באפשרות מחיקה.

  3. בחלון Delete repository (מחיקת מאגר), מזינים את שם המאגר כדי לאשר את המחיקה.

  4. כדי לאשר, לוחצים על מחיקה.

המאמרים הבאים