הצהרה על מקור נתונים

במאמר הזה מוסבר איך להצהיר על מקורות נתונים של BigQuery באמצעות Dataform Core.

אפשר להגדיר כל סוג של טבלה ב-BigQuery כמקור נתונים ב-Dataform. הצהרה על מקורות נתונים של BigQuery שהם חיצוניים ל-Dataform מאפשרת לכם להתייחס למקורות הנתונים האלה כאובייקטים של Dataform.

הצהרה על מקורות נתונים היא אופציונלית, אבל היא יכולה להיות שימושית כשרוצים לבצע את הפעולות הבאות:

  • אפשר להפנות למקורות מוצהרים או לפתור אותם באותו אופן כמו כל טבלה אחרת ב-Dataform.
  • אפשר לראות את המקורות המוצהרים בתרשים Dataform הוויזואלי.
  • אתם יכולים להשתמש ב-Dataform כדי לנהל את התיאורים ברמת הטבלה וברמת העמודה של טבלאות שנוצרו חיצונית.
  • הפעלת קריאות לתהליכי עבודה שכוללות את כל התלויות של מקור נתונים חיצוני.

אפשר להצהיר על מקורות נתונים באמצעות קובצי JavaScript או SQLX. בקובץ JavaScript, אפשר להצהיר על כמה מקורות נתונים לכל קובץ. בקובץ SQLX, אפשר להצהיר על מקור נתונים אחד לכל קובץ.

לפני שמתחילים

לפני שמצהירים על מקור נתונים, צריך ליצור סביבת עבודה לפיתוח במאגר ולאתחל אותה.

התפקידים הנדרשים

כדי לקבל את ההרשאות שנדרשות להצהרה על מקור נתונים, צריך לבקש מהאדמין להקצות לכם את תפקיד ה-IAM‏ Dataform Editor (roles/dataform.editor) בסביבות עבודה. כדי לקרוא הסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

יכול להיות שאפשר לקבל את ההרשאות הנדרשות גם באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש.

יצירת קובץ JavaScript לכמה הצהרות של מקורות נתונים

מאחסנים קובצי JavaScript להצהרות על מקורות נתונים בספרייה definitions/. כדי ליצור קובץ JavaScript חדש בספרייה definitions/, פועלים לפי השלבים הבאים:

  1. נכנסים לדף Dataform במסוף Google Cloud .

    מעבר לדף Dataform

  2. בוחרים מאגר.

  3. בוחרים סביבת עבודה לפיתוח.

  4. בחלונית קבצים, לצד definitions/, לוחצים על תפריט האפשרויות הנוספות.

  5. לוחצים על יצירת קובץ.

  6. בחלונית Create new file:

    1. בשדה הוספת נתיב קובץ, אחרי definitions/, מזינים את שם הקובץ ואחריו .js. לדוגמה, definitions/declarations.js.

      שמות הקבצים יכולים לכלול רק מספרים, אותיות, מקפים וקווים תחתונים.

    2. לוחצים על יצירת קובץ.

הוספת הצהרה לקובץ JavaScript

אפשר להגדיר כמה מקורות נתונים לכל קובץ JavaScript. כדי להוסיף הצהרה חדשה, פועלים לפי השלבים הבאים:

  1. בסביבת העבודה לפיתוח, בחלונית Files, לוחצים על קובץ ה-JavaScript להצהרות של מקורות נתונים.

  2. בקובץ, לכל מקור נתונים, מוסיפים את קטע הקוד הבא:

      declare({
    database: "DATABASE_PROJECT_ID",
    schema: "BIGQUERY_SCHEMA",
    name: "RELATION_NAME",
  });

    מחליפים את מה שכתוב בשדות הבאים:

    • ‫DATABASE_PROJECT_ID: מזהה הפרויקט שמכיל את מקור הנתונים.
    • ‫BIGQUERY_SCHEMA: מערך הנתונים ב-BigQuery שבו קיים מקור הנתונים.
    • ‫RELATION_NAME: השם של הטבלה או התצוגה שרוצים להשתמש בהן כמקור הנתונים. אחר כך תוכלו להשתמש בשם הזה כדי להפנות למקור הנתונים ב-Dataform.

יצירת קובץ SQLX להצהרה על מקור נתונים

מאחסנים קובצי SQLX להצהרות על מקורות נתונים בספרייה definitions/. כדי ליצור קובץ SQLX חדש בספרייה definitions/, פועלים לפי השלבים הבאים:

  1. נכנסים לדף Dataform במסוף Google Cloud .

    מעבר לדף Dataform

  2. בוחרים מאגר.

  3. בוחרים סביבת עבודה לפיתוח.

  4. בחלונית קבצים, לצד definitions/, לוחצים על תפריט האפשרויות הנוספות.

  5. לוחצים על יצירת קובץ.

  6. בחלונית Create new file:

    1. בשדה הוספת נתיב קובץ, אחרי definitions/, מזינים את שם הקובץ ואחריו .sqlx. לדוגמה, definitions/dataset-declaration.sqlx.

      שמות הקבצים יכולים לכלול רק מספרים, אותיות, מקפים וקווים תחתונים.

    2. לוחצים על יצירת קובץ.

הצהרה על מקור נתונים

אפשר להצהיר על מקור נתונים אחד לכל קובץ הצהרה של SQLX. כדי להצהיר על מקור נתונים בבלוק התצורה של קובץ SQLX, פועלים לפי השלבים הבאים:

  1. בסביבת העבודה לפיתוח, בחלונית Files, לוחצים על קובץ ה-SQLX להצהרה על מקור הנתונים.

  2. מזינים את קטע הקוד הבא בקובץ:

    config {
  type: "declaration",
  database: "DATABASE",
  schema: "SCHEMA",
  name: "NAME",
}

    מחליפים את מה שכתוב בשדות הבאים:

    • ‫DATABASE: מזהה הפרויקט שמכיל את מקור הנתונים.
    • ‫SCHEMA: מערך הנתונים ב-BigQuery שבו קיים מקור הנתונים.
    • ‫NAME: השם של הטבלה או התצוגה שרוצים להשתמש בהן כמקור הנתונים. אחר כך תוכלו להשתמש בשם הזה כדי להפנות למקור הנתונים ב-Dataform.

  3. אופציונלי: לוחצים על עיצוב.

בדוגמת הקוד הבאה מוצגת הצהרה לדוגמה של הטבלה shakespeare במערך הנתונים samples בפרויקט bigquery-public-data כמקור נתונים:

    config {
      type: "declaration",
      database: "bigquery-public-data",
      schema: "samples",
      name: "shakespeare",
    }

המאמרים הבאים