יצירת סביבת עבודה לפיתוח

המאמר הזה יעזור לכם:

סקירה כללית של סביבות עבודה לפיתוח

ב-Dataform, אתם מבצעים אינטראקציה עם קוד זרימת העבודה בסביבת פיתוח, שהיא עותק של מאגר שניתן לעריכה. בסביבת עבודה, אתם יוצרים, עורכים או מוחקים את התוכן של המאגר בלי להשפיע על אנשים אחרים שעובדים על אותו מאגר, ואז מבצעים commit ודחיפה של השינויים למאגר.

אפשר לפתח את תהליך העבודה באמצעות Dataform core או JavaScript. מערכת Dataform מהדרת את הקוד שלכם לשאילתות SQL בזמן אמת.

בסביבת עבודה לפיתוח אפשר לבצע את המשימות הבאות:

רכיבים של סביבת עבודה לפיתוח

סביבת עבודה לפיתוח ב-Dataform מורכבת מהכרטיסיות שמתוארות בסעיפים הבאים.

הכרטיסייה 'קוד'

אתם יכולים להשתמש בסביבת הפיתוח בכרטיסייה קוד כדי לעיין בקבצים, לפתח שאילתות, לנהל גרסאות של השינויים ולהפעיל את ההרצה ב-BigQuery. הכרטיסייה מכילה את הרכיבים הבאים שמאפשרים לכם לפתח תהליכי עבודה:

  • החלונית Files (קבצים): מציגה את מבנה הקבצים של סביבת העבודה ושומרת אוטומטית את העריכות שנעשו במבנה הקבצים. הקבצים שנבחרו נפתחים בכרטיסיות של חלונית הפיתוח. בשדה Type to search (הקלדה לחיפוש), אפשר לחפש קבצים או ספריות במרחב העבודה לפי הנתיב שלהם.
  • החלונית Version control (בקרת גרסאות): בחלונית הזו מוצג הסטטוס של בקרת הגרסאות של סביבת העבודה והאפשרויות של בקרת הגרסאות.
  • החלונית פיתוח: מוצגים בה קבצים פתוחים בכרטיסיות. שומר אוטומטית את השינויים בקבצים שנערכו.
  • הלחצן הפעלה: מריץ תצוגה מקדימה של שאילתת ה-SQL המהודרת.
  • כפתור עיצוב: מעצב את קוד ה-JavaScript או את הליבה של Dataform.
  • סטטוס הקומפילציה: מוצג סטטוס הקומפילציה של הקוד בסביבת העבודה.
  • החלונית מטא-נתונים: מציגה את המטא-נתונים של הקובץ שנערך.
  • החלונית Compiled queries: קומפילציה של השאילתות בקובץ הערוך ל-SQL. אם קומפילציית השאילתה נכשלת, בחלונית מוצגות שגיאות הקומפילציה. אם קומפילציית השאילתה מצליחה, בחלונית מוצגות השאילתות שעברו קומפילציה, והן עוברות אימות באמצעות הרצות ניסיון מול BigQuery. אם אימות השאילתה נכשל, חלונית השגיאות תוצג. אם אימות השאילתה מצליח, בחלונית מוצג מספר הבייטים שיידרשו להרצת השאילתות ב-BigQuery.
  • תפריט הפעלת הביצוע: מוצגות בו האפשרויות להפעלת הביצוע של כל תהליך העבודה בסביבת העבודה או של הרכיבים שנבחרו.

כרטיסיית התרשים המורכב

בכרטיסייה Compiled graph (גרף מהודר), אפשר לראות את תהליך העבודה המהודר שהוגדר בסביבת העבודה שלכם כגרף אציקלי מכוון (DAG) אינטראקטיבי. הגרף מציג את כל הפעולות בתהליך העבודה ואת הקשרים ביניהן. אם יש שגיאות קומפילציה בתהליך העבודה, בכרטיסייה מוצגת הודעת שגיאה במקום הגרף.

אפשר להגדיל או להקטין את התצוגה ולהשתמש בניווט בשיטת גרירה ושחרור בתרשים.

אפשר לסנן את הגרף לפי המאפיינים הבאים:

  • שם
  • תג
  • Type
    • טענת נכוֹנוּת (assertion
    • הצהרה
    • טבלה מצטברת
    • תצוגה מהותית
    • תפעול
    • טבלה
    • לא ידוע
    • הצגה

אפשר לבחור כמה מסננים בו-זמנית. מערכת Dataform מחילה אותם עם התנאי OR.

אפשר ללחוץ על פעולה בתרשים כדי לראות את הפרטים שלה בחלוניות הבאות:

  • בחלונית מטא-נתונים מוצגים השם המלא, הסוג, התלויות והגורמים התלויים של הפעולה שנבחרה.
  • חלונית שאילתה: מוצגת בה שאילתת ה-SQL שעברה קומפילציה של הפעולה שנבחרה.

הכרטיסייה 'הרצות של הקוד'

בכרטיסייה הזו מוצגים היומנים של כל ההפעלות שהופעלו בסביבת העבודה. אפשר גם לראות את הפעולות והפרטים שלהן לגבי ביצוע שנבחר. מידע נוסף זמין במאמר בנושא מעקב אחרי יומני ביצוע.

ניהול גרסאות בסביבת עבודה

בסביבת עבודה, אתם מקיימים אינטראקציה עם המאגר באמצעות בקרת גרסאות מבוססת-Git. שינויים שאתם מבצעים בקבצים בסביבת העבודה מתחילים כשינויים מקומיים לא מחויבים, שאפשר לבצע להם קומיט ואז לשלוח אותם למאגר כדי שיהיו זמינים לכל המשתמשים במאגר.

אם המאגר שלכם מחובר לספק Git מרוחק, אתם יכולים לדחוף שינויים ממרחב העבודה שלכם לענף הפיתוח הראשי. בוחרים את הענף הראשי כשמקשרים את המאגר לספק Git מרוחק. במאגר Dataform לא מקושר, מעלים שינויים לענף ברירת המחדל.

אפשר גם לשלוף שינויים ממאגר Dataform או מהמאגר המרוחק ולמזג אותם עם שינויים מקומיים בסביבת העבודה לפיתוח. מידע נוסף על ניהול גרסאות ב-Dataform זמין במאמר ניהול גרסאות של הקוד.

לפני שמתחילים

אם עדיין לא עשיתם זאת, צרו מאגר Dataform.

התפקידים הנדרשים

כדי לקבל את ההרשאות שנדרשות ליצירה, לאתחול ולמחיקה של סביבת פיתוח, צריך לבקש מהאדמין להקצות לכם את תפקיד ה-IAM‏ Dataform Editor (roles/dataform.editor) בסביבות העבודה. כדי לקרוא הסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

יכול להיות שאפשר לקבל את ההרשאות הנדרשות גם באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש.

יצירה של סביבת פיתוח ב-Dataform

כשיוצרים סביבת פיתוח במאגר חדש בפעם הראשונה, Dataform מבקש לאתחל את סביבת הפיתוח עם קבוצה של קובצי תצורה שנדרשים כדי ש-Dataform יפעל.

סביבת פיתוח מאותחלת מכילה את הקבצים והספריות הבאים:

  • definitions/: ספרייה להגדרות של נכסים, ב-Dataform Core או ב-JavaScript.

  • ‫includes/: ספרייה ריקה לסקריפטים ולמשתנים שאפשר לעשות בהם שימוש חוזר במאגר.

  • ‫workflow_settings.yaml: קובץ ההגדרות שמוגדר כברירת מחדל ב-Dataform, שמכיל את Google Cloud מזהה הפרויקט וסכימת BigQuery לפרסום נכסים. אתם יכולים לשנות את הגדרות ברירת המחדל כדי להתאים אותן לצרכים שלכם, אבל לא חייבים לשנות אותן כדי להתחיל להשתמש ב-Dataform.

  • ‫package.json: קובץ ברירת המחדל של הגדרות התלות ב-Dataform עם הגרסה האחרונה של @dataform/core. אפשר להשתמש בקובץ הזה כדי לייבא חבילות.

  • ‫definitions/sample.sqlx: קובץ SQLX לדוגמה שיעזור לכם להתחיל.

כדי ליצור סביבת פיתוח חדשה ב-Dataform, פועלים לפי השלבים הבאים:

  1. נכנסים לדף Dataform במסוף Google Cloud .

    מעבר אל Dataform

  2. בוחרים את המאגר שבו רוצים ליצור את סביבת הפיתוח החדשה.

  3. בדף המאגר, לוחצים על יצירת סביבת עבודה לפיתוח.

  4. בחלון Create development workspace (יצירת סביבת עבודה לפיתוח):

    1. בשדה Workspace ID (מזהה סביבת העבודה), מזינים מזהה ייחודי לסביבת העבודה של הפיתוח.

      המזהים יכולים לכלול רק מספרים, אותיות, מקפים וקווים תחתונים.

    2. לוחצים על יצירה.

אתחול סביבת העבודה במאגר Dataform

כדי לאתחל סביבת עבודה לפיתוח ב-Dataform, פועלים לפי השלבים הבאים:

  1. נכנסים לדף Dataform במסוף Google Cloud .

    מעבר אל Dataform

  2. בוחרים את המאגר שבו רוצים לאתחל את סביבת העבודה הריקה.

  3. בכרטיסייה Development workspaces (סביבות עבודה לפיתוח), לוחצים על השם של סביבת העבודה הריקה שרוצים לאתחל.

  4. בדף של סביבת העבודה לפיתוח, לוחצים על Initialize workspace (הפעלת סביבת העבודה).

מחיקה של סביבת עבודה ב-Dataform

אין עלויות שקשורות ליצירת סביבות עבודה לפיתוח ב-Dataform. עם זאת, אם רוצים למחוק סביבת פיתוח, פועלים לפי השלבים הבאים:

  1. נכנסים לדף Dataform במסוף Google Cloud .

    מעבר אל Dataform

  2. בוחרים את המאגר שמכיל את סביבת העבודה שרוצים למחוק.

  3. כדי להימנע ממחיקה של שינויים שלא נשמרו, שומרים את השינויים במאגר Git ודוחפים אותם.

  4. בכרטיסייה סביבות עבודה לפיתוח, בוחרים את סביבת העבודה לפיתוח שרוצים למחוק ולוחצים על מחיקת סביבות העבודה שנבחרו.

    אפשר למחוק כמה סביבות עבודה בבת אחת.

  5. כדי לאשר, לוחצים על מחיקה.

המאמרים הבאים