יצירה וניהול של פריסות

פריסות מאפשרות לתזמן הפעלה של קוד – לדוגמה, צינורות (pipelines) – שמאוחסן במאגרי Git מרוחקים. אתם יכולים לבחור את הספרייה שבה הקוד נמצא ולבצע את הפעולות הבאות:

  • יצירה וניהול של פריסות שמחוברות למאגרים מרוחקים.
  • הגדרת טריגרים למשיכת קוד ממאגרים מרוחקים ולהרצת קוד באופן קבוע.
  • להריץ צינורות להעברת נתונים לפי לוח זמנים או באמצעות טריגרים אחרים.
  • אפשר לראות את יומני הביצוע ישירות במסוף Google Cloud . לצורך התראות, פריסות של Dataform משולבות עם Cloud Logging ו-Cloud Monitoring.

מגבלות

  • לפריסות אין התראות מובנות. צריך להשתמש ב-Logging וב-Monitoring כדי להגדיר התראות.
  • אימות באמצעות Developer Connect תומך רק בחיבורים ולא במחברים של חשבונות.

לפני שמתחילים

לפני שיוצרים פריסה, צריך לבצע את המשימות הבאות:

התפקידים הנדרשים

כדי לקבל את ההרשאות שדרושות לביצוע המשימות שמתוארות במאמר הזה, אתם צריכים לבקש מהאדמין להקצות לכם את תפקידי ה-IAM הבאים:

להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

יכול להיות שאפשר לקבל את ההרשאות הנדרשות גם באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש.

כדי להשתמש בחשבון שירות בהתאמה אישית להרצת פריסה, צריך גם להעניק לחשבון השירות בהתאמה אישית את התפקיד BigQuery Data Editor (roles/bigquery.dataEditor).

יצירת פריסה

כדי ליצור פריסה של Dataform:

  1. במסוף Google Cloud , עוברים לדף Pipelines & Connections.

    כניסה לדף Pipelines & Connections

  2. לוחצים על יצירה > יצירת פריסה.

  3. בוחרים סוג אימות למאגר, ואז בוחרים באחת מהאפשרויות הבאות:

    Developer Connect

    1. בוחרים מאגר וענף.
    2. מזינים את הנתיב של הספרייה שבה נמצא הקוד.
    3. מזינים שם לפריסה.
    4. בוחרים אזור לפריסה.

    5. בקטע Schedule frequency:

      1. בתפריט Repeats, בוחרים את התדירות של הפעלות צינורות מתוזמנות.
      2. בשדה At time, מזינים את השעה להפעלות מתוזמנות של צינור עיבוד הנתונים.
      3. בתפריט אזור זמן, בוחרים את אזור הזמן של התזמון.

      לחלופין, בוחרים באפשרות על פי דרישה כדי להריץ את הפריסה על פי דרישה.

    6. אופציונלי: מזינים את Google Cloud מזהה הפרויקט.

    7. אופציונלי: מזינים סיומת סכימה.

    8. אופציונלי: מזינים קידומת לטבלה.

    9. אופציונלי: מזינים את סכימת ברירת המחדל.

    10. אופציונלי: מזינים משתני קומפילציה.

    11. לוחצים על פריסה.

    HTTPS

    1. מזינים את כתובת ה-URL של מאגר Git מרוחק.
    2. בוחרים סניף.
    3. מזינים את הנתיב של הספרייה שבה נמצא הקוד.
    4. מזינים את הסוד שמכיל את טוקן הגישה האישי לשרתי HTTPS מרוחקים. מידע נוסף זמין במאמר חיבור למאגר מרוחק באמצעות HTTPS.
    5. מזינים שם לפריסה.
    6. בוחרים אזור לפריסה.

    7. בקטע Schedule frequency:

      1. בתפריט Repeats, בוחרים את התדירות של הפעלות צינורות מתוזמנות.
      2. בשדה At time, מזינים את השעה להפעלות מתוזמנות של צינור עיבוד הנתונים.
      3. בתפריט אזור זמן, בוחרים את אזור הזמן של התזמון.

      לחלופין, בוחרים באפשרות על פי דרישה כדי להריץ את הפריסה על פי דרישה.

    8. אופציונלי: מזינים את Google Cloud מזהה הפרויקט.

    9. אופציונלי: מזינים סיומת סכימה.

    10. אופציונלי: מזינים קידומת לטבלה.

    11. אופציונלי: מזינים את סכימת ברירת המחדל.

    12. אופציונלי: מזינים משתני קומפילציה.

    13. לוחצים על פריסה.

    SSH

    1. מזינים את כתובת ה-URL של מאגר Git מרוחק.
    2. בוחרים סניף.
    3. מזינים את הנתיב של הספרייה שבה נמצא הקוד.
    4. מזינים את הסוד שמכיל מפתח פרטי של משתמש ואת הערך של מפתח המארח הציבורי של SSH. מידע נוסף זמין במאמר חיבור למאגר מרוחק באמצעות SSH.
    5. מזינים שם לפריסה.
    6. בוחרים אזור לפריסה.

    7. בקטע Schedule frequency:

      1. בתפריט Repeats, בוחרים את התדירות של הפעלות צינורות מתוזמנות.
      2. בשדה At time, מזינים את השעה להפעלות מתוזמנות של צינור עיבוד הנתונים.
      3. בתפריט אזור זמן, בוחרים את אזור הזמן של התזמון.

      לחלופין, בוחרים באפשרות על פי דרישה כדי להריץ את הפריסה על פי דרישה.

    8. אופציונלי: מזינים את Google Cloud מזהה הפרויקט.

    9. אופציונלי: מזינים סיומת סכימה.

    10. אופציונלי: מזינים קידומת לטבלה.

    11. אופציונלי: מזינים את סכימת ברירת המחדל.

    12. אופציונלי: מזינים משתני קומפילציה.

    13. לוחצים על פריסה.

הצגת רשימת הפריסות

כדי להציג רשימה של הפריסות שנוצרו:

  1. במסוף Google Cloud , עוברים לדף Pipelines & Connections.

    כניסה לדף Pipelines & Connections

  2. צפייה ברשימת הפריסות.

יצירת לוח זמנים לפריסה

כדי ליצור תזמון לפריסה:

  1. במסוף Google Cloud , עוברים לדף Pipelines & Connections.

    כניסה לדף Pipelines & Connections

  2. לוחצים על הכרטיסייה פריסות ואז בוחרים פריסה.

  3. בדף Deployment details (פרטי הפריסה), בקטע Triggers (workflow configurations) (טריגרים (הגדרות של תהליך העבודה)), לוחצים על Create (יצירה).

  4. בחלונית Create workflow configuration (יצירת הגדרת תהליך עבודה), פועלים לפי השלבים ליצירת הגדרת תהליך עבודה.

הפעלת לוח זמנים של פריסה

כדי להריץ תזמון לפריסה:

  1. במסוף Google Cloud , עוברים לדף Pipelines & Connections.

    כניסה לדף Pipelines & Connections

  2. לוחצים על הכרטיסייה פריסות ואז בוחרים פריסה.

  3. בקטע Triggers (workflow configurations) (טריגרים (הגדרות של תהליכי עבודה)), לצד לוח הזמנים של הפריסה שרוצים להריץ, לוחצים על View actions > Run now (הצגת פעולות > הפעלה עכשיו).

מחיקת לוח זמנים לפריסה

כדי למחוק לוח זמנים לפריסה:

  1. במסוף Google Cloud , עוברים לדף Pipelines & Connections.

    כניסה לדף Pipelines & Connections

  2. לוחצים על הכרטיסייה פריסות ואז בוחרים פריסה.

  3. בדף Deployment details, בקטע Triggers (workflow configurations), לצד לוח הזמנים של הפריסה שרוצים למחוק, לוחצים על View actions > Delete.

הגדרת התראות

כדי לקבל התראות כשריצת תהליך עבודה נכשלת, צריך להגדיר התראות על הפעלות שנכשלו של תהליכי עבודה.

המאמרים הבאים