Dataflow – יצירת משימת Job

המשימה Dataflow - Create Job מאפשרת ליצור משימה ב-Cloud Dataflow כדי להריץ צינור עיבוד נתונים שנבנה באמצעות אחת מערכות ה-SDK של Apache Beam.

‫Cloud Dataflow הוא שירות מנוהל במלואו של Google Cloud להרצת צינורות לעיבוד נתונים של זרם ושל אצווה.

לפני שמתחילים

לפני שמגדירים את המשימה Dataflow - Create Job, צריך לוודא שביצעתם את המשימות הבאות בפרויקט בענן של Google Cloud:

  1. מפעילים את Dataflow API ‏ (dataflow.googleapis.com).

    מפעילים את Dataflow API

  2. יוצרים פרופיל אימות. Application Integration משתמש בפרופיל אימות כדי להתחבר לנקודת קצה של אימות למשימה Dataflow - Create Job.

    מידע על הקצאת תפקידים או הרשאות נוספים לחשבון שירות זמין במאמר הענקה, שינוי וביטול של גישה.

הגדרת המשימה Dataflow - Create Job

  1. נכנסים לדף Application Integration במסוף Google Cloud .

    מעבר אל Application Integration

  2. בתפריט הניווט, לוחצים על Integrations (שילובים).

    מוצג הדף Integrations (שילובים) עם רשימה של כל השילובים שזמינים בפרויקט בענן של Google.

  3. בוחרים שילוב קיים או לוחצים על יצירת שילוב כדי ליצור שילוב חדש.

    אם יוצרים שילוב חדש:

    1. מזינים שם ותיאור בחלונית יצירת שילוב.
    2. בוחרים אזור לשילוב.
    3. בוחרים חשבון שירות לאינטגרציה. אפשר לשנות או לעדכן את פרטי חשבון השירות של שילוב בכל שלב מחלונית סיכום השילוב בסרגל הכלים של השילוב.
    4. לוחצים על יצירה. השילוב החדש שנוצר ייפתח בכלי השילובים.

  4. בסרגל הניווט של כלי העריכה של השילוב, לוחצים על משימות כדי לראות את רשימת המשימות והמחברים הזמינים.
  5. לוחצים על הרכיב Dataflow - Create Job (זרימת נתונים – יצירת משימה) וממקמים אותו בכלי לעריכת שילובים.
  6. לוחצים על הרכיב Dataflow - Create Job (‏Dataflow – יצירת משימה) באזור העיצוב כדי להציג את חלונית ההגדרות של המשימה Dataflow - Create Job (‏Dataflow – יצירת משימה).
  7. עוברים אל אימות ובוחרים פרופיל אימות קיים שרוצים להשתמש בו.

    זה שינוי אופציונלי. אם לא יצרתם פרופיל אימות לפני הגדרת המשימה, לוחצים על + פרופיל אימות חדש ופועלים לפי השלבים שמפורטים במאמר יצירת פרופיל אימות חדש.

  8. עוברים אל Task Input (קלט משימה) ומגדירים את שדות הקלט שמוצגים באמצעות הטבלה הבאה של Task input parameters (פרמטרים של קלט משימה).

    השינויים בשדות הקלט נשמרים אוטומטית.

פרמטרים של קלט למשימה

בטבלה הבאה מפורטים פרמטרי הקלט של המשימה Dataflow - Create Job:

מאפיין (property) סוג נתונים תיאור
אזור String המיקום של Cloud Dataflow למשימה.
ProjectsId String מזהה הפרויקט ב-Google Cloud.
מיקום String נקודת הקצה האזורית שמכילה את העבודה הזו.
בקשה JSON מבנה JSON של בקשה

פלט המשימה

המשימה Dataflow - Create Job מחזירה את המופע החדש שנוצר של Job.

אסטרטגיה לטיפול בשגיאות

אסטרטגיה לטיפול בשגיאות במשימה מציינת את הפעולה שיש לבצע אם המשימה נכשלת בגלל שגיאה זמנית. מידע על שימוש באסטרטגיה לטיפול בשגיאות ועל סוגים שונים של אסטרטגיות לטיפול בשגיאות זמין במאמר אסטרטגיות לטיפול בשגיאות.

מכסות ומגבלות

מידע על מכסות ומגבלות זמין במאמר מכסות ומגבלות.

המאמרים הבאים