תזמון של צינורות עיבוד נתונים

בדף הזה מוסבר איך ליצור תזמון להפעלות של צינורות. לדוגמה, אפשר לתזמן צינור להפעלה יומית בשעה 1:00 לפי שעון UTC.

לפני שמתחילים

כדי ליצור את התזמון, צריך לפרוס צינור ב-Cloud Data Fusion. אם אין לכם צינור, תוכלו ליצור צינור באמצעות המדריך לתחילת העבודה.

כדי ליצור, לערוך או להשהות תזמון, פותחים את צינור הנתונים ב-Cloud Data Fusion:

  1. עוברים למופע:

    1. במסוף Google Cloud , נכנסים לדף Cloud Data Fusion.

    2. כדי לפתוח את המכונה ב-Cloud Data Fusion Studio, לוחצים על Instances (מכונות) ואז על View instance (הצגת מכונה).

      כניסה לדף Instances

  2. עוברים לדף List של Cloud Data Fusion.

  3. בכרטיסייה Deployed (פריסה), בוחרים צינור.

    ייפתח הדף Pipeline (צינור), שבו תוכלו ליצור, לערוך או להשהות לוח זמנים לצינור.

יצירת לוח הזמנים

בדף Pipeline ב-Cloud Data Fusion Studio, לוחצים על Schedule.

אתם יכולים להשתמש בכרטיסייה בסיסי או בכרטיסייה מתקדם כדי להגדיר את לוח הזמנים.

בסיסי

  1. בכרטיסייה בסיסי, מזינים את הפרטים הבאים לגבי לוח הזמנים:

    • תדירות, כמו Every 5 minutes ו-Repeats every 30 days.
    • שעת ההתחלה, לפי שעון UTC.
    • מספר הריצות המקסימלי בו-זמנית: אפשר לבחור עד עשר ריצות. אם כבר פועלים עשרה צינורות, ההרצה המתוזמנת שאתם יוצרים לא תפעל.
    • פרופיל Compute Engine: בוחרים פרופיל מחשוב. ברירת המחדל היא פרופיל החישוב של Managed Service for Apache Spark.

  2. לוחצים על שמירה והתחלת התזמון (או על שמירת התזמון אם רוצים להתחיל אותו מאוחר יותר).

Advanced

  1. בכרטיסייה מתקדם, מגדירים את לוח הזמנים בתחביר של cron.
  2. בשדה Maximum concurrent runs (מספר ההרצות המקסימלי בו-זמנית), בוחרים עד עשר הרצות. אם כבר פועלים עשרה צינורות, ההרצה המתוזמנת שאתם יוצרים לא תפעל.
  3. לוחצים על שמירה והתחלת התזמון (או על שמירת התזמון אם רוצים להתחיל אותו מאוחר יותר).

שינוי או השהיה של לוח הזמנים

  • אפשר לשנות, להפעיל או להשהות את התזמון של צינורות הנתונים בדף Pipeline ב-Cloud Data Fusion Studio.

  • כדי להשהות את לוח הזמנים, לוחצים על ביטול התזמון.