פריסה והרצה של צינורות עיבוד נתונים

בדף הזה מוסבר על הפריסה וההפעלה של צינורות עיבוד נתונים ב-Cloud Data Fusion.

פריסת צינורות עיבוד נתונים

אחרי שמסיימים לתכנן ולנפות באגים בצינור להעברת נתונים, ומרוצים מהנתונים שמוצגים בתצוגה המקדימה, אפשר לפרוס את הצינור.

כשפורסים את צינור עיבוד הנתונים, Cloud Data Fusion Studio יוצר את תהליך העבודה ואת המשימות התואמות של Apache Spark ברקע.

הפעלת צינורות עיבוד נתונים

אחרי שפורסים צינור עיבוד נתונים, אפשר להריץ אותו בדרכים הבאות:

  • כדי להריץ צינור על פי דרישה, פותחים צינור שפרסתם ולוחצים על Run (הפעלה).
  • כדי לתזמן את צינור הנתונים כך שיפעל בשעה מסוימת, פותחים צינור נתונים שנפרס ולוחצים על Schedule (תזמון).
  • כדי להפעיל את צינור הנתונים כשאחר מסתיים, פותחים צינור נתונים שנפרס ולוחצים על Incoming triggers (טריגרים נכנסים).

ב-Pipeline Studio נשמרת היסטוריית הפעילות של צינור עיבוד נתונים בכל פעם שהוא מופעל. אפשר לעבור בין גרסאות שונות של צינור העברת הנתונים בזמן הריצה.

אם יש פקודות מאקרו בצינור, צריך להגדיר את ארגומנטי זמן הריצה לכל פקודת מאקרו. אפשר גם לבדוק ולשנות את הגדרות צינור הנתונים לפני שמריצים את צינור הנתונים שנפרס. אפשר לראות את השינוי בסטטוס במהלך השלבים של הרצת צינור הנתונים, כמו הקצאת משאבים, התחלה, הרצה והצלחה. אפשר גם להפסיק את הצינור בכל שלב.

אם מפעילים את האפשרות 'הוספת מכשור', אפשר לעיין במדדים שנוצרו על ידי צינור הנתונים. לשם כך, לוחצים על מאפיינים בכל צומת בצינור הנתונים, כמו מקור, טרנספורמציה או יעד.

כדי לקבל מידע נוסף על הפעלות צינור הנתונים, לוחצים על סיכום.

צפייה ברשומות של הרצות

אחרי שצינור העברת הנתונים מסיים את הריצה, אפשר לראות את רשומת הריצה. כברירת מחדל, אפשר לראות את רשומות ההפעלה מ-30 הימים האחרונים. מערכת Cloud Data Fusion מוחקת אותם אחרי התקופה הזו. אפשר להאריך את התקופה הזו באמצעות ה-API בארכיטקטורת REST.

‫API בארכיטקטורת REST

כדי לשמור את רשומות ההרצה למשך יותר מ-30 יום, מעדכנים את האפשרויות של app.run.records.ttl באמצעות הפקודה הבאה:

curl -X PATCH -H 'Content-Type: application/json' -H "Authorization: Bearer $(gcloud auth print-access-token)" '
https://datafusion.googleapis.com/v1beta1/projects/PROJECT_NAME/locations/REGION_NAME/instances/INSTANCE_NAME?updateMask=options'
-d '{ "options": { "app.run.records.ttl.days": "DAYS", "app.run.records.ttl.frequency.hours": "HOURS" } }'

מחליפים את מה שכתוב בשדות הבאים:

  • ‫PROJECT_NAME: שם הפרויקט Google Cloud
  • ‫REGION_NAME: האזור של מופע Cloud Data Fusion – לדוגמה, us-east4
  • ‫INSTANCE_NAME: מזהה מכונת Cloud Data Fusion
  • ‫DAYS: משך הזמן (בימים) לשמירת רשומות של הפעלות ישנות של צינורות, לדוגמה 30.
  • ‫HOURS: התדירות, בשעות, לבדיקה ולמחיקה של רשומות ישנות של הפעלות. לדוגמה, 24.

לדוגמה:

curl -X PATCH -H 'Content-Type: application/json' -H "Authorization: Bearer $(gcloud auth print-access-token)" '
https://datafusion.googleapis.com/v1beta1/projects/project-1/locations/us-east4/instances/data-fusion-instance-1?updateMask=options'
-d '{ "options": { "app.run.records.ttl.days": "30", "app.run.records.ttl.frequency.hours": "24" } }'

המאמרים הבאים