פריסה והרצה של צינורות עיבוד נתונים

פריסת צינור עיבוד נתונים ב-Cloud Data Fusion מאפשרת לכם להפוך את תוכניות שילוב הנתונים לתהליכי עבודה שניתנים להפעלה. אחרי הפריסה, אפשר להריץ צינורות עיבוד נתונים לפי דרישה, להגדיר לוחות זמנים אוטומטיים או להגדיר טריגרים נכנסים כדי לנהל את ביצוע הנתונים.

פריסת צינורות עיבוד נתונים

אחרי שסיימתם לתכנן ולנפות באגים בפייפליין, ואתם מרוצים מהנתונים שמופיעים בתצוגה המקדימה, אתם יכולים לפרוס את הפייפליין.

הערה: השם של צינור עיבוד נתונים שנפרס חייב להיות ייחודי במרחב השמות. יכול להיות שתתבקשו להזין שם ייחודי.

כשפורסים את צינור עיבוד הנתונים, Cloud Data Fusion Studio יוצר את תהליך העבודה ואת משימות Apache Spark התואמות ברקע.

הפעלת צינורות עיבוד נתונים

אחרי שפורסים צינור עיבוד נתונים, אפשר להריץ אותו בדרכים הבאות:

• כדי להריץ צינור עיבוד נתונים על פי דרישה, פותחים צינור עיבוד נתונים שנפרס ולוחצים על Run.
• כדי לתזמן את הפעלת צינור עיבוד הנתונים בזמן מסוים, פותחים צינור עיבוד נתונים שנפרס ולוחצים על Schedule.
• כדי להפעיל את צינור עיבוד הנתונים כשצינור עיבוד נתונים אחר מסתיים, פותחים צינור עיבוד נתונים שנפרס ולוחצים על Incoming triggers.

ב-Pipeline Studio נשמרת ההיסטוריה של צינור עיבוד הנתונים בכל פעם שהוא פועל. אתם יכולים לעבור בין גרסאות שונות של סביבת זמן הריצה של צינור עיבוד הנתונים.

אם בצינור עיבוד הנתונים יש פקודות מאקרו, מגדירים את הארגומנטים של זמן הריצה לכל פקודת מאקרו. אפשר גם לבדוק ולשנות את הגדרות הצינור לפני שמריצים את הצינור שנפרס. הסטטוס משתנה במהלך השלבים של הרצת צינור עיבוד הנתונים, למשל Provisioning,‏ Starting,‏ Running ו-Succeeded. אפשר גם לעצור את צינור עיבוד הנתונים בכל שלב.

אם תפעילו את האינסטרומנטציה, תוכלו לבחון את המדדים שנוצרו על ידי צינור עיבוד הנתונים. כדי לעשות את זה, לוחצים על Properties בכל צומת בצינור עיבוד הנתונים, כמו מקור, טרנספורמציה או sink.

כדי לקבל מידע נוסף על הרצות הצינור, לוחצים על Summary.

הצגת רשומות של הרצות

אחרי שהרצת צינור עיבוד הנתונים מסתיימת, אפשר לראות את רשומת ההרצה. כברירת מחדל, אפשר לראות את רשומות ההרצה של 30 הימים האחרונים. בסיום התקופה הזו, Cloud Data Fusion מוחק אותם. אפשר להאריך את התקופה הזו באמצעות ה-API בארכיטקטורת REST.

‫API בארכיטקטורת REST

כדי לשמור את רשומות ההרצה למשך יותר מ-30 ימים, מעדכנים את האפשרויות של app.run.records.ttl באמצעות הפקודה הבאה:

curl -X PATCH -H 'Content-Type: application/json' -H "Authorization: Bearer $(gcloud auth print-access-token)" '
https://datafusion.googleapis.com/v1beta1/projects/PROJECT_NAME/locations/REGION_NAME/instances/INSTANCE_NAME?updateMask=options'
-d '{ "options": { "app.run.records.ttl.days": "DAYS", "app.run.records.ttl.frequency.hours": "HOURS" } }'

מחליפים את מה שכתוב בשדות הבאים:

• ‫PROJECT_NAME: שם הפרויקט ב- Google Cloud
• ‫REGION_NAME: האזור של המכונה של Cloud Data Fusion, לדוגמה us-east4
• ‫INSTANCE_NAME: מזהה המכונה של Cloud Data Fusion
• ‫DAYS: משך הזמן (בימים) לשמירת רשומות של הרצות ישנות של צינור עיבוד נתונים, לדוגמה 30.
• ‫HOURS: התדירות, בשעות, לבדיקה ולמחיקה של רשומות הרצה ישנות, לדוגמה 24.

לדוגמה:

curl -X PATCH -H 'Content-Type: application/json' -H "Authorization: Bearer $(gcloud auth print-access-token)" '
https://datafusion.googleapis.com/v1beta1/projects/project-1/locations/us-east4/instances/data-fusion-instance-1?updateMask=options'
-d '{ "options": { "app.run.records.ttl.days": "30", "app.run.records.ttl.frequency.hours": "24" } }'

הערה: אחסון רשומות של הרצות לפרקי זמן ארוכים יותר עשוי להשפיע על הביצועים של ממשק האינטרנט.

המאמרים הבאים

• מידע נוסף על הגדרות צינור עיבוד נתונים