גלריית התבניות של Gemini Enterprise Agent Platform Pipelines מכילה תבניות ורכיבים של צינורות עיבוד נתונים שנוצרו על ידי Google. אתם יכולים להשתמש בהם כדי ליצור הרצות של צינורות עיבוד נתונים או להטמיע אותם בצינורות עיבוד הנתונים שלכם.
יצירת הרצת צינור עיבוד נתונים מגלריית התבניות
כדי ליצור הרצת צינור עיבוד נתונים מתבנית שנוצרה על ידי Google מתוך Template Gallery, פועלים לפי ההוראות הבאות. לחלופין, אתם יכולים ליצור תבנית צינור עיבוד נתונים בהתאמה אישית, ואז ליצור הרצה של צינור עיבוד נתונים על סמך התבנית. מידע נוסף על יצירה ושימוש בתבנית צינור עיבוד נתונים בהתאמה אישית זמין במאמר יצירה, העלאה ושימוש בתבנית צינור עיבוד נתונים.
המסוף
כדי ליצור הרצת צינור עיבוד נתונים מ-Template Gallery:
במסוף Google Cloud , בקטע Agent Platform, נכנסים לכרטיסייה Template Gallery בדף Pipelines.
אופציונלי: כדי לסנן את רשימת התבניות של צינורות עיבוד הנתונים, בוחרים את הקריטריונים לסינון בחלונית הימנית. לדוגמה, כדי להציג רק תבניות של צינורות עיבוד נתונים, בוחרים באפשרות Templates בקטע Type.
בכרטיס שתואם לתבנית שבה רוצים להשתמש, לוחצים על Create run כדי לפתוח את הדף Create pipeline run.
בקטע Run details:
- אופציונלי: משנים את ברירת המחדל של Run name שמזהה באופן ייחודי את הרצת צינור עיבוד הנתונים.
1. Optional: To schedule recurring pipeline runs, specify the **Run schedule**, as follows:
1. Select **Recurring**.
1. Under **Start time**, specify when the schedule becomes active.
* To schedule the first run to occur immediately after schedule creation, select **Immediately**.
* To schedule the first run to occur at a specific time and date, select **On**.
1. In the **Frequency** field, specify the frequency to schedule and execute the
pipeline runs, using a cron schedule expression based on
[unix-cron](https://man7.org/linux/man-pages/man5/crontab.5.html).
1. Under **Ends**, specify when the schedule ends.
* To indicate that the schedule creates pipeline runs indefinitely, select **Never**.
* To indicate that the schedule ends on a specific date and time, select **On**, and specify the end date and time for the schedule.
1. Optional: To specify that the pipeline run uses a custom service account,
Customer-managed encryption keys (CMEK), or a peered VPC network, click
**Advanced options**, and then follow these instructions:
* To specify a service account, select a service account from the
**Service account** drop-down list.
If you don't specify a service account,
Agent Platform Pipelines runs your pipeline using the default
Compute Engine service account.
Learn more about [configuring a service account for use with
Agent Platform Pipelines](/gemini-enterprise-agent-platform/machine-learning/pipelines/configure-project#service-account).
* To use a CMEK, select **Use a customer-managed encryption key**. The **Select a customer-managed key** drop-down list appears. In the **Select a customer-managed key** drop-down list, select the key that you want to use.
* To use a peered VPC network in this pipeline run, enter the VPC
network name in the **Peered VPC network** box.
1. Click **Continue**.
בקטע Runtime configuration, מגדירים את הרצת צינור עיבוד הנתונים באופן הבא:
בקטע Cloud storage location, לוחצים על Browse כדי לבחור את הקטגוריה ב-Cloud Storage שבה יישמרו פריטי המידע שנוצרו בפלט של צינור עיבוד הנתונים, ואז לוחצים על Select.
אופציונלי: כדי להגדיר את מדיניות הכשלים ואת המטמון להרצת צינור עיבוד הנתונים, לוחצים על Advanced options ופועלים לפי ההוראות הבאות:
בקטע Failure policy, מציינים את מדיניות הכשלים של כל הצינור. מידע נוסף על כללי מדיניות בנושא כשלים בצינור עיבוד נתונים
כדי להגדיר את צינור עיבוד הנתונים כך שימשיך לתזמן משימות אחרי שמשימה אחת נכשלת, בוחרים באפשרות Run all steps to completion. האפשרות הזו מסומנת כברירת מחדל.
כדי להגדיר שהצינור ייכשל אחרי שמשימה אחת נכשלת, בוחרים באפשרות Fail this run as soon as one step fails.
בקטע Caching configuration, מציינים את הגדרת המטמון לכל צינור עיבוד הנתונים.
כדי להשתמש בהגדרות המטמון ברמת המשימה בשביל משימה בצינור עיבוד הנתונים, בוחרים באפשרות Do not override task-level cache configuration.
כדי להפעיל את השמירה במטמון לכל המשימות בצינור עיבוד הנתונים ולבטל את הגדרות המטמון ברמת המשימה, בוחרים באפשרות Enable read from cache for all steps (fastest).
כדי להשבית את השמירה במטמון לכל המשימות בצינור עיבוד הנתונים ולבטל את כל הגדרות המטמון ברמת המשימה, בוחרים באפשרות Disable read from cache for all steps (fastest).
אופציונלי: אם לצינור עיבוד הנתונים יש פרמטרים, מציינים את הפרמטרים של הרצת צינור עיבוד הנתונים בקטע Pipeline parameters.
כדי ליצור את הרצת צינור עיבוד הנתונים, לוחצים על Submit.