אתם יכולים לתזמן הפעלות חד-פעמיות או חוזרות של צינורות עיבוד נתונים ב-Gemini Enterprise Agent Platform באמצעות ה-API של התזמון. כך תוכלו להטמיע אימון רציף בפרויקט.
אחרי שיוצרים לוח זמנים, הוא יכול להיות באחד מהמצבים הבאים:
ACTIVE: לוח זמנים פעיל יוצר באופן רציף הרצות של צינורות עיבוד נתונים, בהתאם לתדירות שהוגדרה באמצעות ביטוי לוח הזמנים של cron. התזמון הופך לפעיל בשעת ההתחלה שלו ונשאר במצב הזה עד שעת הסיום שצוינה, או עד שמשהים אותו.
PAUSED: לוח זמנים מושהה לא יוצר הרצות של צינור עיבוד נתונים. אפשר להפעיל מחדש לוח זמנים שהושהה. כשממשיכים לוח זמנים מושהה, אפשר להשתמש בפרמטרcatch_upכדי לציין אם צריך לתזמן מחדש הרצות שדילגו עליהן (הרצות שהיו מתוזמנות אם לוח הזמנים היה פעיל) ולשלוח אותן בלוח הזמנים המוקדם ביותר האפשרי.
COMPLETED: לוח זמנים שהושלם לא יוצר יותר הרצות חדשות של צינור עיבוד נתונים. לוח הזמנים מסתיים בהתאם לשעת הסיום שצוינה.
אתם יכולים להשתמש ב-API של התזמון כדי:
thought השהיית לוח זמנים
לפני שמתחילים
לפני שמתזמנים הרצה של צינור עיבוד נתונים באמצעות Scheduler API, צריך להגדיר את הפרויקט וסביבת הפיתוח ב- Google Cloud במסוף Google Cloud .
כדי להשתמש ב-Scheduler API, צריך לתת למשתמש או לחשבון השירות לפחות אחת מהרשאות ה-IAM הבאות:
roles/aiplatform.adminroles/aiplatform.user
ליצור ולקמפל צינור עיבוד נתונים. מידע נוסף זמין במאמר בניית צינור עיבוד נתונים.
יצירת לוח זמנים
אתם יכולים ליצור לוח זמנים חד-פעמי או להגדיר שהוא יחזור על עצמו.
המסוף
כדי ליצור לוח זמנים באמצעות מסוף Google Cloud , פועלים לפי ההוראות הבאות. אם כבר קיים לוח זמנים לפרויקט ולאזור, פועלים לפי ההוראות שבקטע יצירת הרצה של צינור עיבוד נתונים.
כך יוצרים תזמון של צינור עיבוד נתונים:
במסוף Google Cloud , בקטע Agent Platform, נכנסים לכרטיסייה Schedules בדף Pipelines.
לוחצים על Create scheduled run כדי לפתוח את החלונית Create pipeline run.
מציינים את פרטי ההרצה הבאים על ידי בחירה באחת מהאפשרויות הבאות:
כדי ליצור הרצת צינור עיבוד נתונים שמבוססת על תבנית קיימת של צינור עיבוד נתונים, לוחצים על Select from existing pipelines ומזינים את הפרטים הבאים:
בוחרים את המאגר שמכיל את קובץ ההגדרה של הרכיב או של צינור עיבוד הנתונים.
בוחרים את Pipeline or component ואת Version.
כדי להעלות הגדרת צינור עיבוד נתונים שעבר הידור, לוחצים על Upload file ומזינים את הפרטים הבאים:
לוחצים על עיון כדי לפתוח את בורר הקבצים. עוברים לקובץ ה-YAML של ה-pipeline המקומפל שרוצים להריץ, בוחרים את ה-pipeline ולוחצים על Open.
כברירת מחדל, בשדה Pipeline or component name מופיע השם שצוין בהגדרת צינור עיבוד הנתונים. אם רוצים, אפשר לציין שם אחר לצינור עיבוד הנתונים.
כדי לייבא קובץ הגדרת צינור עיבוד נתונים מ-Cloud Storage, לוחצים על Import from Cloud Storage ומזינים את הפרטים הבאים:
לוחצים על Browse כדי לעבור לקטגוריה של Cloud Storage שמכילה את אובייקט הגדרת צינור עיבוד הנתונים, בוחרים את הקובץ ולוחצים על Select.
מציינים את שם הצינור או הרכיב.
מציינים שם הרצה כדי לזהות באופן ייחודי את הרצת צינור עיבוד הנתונים.
מציינים את לוח הזמנים להפעלה באופן הבא:
לוחצים על חוזר.
בקטע שעת התחלה, מציינים מתי לוח הזמנים יהפוך לפעיל.
כדי לתזמן את ההפעלה הראשונה כך שתתרחש מיד עם יצירת לוח הזמנים, בוחרים באפשרות מיד.
כדי לתזמן את ההפעלה הראשונה כך שתתרחש בתאריך ובשעה ספציפיים, בוחרים באפשרות בתאריך.
בשדה Frequency, מציינים את התדירות לתזמון ולביצוע של הפעלות צינור עיבוד הנתונים, באמצעות ביטוי לתזמון cron שמבוסס על unix-cron.
בקטע סיום, מציינים מתי לוח הזמנים מסתיים.
כדי לציין שהתזמון יוצר הרצות של צינור עיבוד נתונים ללא הגבלת זמן, בוחרים באפשרות Never.
כדי לציין שהתזמון מסתיים בתאריך ובשעה ספציפיים, בוחרים באפשרות בתאריך ומציינים את תאריך הסיום והשעה של התזמון.
אופציונלי: כדי לציין חשבון שירות בהתאמה אישית, מפתחות הצפנה בניהול הלקוח (CMEK) או רשת VPC שכנה, לוחצים על Advanced options ומציינים חשבון שירות, CMEK או שם של רשת VPC שכנה.
לוחצים על Continue ומציינים את Runtime configuration של צינור עיבוד הנתונים.
לוחצים על Submit כדי ליצור את לוח הזמנים להרצת צינור עיבוד הנתונים.
REST
כדי ליצור לוח זמנים להרצת צינור עיבוד נתונים, שולחים בקשת POST באמצעות ה-method projects.locations.schedules.create.
לפני שמשתמשים בנתוני הבקשה, צריך להחליף את הנתונים הבאים:
- LOCATION: האזור שבו רוצים להריץ את צינור עיבוד הנתונים. במדריך למיקומים של Gemini Enterprise Agent Platform מפורטים האזורים שבהם אפשר להשתמש ב-Agent Platform Pipelines.
- PROJECT_ID: הפרויקט ב- Google Cloud שבו רוצים להריץ את צינור עיבוד הנתונים.
- DISPLAY_NAME: השם של תזמון צינור עיבוד הנתונים. אפשר לציין שם באורך של עד 128 תווים בקידוד UTF-8.
- START_TIME: חותמת הזמן שאחריה אפשר לתזמן את ההפעלה הראשונה, לדוגמה
2045-07-26T00:00:00Z. אם לא מציינים את הפרמטר הזה, חותמת הזמן שמתאימה לתאריך ולשעה שבהם יצרתם את התזמון משמשת כערך ברירת המחדל. - END_TIME: חותמת הזמן שאחריה לא מתוזמנות יותר הרצות של צינור עיבוד הנתונים.
אחרי שמגיעים ל-END_TIME, מצב התזמון משתנה ל-
COMPLETED. אם לא תציינו את הפרמטר הזה, התזמון ימשיך להריץ משימות חדשות בצינור עיבוד הנתונים ללא הגבלת זמן, עד שתשהו או תמחקו את התזמון. - CRON_EXPRESSION: ביטוי תזמון של Cron שמייצג את התדירות לתזמון ולהפעלה של הרצות צינור עיבוד הנתונים. מידע נוסף זמין במאמר cron.
- MAX_CONCURRENT_RUN_COUNT: המספר המקסימלי של הרצות בו-זמניות של התזמון.
- API_REQUEST_TEMPLATE: תבנית בקשת ה-API של
PipelineService.CreatePipelineJobשמשמשת להרצת צינורות עיבוד הנתונים המתוזמנים. מידע נוסף על הפרמטרים בתבנית של בקשת ה-API זמין במסמכי התיעוד שלpipelineJobs.create. שימו לב שאי אפשר לציין את הפרמטרpipelineJobIdבתבנית הזו, כי ה-API של המתזמן לא תומך בפרמטר הזה.
ה-method של ה-HTTP וכתובת ה-URL:
POST https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/schedules
גוף בקשת JSON:
{
"display_name":"DISPLAY_NAME",
"start_time": "START_TIME",
"end_time": "END_TIME",
"cron": "CRON_EXPRESSION",
"max_concurrent_run_count": "MAX_CONCURRENT_RUN_COUNT",
"create_pipeline_job_request": API_REQUEST_TEMPLATE
}
כדי לשלוח את הבקשה עליכם לבחור אחת מהאפשרויות הבאות:
curl
שומרים את גוף הבקשה בקובץ בשם request.json ומריצים את הפקודה הבאה:
curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json; charset=utf-8" \
-d @request.json \
"https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/schedules"
PowerShell
שומרים את גוף הבקשה בקובץ בשם request.json ומריצים את הפקודה הבאה:
$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }
Invoke-WebRequest `
-Method POST `
-Headers $headers `
-ContentType: "application/json; charset=utf-8" `
-InFile request.json `
-Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/schedules" | Select-Object -Expand Content
הפלט אמור להיראות כך: אפשר להשתמש ב-SCHEDULE_ID מהתגובה כדי לאחזר, להשהות, להמשיך או למחוק את לוח הזמנים. PIPELINE_JOB_CREATION_REQUEST מייצג את בקשת ה-API ליצירת משימת צינור עיבוד הנתונים.
{
"name": "projects/PROJECT_ID/locations/LOCATION/schedules/SCHEDULE_ID",
"displayName": "DISPLAY_NAME",
"startTime": "START_TIME",
"state": "ACTIVE",
"createTime": "2025-01-01T00:00:00.000000Z",
"nextRunTime": "2045-08-01T00:00:00Z",
"cron": "CRON_EXPRESSION",
"maxConcurrentRunCount": "MAX_CONCURRENT_RUN_COUNT",
"createPipelineJobRequest": PIPELINE_JOB_CREATION_REQUEST
}
Python
אפשר ליצור לוח זמנים להרצת צינור עיבוד נתונים בדרכים הבאות:יוצרים לוח זמנים על סמך
PipelineJobבאמצעות השיטהPipelineJob.create_schedule.יצירת לוח זמנים באמצעות השיטה
PipelineJobSchedule.create.
כשיוצרים תזמון להרצת צינור עיבוד נתונים, אפשר גם להעביר את ה-placeholders הבאים שנתמכים על ידי KFP SDK כקלט:
{{$.pipeline_job_name_placeholder}}{{$.pipeline_job_resource_name_placeholder}}{{$.pipeline_job_id_placeholder}}{{$.pipeline_task_name_placeholder}}{{$.pipeline_task_id_placeholder}}{{$.pipeline_job_create_time_utc_placeholder}}{{$.pipeline_job_schedule_time_utc_placeholder}}{{$.pipeline_root_placeholder}}
מידע נוסף זמין בקטע סוגי קלט מיוחדים במאמרי העזרה של Kubeflow Pipelines גרסה 2.
יצירת לוח זמנים מPipelineJob
כדי לתזמן הרצות של צינור עיבוד נתונים באמצעות השיטה PipelineJob.create_schedule, אפשר להשתמש בדוגמה הבאה:
from google.cloud import aiplatform
pipeline_job = aiplatform.PipelineJob(
template_path="COMPILED_PIPELINE_PATH",
pipeline_root="PIPELINE_ROOT_PATH",
display_name="DISPLAY_NAME",
)
pipeline_job_schedule = pipeline_job.create_schedule(
display_name="SCHEDULE_NAME",
cron="TZ=CRON",
max_concurrent_run_count=MAX_CONCURRENT_RUN_COUNT,
max_run_count=MAX_RUN_COUNT,
)
COMPILED_PIPELINE_PATH: הנתיב לקובץ ה-YAML של ה-pipeline שעבר הידור. הוא יכול להיות נתיב מקומי או URI של Cloud Storage.
אופציונלי: כדי לציין גרסה מסוימת של תבנית, צריך לכלול את תג הגרסה יחד עם הנתיב באחד מהפורמטים הבאים:
COMPILED_PIPELINE_PATH:TAG, כאשר TAG הוא תג הגרסה.
COMPILED_PIPELINE_PATH@SHA256_TAG, כאשר SHA256_TAG הוא ערך ה-hash שלsha256בגרסת צינור עיבוד הנתונים.
PIPELINE_ROOT_PATH: (אופציונלי) כדי לשנות את נתיב הבסיס של צינור עיבוד הנתונים שצוין בהגדרה של צינור עיבוד הנתונים, מציינים נתיב שאליו יש גישה למשימה של צינור עיבוד הנתונים, כמו URI של קטגוריה של Cloud Storage.
DISPLAY_NAME: שם צינור עיבוד הנתונים. המידע הזה יופיע במסוף Google Cloud .
SCHEDULE_NAME: השם של תזמון צינור עיבוד הנתונים. אפשר לציין שם באורך של עד 128 תווים בקידוד UTF-8.
CRON: ביטוי של תזמון Cron שמייצג את התדירות של התזמון וההפעלה של הרצות צינור עיבוד הנתונים. מידע נוסף זמין במאמר Cron.
MAX_CONCURRENT_RUN_COUNT: המספר המקסימלי של הרצות בו-זמניות של התזמון.
MAX_RUN_COUNT: המספר המקסימלי של הרצות צינור עיבוד נתונים שהתזמון יוצר, שאחריו הוא מסתיים.
יצירת לוח זמנים באמצעות PipelineJobSchedule.create
כדי לתזמן הרצות של צינור עיבוד נתונים באמצעות השיטה PipelineJobSchedule.create, אפשר להשתמש בדוגמה הבאה:
from google.cloud import aiplatform
pipeline_job = aiplatform.PipelineJob(
template_path="COMPILED_PIPELINE_PATH",
pipeline_root="PIPELINE_ROOT_PATH",
display_name="DISPLAY_NAME",
)
pipeline_job_schedule = aiplatform.PipelineJobSchedule(
pipeline_job=pipeline_job,
display_name="SCHEDULE_NAME"
)
pipeline_job_schedule.create(
cron="TZ=CRON",
max_concurrent_run_count=MAX_CONCURRENT_RUN_COUNT,
max_run_count=MAX_RUN_COUNT,
)
COMPILED_PIPELINE_PATH: הנתיב לקובץ ה-YAML של ה-pipeline שעבר הידור. הוא יכול להיות נתיב מקומי או URI של Cloud Storage.
אופציונלי: כדי לציין גרסה מסוימת של תבנית, צריך לכלול את תג הגרסה יחד עם הנתיב באחד מהפורמטים הבאים:
COMPILED_PIPELINE_PATH:TAG, כאשר TAG הוא תג הגרסה.
COMPILED_PIPELINE_PATH@SHA256_TAG, כאשר SHA256_TAG הוא ערך הגיבוב (hash) מסוג sha256 של גרסת צינור עיבוד הנתונים.
PIPELINE_ROOT_PATH: (אופציונלי) כדי לשנות את נתיב הבסיס של צינור עיבוד הנתונים שצוין בהגדרה של צינור עיבוד הנתונים, מציינים נתיב שאליו יש גישה למשימה של צינור עיבוד הנתונים, כמו URI של קטגוריה של Cloud Storage.
DISPLAY_NAME: שם צינור עיבוד הנתונים. המידע הזה יופיע במסוף Google Cloud .
SCHEDULE_NAME: השם של תזמון צינור עיבוד הנתונים. אפשר לציין שם באורך של עד 128 תווים בקידוד UTF-8.
CRON: ביטוי של תזמון Cron שמייצג את התדירות של התזמון וההפעלה של הרצות צינור עיבוד הנתונים. מידע נוסף זמין במאמר Cron.
MAX_CONCURRENT_RUN_COUNT: המספר המקסימלי של הרצות בו-זמניות של התזמון.
MAX_RUN_COUNT: המספר המקסימלי של הרצות צינור עיבוד נתונים שהתזמון יוצר, שאחריו הוא מסתיים.
הצגת רשימת לוחות הזמנים
אתם יכולים לראות את רשימת לוחות הזמנים של צינורות עיבוד הנתונים שנוצרו בפרויקט Google Cloud .
המסוף
אפשר לראות את רשימת התזמונים של צינורות עיבוד הנתונים בכרטיסייה Schedules במסוף Google Cloud לאזור שנבחר.
כדי לראות את רשימת התזמונים של צינורות עיבוד הנתונים, בקטע Agent Platform במסוף Google Cloud , נכנסים לכרטיסייה Schedules בדף Pipelines.
REST
כדי להציג את רשימת לוחות הזמנים להרצת צינורות עיבוד נתונים בפרויקט, שולחים בקשת GET באמצעות ה-method projects.locations.schedules.list.
לפני שמשתמשים בנתוני הבקשה, צריך להחליף את הנתונים הבאים:
- LOCATION: האזור שבו רוצים להריץ את צינור עיבוד הנתונים. במדריך למיקומים של Gemini Enterprise Agent Platform מפורטים האזורים שבהם אפשר להשתמש ב-Agent Platform Pipelines.
- PROJECT_ID: הפרויקט ב- Google Cloud שבו רוצים להריץ את צינור עיבוד הנתונים.
- FILTER: (אופציונלי) ביטוי לסינון רשימת התזמונים. מידע נוסף זמין במאמר ...
- PAGE_SIZE: (אופציונלי) מספר לוחות הזמנים שיופיעו בכל דף.
- PAGE_TOKEN: (אופציונלי) הטוקן של דף הרשימה הרגיל, שבדרך כלל מתקבל דרך
ListSchedulesResponse.next_page_token[]מקריאה קודמת שלScheduleService.ListSchedules[]. - ORDER_BY: (אופציונלי) רשימה מופרדת בפסיקים של שדות, שמציינת את סדר המיון של לוחות הזמנים בתגובה.
ה-method של ה-HTTP וכתובת ה-URL:
GET https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/schedules?FILTER&PAGE_SIZE&PAGE_TOKEN&ORDER_BY
כדי לשלוח את הבקשה אתם צריכים לבחור אחת מהאפשרויות הבאות:
curl
מריצים את הפקודה הבאה:
curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
"https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/schedules?FILTER&PAGE_SIZE&PAGE_TOKEN&ORDER_BY"
PowerShell
מריצים את הפקודה הבאה:
$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }
Invoke-WebRequest `
-Method GET `
-Headers $headers `
-Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/schedules?FILTER&PAGE_SIZE&PAGE_TOKEN&ORDER_BY" | Select-Object -Expand Content
הפלט אמור להיראות כך:
{
"schedules": [
SCHEDULE_ENTITY_OBJECT_1,
SCHEDULE_ENTITY_OBJECT_2,
...
],
}
Python
כדי להציג את כל לוחות הזמנים בפרויקט בסדר יורד של זמני היצירה שלהם, אפשר להשתמש בדוגמה הבאה:
from google.cloud import aiplatform
aiplatform.PipelineJobSchedule.list(
filter='display_name="DISPLAY_NAME"',
order_by='create_time desc'
)
DISPLAY_NAME: השם של תזמון צינור עיבוד הנתונים. אפשר לציין שם באורך של עד 128 תווים בקידוד UTF-8.
אחזור של לוח זמנים
אפשר לאחזר לוח זמנים להרצת צינור עיבוד נתונים באמצעות מזהה לוח הזמנים.
REST
כדי לאחזר לוח זמנים להרצת צינור עיבוד נתונים, שולחים בקשת GET באמצעות ה-method projects.locations.schedules.get ומזהה לוח הזמנים.
לפני שמשתמשים בנתוני הבקשה, צריך להחליף את הנתונים הבאים:
- LOCATION: האזור שבו רוצים להריץ את צינור עיבוד הנתונים. במדריך למיקומים של Gemini Enterprise Agent Platform מפורטים האזורים שבהם אפשר להשתמש ב-Agent Platform Pipelines.
- PROJECT_ID: הפרויקט ב- Google Cloud שבו רוצים להריץ את צינור עיבוד הנתונים.
- SCHEDULE_ID: מזהה ייחודי של לוח הזמנים שנוצר בזמן יצירת לוח הזמנים.
ה-method של ה-HTTP וכתובת ה-URL:
GET https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/schedules/SCHEDULE_ID
כדי לשלוח את הבקשה אתם צריכים לבחור אחת מהאפשרויות הבאות:
curl
מריצים את הפקודה הבאה:
curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
"https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/schedules/SCHEDULE_ID"
PowerShell
מריצים את הפקודה הבאה:
$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }
Invoke-WebRequest `
-Method GET `
-Headers $headers `
-Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/schedules/SCHEDULE_ID" | Select-Object -Expand Content
הפלט אמור להיראות כך: PIPELINE_JOB_CREATION_REQUEST מייצג את בקשת ה-API ליצירת משימת צינור עיבוד הנתונים.
{
"name": "projects/PROJECT_ID/locations/LOCATION/schedules/SCHEDULE_ID",
"displayName": "schedule_display_name",
"startTime": "2045-07-26T06:59:59Z",
"state": "ACTIVE",
"createTime": "20xx-01-01T00:00:00.000000Z",
"nextRunTime": "2045-08-01T00:00:00Z",
"cron": "TZ=America/New_York 0 0 1 * *",
"maxConcurrentRunCount": "10",
"createPipelineJobRequest": PIPELINE_JOB_CREATION_REQUEST
}
Python
כדי לאחזר לוח זמנים להרצת צינור עיבוד נתונים באמצעות מזהה לוח הזמנים, אפשר להשתמש בדוגמה הבאה:
from google.cloud import aiplatform
pipeline_job_schedule = aiplatform.PipelineJobSchedule.get(schedule_id=SCHEDULE_ID)
SCHEDULE_ID: מזהה ייחודי של לוח הזמנים שנוצר בזמן יצירת לוח הזמנים.
השהיית לוח זמנים
כדי להשהות תזמון פעיל של צינור עיבוד נתונים, צריך לציין את מזהה התזמון. כשמשהים לוח זמנים, המצב שלו משתנה מ-ACTIVE ל-PAUSED.
המסוף
אתם יכולים להשהות לוח זמנים פעיל להרצת צינור עיבוד נתונים.
כך משהים תזמון:
במסוף Google Cloud , בקטע Agent Platform, נכנסים לכרטיסייה Schedules בדף Pipelines.
לוחצים על תפריט האפשרויות בשורה של לוח הזמנים שרוצים להשהות, ואז לוחצים על השהיה. אפשר להשהות כל לוח זמנים שבעמודה סטטוס שלו מוצג הערך פעיל.
REST
כדי להשהות את לוח הזמנים להרצת צינור עיבוד הנתונים בפרויקט, שולחים בקשת POST באמצעות ה-method projects.locations.schedules.pause.
לפני שמשתמשים בנתוני הבקשה, צריך להחליף את הנתונים הבאים:
- LOCATION: האזור שבו לוח הזמנים להרצת צינור עיבוד הנתונים פעיל כרגע. במדריך למיקומים של Gemini Enterprise Agent Platform מפורטים האזורים שבהם אפשר להשתמש ב-Agent Platform Pipelines.
- PROJECT_ID: הפרויקט ב- Google Cloud שבו פועל כרגע לוח הזמנים להרצת צינור עיבוד הנתונים.
- SCHEDULE_ID: מזהה ייחודי של לוח הזמנים שנוצר בזמן יצירת לוח הזמנים.
ה-method של ה-HTTP וכתובת ה-URL:
POST https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/schedules/SCHEDULE_ID:pause
כדי לשלוח את הבקשה אתם צריכים לבחור אחת מהאפשרויות הבאות:
curl
מריצים את הפקודה הבאה:
curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json; charset=utf-8" \
-d "" \
"https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/schedules/SCHEDULE_ID:pause"
PowerShell
מריצים את הפקודה הבאה:
$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }
Invoke-WebRequest `
-Method POST `
-Headers $headers `
-Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/schedules/SCHEDULE_ID:pause" | Select-Object -Expand Content
אמורים לקבל קוד סטטוס של הצלחה (2xx) ותגובה ריקה.
Python
כדי להשהות את לוח הזמנים של הרצת צינור עיבוד נתונים, משתמשים בדוגמה הבאה:
from google.cloud import aiplatform
pipeline_job_schedule = aiplatform.PipelineJobSchedule.get(schedule_id=SCHEDULE_ID)
pipeline_job_schedule.pause()
SCHEDULE_ID: מזהה ייחודי של לוח הזמנים שנוצר בזמן יצירת לוח הזמנים.
עדכון לוח זמנים
אתם יכולים לעדכן תזמון קיים של צינור עיבוד נתונים שנוצר בפרויקט ב-Google Cloud .
עדכון של לוח זמנים דומה למחיקה ויצירה מחדש של לוח זמנים. כשמעדכנים לוח זמנים, ההפעלות החדשות מתוזמנות לפי התדירות של לוח הזמנים המעודכן. לא נוצרות יותר הפעלות חדשות על סמך לוח הזמנים הישן, וכל ההפעלות בתור נמחקות. הרצות של צינורות עיבוד נתונים שכבר נוצרו על ידי לוח הזמנים הישן לא מושהות או מבוטלות.
REST
כדי לעדכן את לוח הזמנים להרצת צינור עיבוד נתונים בפרויקט, שולחים בקשת PATCH באמצעות ה-method projects.locations.schedules.patch.
לפני שמשתמשים בנתוני הבקשה, צריך להחליף את הנתונים הבאים:
- LOCATION: האזור שבו רוצים להריץ את צינור עיבוד הנתונים. במדריך למיקומים של Gemini Enterprise Agent Platform מפורטים האזורים שבהם אפשר להשתמש ב-Agent Platform Pipelines.
- PROJECT_ID: הפרויקט ב- Google Cloud שבו רוצים להריץ את צינור עיבוד הנתונים.
- DISPLAY_NAME: השם של תזמון צינור עיבוד הנתונים. אפשר לציין שם באורך של עד 128 תווים בקידוד UTF-8.
- MAX_CONCURRENT_RUN_COUNT: המספר המקסימלי של הרצות בו-זמניות של התזמון.
ה-method של ה-HTTP וכתובת ה-URL:
POST https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/schedules/SCHEDULE_ID?updateMask=display_name,max_run_count -d '{"display_name":"DISPLAY_NAME", "max_concurrent_run_count": MAX_CONCURRENT_RUN_COUNT}'כדי לשלוח את הבקשה אתם צריכים לבחור אחת מהאפשרויות הבאות:
curl
מריצים את הפקודה הבאה:
curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json; charset=utf-8" \
-d "" \
"https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/schedules/SCHEDULE_ID?updateMask=display_name,max_run_count -d '{"display_name":"DISPLAY_NAME", "max_concurrent_run_count": MAX_CONCURRENT_RUN_COUNT}'"
PowerShell
מריצים את הפקודה הבאה:
$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }
Invoke-WebRequest `
-Method POST `
-Headers $headers `
-Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/schedules/SCHEDULE_ID?updateMask=display_name,max_run_count -d '{"display_name":"DISPLAY_NAME", "max_concurrent_run_count": MAX_CONCURRENT_RUN_COUNT}'" | Select-Object -Expand Content
הפלט אמור להיראות כך: בהתאם לעדכון, המערכת מחשבת מחדש את NEXT_RUN_TIME. כשמעדכנים את לוח הזמנים, הSTART_TIME לא משתנה.
{
"name": "projects/PROJECT_ID/locations/LOCATION/schedules/SCHEDULE_ID",
"displayName": "DISPLAY_NAME",
"startTime": "START_TIME",
"state": "ACTIVE",
"createTime": "2025-01-01T00:00:00.000000Z",
"nextRunTime": NEXT_RUN_TIME,
"maxConcurrentRunCount": "MAX_CONCURRENT_RUN_COUNT",
}
Python
כדי לתזמן הרצות של צינור עיבוד נתונים באמצעות השיטה PipelineJobSchedule.update, אפשר להשתמש בדוגמה הבאה:
from google.cloud import aiplatform
pipeline_job_schedule = aiplatform.PipelineJobSchedule.get(schedule_id=SCHEDULE_ID)
pipeline_job_schedule.update(
display_name='DISPLAY_NAME',
max_concurrent_run_count=MAX_CONCURRENT_RUN_COUNT,
)
- SCHEDULE_ID: מזהה ייחודי של לוח הזמנים שנוצר בזמן יצירת לוח הזמנים.
- DISPLAY_NAME: השם של תזמון צינור עיבוד הנתונים. אפשר לציין שם באורך של עד 128 תווים בקידוד UTF-8.
- MAX_CONCURRENT_RUN_COUNT: המספר המקסימלי של הרצות בו-זמניות של התזמון.
איך ממשיכים את ההפעלה של לוח זמנים
כדי להמשיך את לוח הזמנים של צינור עיבוד נתונים שהושהה, צריך לציין את מזהה לוח הזמנים. כשממשיכים לוח זמנים, המצב שלו משתנה מ-PAUSED ל-ACTIVE.
המסוף
אתם יכולים להמשיך את לוח הזמנים של הרצת צינור עיבוד הנתונים שמושהה כרגע.
כך מפעילים מחדש לוח זמנים:
במסוף Google Cloud , בקטע Agent Platform, נכנסים לכרטיסייה Schedules בדף Pipelines.
עוברים לתפריט האפשרויות שנמצא באותה שורה של לוח הזמנים שרוצים להמשיך, ואז לוחצים על המשך. אפשר להמשיך כל תזמון שבעמודה סטטוס שלו מוצג הערך מושהה.
REST
כדי להמשיך את לוח הזמנים להרצת צינור עיבוד נתונים בפרויקט, שולחים בקשת POST באמצעות ה-method projects.locations.schedules.resume.
לפני שמשתמשים בנתוני הבקשה, צריך להחליף את הנתונים הבאים:
- LOCATION: האזור שבו מושהה כרגע לוח הזמנים להרצת צינור עיבוד הנתונים. במדריך למיקומים של Gemini Enterprise Agent Platform מפורטים האזורים שבהם אפשר להשתמש ב-Agent Platform Pipelines.
- PROJECT_ID: הפרויקט ב- Google Cloud שבו לוח הזמנים של הרצת צינור עיבוד הנתונים מושהה כרגע.
- SCHEDULE_ID: מזהה ייחודי של לוח הזמנים שנוצר בזמן יצירת לוח הזמנים.
- CATCH_UP: (אופציונלי) מציינים אם התזמון המושהה צריך למלא את הרצות הצינור שדילגו עליהן. כדי למלא את החסר ולתזמן מחדש את הרצות הצינור שדילגתם עליהן, מזינים את הפרמטר הבא:
{ "catch_up":true }כברירת מחדל, הפרמטר הזה מוגדר כ-`false`.
ה-method של ה-HTTP וכתובת ה-URL:
POST https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/schedules/SCHEDULE_ID:resume -d 'CATCH_UP'
כדי לשלוח את הבקשה אתם צריכים לבחור אחת מהאפשרויות הבאות:
curl
מריצים את הפקודה הבאה:
curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json; charset=utf-8" \
-d "" \
"https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/schedules/SCHEDULE_ID:resume -d 'CATCH_UP'"
PowerShell
מריצים את הפקודה הבאה:
$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }
Invoke-WebRequest `
-Method POST `
-Headers $headers `
-Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/schedules/SCHEDULE_ID:resume -d 'CATCH_UP'" | Select-Object -Expand Content
אמורים לקבל קוד סטטוס של הצלחה (2xx) ותגובה ריקה.
Python
כדי להמשיך לוח זמנים מושהה של הרצת צינור עיבוד נתונים, אפשר להשתמש בדוגמה הבאה:
from google.cloud import aiplatform
pipeline_job_schedule = aiplatform.PipelineJobSchedule.get(schedule_id=SCHEDULE_ID)
pipeline_job_schedule.resume(catch_up=CATCH_UP)
- SCHEDULE_ID: מזהה ייחודי של לוח הזמנים שנוצר בזמן יצירת לוח הזמנים.
- CATCH_UP: (אופציונלי) מציינים אם התזמון המושהה צריך למלא את הרצות הצינור שדילגו עליהן. כדי למלא את החוסרים ולתזמן מחדש את הרצות הצינור שדילגתם עליהן, מזינים את הפרטים הבאים:
{ "catch_up":true }
מחיקת לוח זמנים
כדי למחוק תזמון של צינור עיבוד נתונים, צריך לציין את מזהה התזמון.
המסוף
אתם יכולים למחוק לוח זמנים להרצת צינור עיבוד נתונים בלי קשר לסטטוס שלו.
כך מוחקים תזמון:
במסוף Google Cloud , בקטע Agent Platform, נכנסים לכרטיסייה Schedules בדף Pipelines.
לוחצים על תפריט האפשרויות בשורה של לוח הזמנים שרוצים למחוק, ואז לוחצים על מחיקה.
לוחצים על מחיקה כדי לאשר.
REST
כדי למחוק תזמון של הרצת צינור עיבוד נתונים בפרויקט, שולחים בקשת DELETE באמצעות ה-method projects.locations.schedules.delete.
לפני שמשתמשים בנתוני הבקשה, צריך להחליף את הנתונים הבאים:
- LOCATION: האזור שבו רוצים למחוק את תזמון צינור עיבוד הנתונים. במדריך למיקומים של Gemini Enterprise Agent Platform מפורטים האזורים שבהם אפשר להשתמש ב-Agent Platform Pipelines.
- PROJECT_ID: הפרויקט ב- Google Cloud שבו רוצים למחוק את התזמון.
- SCHEDULE_ID: המזהה הייחודי של לוח הזמנים שנוצר בזמן יצירת לוח הזמנים.
ה-method של ה-HTTP וכתובת ה-URL:
DELETE https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/schedules/SCHEDULE_ID
כדי לשלוח את הבקשה אתם צריכים לבחור אחת מהאפשרויות הבאות:
curl
מריצים את הפקודה הבאה:
curl -X DELETE \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
"https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/schedules/SCHEDULE_ID"
PowerShell
מריצים את הפקודה הבאה:
$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }
Invoke-WebRequest `
-Method DELETE `
-Headers $headers `
-Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/schedules/SCHEDULE_ID" | Select-Object -Expand Content
הפלט אמור להיראות כך: OPERATION_ID מייצג את פעולת המחיקה.
{
"name": "projects/PROJECT_ID/locations/LOCATION/operations/OPERATION_ID",
"metadata": {
"@type": "type.googleapis.com/google.cloud.aiplatform.v1.DeleteOperationMetadata",
"genericMetadata": {
"createTime": "20xx-01-01T00:00:00.000000Z",
"updateTime": "20xx-01-01T00:00:00.000000Z"
}
},
"done": true,
"response": {
"@type": "type.googleapis.com/google.protobuf.Empty"
}
}
Python
כדי למחוק לוח זמנים להרצת צינור עיבוד נתונים, אפשר להשתמש בדוגמה הבאה:
from google.cloud import aiplatform
pipeline_job_schedule = aiplatform.PipelineJobSchedule.get(schedule_id=SCHEDULE_ID)
pipeline_job_schedule.delete()
SCHEDULE_ID: מזהה ייחודי של לוח הזמנים שנוצר בזמן יצירת לוח הזמנים.
הצגת רשימה של כל משימות צינור עיבוד הנתונים שנוצרו לפי לוח זמנים
כדי לראות רשימה של כל משימות הצינור שנוצרו על ידי תזמון, צריך לציין את מזהה התזמון.
REST
כדי להציג את כל הרצות הצינור שנוצרו על ידי תזמון צינור, שולחים בקשת GET באמצעות השיטה projects.locations.pipelineJobs.
לפני שמשתמשים בנתוני הבקשה, צריך להחליף את הנתונים הבאים:
- LOCATION: האזור שבו רוצים להריץ את צינור עיבוד הנתונים. במדריך למיקומים של Gemini Enterprise Agent Platform מפורטים האזורים שבהם אפשר להשתמש ב-Agent Platform Pipelines.
- PROJECT_ID: הפרויקט ב- Google Cloud שבו רוצים להריץ את צינור עיבוד הנתונים.
- SCHEDULE_ID: מזהה ייחודי של לוח הזמנים שנוצר בזמן יצירת לוח הזמנים.
ה-method של ה-HTTP וכתובת ה-URL:
GET https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/pipelineJobs?filter=schedule_name=projects/PROJECT/locations/LOCATION/schedules/SCHEDULE_ID
כדי לשלוח את הבקשה אתם צריכים לבחור אחת מהאפשרויות הבאות:
curl
מריצים את הפקודה הבאה:
curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
"https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/pipelineJobs?filter=schedule_name=projects/PROJECT/locations/LOCATION/schedules/SCHEDULE_ID"
PowerShell
מריצים את הפקודה הבאה:
$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }
Invoke-WebRequest `
-Method GET `
-Headers $headers `
-Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/pipelineJobs?filter=schedule_name=projects/PROJECT/locations/LOCATION/schedules/SCHEDULE_ID" | Select-Object -Expand Content
הפלט אמור להיראות כך:
{
"pipelineJobs": [
PIPELINE_JOB_ENTITY_1,
PIPELINE_JOB_ENTITY_2,
...
],
}
Python
בדוגמה הבאה מוצגת רשימה של כל משימות צינור עיבוד הנתונים שנוצרו על ידי תזמון, בסדר יורד של זמני היצירה שלהן:
from google.cloud import aiplatform
pipeline_job_schedule = aiplatform.PipelineJobSchedule.get(schedule_id=SCHEDULE_ID)
pipeline_job_schedule.list_jobs(order_by='create_time_desc')
SCHEDULE_ID: מזהה ייחודי של לוח הזמנים שנוצר בזמן יצירת לוח הזמנים.