שימוש במכונות וירטואליות מסוג Flex-start עם הסקת מסקנות

תצוגה מקדימה

השימוש בתכונה הזו כפוף לתנאי השימוש במוצרים בגרסת טרום-GA, שמפורטים בחלק "תנאי שירות הכלליים" בתנאים הספציפיים של השירות. השימוש בתכונות בגרסת טרום-GA הוא "כפי שהן" (As is), ויכול להיות שהתמיכה בהן תהיה מוגבלת. מידע נוסף זמין בקטע תיאור שלבי ההשקה.

במדריך הזה מוסבר על היתרונות והמגבלות של שימוש במכונות וירטואליות עם הפעלה גמישה עם הסקת מסקנות ב-Gemini Enterprise Agent Platform. במדריך הזה מוסבר גם איך לפרוס מודל שמשתמש במכונות וירטואליות עם הפעלה גמישה.

סקירה כללית

כדי להפחית את העלות של הפעלת משימות ההסקה, אפשר להשתמש במכונות וירטואליות עם הפעלה גמישה, שמבוססות על מתזמן עומסי עבודה דינמיים. מכונות וירטואליות עם Flex-start מציעות הנחות משמעותיות ומתאימות לעומסי עבודה לפרקי זמן קצרים.

אתם יכולים לציין את משך הזמן שבו אתם צריכים מכונה וירטואלית עם הפעלה גמישה, לכל משך זמן של עד שבעה ימים. אחרי שתוקף הבקשה יפוג, המודל הפרוס יבוטל באופן אוטומטי. אפשר גם לבטל את הפריסה של המודל באופן ידני לפני שהזמן יפוג.

ביטול פריסה אוטומטי

אם תבקשו Flex-start VM למשך זמן מסוים, המודל שלכם יבוטל אוטומטית אחרי התקופה הזו. לדוגמה, אם מבקשים Flex-start VM למשך חמש שעות, המודל מבוטל אוטומטית חמש שעות אחרי השליחה. החיוב מתבצע רק על משך הזמן שבו עומס העבודה פועל.

מגבלות ודרישות

כשמשתמשים במכונות וירטואליות עם הפעלה גמישה, חשוב להביא בחשבון את המגבלות והדרישות הבאות:

• משך מקסימלי: מכונות וירטואליות עם הפעלה גמישה יכולות לפעול למשך שבעה ימים לכל היותר. כל בקשה לפריסה למשך זמן ארוך יותר תידחה.
• תמיכה ב-TPU: אי אפשר להשתמש במכונות וירטואליות עם הפעלה גמישה עם TPU Pods.
• Quota: לפני שמפעילים את העבודה, צריך לוודא שיש מספיק מכסה של Agent Platform שניתן להפסיק. מידע נוסף זמין במאמר בנושא מכסות קצב.
• הקצאת משאבים בהמתנה: אי אפשר להשתמש במכונות וירטואליות מסוג Flex-start עם הקצאת משאבים בהמתנה.
• מיחזור צמתים: אין תמיכה במיחזור צמתים.

חיוב

אם עומס העבודה שלכם פועל פחות משבעה ימים, שימוש במכונות וירטואליות עם הפעלה גמישה יכול להפחית את העלויות.

כשמשתמשים במכונות וירטואליות עם הפעלה גמישה, החיוב מתבצע על סמך משך העבודה וסוג המכונה שנבחר. החיוב מתבצע רק על הזמן שבו עומס העבודה פועל באופן פעיל. לא משלמים על הזמן שבו העבודה נמצאת בתור או על הזמן שחלף אחרי שתוקף משך הזמן המבוקש פג.

החיוב מתחלק בין שני מק"טים:

• המק"ט של Compute Engine, עם התווית vertex-ai-online-prediction. מחירון Dynamic Workload Scheduler

• מק"ט דמי הניהול של Agent Platform. מחירון Agent Platform

קבלת היקשים באמצעות מכונות Flex-start VM

כדי להשתמש ב-Flex-start VM כשפורסים מודל כדי לקבל היקשים, אפשר להשתמש ב-API בארכיטקטורת REST.

לפני שמשתמשים בנתוני הבקשה, צריך להחליף את הנתונים הבאים:

• ‫LOCATION_ID: האזור שבו משתמשים בפלטפורמת הסוכנים.
• ‫PROJECT_ID: מזהה הפרויקט. .
• ‫ENDPOINT_ID: המזהה של נקודת הקצה.
• ‫MODEL_ID: המזהה של המודל שרוצים לפרוס.
• ‫DEPLOYED_MODEL_NAME: שם ל-DeployedModel. אפשר להשתמש גם בשם המוצג של Model בשביל DeployedModel.
• ‫MACHINE_TYPE: אופציונלי. משאבי המכונה שמשמשים לכל צומת בפריסה הזו. הגדרת ברירת המחדל היא n1-standard-2. מידע נוסף על סוגי מכונות
• ‫ACCELERATOR_TYPE: אופציונלי. סוג המאיץ לצירוף למכונה. מידע נוסף
• ‫ACCELERATOR_COUNT: אופציונלי. מספר המאיצים שכל רפליקה יכולה להשתמש בהם.
• ‫MAX_RUNTIME_DURATION: משך הזמן המקסימלי לפריסה עם תאריך התחלה גמיש. אחרי פרק הזמן הזה, המודל שנפרס יבוטל אוטומטית. מציינים את משך הזמן בשניות, ומסיימים עם s. לדוגמה, 3600s לשעה אחת. הערך המקסימלי הוא 604800s (7 ימים).
• ‫PROJECT_NUMBER: מספר הפרויקט שנוצר באופן אוטומטי.

ה-method של ה-HTTP וכתובת ה-URL:

POST https://LOCATION-aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/LOCATION/endpoints/ENDPOINT_ID:deployModel

תוכן בקשת JSON:

{
  "deployedModel": {
    "model": "projects/PROJECT/locations/LOCATION/models/MODEL_ID",
    "displayName": "DEPLOYED_MODEL_NAME",
    "enableContainerLogging": true,
    "dedicatedResources": {
      "machineSpec": {
        "machineType": "MACHINE_TYPE",
        "acceleratorType": "ACCELERATOR_TYPE",
        "acceleratorCount": ACCELERATOR_COUNT
      },
      "flexStart": {
        "maxRuntimeDuration": "MAX_RUNTIME_DURATION"
      },
      "minReplicaCount": 2,
      "maxReplicaCount": 2
    },
  },
}

כדי לשלוח את הבקשה צריך להרחיב אחת מהאפשרויות הבאות:

‫Curl (Linux,‏ macOS או Cloud Shell)

הערה: הפקודה הבאה מבוססת על ההנחה שנכנסתם ל-CLI של gcloud באמצעות חשבון המשתמש שלכם, על ידי הרצת gcloud init או gcloud auth login, או באמצעות Cloud Shell שמחבר אתכם אוטומטית ל-CLI של gcloud. כדי לבדוק איזה חשבון פעיל, אפשר להריץ את הפקודה gcloud auth list.

שומרים את גוף הבקשה בקובץ בשם request.json ומריצים את הפקודה הבאה:

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://LOCATION-aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/LOCATION/endpoints/ENDPOINT_ID:deployModel"

‎PowerShell (Windows)

הערה: הפקודה הבאה מבוססת על ההנחה שנכנסתם ל-CLI של gcloud באמצעות חשבון המשתמש שלכם, על ידי הרצת gcloud init או gcloud auth login. כדי לבדוק איזה חשבון פעיל, אפשר להריץ את הפקודה gcloud auth list.

שומרים את גוף הבקשה בקובץ בשם request.json ומריצים את הפקודה הבאה:

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://LOCATION-aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/LOCATION/endpoints/ENDPOINT_ID:deployModel" | Select-Object -Expand Content

אתם אמורים לקבל תגובת JSON שדומה לזו:

{
  "name": "projects/PROJECT_ID/locations/LOCATION/endpoints/ENDPOINT_ID/operations/OPERATION_ID",
  "metadata": {
    "@type": "type.googleapis.com/google.cloud.aiplatform.v1beta1.DeployModelOperationMetadata",
    "genericMetadata": {
      "createTime": "2020-10-19T17:53:16.502088Z",
      "updateTime": "2020-10-19T17:53:16.502088Z"
    }
  }
}

המאמרים הבאים

• שימוש ב-VM במודל Spot עם הסקת מסקנות ב-Agent Platform

• איך שומרים מקום בעזרת הסקת מסקנות ב-Agent Platform