שימוש בנקודות קצה פרטיות ייעודיות שמבוססות על Private Service Connect להסקת מסקנות אונליין

המידע בדף הזה רלוונטי למודלים באימון מותאם אישית ולמודלים של AutoML. איך משתמשים במודלים ב-Model Garden

באמצעות Private Service Connect אתם יכולים לפרוס את המודל של Gemini Enterprise Agent Platform שעבר אימון בהתאמה אישית, ולהציג הסקות אונליין באופן מאובטח לכמה פרויקטים של צרכנים ורשתות VPC, בלי צורך בכתובות IP ציבוריות, בגישה לאינטרנט הציבורי או בטווח כתובות IP פנימיות שהוגדר במפורש ליחסי פייר.

אנחנו ממליצים להשתמש ב-Private Service Connect לתרחישים לדוגמה של הסקת מסקנות אונליין, שעומדים בדרישות הבאות:

  • דרישה לחיבורים פרטיים ומאובטחים
  • דרישה לזמן אחזור קצר
  • לא צריכים להיות נגישים לכולם

‫Private Service Connect משתמש בכלל העברה ברשת ה-VPC כדי לשלוח תנועה בכיוון אחד לשירות ההסקה אונליין של Agent Platform. כלל ההעברה מתחבר לחיבור לשירות שחושף את שירות Agent Platform לרשת ה-VPC. מידע נוסף זמין במאמר מידע על גישה לשירותי Agent Platform דרך Private Service Connect. מידע נוסף על הגדרת Private Service Connect זמין בסקירה הכללית על Private Service Connect במסמכי התיעוד של Virtual Private Cloud ‏(VPC).

נקודות קצה פרטיות ייעודיות תומכות בפרוטוקולי התקשורת HTTP ו-gRPC. בבקשות gRPC, צריך לכלול את הכותרת x-vertex-ai-endpoint-id כדי לזהות את נקודת הקצה בצורה נכונה. אלה ממשקי ה-API שנתמכים:

  • חיזוי
  • RawPredict
  • StreamRawPredict
  • השלמת צ'אט (Model Garden בלבד)

אתם יכולים לשלוח בקשות להסקת מסקנות אונליין לנקודת קצה פרטית ייעודית באמצעות Agent Platform SDK ל-Python. למידע נוסף, קראו את המאמר קבלת הסקות אונליין.

התפקידים הנדרשים

כדי לקבל את ההרשאה שנדרשת ליצירת נקודת קצה של Private Service Connect, צריך לבקש מהאדמין להקצות לכם את התפקיד משתמש בפלטפורמת הסוכנים (roles/aiplatform.user) ב-IAM בפרויקט. כדי לקרוא הסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

התפקיד המוגדר מראש הזה כולל את ההרשאה aiplatform.endpoints.create, שנדרשת כדי ליצור נקודת קצה (endpoint) של Private Service Connect.

יכול להיות שתוכלו לקבל את ההרשאה הזו גם בתפקידים בהתאמה אישית או בתפקידים מוגדרים מראש.

מידע נוסף על התפקידים וההרשאות ב-Gemini Enterprise Agent Platform זמין במאמרים בקרת גישה ל-Agent Platform באמצעות IAM והרשאות IAM ב-Gemini Enterprise Agent Platform.

יצירת נקודת הקצה להסקת מסקנות אונליין

כדי ליצור נקודת קצה להסקת מסקנות אונליין עם Private Service Connect, אתם יכולים להשתמש באחת מהשיטות הבאות.

זמן הקצוב לתפוגה של בקשה כברירת מחדל לנקודת קצה של Private Service Connect הוא 10 דקות. ב-Agent Platform SDK ל-Python, אפשר לציין זמן קצוב אחר לתפוגת הבקשה על ידי ציון ערך חדש של inference_timeout, כמו בדוגמה הבאה. ערך הזמן הקצוב המקסימלי הוא 3,600 שניות (שעה אחת).

המסוף

  1. במסוף Google Cloud , נכנסים לדף Online prediction ב-Agent Platform.

    מעבר לחיזוי אונליין

  2. לוחצים על יצירה.

  3. מזינים שם לתצוגה של נקודת הקצה.

  4. בוחרים באפשרות פרטי.

  5. בוחרים באפשרות Private Service Connect.

  6. לוחצים על בחירת מזהי פרויקטים.

  7. בוחרים את הפרויקטים שרוצים להוסיף לרשימת ההיתרים של נקודת הקצה.

  8. לוחצים על Continue.

  9. בוחרים את המפרט של המודל. מידע נוסף זמין במאמר פריסת מודל בנקודת קצה (endpoint).

  10. לוחצים על Create כדי ליצור את נקודת הקצה ולפרוס בה את המודל.

  11. רושמים את מזהה נקודת הקצה שבתשובה.

API

REST

לפני שמשתמשים בנתוני הבקשה, צריך להחליף את הנתונים הבאים:

  • ‫VERTEX_AI_PROJECT_ID: מזהה הפרויקט ב- Google Cloud שבו יוצרים את נקודת הקצה לחיזוי אונליין.
  • ‫REGION: האזור שבו אתם משתמשים ב-Gemini Enterprise Agent Platform.
  • ‫VERTEX_AI_ENDPOINT_NAME: השם המוצג של נקודת הקצה לחיזוי אונליין.
  • ‫ALLOWED_PROJECTS: רשימה מופרדת בפסיקים של מזהי פרויקטים ב- Google Cloud , שכל אחד מהם מוקף במירכאות, לדוגמה ["PROJECTID1", "PROJECTID2"]. אם פרויקט לא מופיע ברשימה הזו, לא תוכלו לשלוח ממנו בקשות לחיזוי לנקודת הקצה של Agent Platform. חשוב לכלול את VERTEX_AI_PROJECT_ID ברשימה הזו כדי שתוכלו לקרוא לנקודת הקצה מאותו פרויקט שבו היא נמצאת.
  • ‫INFERENCE_TIMEOUT_SECS: (אופציונלי) מספר השניות בשדה האופציונלי inferenceTimeout.

ה-method של ה-HTTP וכתובת ה-URL:

POST https://REGION-aiplatform.googleapis.com/v1/projects/VERTEX_AI_PROJECT_ID/locations/REGION/endpoints

תוכן בקשת JSON:

{
  "displayName": "VERTEX_AI_ENDPOINT_NAME",
  "privateServiceConnectConfig": {
    "enablePrivateServiceConnect": true,
    "projectAllowlist": ["ALLOWED_PROJECTS"]
  },
  "clientConnectionConfig": {
    "inferenceTimeout": "INFERENCE_TIMEOUT_SECSs"
  }
}

כדי לשלוח את הבקשה צריך להרחיב אחת מהאפשרויות הבאות:

אתם אמורים לקבל תגובת JSON שדומה לזו:

{
  "name": "projects/VERTEX_AI_PROJECT_NUMBER/locations/REGION/endpoints/ENDPOINT_ID/operations/OPERATION_ID",
  "metadata": {
    "@type": "type.googleapis.com/google.cloud.aiplatform.v1.CreateEndpointOperationMetadata",
    "genericMetadata": {
      "createTime": "2020-11-05T17:45:42.812656Z",
      "updateTime": "2020-11-05T17:45:42.812656Z"
    }
  }
}
רושמים את ENDPOINT_ID.

Python

לפני שמנסים את הדוגמה הזו, צריך לפעול לפי הוראות ההגדרה של Python שמפורטות במאמר התחלה מהירה של Agent Platform באמצעות ספריות לקוח.

כדי לבצע אימות ב-Agent Platform, צריך להגדיר את Application Default Credentials. למידע נוסף, ראו הגדרת אימות לסביבת פיתוח מקומית.

מחליפים את מה שכתוב בשדות הבאים:

  • ‫VERTEX_AI_PROJECT_ID: מזהה הפרויקט ב- Google Cloud שבו יוצרים את נקודת הקצה של ההסקה אונליין
  • ‫REGION: האזור שבו משתמשים ב-Gemini Enterprise Agent Platform
  • ‫VERTEX_AI_ENDPOINT_NAME: השם המוצג של נקודת הקצה להסקת מסקנות אונליין
  • ‫ALLOWED_PROJECTS: רשימה מופרדת בפסיקים של מזהי פרויקטים ב- Google Cloud, כל אחד מהם מוקף במירכאות. לדוגמה: ["PROJECTID1", "PROJECTID2"]. אם פרויקט לא מופיע ברשימה הזו, לא תוכלו לשלוח ממנו בקשות להסקת מסקנות לנקודת הקצה של Agent Platform. חשוב לכלול ברשימה הזו את VERTEX_AI_PROJECT_ID כדי שתוכלו לקרוא לנקודת הקצה מאותו פרויקט שבו היא נמצאת.
  • ‫INFERENCE_TIMEOUT_SECS: (אופציונלי) מספר השניות בערך האופציונלי inference_timeout.
PROJECT_ID = "VERTEX_AI_PROJECT_ID"
REGION = "REGION"
VERTEX_AI_ENDPOINT_NAME = "VERTEX_AI_ENDPOINT_NAME"
INFERENCE_TIMEOUT_SECS = "INFERENCE_TIMEOUT_SECS"

from google.cloud import aiplatform

aiplatform.init(project=PROJECT_ID, location=REGION)

# Create the forwarding rule in the consumer project
psc_endpoint = aiplatform.PrivateEndpoint.create(
display_name=VERTEX_AI_ENDPOINT_NAME,
project=PROJECT_ID,
location=REGION,
private_service_connect_config=aiplatform.PrivateEndpoint.PrivateServiceConnectConfig(
    project_allowlist=["ALLOWED_PROJECTS"],
    ),
inference_timeout=INFERENCE_TIMEOUT_SECS,
)

שימו לב ל-ENDPOINT_ID בסוף ה-URI של נקודת הקצה שהוחזר:

INFO:google.cloud.aiplatform.models:To use this PrivateEndpoint in another session:
INFO:google.cloud.aiplatform.models:endpoint = aiplatform.PrivateEndpoint('projects/VERTEX_AI_PROJECT_ID/locations/REGION/endpoints/ENDPOINT_ID')

יצירת נקודת קצה להסקת מסקנות אונליין באמצעות אוטומציה של PSC

הסקת מסקנות אונליין משתלבת עם אוטומציה של קישוריות לשירות, שמאפשרת להגדיר נקודות קצה (endpoints) להסקת מסקנות באמצעות אוטומציה של PSC. כך התהליך פשוט יותר כי נקודות הקצה של PSC נוצרות באופן אוטומטי, וזה מועיל במיוחד למפתחי ML שאין להם הרשאות ליצור משאבי רשת כמו כללי העברה בתוך פרויקט.

כדי להתחיל, מנהל הרשת צריך להגדיר מדיניות חיבור לשירות. המדיניות הזו היא הגדרה חד-פעמית לכל פרויקט ורשת, שמאפשרת ל-Gemini Enterprise Agent Platform (סיווג שירות gcp-vertexai) ליצור נקודות קצה של PSC בפרויקטים וברשתות שלכם.

אחר כך אתם יכולים ליצור נקודות קצה באמצעות הגדרת האוטומציה של PSC, ואז לפרוס את המודלים. בסיום הפריסה, אפשר לגשת למידע הרלוונטי על נקודת הקצה של ה-PSC בתוך נקודות הקצה.

מגבלות

  • בכל אזור יש מגבלה של 500 נקודות קצה (endpoints) להגדרות של אוטומציית PSC.
  • תוצאות האוטומציה של PSC נמחקות כשאין מודל שנפרס או שנמצא בתהליך פריסה בנקודת הקצה. אחרי הניקוי ופריסת המודל, תוצאות האוטומציה החדשות כוללות כתובות IP וכללי העברה נפרדים.

יצירת מדיניות של חיבורי שירות

כדי ליצור את מדיניות החיבור לשירות, צריך להיות מנהל רשת. כדי לאפשר ל-Agent Platform ליצור נקודות קצה של PSC ברשתות שלכם, צריך להגדיר מדיניות חיבור לשירות. בלי מדיניות תקינה, האוטומציה תיכשל ותופיע השגיאה CONNECTION_POLICY_MISSING.

  1. יוצרים את מדיניות החיבור לשירות.

    • ‫POLICY_NAME: שם למדיניות שהמשתמשים מציינים.
    • ‫PROJECT_ID: המזהה של הפרויקט שבו אתם יוצרים משאבים של Gemini Enterprise Agent Platform.

    • ‫VPC_PROJECT: מזהה הפרויקט שבו נמצא ה-VPC של הלקוח. בהגדרה של VPC יחיד, זהה ל-$PROJECT. בהגדרה של VPC משותף, זהו הפרויקט המארח של ה-VPC.

    • ‫NETWORK_NAME: שם הרשת לפריסה.

    • ‫REGION: האזור של הרשת.

    • ‫PSC_SUBNETS: רשתות המשנה של Private Service Connect שבהן רוצים להשתמש.

    gcloud network-connectivity service-connection-policies create POLICY_NAME \
        --project=VPC_PROJECT \
        --network=projects/PROJECT_ID/global/networks/NETWORK_NAME \
        --service-class=gcp-vertexai --region=REGION --subnets=PSC_SUBNETS
    
  2. לצפות במדיניות החיבור לשירות.

    gcloud network-connectivity service-connection-policies list \
        --project=VPC_PROJECT --region=REGION

    כך נראית דוגמה להגדרה של VPC יחיד:

        gcloud network-connectivity service-connection-policies create test-policy \
            --network=default \
            --project=YOUR_PROJECT_ID \
            --region=us-central1 \
            --service-class=gcp-vertexai \
            --subnets=default \
            --psc-connection-limit=500 \
            --description=test

יצירת נקודת קצה להסקת מסקנות אונליין עם הגדרת אוטומציה של PSC

בPSCAutomationConfig, מוודאים ש-projectId נמצא ברשימת ההיתרים.

REST

לפני שמשתמשים בנתוני הבקשה, צריך להחליף את הנתונים הבאים:

  • ‫REGION: האזור שבו אתם משתמשים ב-Agent Platform.
  • ‫VERTEX_AI_PROJECT_ID: מזהה הפרויקט ב- Google Cloud שבו יוצרים את נקודת הקצה להסקת מסקנות אונליין.
  • ‫VERTEX_AI_ENDPOINT_NAME: השם המוצג של נקודת הקצה לחיזוי אונליין.
  • ‫NETWORK_NAME: שם המשאב המלא, כולל מזהה הפרויקט, במקום מספר הפרויקט.

ה-method של ה-HTTP וכתובת ה-URL:

POST https://REGION-aiplatform.googleapis.com/v1/projects/VERTEX_AI_PROJECT_ID/locations/REGION/endpoints

תוכן בקשת JSON:

{
  {
    displayName: "VERTEX_AI_ENDPOINT_NAME",
    privateServiceConnectConfig: {
      enablePrivateServiceConnect: true,
      projectAllowlist: ["VERTEX_AI_PROJECT_ID"],
      pscAutomationConfigs: [
        { "project_id": "VERTEX_AI_PROJECT_ID", "network": "projects/VERTEX_AI_PROJECT_ID/global/networks/NETWORK_NAME" },
      ],
    },
  },

כדי לשלוח את הבקשה צריך להרחיב אחת מהאפשרויות הבאות:

אתם אמורים לקבל תגובת JSON שדומה לזו:

{
  "name": "projects/VERTEX_AI_PROJECT_NUMBER/locations/REGION/endpoints/ENDPOINT_ID/operations/OPERATION_ID",
  "metadata": {
    "@type": "type.googleapis.com/google.cloud.aiplatform.v1.CreateEndpointOperationMetadata",
    "genericMetadata": {
      "createTime": "2020-11-05T17:45:42.812656Z",
      "updateTime": "2020-11-05T17:45:42.812656Z"
    }
  }
}
רושמים את ENDPOINT_ID.

Python

לפני שמנסים את הדוגמה הזו, צריך לפעול לפי הוראות ההגדרה של Python שמפורטות במאמר התחלה מהירה של Agent Platform באמצעות ספריות לקוח.

כדי לבצע אימות ב-Agent Platform, צריך להגדיר את Application Default Credentials. למידע נוסף, ראו הגדרת אימות לסביבת פיתוח מקומית.

מחליפים את מה שכתוב בשדות הבאים:

  • ‫VERTEX_AI_PROJECT_ID: מזהה הפרויקט ב- Google Cloud שבו יוצרים את נקודת הקצה של ההסקה אונליין
  • ‫REGION: האזור שבו משתמשים ב-Gemini Enterprise Agent Platform
  • ‫VERTEX_AI_ENDPOINT_NAME: השם המוצג של נקודת הקצה להסקת מסקנות אונליין
  • ‫NETWORK_NAME: שם המשאב המלא, כולל מזהה הפרויקט, במקום מספר הפרויקט.
PROJECT_ID = "VERTEX_AI_PROJECT_ID"
REGION = "REGION"
VERTEX_AI_ENDPOINT_NAME = "VERTEX_AI_ENDPOINT_NAME"

from google.cloud import aiplatform

aiplatform.init(project=PROJECT_ID, location=REGION)

config =
aiplatform.compat.types.service_networking.PrivateServiceConnectConfig(
        enable_private_service_connect=True,
        project_allowlist="VERTEX_AI_PROJECT_ID"
        psc_automation_configs=[
            aiplatform.compat.types.service_networking.PSCAutomationConfig(
                project_id="VERTEX_AI_PROJECT_ID"
network=projects/"VERTEX_AI_PROJECT_ID"/global/networks/"NETWORK_NAME",
            )
        ]
    )
psc_endpoint = aiplatform.PrivateEndpoint.create(
     display_name="VERTEX_AI_ENDPOINT_NAME"
     private_service_connect_config=config,
)

פריסת המודל

אחרי שיוצרים את נקודת הקצה להסקת מסקנות אונליין עם Private Service Connect, פורסים בה את המודל לפי השלבים שמפורטים במאמר פריסת מודל בנקודת קצה.

יצירה ידנית של נקודת קצה של PSC

כדי לחבר את רשת ה-VPC לנקודת הקצה של ההסקה אונליין באופן ידני, צריך לקבל את ה-URI של צירוף השירות, ליצור כלל העברה ולקבל את כתובת ה-IP הפנימית.

אחזור ה-URI של צירוף השירות

כשפורסים את המודל, נוצר צירוף שירות לנקודת הקצה של ההסקה אונליין. החיבור לשירות הזה מייצג את שירות ההסקה אונליין של Agent Platform שנחשף לרשת ה-VPC שלכם. מריצים את הפקודה gcloud ai endpoints describe כדי לקבל את ה-URI של צירוף השירות.

  1. צריך לציין רק את הערך של serviceAttachment מפרטי נקודת הקצה:

    gcloud ai endpoints describe ENDPOINT_ID \
    --project=VERTEX_AI_PROJECT_ID \
    --region=REGION \
    | grep -i serviceAttachment
    

    מחליפים את מה שכתוב בשדות הבאים:

    • ‫ENDPOINT_ID: המזהה של נקודת הקצה להסקת מסקנות אונליין
    • ‫VERTEX_AI_PROJECT_ID: מזהה הפרויקט ב- Google Cloud שבו יצרתם את נקודת הקצה להסקת מסקנות אונליין
    • ‫REGION: האזור של הבקשה הזו

    הפלט אמור להיראות כך:

    serviceAttachment: projects/ac74a9f84c2e5f2a1-tp/regions/us-central1/serviceAttachments/gkedpm-c6e6a854a634dc99472bb802f503c1
    
  2. רושמים את כל המחרוזת בשדה serviceAttachment. זהו ה-URI של צירוף השירות.

יצירת כלל העברה

אתם יכולים לשמור כתובת IP פנימית וליצור כלל העברה עם הכתובת הזו. כדי ליצור את כלל ההעברה, צריך את ה-URI של צירוף השירות מהשלב הקודם.

  1. כדי לשמור כתובת IP פנימית לכלל ההעברה, משתמשים בפקודה gcloud compute addresses create:

    gcloud compute addresses create ADDRESS_NAME \
    --project=VPC_PROJECT_ID \
    --region=REGION \
    --subnet=SUBNETWORK \
    --addresses=INTERNAL_IP_ADDRESS
    

    מחליפים את מה שכתוב בשדות הבאים:

    • ‫ADDRESS_NAME: שם לכתובת ה-IP הפנימית
    • ‫VPC_PROJECT_ID: מזהה הפרויקט ב- Google Cloud שמארח את רשת ה-VPC. אם נקודת הקצה להסקת מסקנות אונליין וכלל ההעברה של Private Service Connect מתארחים באותו פרויקט, משתמשים ב-VERTEX_AI_PROJECT_ID בשביל הפרמטר הזה.
    • ‫REGION: האזור ב- Google Cloud שבו רוצים ליצור את כלל ההעברה של Private Service Connect
    • ‫SUBNETWORK: השם של רשת המשנה של ה-VPC שמכילה את כתובת ה-IP
    • ‫INTERNAL_IP_ADDRESS: כתובת ה-IP הפנימית שרוצים לשמור. הפרמטר הזה הוא אופציונלי.

      • אם הפרמטר הזה צוין, כתובת ה-IP חייבת להיות בטווח כתובות ה-IP הראשי של רשת המשנה. כתובת ה-IP יכולה להיות כתובת RFC 1918 או רשת משנה עם טווחים שהם לא RFC.
      • אם משמיטים את הפרמטר הזה, כתובת IP פנימית מוקצית באופן אוטומטי.
      • מידע נוסף זמין במאמר שמירת כתובת IPv4 או IPv6 פנימית סטטית חדשה.
  2. כדי לוודא שכתובת ה-IP שמורה, משתמשים בפקודה gcloud compute addresses list:

    gcloud compute addresses list --filter="name=(ADDRESS_NAME)" \
    --project=VPC_PROJECT_ID
    

    בתגובה, מוודאים שמופיע הסטטוס RESERVED לכתובת ה-IP.

  3. כדי ליצור את כלל ההעברה ולהפנות אותו לחיבור של שירות ההסקה אונליין, משתמשים בפקודה gcloud compute forwarding-rules create:

    gcloud compute forwarding-rules create PSC_FORWARDING_RULE_NAME \
        --address=ADDRESS_NAME \
        --project=VPC_PROJECT_ID \
        --region=REGION \
        --network=VPC_NETWORK_NAME \
        --target-service-attachment=SERVICE_ATTACHMENT_URI
    

    מחליפים את מה שכתוב בשדות הבאים:

    • ‫PSC_FORWARDING_RULE_NAME: שם לכלל ההעברה
    • ‫VPC_NETWORK_NAME: השם של רשת ה-VPC שבה רוצים ליצור את נקודת הקצה
    • ‫SERVICE_ATTACHMENT_URI: צירוף השירות שציינתם קודם
  4. כדי לוודא שחיבור השירות מקבל את נקודת הקצה, משתמשים בפקודה gcloud compute forwarding-rules describe:

    gcloud compute forwarding-rules describe PSC_FORWARDING_RULE_NAME \
    --project=VPC_PROJECT_ID \
    --region=REGION
    

    בתשובה, מוודאים שהסטטוס ACCEPTED מופיע בשדה pscConnectionStatus.

איך מקבלים את כתובת ה-IP הפנימית

אם לא ציינתם ערך ל-INTERNAL_IP_ADDRESS כשיצרתם את כלל ההעברה, אתם יכולים להשתמש בפקודה gcloud compute forwarding-rules describe כדי לקבל את הכתובת שהוקצתה באופן אוטומטי:

gcloud compute forwarding-rules describe PSC_FORWARDING_RULE_NAME \
--project=VERTEX_AI_PROJECT_ID \
--region=REGION \
| grep -i IPAddress

מחליפים את מה שכתוב בשדות הבאים:

  • ‫VERTEX_AI_PROJECT_ID: מזהה הפרויקט
  • ‫REGION: שם האזור של הבקשה הזו

אופציונלי: קבלת נקודת קצה של PSC מתוצאת האוטומציה של PSC

אתם יכולים לקבל את כתובת ה-IP וכלל ההעברה שנוצרו מנקודת הקצה להסקת המידע. הנה דוגמה:

"privateServiceConnectConfig": {
  "enablePrivateServiceConnect": true,
  "projectAllowlist": [
    "your-project-id",
  ],
  "pscAutomationConfigs": [
    {
      "projectId": "your-project-id",
      "network": "projects/your-project-id/global/networks/default",
      "ipAddress": "10.128.15.209",
      "forwardingRule": "https://www.googleapis.com/compute/v1/projects/your-project-id/regions/us-central1/forwardingRules/sca-auto-fr-47b0d6a4-eaff-444b-95e6-e4dc1d10101e",
      "state": "PSC_AUTOMATION_STATE_SUCCESSFUL"
    },
  ]
}

הנה כמה פרטים על טיפול בשגיאות.

  • כשל באוטומציה לא משפיע על התוצאה של פריסת המודל.
  • הסטטוס מציין אם הפעולה הצליחה או נכשלה.
    • אם הפעולה הצליחה, כתובת ה-IP וכלל ההעברה יוצגו.
    • אם הניסיון נכשל, מוצגת הודעת שגיאה.
  • הגדרות האוטומציה מוסרות כשאין מודלים שנפרסו או שנמצאים בתהליך פריסה בנקודת הקצה. כתוצאה מכך, כתובת ה-IP וכלל ההעברה ישתנו אם המודל ייפרס מאוחר יותר.
  • פעולה אוטומטית שנכשלה לא תתחדש. אם הפעולה נכשלת, עדיין אפשר ליצור את נקודת הקצה של ה-PSC באופן ידני. ראו יצירה ידנית של נקודת קצה של PSC.

קבלת הסקות אונליין

התהליך של קבלת הסקות אונליין מנקודת קצה עם Private Service Connect דומה לקבלת הסקות אונליין מנקודות קצה ציבוריות, אבל יש כמה הבדלים:

  • צריך לשלוח את הבקשה מפרויקט שצוין ב-projectAllowlist כשנוצרה נקודת הקצה להסקת מסקנות אונליין.
  • אם הגישה הגלובלית לא מופעלת, צריך לשלוח את הבקשה מאותו אזור.
  • בגלל שנקודת קצה של Private Service Connect משתמשת בכתובת IP פנימית שאפשר לנתב רק בתוך רשת ה-VPC, אי אפשר לשלוח בקשות ישירות מרשתות ציבוריות או חיצוניות, כמו מחשב פיתוח מקומי לא מחובר או סשן Cloud Shell שמוגדר כברירת מחדל. כדי לשלוח בקשות ממכונה מקומית או מרשת חיצונית, צריך לנתב את התנועה לרשת ה-VPC של הצרכן באחת מהשיטות הבאות:
  • יש שתי יציאות פתוחות: 443 עם TLS באמצעות אישור בחתימה עצמית, ו-80 בלי TLS. שתי היציאות תומכות ב-HTTP וב-gRPC. כל התנועה נשארת ברשת הפרטית ולא עוברת באינטרנט הציבורי.
  • השיטה המומלצת היא להשתמש ב-HTTPS עם האישור בחתימה עצמית שהתקבל מההסקה אונליין של Gemini Enterprise Agent Platform, או לפרוס אישור משלכם בחתימה עצמית.
  • כדי לקבל הסקות, צריך ליצור חיבור באמצעות כתובת ה-IP הסטטית של נקודת הקצה, אלא אם נוצרה רשומת DNS לכתובת ה-IP הפנימית. לדוגמה, שולחים את הבקשות של predict לנקודת הקצה הבאה:

    http://INTERNAL_IP_ADDRESS/v1/projects/VERTEX_AI_PROJECT_ID/locations/REGION/endpoints/ENDPOINT_ID:predict
    

    מחליפים את INTERNAL_IP_ADDRESS בכתובת ה-IP הפנימית ששמרתם קודם.

  • בבקשות gRPC: כדי לוודא שנקודת הקצה מזוהה בצורה תקינה בבקשות gRPC, צריך לכלול את הכותרת x-vertex-ai-endpoint-id. הפעולה הזו נדרשת כי פרטי נקודת הקצה לא מועברים בנתיב הבקשה לתקשורת gRPC.

יצירת רשומת DNS לכתובת ה-IP הפנימית

מומלץ ליצור רשומת DNS כדי שתוכלו לקבל הסקות אונליין מנקודת הקצה בלי לציין את כתובת ה-IP הפנימית.

למידע נוסף, קראו את המאמר דרכים אחרות להגדרת DNS.

  1. יוצרים תחום DNS פרטי באמצעות הפקודה gcloud dns managed-zones create. האזור הזה משויך לרשת ה-VPC שבה נוצר כלל ההעברה.

    DNS_NAME_SUFFIX="prediction.p.vertexai.goog."  # DNS names have "." at the end.
    gcloud dns managed-zones create ZONE_NAME \
    --project=VPC_PROJECT_ID \
    --dns-name=$DNS_NAME_SUFFIX \
    --networks=VPC_NETWORK_NAME \
    --visibility=private \
    --description="A DNS zone for Agent Platform endpoints using Private Service Connect."
    
    

    מחליפים את מה שכתוב בשדות הבאים:

    • ‫ZONE_NAME: השם של תחום ה-DNS
  2. כדי ליצור רשומת DNS באזור, משתמשים בפקודה gcloud dns record-sets create:

    DNS_NAME=ENDPOINT_ID-REGION-VERTEX_AI_PROJECT_NUMBER.$DNS_NAME_SUFFIX
    gcloud dns record-sets create $DNS_NAME \
    --rrdatas=INTERNAL_IP_ADDRESS \
    --zone=ZONE_NAME \
    --type=A \
    --ttl=60 \
    --project=VPC_PROJECT_ID
    

    מחליפים את מה שכתוב בשדות הבאים:

    • ‫VERTEX_AI_PROJECT_NUMBER: מספר הפרויקט ב-VERTEX_AI_PROJECT_ID. אפשר למצוא את מספר הפרויקט במסוף Google Cloud . מידע נוסף זמין במאמר זיהוי פרויקטים.
    • ‫INTERNAL_IP_ADDRESS: כתובת ה-IP הפנימית של נקודת הקצה של ההסקה אונליין

    עכשיו אתם יכולים לשלוח את הבקשות שלכם בנושא predict אל:

    http://ENDPOINT_ID-REGION-VERTEX_AI_PROJECT_NUMBER.prediction.p.vertexai.goog/v1/projects/VERTEX_AI_PROJECT_ID/locations/REGION/endpoints/ENDPOINT_ID:predict
    

תמיכה באישורי Transport Layer Security (‏TLS)

ההסקה אונליין ב-Gemini Enterprise Agent Platform מאובטחת באמצעות אישור בחתימה עצמית. האישור הזה לא נחתם על ידי רשות אישורים (CA) מהימנה, ולכן צריך להגדיר במפורש את הלקוחות שמנסים ליצור חיבור HTTPS כך שיסמכו עליו. האישור בחתימה עצמית שמתקבל מנקודת הקצה של ההיסק אונליין ב-Gemini Enterprise Agent Platform תקף ל-10 שנים. האישור הזה לא ייחודי לנקודת קצה ספציפית, ולכן אפשר להשתמש באישור אחד לכל השילובים של מאגר האישורים. אלה השלבים הכלליים שצריך לבצע כדי ליצור חיבור HTTPS להסקת מסקנות אונליין ב-Gemini Enterprise Agent Platform:

  1. הגדרת DNS: האישור בחתימה עצמית כולל את השם החלופי של הבעלים (SAN) *.prediction.p.vertexai.goog. אתם צריכים ליצור ברשת רשומת DNS שתואמת לפורמט הזה.

    לפרטים על ההטמעה, קראו את המאמר יצירת רשומת DNS לכתובת ה-IP הפנימית.

  2. יצירת אמון אצל הלקוח: הלקוח צריך להוריד את האישור בחתימה עצמית ולהוסיף אותו למאגר האישורים המקומי שלו.

  3. יצירת חיבור HTTPS: כדי ליצור חיבור HTTPS להסקת מסקנות אונליין ב-Gemini Enterprise Agent Platform, צריך להשתמש בשם הדומיין שמוגדר במלואו (FQDN). הפעולה הזו נדרשת כי השירות משתמש באישור SSL עם תו כללי לחיפוש שתקף לדומיין *.prediction.p.vertexai.goog.

בשלבים הבאים מוסבר איך להוריד את אישור ההסקה אונליין של Gemini Enterprise Agent Platform ולהוסיף אותו למאגר האישורים המקומי במערכות Linux שמבוססות על Debian, כמו Debian 11 ו-Ubuntu.

  1. מעדכנים את חבילות מערכת ההפעלה ומתקינים את OpenSSL:

    sudo apt update && sudo apt install openssl
    
  2. מריצים את הפקודה הבאה מספריית הבית כדי להוריד את אישור ההסקה אונליין של Gemini Enterprise Agent Platform ולשמור אותו בקובץ בשם vertex_certificate.crt בספרייה הנוכחית. מחליפים את הפרטים הבאים:

    • ‫ENDPOINT_ID: המזהה של נקודת הקצה של המודל שנפרס
    • ‫REGION: האזור שבו נמצאת נקודת הקצה (endpoint)
    • ‫VERTEX_AI_PROJECT_NUMBER: מספר הפרויקט. אפשר למצוא את מספר הפרויקט במסוף Google Cloud . מידע נוסף זמין במאמר זיהוי פרויקטים.
    openssl s_client -showcerts -connect \
    ENDPOINT_ID-REGION-VERTEX_AI_PROJECT_NUMBER.prediction.p.vertexai.goog:443 </dev/null | \
    openssl x509 -outform pem -out vertex_certificate.crt
    
    
  3. מעבירים את האישור למאגר האישורים של המערכת:

    sudo mv vertex_certificate.crt /usr/local/share/ca-certificates
    
  4. מעדכנים את רשימת רשויות האישורים המהימנות ב-Certificate Manager. אמור להופיע פלט שמאשר שנוסף אישור אחד.

    sudo update-ca-certificates
    
  5. שולחים בקשת predict לכתובת ה-URL הבאה, ומבצעים את ההחלפות הבאות:

    • ‫INTERNAL_IP_ADDRESS: כתובת ה-IP הפנימית של נקודת הקצה של ההסקה אונליין
    • ‫VERTEX_AI_PROJECT_ID: מזהה הפרויקט שלכם
    https://ENDPOINT_ID-REGION-VERTEX_AI_PROJECT_NUMBER.prediction.p.vertexai.goog/v1/projects/VERTEX_AI_PROJECT_ID/locations/REGION/endpoints/ENDPOINT_ID:predict
    

תמיכה באישורים מותאמים אישית ל-TLS

בארגונים שצריכים שליטה מדויקת בניהול וברוטציה של אישורים לנקודות קצה (endpoint) של הסקת מסקנות אונליין ב-Gemini Enterprise Agent Platform, אפשר להשתמש באישורים בניהול הלקוח עם Google Cloudמאזן עומסים של אפליקציות (ALB) אזורי (HTTPS) חיצוני או פנימי.

אלה השלבים העיקריים לפריסה:

  1. יוצרים אישור באחת מהדרכים הבאות:

    • יוצרים אישור בחתימה עצמית (או משתמשים ברשות האישורים שלכם) לדומיין מותאם אישית. דומיינים מותאמים אישית לא צריכים להיות בפורמט ספציפי.
    • משתמשים ב-Certificate Manager כדי ליצור אישור בניהול Google. באישורים שמנוהלים על ידי Google יש מגבלות על אורך שמות הדומיינים הנתמכים. מידע נוסף זמין במאמר מגבלות על אורך שם הדומיין של אישורים בניהול Google.
  2. פורסים מאזן עומסים של אפליקציות (ALB) אזורי (HTTPS):

  3. מגדירים את ה-DNS:

    • מוסיפים רשומת A לתחום ה-DNS. האזור יכול להיות ציבורי או פרטי.
    • הרשומה הזו צריכה למפות את הדומיין המותאם אישית שמוגדר במלואו (לדוגמה, example.com) לכתובת ה-IP של מאזן העומסים של אפליקציות (ALB) האזורי.
  4. מעדכנים את מאגר האישורים המקומי:

    • כדי שהלקוח יאמת את השרת, צריך לייבא את האישור של מאזן העומסים של האפליקציות (או את רשות האישורים שהנפיקה אותו) למאגר האישורים המקומי.

עכשיו אפשר לשלוח את בקשות החיזוי לדומיין המותאם אישית המלא:

https://example.com/v1/projects/VERTEX_AI_PROJECT_ID/locations/REGION/endpoints/ENDPOINT_ID:predict

דוגמאות להסקת מסקנות אונליין

בקטעים הבאים מפורטות דוגמאות לשליחת בקשת predict באמצעות Python.

דוגמה ראשונה

psc_endpoint = aiplatform.PrivateEndpoint("projects/VERTEX_AI_PROJECT_ID/locations/REGION/endpoints/ENDPOINT_ID")
REQUEST_FILE = "PATH_TO_INPUT_FILE"
import json

import urllib3

urllib3.disable_warnings(urllib3.exceptions.InsecureRequestWarning)

with open(REQUEST_FILE) as json_file:
    data = json.load(json_file)
    response = psc_endpoint.predict(
        instances=data["instances"], endpoint_override=INTERNAL_IP_ADDRESS
    )
print(response)

מחליפים את PATH_TO_INPUT_FILE בנתיב לקובץ JSON שמכיל את הקלט של הבקשה.

דוגמה שנייה

import json
import requests
import urllib3
import google.auth.transport.requests

urllib3.disable_warnings(urllib3.exceptions.InsecureRequestWarning)

REQUEST_FILE = "PATH_TO_INPUT_FILE"

# Programmatically get credentials and generate an access token
creds, project = google.auth.default()
auth_req = google.auth.transport.requests.Request()
creds.refresh(auth_req)
access_token = creds.token
# Note: the credential lives for 1 hour by default
# After expiration, it must be refreshed
# See https://cloud.google.com/docs/authentication/token-types#access-tokens
# for token lifetimes.

with open(REQUEST_FILE) as json_file:
    data = json.load(json_file)
    url = "https://INTERNAL_IP_ADDRESS/v1/projects/VERTEX_AI_PROJECT_ID/locations/REGION/endpoints/ENDPOINT_ID:predict"
    headers = {
      "Content-Type": "application/json",
      "Authorization": f"Bearer {access_token}"  # Add access token to headers
    }
    payload = {
      "instances": data["instances"],
    }

response = requests.post(url, headers=headers, json=payload, verify=False)

print(response.json())

דוגמה שלישית

הדוגמה הבאה ממחישה איך אפשר לשלוח את הבקשה predict לתחום ה-DNS באמצעות Python:

REQUEST_FILE = "PATH_TO_INPUT_FILE"
import json

import urllib3

urllib3.disable_warnings(urllib3.exceptions.InsecureRequestWarning)

with open(REQUEST_FILE) as json_file:
    data = json.load(json_file)
    response = psc_endpoint.predict(
        instances=data["instances"], endpoint_override=DNS_NAME
    )
print(response)

מחליפים את DNS_NAME בשם ה-DNS שציינתם בפקודה gcloud dns record-sets create.

שיטות מומלצות

כשפורסים נקודת קצה חדשה, יכול להיות שחיבור השירות יתעדכן. לפני ששולחים את קריאת ההסקה, תמיד צריך לבדוק את הסטטוס של צירוף השירות ושל נקודת הקצה של ה-PSC. הנה כמה שיטות מומלצות:

  • אם לנקודת קצה (endpoint) אין פריסות פעילות, יכול להיות ש-Gemini Enterprise Agent Platform ימחק את צירוף השירות וייצור אותו מחדש. כשיוצרים מחדש את חיבור השירות, צריך לוודא שנקודת הקצה של ה-PSC מחוברת (על ידי יצירה מחדש של כלל ההעברה).
  • כשלנקודת קצה יש מודל פעיל שנפרס, קובץ ה-Service Attachment לא משתנה. כדי לשמור על חיבור השירות, צריך ליצור חלוקת תנועה ולהעביר בהדרגה את התנועה לגרסת המודל החדשה, לפני שמבטלים את הפריסה של הגרסה הקודמת.
  • בפלטפורמת הסוכנים של Gemini Enterprise אפשר ליצור עד 1,000 חיבורים לכל צירוף שירות.
  • גם לכלל ההעברה יש מגבלת מכסה. למידע נוסף, קראו את המאמר מכסות ומגבלות של Cloud Load Balancing.

מגבלות

נקודות קצה של Agent Platform עם Private Service Connect כפופות למגבלות הבאות:

  • אי אפשר לפרוס מודלים מכווננים של Gemini.
  • אין תמיכה בתעבורת נתונים יוצאת פרטית מתוך נקודת הקצה. בגלל שכללי ההעברה של Private Service Connect הם חד-כיווניים, אי אפשר לגשת לעומסי עבודה פרטיים אחרים שלGoogle Cloud בתוך הקונטיינר.
  • אי אפשר לשנות את הערך projectAllowlist של נקודת קצה.
  • אין תמיכה ב-Vertex AI ניתן להסברה.
  • לפני שמוחקים נקודת קצה, צריך לבטל את פריסת המודל מנקודת הקצה הזו.
  • אם כל המודלים לא נפרסו במשך יותר מ-10 דקות, יכול להיות שחיבור השירות יימחק. בודקים את סטטוס החיבור של Private Service Connect. אם הסטטוס הוא CLOSED, יוצרים מחדש את כלל ההעברה.
  • אחרי שמוחקים נקודת קצה, אי אפשר להשתמש שוב בשם של נקודת הקצה הזו במשך עד 7 ימים.
  • בפרויקט יכולים להיות עד 10 ערכים שונים של projectAllowlist בהגדרות של Private Service Connect.

המאמרים הבאים