‫Google משתמשת בטכנולוגיית AI כדי לתרגם תוכן לשפה המועדפת עליך. בתרגומים כאלו עשויות להיות שגיאות.

שימוש במודלים ב-Model Garden

ב-Model Garden במסוףGoogle Cloud אפשר למצוא מודלים, לבדוק אותם, לשפר אותם ולפרוס אותם. אפשר גם לפרוס מודלים של Model Garden באמצעות Google Cloud CLI.

שליחת הנחיות לבדיקה

נכנסים לדף Model Garden במסוף Google Cloud .

כניסה ל-Model Garden
מוצאים מודל נתמך שרוצים לבדוק ולוחצים על הצגת פרטים.
לוחצים על פתיחת עיצוב ההנחיה.

אתם מועברים לדף עיצוב הנחיות.
בשדה Prompt, מזינים את ההנחיה שרוצים לבדוק.
אופציונלי: מגדירים את הפרמטרים של המודל.
לוחצים על שליחה.

כוונון מודל

נכנסים לדף Model Garden במסוף Google Cloud .

כניסה ל-Model Garden
ב-Search models, מזינים Gemma 3 ולוחצים על זכוכית המגדלת כדי לחפש.
לוחצים על הצגת פרטים בכרטיס המודל של Gemma 3.
לוחצים על Open fine-tuning pipeline.

המערכת תעביר אתכם לדף Pipelines ב-Agent Platform.
כדי להתחיל את הכוונון, לוחצים על Create run.

כוונון ב-Notebook

בכרטיסי המודל של רוב מודלי הבסיס בקוד פתוח והמודלים שאפשר לכוונן, אפשר לבצע כוונון ב-Notebook.

נכנסים לדף Model Garden במסוף Google Cloud .

כניסה ל-Model Garden
מוצאים מודל נתמך שרוצים לכוונן ועוברים לכרטיס המודל שלו.
לוחצים על פתיחת ה-Notebook.

פריסת מודל פתוח

אפשר לפרוס מודל באמצעות כרטיס המודל שלו במסוף Google Cloud או באופן פרוגרמטי.

למידע נוסף על הגדרת Google Gen AI SDK או Google Cloud CLI, קראו את הסקירה הכללית על Google Gen AI SDK או את המאמר התקנת Google Cloud CLI.

המסוף

נכנסים לדף Model Garden במסוף Google Cloud .

כניסה ל-Model Garden
מוצאים מודל נתמך שרוצים לפרוס ולוחצים על כרטיס המודל שלו.
לוחצים על Deploy כדי לפתוח את החלונית Deploy model.
בחלונית Deploy model, מציינים את פרטי הפריסה.
1. משתמשים בשמות שנוצרו למודל ולנקודת הקצה, או משנים אותם.
2. בוחרים מיקום שבו רוצים ליצור את נקודת הקצה של המודל.
3. בוחרים את סוג המכונה לכל צומת בפריסה.
4. כדי להשתמש בהזמנה של Compute Engine, בקטע Deployment settings בוחרים באפשרות Advanced.
בשדה Reservation type, בוחרים סוג הזמנה. ההזמנה צריכה להתאים למפרט המכונה שציינתם.
- ‫Automatically use created reservation: פלטפורמת Gemini Enterprise Agent בוחרת באופן אוטומטי הקצאה מותרת עם מאפיינים תואמים. אם אין קיבולת במאגר שנבחר אוטומטית, Gemini Enterprise Agent Platform משתמש במאגר המשאבים הכללי של Google Cloud .
- בחירת מקומות שמורים ספציפיים: Gemini Enterprise Agent Platform משתמשת במקום שמור ספציפי. אם אין קיבולת פנויה בנפח שהזמנתם, תופיע הודעת שגיאה.
- לא להשתמש (ברירת המחדל): פלטפורמת הסוכנים של Gemini Enterprise משתמשת במאגר המשאבים הכללי שלGoogle Cloud . הערך הזה זהה לאי-ציון של הזמנה.
לוחצים על Deploy.

Python

במאמר התקנת Vertex AI SDK ל-Python מוסבר איך להתקין או לעדכן את Vertex AI SDK ל-Python. מידע נוסף מופיע ב מאמרי העזרה של ה-API מבוסס-Python.

מציגים את רשימת המודלים שאפשר לפרוס ומתעדים את מזהה המודל לפריסה. אתם יכולים להציג את רשימת המודלים הנתמכים של Hugging Face ב-Model Garden, ואפילו לסנן אותם לפי שמות המודלים. הפלט לא כולל מודלים מכווננים.


import vertexai
from vertexai import model_garden

# TODO(developer): Update and un-comment below lines
# PROJECT_ID = "your-project-id"
vertexai.init(project=PROJECT_ID, location="us-central1")

# List deployable models, optionally list Hugging Face models only or filter by model name.
deployable_models = model_garden.list_deployable_models(list_hf_models=False, model_filter="gemma")
print(deployable_models)
# Example response:
# ['google/gemma2@gemma-2-27b','google/gemma2@gemma-2-27b-it', ...]

כדי לראות את מפרט הפריסה של מודל, משתמשים במזהה המודל מהשלב הקודם. אתם יכולים לראות את סוג המכונה, סוג המאיץ וכתובת ה-URI של קובץ האימג' של הקונטיינר ש-Model Garden אימת למודל מסוים.


import vertexai
from vertexai import model_garden

# TODO(developer): Update and un-comment below lines
# PROJECT_ID = "your-project-id"
# model = "google/gemma3@gemma-3-1b-it"
vertexai.init(project=PROJECT_ID, location="us-central1")

# For Hugging Face modelsm the format is the Hugging Face model name, as in
# "meta-llama/Llama-3.3-70B-Instruct".
# Go to https://console.cloud.google.com/vertex-ai/model-garden to find all deployable
# model names.

model = model_garden.OpenModel(model)
deploy_options = model.list_deploy_options()
print(deploy_options)
# Example response:
# [
#   dedicated_resources {
#     machine_spec {
#       machine_type: "g2-standard-12"
#       accelerator_type: NVIDIA_L4
#       accelerator_count: 1
#     }
#   }
#   container_spec {
#     ...
#   }
#   ...
# ]

פריסת מודל בנקודת קצה. ב-Model Garden נעשה שימוש בהגדרת הפריסה שמוגדרת כברירת מחדל, אלא אם מציינים ארגומנטים וערכים נוספים.


import vertexai
from vertexai import model_garden

# TODO(developer): Update and un-comment below lines
# PROJECT_ID = "your-project-id"
vertexai.init(project=PROJECT_ID, location="us-central1")

open_model = model_garden.OpenModel("google/gemma3@gemma-3-12b-it")
endpoint = open_model.deploy(
    machine_type="g2-standard-48",
    accelerator_type="NVIDIA_L4",
    accelerator_count=4,
    accept_eula=True,
)

# Optional. Run predictions on the deployed endoint.
# endpoint.predict(instances=[{"prompt": "What is Generative AI?"}])

REST

מציגים את כל המודלים שאפשר לפרוס ואז מקבלים את המזהה של המודל שרוצים לפרוס. לאחר מכן תוכלו לפרוס את המודל עם הגדרות ברירת המחדל ונקודת הקצה שלו. לחלופין, אתם יכולים להתאים אישית את הפריסה, למשל להגדיר סוג מכונה ספציפי או להשתמש בנקודת קצה ייעודית.

1. רשימת המודלים שאפשר לפרוס

לפני שמשתמשים בנתוני הבקשה, צריך להחליף את הנתונים הבאים:

‫PROJECT_ID: מזהה הפרויקט ב- Google Cloud .
QUERY_PARAMETERS: כדי לרשום מודלים של Model Garden, הוסף את פרמטרי השאילתה הבאים listAllVersions=True&filter=can_deploy(true). כדי להציג רשימה של מודלים של Hugging Face, מגדירים את המסנן לערך alt=json&is_hf_wildcard(true)+AND+labels.VERIFIED_DEPLOYMENT_CONFIG%3DVERIFIED_DEPLOYMENT_SUCCEED&listAllVersions=True.

ה-method של ה-HTTP וכתובת ה-URL:

GET https://us-central1-aiplatform.googleapis.com/v1/publishers/*/models?QUERY_PARAMETERS

כדי לשלוח את הבקשה אתם צריכים לבחור אחת מהאפשרויות הבאות:

curl

הערה: הפקודה הבאה מבוססת על ההנחה שנכנסתם ל-CLI של gcloud באמצעות חשבון המשתמש שלכם, על ידי הרצת gcloud init או gcloud auth login, או באמצעות Cloud Shell שמחבר אתכם אוטומטית ל-CLI של gcloud. כדי לבדוק איזה חשבון פעיל, אפשר להריץ את הפקודה gcloud auth list.

מריצים את הפקודה הבאה:

curl -X GET \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "x-goog-user-project: PROJECT_ID" \
     "https://us-central1-aiplatform.googleapis.com/v1/publishers/*/models?QUERY_PARAMETERS"

PowerShell

הערה: הפקודה הבאה מבוססת על ההנחה שנכנסתם ל-CLI של gcloud באמצעות חשבון המשתמש שלכם, על ידי הרצת gcloud init או gcloud auth login. כדי לבדוק איזה חשבון פעיל, אפשר להריץ את הפקודה gcloud auth list.

מריצים את הפקודה הבאה:

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred"; "x-goog-user-project" = "PROJECT_ID" }

Invoke-WebRequest `
    -Method GET `
    -Headers $headers `
    -Uri "https://us-central1-aiplatform.googleapis.com/v1/publishers/*/models?QUERY_PARAMETERS" | Select-Object -Expand Content

תתקבל תגובת JSON שדומה לזו:

{
  "publisherModels": [
    {
      "name": "publishers/google/models/gemma3",
      "versionId": "gemma-3-1b-it",
      "openSourceCategory": "GOOGLE_OWNED_OSS_WITH_GOOGLE_CHECKPOINT",
      "supportedActions": {
        "openNotebook": {
          "references": {
            "us-central1": {
              "uri": "https://colab.research.google.com/github/GoogleCloudPlatform/vertex-ai-samples/blob/main/notebooks/community/model_garden/model_garden_gradio_streaming_chat_completions.ipynb"
            }
          },
          "resourceTitle": "Notebook",
          "resourceUseCase": "Chat Completion Playground",
          "resourceDescription": "Chat with deployed Gemma 2 endpoints via Gradio UI."
        },
        "deploy": {
          "modelDisplayName": "gemma-3-1b-it",
          "containerSpec": {
            "imageUri": "us-docker.pkg.dev/vertex-ai/vertex-vision-model-garden-dockers/pytorch-vllm-serve:20250312_0916_RC01",
            "args": [
              "python",
              "-m",
              "vllm.entrypoints.api_server",
              "--host=0.0.0.0",
              "--port=8080",
              "--model=gs://vertex-model-garden-restricted-us/gemma3/gemma-3-1b-it",
              "--tensor-parallel-size=1",
              "--swap-space=16",
              "--gpu-memory-utilization=0.95",
              "--disable-log-stats"
            ],
            "env": [
              {
                "name": "MODEL_ID",
                "value": "google/gemma-3-1b-it"
              },
              {
                "name": "DEPLOY_SOURCE",
                "value": "UI_NATIVE_MODEL"
              }
            ],
            "ports": [
              {
                "containerPort": 8080
              }
            ],
            "predictRoute": "/generate",
            "healthRoute": "/ping"
          },
          "dedicatedResources": {
            "machineSpec": {
              "machineType": "g2-standard-12",
              "acceleratorType": "NVIDIA_L4",
              "acceleratorCount": 1
            }
          },
          "publicArtifactUri": "gs://vertex-model-garden-restricted-us/gemma3/gemma3.tar.gz",
          "deployTaskName": "vLLM 128K context",
          "deployMetadata": {
            "sampleRequest": "{\n    \"instances\": [\n        {\n          \"@requestFormat\": \"chatCompletions\",\n          \"messages\": [\n              {\n                  \"role\": \"user\",\n                  \"content\": \"What is machine learning?\"\n              }\n          ],\n          \"max_tokens\": 100\n        }\n    ]\n}\n"
          }
        },
        ...

2. פריסת מודל

פריסת מודל מ-Model Garden או מ-Hugging Face. אפשר גם להתאים אישית את הפריסה על ידי ציון שדות JSON נוספים.

פריסת מודל עם הגדרות ברירת המחדל שלו.

לפני שמשתמשים בנתוני הבקשה, צריך להחליף את הנתונים הבאים:

‫LOCATION: אזור שבו המודל פרוס.
‫PROJECT_ID: מזהה הפרויקט ב- Google Cloud .
‫MODEL_ID: המזהה של המודל לפריסה, שאפשר לקבל מרשימת כל המודלים שניתנים לפריסה. המזהה הוא בפורמט הבא: publishers/PUBLISHER_NAME/models/ MODEL_NAME@MODEL_VERSION.

ה-method של ה-HTTP וכתובת ה-URL:

POST https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION:deploy

גוף בקשת JSON:

{
  "publisher_model_name": "MODEL_ID",
  "model_config": {
    "accept_eula": "true"
  }
}

כדי לשלוח את הבקשה עליכם לבחור אחת מהאפשרויות הבאות:

curl

שומרים את גוף הבקשה בקובץ בשם request.json. כדי ליצור או להחליף את הקובץ הזה בספרייה הנוכחית, מריצים את הפקודה הבאה בטרמינל:

cat > request.json << 'EOF'
{
  "publisher_model_name": "MODEL_ID",
  "model_config": {
    "accept_eula": "true"
  }
}
EOF

לאחר מכן מבצעים את הפקודה הבאה כדי לשלוח את בקשת ה-REST:

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION:deploy"

PowerShell

@'
{
  "publisher_model_name": "MODEL_ID",
  "model_config": {
    "accept_eula": "true"
  }
}
'@  | Out-File -FilePath request.json -Encoding utf8

לאחר מכן מבצעים את הפקודה הבאה כדי לשלוח את בקשת ה-REST:

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION:deploy" | Select-Object -Expand Content

תתקבל תגובת JSON שדומה לזו:

{
  "name": "projects/PROJECT_ID/locations/LOCATION/operations/OPERATION_ID",
  "metadata": {
    "@type": "type.googleapis.com/google.cloud.aiplatform.v1.DeployOperationMetadata",
    "genericMetadata": {
      "createTime": "2025-03-13T21:44:44.538780Z",
      "updateTime": "2025-03-13T21:44:44.538780Z"
    },
    "publisherModel": "publishers/google/models/gemma3@gemma-3-1b-it",
    "destination": "projects/PROJECT_ID/locations/LOCATION",
    "projectNumber": "PROJECT_ID"
  }
}

פריסת מודל של Hugging Face

לפני שמשתמשים בנתוני הבקשה, צריך להחליף את הנתונים הבאים:

‫LOCATION: אזור שבו המודל פרוס.
‫PROJECT_ID: מזהה הפרויקט ב- Google Cloud .
‫MODEL_ID: מזהה המודל של Hugging Face לפריסה, שאפשר לקבל מרשימת כל המודלים שאפשר לפרוס. המזהה משתמש בפורמט הבא: PUBLISHER_NAME/MODEL_NAME.
‫ACCESS_TOKEN: אם המודל מוגבל, צריך לספק אסימון גישה.

ה-method של ה-HTTP וכתובת ה-URL:

POST https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION:deploy

גוף בקשת JSON:

{
  "hugging_face_model_id": "MODEL_ID",
  "hugging_face_access_token": "ACCESS_TOKEN",
  "model_config": {
    "accept_eula": "true"
  }
}

כדי לשלוח את הבקשה עליכם לבחור אחת מהאפשרויות הבאות:

curl

cat > request.json << 'EOF'
{
  "hugging_face_model_id": "MODEL_ID",
  "hugging_face_access_token": "ACCESS_TOKEN",
  "model_config": {
    "accept_eula": "true"
  }
}
EOF

לאחר מכן מבצעים את הפקודה הבאה כדי לשלוח את בקשת ה-REST:

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION:deploy"

PowerShell

@'
{
  "hugging_face_model_id": "MODEL_ID",
  "hugging_face_access_token": "ACCESS_TOKEN",
  "model_config": {
    "accept_eula": "true"
  }
}
'@  | Out-File -FilePath request.json -Encoding utf8

לאחר מכן מבצעים את הפקודה הבאה כדי לשלוח את בקשת ה-REST:

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION:deploy" | Select-Object -Expand Content

תתקבל תגובת JSON שדומה לזו:

{
  "name": "projects/PROJECT_ID/locations/us-central1LOCATION/operations/OPERATION_ID",
  "metadata": {
    "@type": "type.googleapis.com/google.cloud.aiplatform.v1.DeployOperationMetadata",
    "genericMetadata": {
      "createTime": "2025-03-13T21:44:44.538780Z",
      "updateTime": "2025-03-13T21:44:44.538780Z"
    },
    "publisherModel": "publishers/PUBLISHER_NAME/model/MODEL_NAME",
    "destination": "projects/PROJECT_ID/locations/LOCATION",
    "projectNumber": "PROJECT_ID"
  }
}

פריסת מודל עם התאמות אישיות

לפני שמשתמשים בנתוני הבקשה, צריך להחליף את הנתונים הבאים:

‫LOCATION: אזור שבו המודל פרוס.
‫PROJECT_ID: מזהה הפרויקט ב- Google Cloud .
‫MODEL_ID: המזהה של המודל לפריסה, שאפשר לקבל מרשימת כל המודלים שניתנים לפריסה. המזהה הוא בפורמט: publishers/PUBLISHER_NAME/models/MODEL_NAME@MODEL_VERSION, למשל google/gemma@gemma-2b או stabilityai/stable-diffusion-xl-base-1.0.
‫MACHINE_TYPE: מגדיר את קבוצת המשאבים לפריסה במודל, כמו g2-standard-4.
‫ACCELERATOR_TYPE: מציין את המאיצים שצריך להוסיף לפריסה כדי לשפר את הביצועים כשעובדים עם עומסי עבודה אינטנסיביים, כמו NVIDIA_L4
‫ACCELERATOR_COUNT: מספר המאיצים שבהם משתמשים בפריסה.
‫reservation_affinity_type: כדי להשתמש במקום שמור קיים ב-Compute Engine לפריסה, צריך לציין מקום שמור כלשהו או מקום שמור ספציפי. אם מציינים את הערך הזה, לא מציינים את spot.
‫spot: אם להשתמש במכונות וירטואליות במודל Spot בפריסה.
‫IMAGE_URI: המיקום של קובץ האימג' של הקונטיינר שבו רוצים להשתמש, למשל us-docker.pkg.dev/vertex-ai/vertex-vision-model-garden-dockers/pytorch-vllm-serve:20241016_0916_RC00_maas
‫CONTAINER_ARGS: ארגומנטים שיועברו לקונטיינר במהלך הפריסה.
‫CONTAINER_PORT: מספר היציאה של הקונטיינר.
‫fast_tryout_enabled: כשבודקים מודל, אפשר לבחור להשתמש בפריסה מהירה יותר. האפשרות הזו זמינה רק למודלים בשימוש נרחב עם סוגי מכונות מסוימים. אם האפשרות הזו מופעלת, אי אפשר לציין הגדרות של מודל או פריסה.

ה-method של ה-HTTP וכתובת ה-URL:

POST https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION:deploy

גוף בקשת JSON:

{
  "publisher_model_name": "MODEL_ID",
  "deploy_config": {
    "dedicated_resources": {
      "machine_spec": {
        "machine_type": "MACHINE_TYPE",
        "accelerator_type": "ACCELERATOR_TYPE",
        "accelerator_count": ACCELERATOR_COUNT,
        "reservation_affinity": {
          "reservation_affinity_type": "ANY_RESERVATION"
        }
      },
      "spot": "false"
    }
  },
  "model_config": {
    "accept_eula": "true",
    "container_spec": {
      "image_uri": "IMAGE_URI",
      "args": [CONTAINER_ARGS ],
      "ports": [
        {
          "container_port": CONTAINER_PORT
        }
      ]
    }
  },
  "deploy_config": {
    "fast_tryout_enabled": false
  },
}

כדי לשלוח את הבקשה עליכם לבחור אחת מהאפשרויות הבאות:

curl

cat > request.json << 'EOF'
{
  "publisher_model_name": "MODEL_ID",
  "deploy_config": {
    "dedicated_resources": {
      "machine_spec": {
        "machine_type": "MACHINE_TYPE",
        "accelerator_type": "ACCELERATOR_TYPE",
        "accelerator_count": ACCELERATOR_COUNT,
        "reservation_affinity": {
          "reservation_affinity_type": "ANY_RESERVATION"
        }
      },
      "spot": "false"
    }
  },
  "model_config": {
    "accept_eula": "true",
    "container_spec": {
      "image_uri": "IMAGE_URI",
      "args": [CONTAINER_ARGS ],
      "ports": [
        {
          "container_port": CONTAINER_PORT
        }
      ]
    }
  },
  "deploy_config": {
    "fast_tryout_enabled": false
  },
}
EOF

לאחר מכן מבצעים את הפקודה הבאה כדי לשלוח את בקשת ה-REST:

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION:deploy"

PowerShell

@'
{
  "publisher_model_name": "MODEL_ID",
  "deploy_config": {
    "dedicated_resources": {
      "machine_spec": {
        "machine_type": "MACHINE_TYPE",
        "accelerator_type": "ACCELERATOR_TYPE",
        "accelerator_count": ACCELERATOR_COUNT,
        "reservation_affinity": {
          "reservation_affinity_type": "ANY_RESERVATION"
        }
      },
      "spot": "false"
    }
  },
  "model_config": {
    "accept_eula": "true",
    "container_spec": {
      "image_uri": "IMAGE_URI",
      "args": [CONTAINER_ARGS ],
      "ports": [
        {
          "container_port": CONTAINER_PORT
        }
      ]
    }
  },
  "deploy_config": {
    "fast_tryout_enabled": false
  },
}
'@  | Out-File -FilePath request.json -Encoding utf8

לאחר מכן מבצעים את הפקודה הבאה כדי לשלוח את בקשת ה-REST:

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION:deploy" | Select-Object -Expand Content

תתקבל תגובת JSON שדומה לזו:

{
  "name": "projects/PROJECT_ID/locations/LOCATION/operations/OPERATION_ID",
  "metadata": {
    "@type": "type.googleapis.com/google.cloud.aiplatform.v1.DeployOperationMetadata",
    "genericMetadata": {
      "createTime": "2025-03-13T21:44:44.538780Z",
      "updateTime": "2025-03-13T21:44:44.538780Z"
    },
    "publisherModel": "publishers/google/models/gemma3@gemma-3-1b-it",
    "destination": "projects/PROJECT_ID/locations/LOCATION",
    "projectNumber": "PROJECT_ID"
  }
}

gcloud

לפני שמתחילים, צריך לציין פרויקט מכסה כדי להריץ את הפקודות הבאות. הפקודות שאתם מריצים נספרות במכסות של הפרויקט הזה. למידע נוסף, קראו את המאמר הגדרת הפרויקט לצורכי מכסה.

מריצים את הפקודה gcloud ai model-garden models list כדי להציג את רשימת המודלים שאפשר לפרוס. הפקודה הזו מציגה את כל מזהי המודלים ואת המודלים שאפשר לפרוס באופן עצמאי.

gcloud ai model-garden models list

בפלט, מחפשים את מזהה המודל לפריסה. בדוגמה הבאה מוצג פלט מקוצר.

MODEL_ID                                      CAN_DEPLOY  CAN_PREDICT
google/gemma2@gemma-2-27b                     Yes         No
google/gemma2@gemma-2-27b-it                  Yes         No
google/gemma2@gemma-2-2b                      Yes         No
google/gemma2@gemma-2-2b-it                   Yes         No
google/gemma2@gemma-2-9b                      Yes         No
google/gemma2@gemma-2-9b-it                   Yes         No
google/gemma3@gemma-3-12b-it                  Yes         No
google/gemma3@gemma-3-12b-pt                  Yes         No
google/gemma3@gemma-3-1b-it                   Yes         No
google/gemma3@gemma-3-1b-pt                   Yes         No
google/gemma3@gemma-3-27b-it                  Yes         No
google/gemma3@gemma-3-27b-pt                  Yes         No
google/gemma3@gemma-3-4b-it                   Yes         No
google/gemma3@gemma-3-4b-pt                   Yes         No
google/gemma3n@gemma-3n-e2b                   Yes         No
google/gemma3n@gemma-3n-e2b-it                Yes         No
google/gemma3n@gemma-3n-e4b                   Yes         No
google/gemma3n@gemma-3n-e4b-it                Yes         No
google/gemma@gemma-1.1-2b-it                  Yes         No
google/gemma@gemma-1.1-2b-it-gg-hf            Yes         No
google/gemma@gemma-1.1-7b-it                  Yes         No
google/gemma@gemma-1.1-7b-it-gg-hf            Yes         No
google/gemma@gemma-2b                         Yes         No
google/gemma@gemma-2b-gg-hf                   Yes         No
google/gemma@gemma-2b-it                      Yes         No
google/gemma@gemma-2b-it-gg-hf                Yes         No
google/gemma@gemma-7b                         Yes         No
google/gemma@gemma-7b-gg-hf                   Yes         No
google/gemma@gemma-7b-it                      Yes         No
google/gemma@gemma-7b-it-gg-hf                Yes         No

הפלט לא כולל מודלים מכווננים או מודלים של Hugging Face. כדי לראות אילו מודלים של Hugging Face נתמכים, מוסיפים את הדגל --can-deploy-hugging-face-models.

כדי לראות את מפרטי הפריסה של מודל, מריצים את הפקודה gcloud ai model-garden models list-deployment-config. אתם יכולים לראות את סוג המכונה, סוג המאיץ ואת ה-URI של קובץ האימג' של הקונטיינר שנתמכים ב-Model Garden למודל מסוים.
```
gcloud ai model-garden models list-deployment-config \
    --model=MODEL_ID
```
מחליפים את MODEL_ID במזהה המודל מהפקודה הקודמת, כמו google/gemma@gemma-2b או stabilityai/stable-diffusion-xl-base-1.0.
כדי לפרוס מודל בנקודת קצה, מריצים את הפקודה gcloud ai model-garden models deploy. ‫Model Garden יוצר שם לתצוגה של נקודת הקצה ומשתמש בהגדרת ברירת המחדל לפריסה, אלא אם מציינים ארגומנט וערכים נוספים.

כדי להריץ את הפקודה באופן אסינכרוני, צריך לכלול את הדגל --asynchronous.
```
gcloud ai model-garden models deploy \
    --model=MODEL_ID \
    [--machine-type=MACHINE_TYPE] \
    [--accelerator-type=ACCELERATOR_TYPE] \
    [--endpoint-display-name=ENDPOINT_NAME] \
    [--hugging-face-access-token=HF_ACCESS_TOKEN] \
    [--reservation-affinity reservation-affinity-type=any-reservation] \
    [--reservation-affinity reservation-affinity-type=specific-reservation, key="compute.googleapis.com/reservation-name", values=RESERVATION_RESOURCE_NAME] \
    [--asynchronous]
```
מחליפים את ה-placeholders הבאים:
- ‫MODEL_ID: מזהה המודל מהפקודה הקודמת של הרשימה. במודלים של Hugging Face, צריך להשתמש בפורמט של כתובת ה-URL של המודל של Hugging Face, למשל stabilityai/stable-diffusion-xl-base-1.0.
- ‫MACHINE_TYPE: מגדיר את קבוצת המשאבים לפריסה של המודל, כמו g2-standard-4.
- ‫ACCELERATOR_TYPE: מציין את המאיצים שצריך להוסיף לפריסה כדי לשפר את הביצועים כשעובדים עם עומסי עבודה כבדים, כמו NVIDIA_L4.
- ‫ENDPOINT_NAME: שם לנקודת הקצה (endpoint) שנפרסה ב-Gemini Enterprise Agent Platform.
- ‫HF_ACCESS_TOKEN: במודלים של Hugging Face, אם המודל מוגבל, צריך לספק אסימון גישה.
- ‫RESERVATION_RESOURCE_NAME: כדי להשתמש ב מקום שמור ספציפי ב-Compute Engine, מציינים את שם המקום השמור. אם מציינים הזמנה ספציפית, אי אפשר לציין את any-reservation.
הפלט כולל את הגדרת הפריסה שבה נעשה שימוש ב-Model Garden, את מזהה נקודת הקצה ואת מזהה פעולת הפריסה, שבאמצעותם אפשר לבדוק את סטטוס הפריסה.
```
Using the default deployment configuration:
 Machine type: g2-standard-12
 Accelerator type: NVIDIA_L4
 Accelerator count: 1

The project has enough quota. The current usage of quota for accelerator type NVIDIA_L4 in region us-central1 is 0 out of 28.

Deploying the model to the endpoint. To check the deployment status, you can try one of the following methods:
1) Look for endpoint `ENDPOINT_DISPLAY_NAME` at the [Agent Platform] -> [Online prediction] tab in Cloud Console
2) Use `gcloud ai operations describe OPERATION_ID --region=LOCATION` to find the status of the deployment long-running operation
```
כדי לראות פרטים על הפריסה, מריצים את הפקודה gcloud ai endpoints list --list-model-garden-endpoints-only:
```
gcloud ai endpoints list --list-model-garden-endpoints-only \
    --region=LOCATION_ID
```
מחליפים את LOCATION_ID באזור שבו פרסתם את המודל.

הפלט כולל את כל נקודות הקצה שנוצרו מ-Model Garden, וכולל מידע כמו מזהה נקודת הקצה, שם נקודת הקצה ואם נקודת הקצה משויכת למודל שנפרס. כדי למצוא את הפריסה, מחפשים את שם נקודת הקצה שהתקבל מהפקודה הקודמת.

Terraform

כדי ללמוד איך להחיל הגדרות ב-Terraform או להסיר אותן, ראו פקודות בסיסיות ב-Terraform. למידע נוסף, ראו את מאמרי העזרה לספקים של Terraform.

פריסת מודל

בדוגמה הבאה, המודל gemma-3-1b-it נפרס בנקודת קצה חדשה של Agent Platform ב-us-central1 באמצעות הגדרות ברירת המחדל.

terraform {
  required_providers {
    google = {
      source = "hashicorp/google"
      version = "6.45.0"
    }
  }
}

provider "google" {
  region  = "us-central1"
}

resource "google_vertex_ai_endpoint_with_model_garden_deployment" "gemma_deployment" {
  publisher_model_name = "publishers/google/models/gemma3@gemma-3-1b-it"
  location = "us-central1"
  model_config {
    accept_eula = True
  }
}

כדי לפרוס מודל עם התאמה אישית, קראו את המאמר פריסת נקודת קצה של Agent Platform עם Model Garden.

החלת ההגדרות האישיות

terraform init
terraform plan
terraform apply

אחרי שמחילים את ההגדרות, Terraform מקצה נקודת קצה חדשה של Agent Platform ופורסת את המודל הפתוח שצוין.

מחיקה

כדי למחוק את נקודת הקצה ואת פריסת המודל, מריצים את הפקודה הבאה:

terraform destroy

פריסת מודל של שותף ושליחת בקשות לחיזוי

במסוף Google Cloud , נכנסים לדף Model Garden ומשתמשים במסנן Model collections כדי להציג את Self-deploy partner models. בוחרים מודל מהרשימה של מודלים של שותפים לפריסה עצמית, ולוחצים על Enable כדי לרכוש אותו.

אתם צריכים לפרוס את המודל בסוגי המכונות שהשותף דורש, כמו שמתואר בקטע "Recommended hardware configuration" בכרטיס המודל שלו ב-Model Garden. אחרי הפריסה, המשאבים של פרסום המודל נמצאים בפרויקט מאובטח שמנוהל על ידי Google.

המסוף

נכנסים לדף Model Garden במסוף Google Cloud .

כניסה ל-Model Garden
כדי למצוא מודל ספציפי, מזינים את השם שלו בתיבת החיפוש של Model Garden.
כדי לראות את כל המודלים שאפשר לפרוס באופן עצמאי, בקטע Model collections בחלונית הסינון, בוחרים באפשרות Self-deploy partner models. הרשימה שמתקבלת כוללת את כל המודלים של השותפים שאפשר לפרוס באופן עצמאי.
לוחצים על שם המודל שרוצים לפרוס כדי לפתוח את כרטיס המודל שלו.
לוחצים על Deploy options.
בחלונית Deploy on Agent Platform, מגדירים את הפריסה, למשל המיקום וסוג המכונה.
לוחצים על Deploy.

אחרי שהפריסה מסתיימת, אפשר לבקש חיזויים באמצעות ה-SDK או ה-API. הוראות נוספות זמינות בקטע "מסמכי תיעוד" בכרטיס המודל.

Python

פריסת מודל בלחיצה אחת

אתם יכולים לפרוס בעצמכם מודל של שותף בלחיצה אחת.

כדי לראות את מפרט הפריסה של מודל, משתמשים במזהה המודל מהשלב הקודם. אתם יכולים לראות את סוג המכונה, סוג המאיץ וכתובת ה-URI של קובץ האימג' של הקונטיינר ש-Model Garden אימת למודל מסוים.
```
import vertexai
from vertexai import model_garden

vertexai.init(project=PROJECT_ID, location="us-central1")

model = model_garden.PartnerModel(model)
deploy_options = model.list_deploy_options()
print(deploy_options)
```

פריסת מודל בלחיצה אחת.

from vertexai import model_garden

# Deploy model
model = model_garden.PartnerModel(f"{PUBLISHER}/{MODEL}@{VERSION}")

endpoint = model.deploy(
    machine_type=MACHINE_TYPE,
    accelerator_type=ACCELERATOR_TYPE,
    accelerator_count=ACCELERATOR_COUNT,
    min_replica_count=1,
    max_replica_count=1,
)

פריסה בכמה שלבים

אפשר גם להעלות מודל של שותף, ליצור נקודת קצה ולפרוס את המודל באופן ידני.

בקוד, מחליפים את ה-placeholder הבאים:

‫LOCATION: האזור שבו מתכננים לפרוס את המודל ואת נקודת הקצה.
‫PROJECT_ID: מזהה הפרויקט.
‫DISPLAY_NAME: שם תיאורי למשאב המשויך.
‫PUBLISHER_NAME: שם השותף שמספק את המודל להעלאה או לפריסה.
‫PUBLISHER_MODEL_NAME: שם המודל שרוצים להעלות.
‫MACHINE_TYPE: מגדיר את קבוצת המשאבים לפריסה במודל, כמו g2-standard-4. צריך להתאים לאחת מההגדרות שהשותף סיפק.
‫ACCELERATOR_TYPE: מציין את המאיצים שצריך להוסיף לפריסה כדי לשפר את הביצועים כשעובדים עם עומסי עבודה כבדים, כמו NVIDIA_L4. צריך להתאים לאחת מההגדרות שהשותף סיפק.
‫ACCELERATOR_COUNT: מספר המאיצים שבהם רוצים להשתמש. ההגדרות שלכם צריכות להתאים לאחת מההגדרות שהשותף סיפק.
‫REQUEST_PAYLOAD: השדות והערכים שצריך לכלול בבקשת החיזוי. כדי לראות את השדות הזמינים, פותחים את כרטיס המודל של השותף ב-Model Garden.

from google.cloud import aiplatform

aiplatform.init(project=PROJECT_ID, location=LOCATION)

# Upload a model
model = aiplatform.Model.upload(
    display_name="DISPLAY_NAME_MODEL",
    model_garden_source_model_name = f"publishers/PUBLISHER_NAME/models/PUBLISHER_MODEL_NAME",
)

# Create endpoint
my_endpoint = aiplatform.Endpoint.create(display_name="DISPLAY_NAME_ENDPOINT")

# Deploy model
MACHINE_TYPE = "MACHINE_TYPE"  # @param {type: "string"}
ACCELERATOR_TYPE = "ACCELERATOR_TYPE" # @param {type: "string"}
ACCELERATOR_COUNT = ACCELERATOR_COUNT # @param {type: "number"}

model.deploy(
    endpoint=my_endpoint,
    deployed_model_display_name="DISPLAY_NAME_DEPLOYED_MODEL",
    traffic_split={"0": 100},
    machine_type=MACHINE_TYPE,
    accelerator_type=ACCELERATOR_TYPE,
    accelerator_count=ACCELERATOR_COUNT,
    min_replica_count=1,
    max_replica_count=1,
)

# Unary call for predictions
PAYLOAD = {
    REQUEST_PAYLOAD
}

request = json.dumps(PAYLOAD)

response = my_endpoint.raw_predict(
    body = request,
    headers = {'Content-Type':'application/json'}
)

print(response)

# Streaming call for predictions
PAYLOAD = {
    REQUEST_PAYLOAD
}

request = json.dumps(PAYLOAD)

for stream_response in my_endpoint.stream_raw_predict(
    body = request,
    headers = {'Content-Type':'application/json'}
):
    print(stream_response)

REST

בפקודות ה-curl לדוגמה, מחליפים את הפלייסהולדרים הבאים:

‫LOCATION: האזור שבו מתכננים לפרוס את המודל ואת נקודת הקצה.
‫PROJECT_ID: מזהה הפרויקט.
‫DISPLAY_NAME: שם תיאורי למשאב המשויך.
‫PUBLISHER_NAME: שם השותף שמספק את המודל להעלאה או לפריסה.
‫PUBLISHER_MODEL_NAME: שם המודל שרוצים להעלות.
‫ENDPOINT_ID: המזהה של נקודת הקצה.
‫MACHINE_TYPE: מגדיר את קבוצת המשאבים לפריסה של המודל, כמו g2-standard-4. צריך להתאים לאחת מההגדרות שהשותף סיפק.
‫ACCELERATOR_TYPE: מציין את המאיצים שצריך להוסיף לפריסה כדי לשפר את הביצועים כשעובדים עם עומסי עבודה כבדים, כמו NVIDIA_L4. צריך להתאים לאחת מההגדרות שהשותף סיפק.
‫ACCELERATOR_COUNT: מספר המאיצים שבהם רוצים להשתמש. ההגדרות שלכם צריכות להתאים לאחת מההגדרות שהשותף סיפק.
‫REQUEST_PAYLOAD: השדות והערכים שצריך לכלול בבקשת החיזוי. כדי לראות את השדות הזמינים, פותחים את כרטיס המודל של השותף ב-Model Garden.

מעלים מודל כדי להוסיף אותו ל-Model Registry.

curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
https://LOCATION-aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/LOCATION/models:upload \
-d '{
"model": {
  "displayName": "DISPLAY_NAME_MODEL",
  "baseModelSource": {
    "modelGardenSource": {
      "publicModelName": f"publishers/PUBLISHER_NAME/models/PUBLISHER_MODEL_NAME",
    }
  }
}
}'

יוצרים נקודת קצה.

curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/endpoints \
-d '{
"displayName": "DISPLAY_NAME_ENDPOINT"
}'

פורסים את המודל שהועלה בנקודת הקצה.

curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/endpoints/ENDPOINT_ID:deployModel \
-d '{
"deployedModel": {
  "model": f"projects/PROJECT_ID/locations/LOCATION/models/MODEL_ID",
  "displayName": "DISPLAY_NAME_DEPLOYED_MODEL",
  "dedicatedResources": {
   "machineSpec": {
      "machineType": "MACHINE_TYPE",
      "acceleratorType": "ACCELERATOR_TYPE",
      "acceleratorCount":"ACCELERATOR_COUNT",
   },
   "minReplicaCount": 1,
   "maxReplicaCount": 1
  },
},
"trafficSplit": {
  "0": 100
}
}'

אחרי פריסת המודל, אפשר לבצע קריאה אונרית או קריאת סטרימינג לחיזויים. כדי לראות אילו שיטות API נתמכות, אפשר לעיין בכרטיס המודל של השותף ב-Model Garden.

דוגמה לקריאה אונרית:

curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/endpoints/ENDPOINT_ID:rawPredict \
-d 'REQUEST_PAYLOAD'

שיחה לדוגמה:

curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/endpoints/ENDPOINT_ID:streamRawPredict \
-d 'REQUEST_PAYLOAD'

פריסת מודל בנקודת קצה פרטית

אתם יכולים לפרוס מודלים מ-Model Garden בנקודת קצה (endpoint) של Private Service Connect ‏(PSC) כדי ליצור חיבור פרטי ומאובטח למודל. אפשר גם לשלב את ההגדרה הזו עם מאזן עומסים אזורי פנימי וחיצוני של אפליקציות (ALB) כשפורסים אותה עם קבוצה של נקודות קצה (endpoint) ברשת PSC. כדי להגדיר נקודת קצה (endpoint) של PSC למודל ולוודא שהקישוריות פרטית, פועלים לפי השלבים הבאים.

נכנסים לדף Model Garden במסוף Google Cloud .

כניסה ל-Model Garden
מוצאים מודל לפריסה ולוחצים על כרטיס המודל שלו.
לוחצים על פריסת המודל. בחלונית Deploy model, הגדרות הפריסה שנקבעו מראש מבוססות על נקודת קצה ייעודית ציבורית.
בוחרים באפשרות edit setting שמאפשרת אפשרויות פריסה נוספות, כולל גישה פרטית.
קובעים את הגדרות הפריסה.
- בוחרים מיקום שבו רוצים ליצור את נקודת הקצה של המודל.
- מאשרים או משנים את השם שנוצר למודל ולנקודת הקצה.
- לא חובה לבחור סוג מכונה לפריסה, כי ההגדרה המומלצת כבר נבחרה בשבילכם.
- בשדה Reservation type, בוחרים את סוג ההזמנה. ההזמנה חייבת להתאים למפרט המכונה שציינתם.
  - שימוש אוטומטי במקום שמור שנוצר: Gemini Enterprise Agent Platform בוחרת מקום שמור זמין עם מאפיינים תואמים. אם אין קיבולת זמינה בהזמנה שנבחרה, Gemini Enterprise Agent Platform משתמשת במאגר המשאבים הכללי של Google Cloud .
  - בחירת מקומות שמורים ספציפיים: Gemini Enterprise Agent Platform משתמשת במקום שמור ספציפי. אם אין קיבולת זמינה בבקשת ההזמנה שבחרתם, הפריסה תיכשל.
  - ללא הקצאה (ברירת המחדל): Gemini Enterprise Agent Platform משתמשת במאגר המשאבים הכללי שלGoogle Cloud .
- מגדירים את כללי המדיניות בנושא זמינות.
  - Standard: מתאים לרוב עומסי העבודה.
  - Spot: אידיאלי לעומסי עבודה (workloads) עמידים בכשלים.
  - ‫Flex Start: משתמשת בתזמון עומסי עבודה דינמי (DWS) כדי לנהל בקשות להקצאת משאבים ולתעדף אותן.
הגדרת גישה לנקודות קצה (endpoint) לרשתות פרטיות.
- בוחרים באפשרות Private (Private Service Connect).
- בוחרים באפשרות מזהי פרויקטים. כדי לתת גישה לפרויקטים אחרים, צריך להזין כאן את מזהי הפרויקטים. אם משאירים את השדה הזה ריק, אפשר לגשת לנקודת הקצה רק מתוך הפרויקט הנוכחי.
לוחצים על Deploy.
כדי לראות את הפריסה, נכנסים לדף Model Garden ובוחרים באפשרות View my endpoints and models. הפריסה תופיע בקטע My Endpoints. חשוב לוודא שבחרתם את האזור הנכון כדי שנקודת הקצה תהיה גלויה. בוחרים את נקודת הקצה. הסטטוס שיוצג יהיה בפריסה, והוא ישתנה למוכן בסיום הפריסה.

משיגים את מזהה נקודת הקצה, פותחים את Cloud Shell ומבצעים את הפעולות הבאות כדי להשיג את ה-URI של Private Service Attachment:

gcloud ai endpoints describe ENDPOINT_ID --region=REGION  | grep -i serviceAttachment:

לדוגמה:

user@cloudshell:$ gcloud ai endpoints describe 2124795225560842240 --region=europe-west4 | grep -i serviceAttachment:
Using endpoint [https://europe-west4-aiplatform.googleapis.com/]
    serviceAttachment: projects/o9457b320a852208e-tp/regions/europe-west4/serviceAttachments/gkedpm-52065579567eaf39bfe24f25f7981d

אחרי שקיבלתם את קובץ השירות המצורף, אתם יכולים לגשת למודל באחת מהדרכים הבאות:

פורסים נקודת קצה של PSC באותו VPC כמו הפרויקט שקיבל הרשאה. הגישה הזו מאפשרת נגישות ברשת היברידית ובאותו VPC. חשוב לציין שאי אפשר להגיע לנקודות קצה של PSC דרך קישור VPC.
פורסים קבוצה של נקודות קצה ברשת (NEG) מסוג Private Service Connect‏ (PSC) באותו VPC של הפרויקט המורשה. כך אפשר לחשוף את המודל באמצעות מאזן עומסים פנימי או חיצוני, שמספק כמה יתרונות:
- גישה דרך קישור בין רשתות VPC שכנות (peering): אפשר לגשת למאזן העומסים דרך רשתות VPC שכנות.
- אמצעי אבטחה: אתם מקבלים תמיכה ב-Cloud Armor וב-Model Armor כדי להגן על נקודת הקצה.
- ניהול תנועה: מאפשר ניתוב תנועה מתקדם, כמו שכתוב של מארח ונתיב.
- גישה מרוכזת: אפשר להשתמש במאזן עומסים של אפליקציות (ALB) יחיד כדי לנתב את תעבורת הנתונים למודל באמצעות כללי נתיב.

הצגה או ניהול של נקודת קצה (endpoint)

כדי לראות ולנהל את נקודת הקצה, נכנסים לדף Online prediction ב-Agent Platform.

מעבר לחיזוי אונליין

ב-Agent Platform מופיעות כל נקודות הקצה בפרויקט באזור מסוים. לוחצים על נקודת קצה כדי לראות את הפרטים שלה, כמו המודלים שנפרסו בה.

ביטול הפריסה של המודלים ומחיקת המשאבים

כדי להפסיק את השימוש של מודל פרוס במשאבים בפרויקט, צריך לבטל את הפריסה של המודל מנקודת הקצה שלו. כדי למחוק את נקודת הקצה ואת המודל, צריך קודם לבטל את הפריסה של המודל.

ביטול הפריסה של מודלים

ביטול הפריסה של מודל מנקודת הקצה שלו.

המסוף

במסוף Google Cloud , נכנסים לכרטיסייה Endpoints בדף Online prediction.

כניסה לדף Endpoints
ברשימה הנפתחת Region, בוחרים את האזור שבו נמצאת נקודת הקצה.
לוחצים על שם נקודת הקצה כדי לפתוח את דף הפרטים.
בשורה של המודל, לוחצים על Actions ואז על Undeploy model from endpoint.
בתיבת הדו-שיח Undeploy model from endpoint, לוחצים על Undeploy.

Python

בקוד, מחליפים את:

‫PROJECT_ID במזהה הפרויקט
‫LOCATION עם האזור, לדוגמה, "us-central1"
‫ENDPOINT_ID עם מזהה נקודת הקצה (endpoint) שלך

from google.cloud import aiplatform

aiplatform.init(project=PROJECT_ID, location=LOCATION)

# To find out which endpoints are available, un-comment the line below:
# endpoints = aiplatform.Endpoint.list()

endpoint = aiplatform.Endpoint(ENDPOINT_ID)
endpoint.undeploy_all()

gcloud

בפקודות האלה, מחליפים את:

‫PROJECT_ID בשם הפרויקט
‫LOCATION_ID באזור שבו פרסתם את המודל ואת נקודת הקצה
‫ENDPOINT_ID במזהה נקודת הקצה (endpoint)
MODEL_ID עם מזהה המודל מהפקודה list model
‫DEPLOYED_MODEL_ID עם מזהה המודל שנפרס

מריצים את הפקודה gcloud ai endpoints list כדי למצוא את מזהה נקודת הקצה שמשויך לפריסה.
```
gcloud ai endpoints list \
    --project=PROJECT_ID \
    --region=LOCATION_ID
```
מריצים את הפקודה gcloud ai models list כדי למצוא את מזהה המודל.
```
gcloud ai models list \
    --project=PROJECT_ID \
    --region=LOCATION_ID
```

מריצים את הפקודה gcloud ai models describe עם מזהה המודל מהפקודה הקודמת כדי לקבל את המזהה של המודל שנפרס.

gcloud ai models describe MODEL_ID \
    --project=PROJECT_ID \
    --region=LOCATION_ID

הפלט המקוצר נראה כמו בדוגמה הבאה. בפלט, המזהה נקרא deployedModelId.

Using endpoint [https://us-central1-aiplatform.googleapis.com/]
artifactUri: [URI removed]
baseModelSource:
  modelGardenSource:
    publicModelName: publishers/google/models/gemma2
...
deployedModels:
-   deployedModelId: '1234567891234567891'
  endpoint: projects/12345678912/locations/us-central1/endpoints/12345678912345
displayName: gemma2-2b-it-12345678912345
etag: [ETag removed]
modelSourceInfo:
  sourceType: MODEL_GARDEN
name: projects/123456789123/locations/us-central1/models/gemma2-2b-it-12345678912345
...

מריצים את הפקודה gcloud ai endpoints undeploy-model כדי לבטל את פריסת המודל מנקודת הקצה, באמצעות מזהה נקודת הקצה ומזהה המודל שנפרס מהפקודות הקודמות.
```
gcloud ai endpoints undeploy-model ENDPOINT_ID \
    --project=PROJECT_ID \
    --region=LOCATION_ID \
    --deployed-model-id=DEPLOYED_MODEL_ID
```
הפקודה הזו לא יוצרת פלט.

מחיקת נקודות קצה (endpoint)

מוחקים את נקודת הקצה של Gemini Enterprise Agent Platform שמשויכת לפריסת המודל.

המסוף

במסוף Google Cloud , נכנסים לכרטיסייה Endpoints בדף Online prediction.

כניסה לדף Endpoints
ברשימה הנפתחת Region, בוחרים את האזור שבו נמצאת נקודת הקצה.
בסוף השורה של נקודת הקצה, לוחצים על Actions ובוחרים באפשרות Delete endpoint.
בחלון האישור, לוחצים על אישור.

Python

בקוד, מחליפים את:

‫PROJECT_ID במזהה הפרויקט
‫LOCATION עם האזור, לדוגמה, "us-central1"
‫ENDPOINT_ID עם מזהה נקודת הקצה (endpoint) שלך

from google.cloud import aiplatform

aiplatform.init(project=PROJECT_ID, location=LOCATION)

# To find out which endpoints are available, un-comment the line below:
# endpoints = aiplatform.Endpoint.list()

endpoint = aiplatform.Endpoint(ENDPOINT_ID)
endpoint.delete()

gcloud

בפקודות האלה, מחליפים את:

‫PROJECT_ID בשם הפרויקט
‫LOCATION_ID באזור שבו פרסתם את המודל ואת נקודת הקצה
‫ENDPOINT_ID במזהה נקודת הקצה (endpoint)

מריצים את הפקודה gcloud ai endpoints list כדי לקבל את מזהה נקודת הקצה שרוצים למחוק. הפקודה הזו מציגה את המזהים של כל נקודות הקצה בפרויקט.
```
gcloud ai endpoints list \
    --project=PROJECT_ID \
    --region=LOCATION_ID
```
מריצים את הפקודה gcloud ai endpoints delete כדי למחוק את נקודת הקצה.
```
gcloud ai endpoints delete ENDPOINT_ID \
    --project=PROJECT_ID \
    --region=LOCATION_ID
```
כשמופיעה בקשה, מקלידים y כדי לאשר. הפקודה הזו לא יוצרת פלט.

מחיקת מודלים

מוחקים את משאב המודל שמשויך לפריסת המודל.

המסוף

במסוף Google Cloud , בקטע Agent Platform, נכנסים לדף Model Registry.

כניסה לדף Model Registry
ברשימה הנפתחת Region, בוחרים את האזור שבו פרסתם את המודל.
בשורה של המודל, לוחצים על Actions ואז על Delete model.

כשמוחקים את המודל, כל הגרסאות וההערכות שמשויכות למודל נמחקות מהפרויקט ב- Google Cloud .
בהודעת האישור, לוחצים על מחיקה.

Python

בקוד, מחליפים את:

‫PROJECT_ID במזהה הפרויקט
‫LOCATION עם האזור, לדוגמה, "us-central1"
MODEL_ID במזהה המודל שלכם

from google.cloud import aiplatform

aiplatform.init(project=PROJECT_ID, location=LOCATION)

# To find out which models are available in Model Registry, un-comment the line below:
# models = aiplatform.Model.list()

model = aiplatform.Model(MODEL_ID)
model.delete()

gcloud

בפקודות האלה, מחליפים את:

‫PROJECT_ID בשם הפרויקט
‫LOCATION_ID באזור שבו פרסתם את המודל ואת נקודת הקצה
MODEL_ID עם מזהה המודל מהפקודה list model

מריצים את הפקודה gcloud ai models list כדי למצוא את מזהה המודל שרוצים למחוק.
```
gcloud ai models list \
    --project=PROJECT_ID \
    --region=LOCATION_ID
```
מריצים את הפקודה gcloud ai models delete כדי למחוק את המודל, על ידי ציון מזהה המודל והמיקום שלו.
```
gcloud ai models delete MODEL_ID \
    --project=PROJECT_ID \
    --region=LOCATION_ID
```

הצגה של דוגמאות קוד

רוב כרטיסי המודלים של פתרונות למשימות ספציפיות מכילים דוגמאות קוד שאפשר להעתיק ולבדוק.

נכנסים לדף Model Garden במסוף Google Cloud .

כניסה ל-Model Garden
מוצאים מודל נתמך שרוצים לראות דוגמאות קוד שלו ולוחצים על הכרטיסייה Documentation.
הדף נגלל לקטע של מסמכי התיעוד, שבו מוטמע קוד לדוגמה.

יצירת אפליקציית Vision

כרטיסי המודלים של ראייה ממוחשבת תומכים ביצירת אפליקציית ראייה.

נכנסים לדף Model Garden במסוף Google Cloud .

כניסה ל-Model Garden
בקטע Task specific solutions, בוחרים את המודל לראייה ממוחשבת שרוצים להשתמש בו כדי ליצור אפליקציה לראייה ממוחשבת ולוחצים על View details.
לוחצים על פיתוח אפליקציה.

תועברו אל Vertex AI Vision.
בשדה Application name, מזינים שם לאפליקציה ולוחצים על Continue.
בוחרים תוכנית חיובים ולוחצים על יצירה.

תועברו אל Vertex AI Vision Studio, שם תוכלו להמשיך ליצור את אפליקציית הראייה הממוחשבת.

שימוש במודלים ב-Model Garden קל לארגן דפים בעזרת אוספים אפשר לשמור ולסווג תוכן על סמך ההעדפות שלך.

שליחת הנחיות לבדיקה

כוונון מודל

כוונון ב-Notebook

פריסת מודל פתוח

המסוף

Python

REST

1. רשימת המודלים שאפשר לפרוס

curl

PowerShell

2. פריסת מודל

פריסת מודל עם הגדרות ברירת המחדל שלו.

curl

PowerShell

פריסת מודל של Hugging Face

curl

PowerShell

פריסת מודל עם התאמות אישיות

curl

PowerShell

gcloud

Terraform

פריסת מודל

החלת ההגדרות האישיות

מחיקה

פריסת מודל של שותף ושליחת בקשות לחיזוי

המסוף

Python

פריסת מודל בלחיצה אחת

פריסה בכמה שלבים

REST

פריסת מודל בנקודת קצה פרטית

הצגה או ניהול של נקודת קצה (endpoint)

ביטול הפריסה של המודלים ומחיקת המשאבים

ביטול הפריסה של מודלים

המסוף

Python

gcloud

מחיקת נקודות קצה (endpoint)

המסוף

Python

gcloud

מחיקת מודלים

המסוף

Python

gcloud

הצגה של דוגמאות קוד

יצירת אפליקציית Vision

שימוש במודלים ב-Model Garden