Dedizierte private Endpunkte auf Grundlage von Private Service Connect für Onlineinferenz verwenden

Die Informationen auf dieser Seite gelten für benutzerdefiniert trainierte Modelle und AutoML-Modelle. Informationen zur Bereitstellung von Model Garden finden Sie unter Modelle in Model Garden verwenden.

Mit Private Service Connect können Sie Ihr benutzerdefiniert trainiertes Gemini Enterprise Agent Platform-Modell bereitstellen und Online-Inferenzen sicher für mehrere Nutzerprojekte und VPC-Netzwerke bereitstellen, ohne dass öffentliche IP-Adressen, ein öffentlicher Internetzugang oder ein expliziter interner Peering-IP-Adressbereich erforderlich sind.

Wir empfehlen Private Service Connect für Anwendungsfälle der Online-Inferenz mit folgenden Anforderungen:

  • Private und sichere Verbindungen erforderlich machen
  • Niedrige Latenz erforderlich
  • Sie müssen nicht öffentlich zugänglich sein.

Private Service Connect verwendet eine Weiterleitungsregel in Ihrem VPC-Netzwerk, um Traffic unidirektional an den Agent Platform-Online-Inferenzdienst zu senden. Die Weiterleitungsregel stellt eine Verbindung zu einem Dienstanhang her, der den Agent Platform-Dienst für Ihr VPC-Netzwerk verfügbar macht. Weitere Informationen finden Sie unter Zugriff auf Agent Platform-Dienste über Private Service Connect. Weitere Informationen zum Einrichten von Private Service Connect finden Sie unter Private Service Connect – Übersicht in der Virtual Private Cloud-Dokumentation (VPC).

Dedizierte private Endpunkte unterstützen sowohl HTTP- als auch gRPC-Kommunikationsprotokolle. Bei gRPC-Anfragen muss der Header „x-vertex-ai-endpoint-id“ enthalten sein, damit der Endpunkt richtig identifiziert werden kann. Die folgenden APIs werden unterstützt:

  • Vorhersagen
  • RawPredict
  • StreamRawPredict
  • Chatvervollständigung (nur Model Garden)

Mit dem Agent Platform SDK für Python können Sie Online-Inferenzanfragen an einen dedizierten privaten Endpunkt senden. Weitere Informationen finden Sie unter Online-Inferenzen abrufen.

Erforderliche Rollen

Bitten Sie Ihren Administrator, Ihnen die IAM-Rolle Agent Platform User (roles/aiplatform.user) für Ihr Projekt zuzuweisen, um die Berechtigung zu erhalten, die Sie zum Erstellen eines Private Service Connect-Endpunkts benötigen. Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Diese vordefinierte Rolle enthält die Berechtigung aiplatform.endpoints.create, die zum Erstellen eines Private Service Connect-Endpunkts erforderlich ist.

Sie können diese Berechtigung auch mit benutzerdefinierten Rollen oder anderen vordefinierten Rollen erhalten.

Weitere Informationen zu den Rollen und Berechtigungen für die Gemini Enterprise Agent Platform finden Sie unter Zugriffssteuerung für die Agent Platform mit IAM und IAM-Berechtigungen für die Gemini Enterprise Agent Platform.

Online-Inferenzendpunkt erstellen

Verwenden Sie eine der folgenden Methoden, um einen Online-Inferenzendpunkt mit aktiviertem Private Service Connect zu erstellen.

Das Standardzeitlimit für Anfragen für einen Private Service Connect-Endpunkt beträgt 10 Minuten. Im Agent Platform SDK für Python können Sie optional ein anderes Zeitlimit für Anfragen angeben, indem Sie einen neuen inference_timeout-Wert angeben, wie im folgenden Beispiel gezeigt. Der maximale Zeitüberschreitungswert beträgt 3.600 Sekunden (1 Stunde).

Console

  1. Rufen Sie in der Google Cloud Console in der Agent Platform die Seite Onlinevorhersage auf.

    Zur Onlinevorhersage

  2. Klicken Sie auf Erstellen.

  3. Geben Sie einen Anzeigenamen für den Endpunkt an.

  4. Klicken Sie auf Privat.

  5. Wählen Sie Private Service Connect aus.

  6. Klicken Sie auf Projekt-IDs auswählen.

  7. Wählen Sie Projekte aus, die der Zulassungsliste für den Endpunkt hinzugefügt werden sollen.

  8. Klicken Sie auf Weiter.

  9. Wählen Sie die Modellspezifikationen aus. Weitere Informationen finden Sie unter Modell auf einem Endpunkt bereitstellen.

  10. Klicken Sie auf Erstellen. um den Endpunkt zu erstellen und das Modell darauf bereitzustellen.

  11. Notieren Sie sich die Endpunkt-ID aus der Antwort.

API

REST

Ersetzen Sie diese Werte in den folgenden Anfragedaten:

  • VERTEX_AI_PROJECT_ID: die ID des Google Cloud -Projekts, in dem Sie den Endpunkt für Onlinevorhersagen erstellen.
  • REGION: die Region, in der Sie die Gemini Enterprise Agent Platform verwenden.
  • VERTEX_AI_ENDPOINT_NAME: Der Anzeigename für den Endpunkt der Onlinevorhersage.
  • ALLOWED_PROJECTS: eine durch Kommas getrennte Liste von Google Cloud -Projekt-IDs, die jeweils in Anführungszeichen gesetzt sind, z. B. ["PROJECTID1", "PROJECTID2"]. Wenn ein Projekt nicht in dieser Liste enthalten ist, können Sie von dort keine Vorhersageanfragen an den Agent Platform-Endpunkt senden. Achten Sie darauf, dass VERTEX_AI_PROJECT_ID in diese Liste aufgenommen wird, damit Sie den Endpunkt aus demselben Projekt aufrufen können, in dem er sich befindet.
  • INFERENCE_TIMEOUT_SECS: (Optional) Anzahl der Sekunden im optionalen Feld inferenceTimeout.

HTTP-Methode und URL:

POST https://REGION-aiplatform.googleapis.com/v1/projects/VERTEX_AI_PROJECT_ID/locations/REGION/endpoints

JSON-Text anfordern:

{
  "displayName": "VERTEX_AI_ENDPOINT_NAME",
  "privateServiceConnectConfig": {
    "enablePrivateServiceConnect": true,
    "projectAllowlist": ["ALLOWED_PROJECTS"]
  },
  "clientConnectionConfig": {
    "inferenceTimeout": "INFERENCE_TIMEOUT_SECSs"
  }
}

Wenn Sie die Anfrage senden möchten, maximieren Sie eine der folgenden Optionen:

Sie sollten eine JSON-Antwort ähnlich wie diese erhalten:

{
  "name": "projects/VERTEX_AI_PROJECT_NUMBER/locations/REGION/endpoints/ENDPOINT_ID/operations/OPERATION_ID",
  "metadata": {
    "@type": "type.googleapis.com/google.cloud.aiplatform.v1.CreateEndpointOperationMetadata",
    "genericMetadata": {
      "createTime": "2020-11-05T17:45:42.812656Z",
      "updateTime": "2020-11-05T17:45:42.812656Z"
    }
  }
}
Notieren Sie sich die verwendete ENDPOINT_ID.

Python

Bevor Sie dieses Beispiel ausprobieren, folgen Sie der Einrichtungsanleitung für Python in der Agent Platform-Kurzanleitung zur Verwendung von Clientbibliotheken.

Richten Sie zur Authentifizierung bei der Agent Platform Standardanmeldedaten für Anwendungen ein. Weitere Informationen finden Sie unter Authentifizierung für eine lokale Entwicklungsumgebung einrichten.

Ersetzen Sie Folgendes:

  • VERTEX_AI_PROJECT_ID: die ID des Google Cloud -Projekts, in dem Sie den Endpunkt für die Online-Inferenz erstellen
  • REGION: die Region, in der Sie die Gemini Enterprise Agent Platform verwenden
  • VERTEX_AI_ENDPOINT_NAME: Der Anzeigename für den Endpunkt der Online-Inferenz.
  • ALLOWED_PROJECTS: eine durch Kommas getrennte Liste von Google Cloud-Projekt-IDs, die jeweils in Anführungszeichen gesetzt sind. Beispiel: ["PROJECTID1", "PROJECTID2"]. Wenn ein Projekt nicht in dieser Liste enthalten ist, können Sie von dort keine Inferenzanfragen an den Agent Platform-Endpunkt senden. Achten Sie darauf, dass VERTEX_AI_PROJECT_ID in diese Liste aufgenommen wird, damit Sie den Endpunkt aus demselben Projekt aufrufen können, in dem er sich befindet.
  • INFERENCE_TIMEOUT_SECS: (Optional) Anzahl der Sekunden im optionalen inference_timeout-Wert.
PROJECT_ID = "VERTEX_AI_PROJECT_ID"
REGION = "REGION"
VERTEX_AI_ENDPOINT_NAME = "VERTEX_AI_ENDPOINT_NAME"
INFERENCE_TIMEOUT_SECS = "INFERENCE_TIMEOUT_SECS"

from google.cloud import aiplatform

aiplatform.init(project=PROJECT_ID, location=REGION)

# Create the forwarding rule in the consumer project
psc_endpoint = aiplatform.PrivateEndpoint.create(
display_name=VERTEX_AI_ENDPOINT_NAME,
project=PROJECT_ID,
location=REGION,
private_service_connect_config=aiplatform.PrivateEndpoint.PrivateServiceConnectConfig(
    project_allowlist=["ALLOWED_PROJECTS"],
    ),
inference_timeout=INFERENCE_TIMEOUT_SECS,
)

Notieren Sie sich den ENDPOINT_ID am Ende des zurückgegebenen Endpunkt-URI:

INFO:google.cloud.aiplatform.models:To use this PrivateEndpoint in another session:
INFO:google.cloud.aiplatform.models:endpoint = aiplatform.PrivateEndpoint('projects/VERTEX_AI_PROJECT_ID/locations/REGION/endpoints/ENDPOINT_ID')

Online-Inferenzendpunkt mit PSC-Automatisierung erstellen

Die Online-Inferenz ist in die Automatisierung von Dienstverbindungen eingebunden, sodass Sie Inferenzendpunkte mit der PSC-Automatisierung konfigurieren können. Dadurch wird der Prozess vereinfacht, da PSC-Endpunkte automatisch erstellt werden. Dies ist besonders für ML-Entwickler von Vorteil, die keine Berechtigungen zum Erstellen von Netzwerkressourcen wie Weiterleitungsregeln in einem Projekt haben.

Zuerst muss Ihr Netzwerkadministrator eine Richtlinie für Dienstverbindungen einrichten. Diese Richtlinie ist eine einmalige Konfiguration pro Projekt und Netzwerk, mit der die Gemini Enterprise Agent Platform (Dienstklasse gcp-vertexai) PSC-Endpunkte in Ihren Projekten und Netzwerken generieren kann.

Als Nächstes können Sie Endpunkte mit der PSC-Automatisierungskonfiguration erstellen und dann Ihre Modelle bereitstellen. Nach Abschluss der Bereitstellung sind die relevanten PSC-Endpunktinformationen in den Endpunkten verfügbar.

Beschränkungen

  • Für PSC-Automatisierungskonfigurationen gilt ein regionales Limit von 500 Endpunkten.
  • Die Ergebnisse der PSC-Automatisierung werden gelöscht, wenn kein Modell auf dem Endpunkt bereitgestellt ist oder gerade bereitgestellt wird. Nach der Bereinigung und der anschließenden Modellbereitstellung weisen die neuen Automatisierungsergebnisse unterschiedliche IP-Adressen und Weiterleitungsregeln auf.

Richtlinie für Dienstverbindungen erstellen

Sie müssen Netzwerkadministrator sein, um die Richtlinie für Dienstverbindungen zu erstellen. Eine Richtlinie für Dienstverbindungen ist erforderlich, damit die Agent Platform PSC-Endpunkte in Ihren Netzwerken erstellen kann. Ohne eine gültige Richtlinie schlägt die Automatisierung mit dem Fehler CONNECTION_POLICY_MISSING fehl.

  1. Erstellen Sie Ihre Richtlinie für Dienstverbindungen.

    • POLICY_NAME: Ein vom Nutzer angegebener Name für die Richtlinie.
    • PROJECT_ID: Die ID des Dienstprojekts, in dem Sie Gemini Enterprise Agent Platform-Ressourcen erstellen.

    • VPC_PROJECT: Die Projekt-ID, in der sich die Client-VPC befindet. Bei der Einrichtung einer einzelnen VPC entspricht dies $PROJECT. Bei der Einrichtung einer freigegebene VPC ist dies das VPC-Hostprojekt.

    • NETWORK_NAME: Der Name des Netzwerks, in dem die Bereitstellung erfolgen soll.

    • REGION: Die Region des Netzwerks.

    • PSC_SUBNETS: Die zu verwendenden Private Service Connect-Subnetze.

    gcloud network-connectivity service-connection-policies create POLICY_NAME \
        --project=VPC_PROJECT \
        --network=projects/PROJECT_ID/global/networks/NETWORK_NAME \
        --service-class=gcp-vertexai --region=REGION --subnets=PSC_SUBNETS
    
  2. Sehen Sie sich Ihre Richtlinie für Dienstverbindungen an.

    gcloud network-connectivity service-connection-policies list \
        --project=VPC_PROJECT --region=REGION

    Für eine einzelne VPC-Einrichtung sieht ein Beispiel so aus:

        gcloud network-connectivity service-connection-policies create test-policy \
            --network=default \
            --project=YOUR_PROJECT_ID \
            --region=us-central1 \
            --service-class=gcp-vertexai \
            --subnets=default \
            --psc-connection-limit=500 \
            --description=test

Online-Inferenzendpunkt mit PSC-Automatisierungskonfiguration erstellen

Prüfen Sie in der PSCAutomationConfig, ob die projectId auf der Zulassungsliste steht.

REST

Ersetzen Sie diese Werte in den folgenden Anfragedaten:

  • REGION: Die Region, in der Sie die Agent Platform verwenden.
  • VERTEX_AI_PROJECT_ID: Die ID des Google Cloud -Projekts, in dem Sie den Endpunkt für die Online-Inferenz erstellen.
  • VERTEX_AI_ENDPOINT_NAME: Der Anzeigename für den Endpunkt der Onlinevorhersage.
  • NETWORK_NAME: der vollständige Ressourcenname, einschließlich der Projekt-ID, anstelle der Projektnummer.

HTTP-Methode und URL:

POST https://REGION-aiplatform.googleapis.com/v1/projects/VERTEX_AI_PROJECT_ID/locations/REGION/endpoints

JSON-Text anfordern:

{
  {
    displayName: "VERTEX_AI_ENDPOINT_NAME",
    privateServiceConnectConfig: {
      enablePrivateServiceConnect: true,
      projectAllowlist: ["VERTEX_AI_PROJECT_ID"],
      pscAutomationConfigs: [
        { "project_id": "VERTEX_AI_PROJECT_ID", "network": "projects/VERTEX_AI_PROJECT_ID/global/networks/NETWORK_NAME" },
      ],
    },
  },

Wenn Sie die Anfrage senden möchten, maximieren Sie eine der folgenden Optionen:

Sie sollten eine JSON-Antwort ähnlich wie diese erhalten:

{
  "name": "projects/VERTEX_AI_PROJECT_NUMBER/locations/REGION/endpoints/ENDPOINT_ID/operations/OPERATION_ID",
  "metadata": {
    "@type": "type.googleapis.com/google.cloud.aiplatform.v1.CreateEndpointOperationMetadata",
    "genericMetadata": {
      "createTime": "2020-11-05T17:45:42.812656Z",
      "updateTime": "2020-11-05T17:45:42.812656Z"
    }
  }
}
Notieren Sie sich die verwendete ENDPOINT_ID.

Python

Bevor Sie dieses Beispiel ausprobieren, folgen Sie der Einrichtungsanleitung für Python in der Agent Platform-Kurzanleitung zur Verwendung von Clientbibliotheken.

Richten Sie zur Authentifizierung bei der Agent Platform Standardanmeldedaten für Anwendungen ein. Weitere Informationen finden Sie unter Authentifizierung für eine lokale Entwicklungsumgebung einrichten.

Ersetzen Sie Folgendes:

  • VERTEX_AI_PROJECT_ID: die ID des Google Cloud -Projekts, in dem Sie den Endpunkt für die Online-Inferenz erstellen
  • REGION: die Region, in der Sie die Gemini Enterprise Agent Platform verwenden
  • VERTEX_AI_ENDPOINT_NAME: Der Anzeigename für den Endpunkt der Online-Inferenz.
  • NETWORK_NAME: der vollständige Ressourcenname, einschließlich der Projekt-ID, anstelle der Projektnummer.
PROJECT_ID = "VERTEX_AI_PROJECT_ID"
REGION = "REGION"
VERTEX_AI_ENDPOINT_NAME = "VERTEX_AI_ENDPOINT_NAME"

from google.cloud import aiplatform

aiplatform.init(project=PROJECT_ID, location=REGION)

config =
aiplatform.compat.types.service_networking.PrivateServiceConnectConfig(
        enable_private_service_connect=True,
        project_allowlist="VERTEX_AI_PROJECT_ID"
        psc_automation_configs=[
            aiplatform.compat.types.service_networking.PSCAutomationConfig(
                project_id="VERTEX_AI_PROJECT_ID"
network=projects/"VERTEX_AI_PROJECT_ID"/global/networks/"NETWORK_NAME",
            )
        ]
    )
psc_endpoint = aiplatform.PrivateEndpoint.create(
     display_name="VERTEX_AI_ENDPOINT_NAME"
     private_service_connect_config=config,
)

Modell bereitstellen

Nachdem Sie Ihren Online-Inferenz-Endpunkt mit aktiviertem Private Service Connect erstellt haben, stellen Sie Ihr Modell darauf bereit. Führen Sie dazu die Schritte unter Modell auf einem Endpunkt bereitstellen aus.

PSC-Endpunkt manuell erstellen

Wenn Sie Ihr VPC-Netzwerk manuell mit dem Online-Inferenzendpunkt verbinden möchten, müssen Sie den URI des Dienstanhangs abrufen, eine Weiterleitungsregel erstellen und die interne IP-Adresse abrufen.

URI des Dienstanhangs abrufen

Wenn Sie das Modell bereitstellen, wird für den Endpunkt der Online-Inferenz ein Dienstanhang erstellt. Dieser Dienstanhang stellt den Onlinedienst für die Inferenz der Agent Platform dar, der für Ihr VPC-Netzwerk verfügbar gemacht wird. Führen Sie den Befehl gcloud ai endpoints describe aus, um den URI des Dienstanhangs abzurufen.

  1. Listen Sie nur den Wert serviceAttachment aus den Endpunktdetails auf:

    gcloud ai endpoints describe ENDPOINT_ID \
    --project=VERTEX_AI_PROJECT_ID \
    --region=REGION \
    | grep -i serviceAttachment
    

    Ersetzen Sie Folgendes:

    • ENDPOINT_ID: die ID Ihres Endpunkts für die Online-Inferenz
    • VERTEX_AI_PROJECT_ID: die ID des Google Cloud -Projekts, in dem Sie den Endpunkt für Online-Inferenz erstellt haben
    • REGION: Die Region für diese Anfrage

    Die Ausgabe sieht in etwa so aus:

    serviceAttachment: projects/ac74a9f84c2e5f2a1-tp/regions/us-central1/serviceAttachments/gkedpm-c6e6a854a634dc99472bb802f503c1
    
  2. Notieren Sie sich den gesamten String im Feld serviceAttachment. Dies ist der URI des Dienstanhangs.

Erstellen Sie eine Weiterleitungsregel.

Sie können eine interne IP-Adresse reservieren und mit dieser Adresse eine Weiterleitungsregel erstellen. Zum Erstellen der Weiterleitungsregel benötigen Sie den URI des Dienstanhangs aus dem vorherigen Schritt.

  1. Verwenden Sie den Befehl gcloud compute addresses create, um eine interne IP-Adresse für die Weiterleitungsregel zu reservieren:

    gcloud compute addresses create ADDRESS_NAME \
    --project=VPC_PROJECT_ID \
    --region=REGION \
    --subnet=SUBNETWORK \
    --addresses=INTERNAL_IP_ADDRESS
    

    Ersetzen Sie dabei Folgendes:

    • ADDRESS_NAME: ein Name für die interne IP-Adresse
    • VPC_PROJECT_ID: die ID des Google Cloud -Projekts, in dem Ihr VPC-Netzwerk gehostet wird. Wenn der Endpunkt für Online-Inferenz und die Private Service Connect-Weiterleitungsregel im selben Projekt gehostet werden, verwenden Sie für diesen Parameter VERTEX_AI_PROJECT_ID.
    • REGION: die Google Cloud -Region, in der die Private Service Connect-Weiterleitungsregel erstellt werden soll
    • SUBNETWORK: der Name des VPC-Subnetzes, das die IP-Adresse enthält
    • INTERNAL_IP_ADDRESS: die interne IP-Adresse, die reserviert werden soll. Der Parameter ist optional.

      • Wenn dieser Parameter angegeben ist, muss sich die IP-Adresse innerhalb des primären IP-Adressbereichs des Subnetzes befinden. Die IP-Adresse kann eine RFC 1918-Adresse oder ein Subnetz mit Nicht-RFC-Bereichen sein.
      • Wenn Sie diesen Parameter nicht angeben, wird automatisch eine interne IP-Adresse zugewiesen.
      • Weitere Informationen finden Sie unter Neue statische interne IPv4- oder IPv6-Adresse reservieren.
  2. Prüfen Sie mit dem Befehl gcloud compute addresses list, ob die IP-Adresse reserviert ist:

    gcloud compute addresses list --filter="name=(ADDRESS_NAME)" \
    --project=VPC_PROJECT_ID
    

    Prüfen Sie in der Antwort, ob für die IP-Adresse der Status RESERVED angezeigt wird.

  3. Verwenden Sie den Befehl gcloud compute forwarding-rules create, um die Weiterleitungsregel zu erstellen und auf den Anhang des Online-Inferenzdienstes zu verweisen:

    gcloud compute forwarding-rules create PSC_FORWARDING_RULE_NAME \
        --address=ADDRESS_NAME \
        --project=VPC_PROJECT_ID \
        --region=REGION \
        --network=VPC_NETWORK_NAME \
        --target-service-attachment=SERVICE_ATTACHMENT_URI
    

    Ersetzen Sie Folgendes:

    • PSC_FORWARDING_RULE_NAME ist ein Name für die Weiterleitungsregel.
    • VPC_NETWORK_NAME: der Name des VPC-Netzwerks, in dem der Endpunkt erstellt werden soll
    • SERVICE_ATTACHMENT_URI: den Dienstanhang, den Sie zuvor notiert haben.
  4. Prüfen Sie mit dem Befehl gcloud compute forwarding-rules describe, ob der Dienstanhang den Endpunkt akzeptiert:

    gcloud compute forwarding-rules describe PSC_FORWARDING_RULE_NAME \
    --project=VPC_PROJECT_ID \
    --region=REGION
    

    Prüfen Sie in der Antwort, ob für das Feld pscConnectionStatus der Status ACCEPTED angezeigt wird.

Interne IP-Adresse abrufen

Wenn Sie beim Erstellen der Weiterleitungsregel keinen Wert für INTERNAL_IP_ADDRESS angegeben haben, können Sie die automatisch zugewiesene Adresse mit dem Befehl gcloud compute forwarding-rules describe abrufen:

gcloud compute forwarding-rules describe PSC_FORWARDING_RULE_NAME \
--project=VERTEX_AI_PROJECT_ID \
--region=REGION \
| grep -i IPAddress

Ersetzen Sie dabei Folgendes:

  • VERTEX_AI_PROJECT_ID: Ihre Projekt-ID.
  • REGION ist der Name der Region für diese Anfrage.

Optional: PSC-Endpunkt aus dem PSC-Automatisierungsergebnis abrufen

Sie können die generierte IP-Adresse und die Weiterleitungsregel vom Inferenzendpunkt abrufen. Beispiel:

"privateServiceConnectConfig": {
  "enablePrivateServiceConnect": true,
  "projectAllowlist": [
    "your-project-id",
  ],
  "pscAutomationConfigs": [
    {
      "projectId": "your-project-id",
      "network": "projects/your-project-id/global/networks/default",
      "ipAddress": "10.128.15.209",
      "forwardingRule": "https://www.googleapis.com/compute/v1/projects/your-project-id/regions/us-central1/forwardingRules/sca-auto-fr-47b0d6a4-eaff-444b-95e6-e4dc1d10101e",
      "state": "PSC_AUTOMATION_STATE_SUCCESSFUL"
    },
  ]
}

Hier finden Sie einige Details zur Fehlerbehandlung.

  • Ein Automatisierungsfehler hat keine Auswirkungen auf das Ergebnis der Modellbereitstellung.
  • Der Erfolg oder Misserfolg des Vorgangs wird im Status angezeigt.
    • Wenn der Vorgang erfolgreich ist, werden die IP-Adresse und die Weiterleitungsregel angezeigt.
    • Wenn der Vorgang fehlschlägt, wird eine Fehlermeldung angezeigt.
  • Automatisierungskonfigurationen werden entfernt, wenn keine Modelle auf dem Endpunkt bereitgestellt sind oder gerade bereitgestellt werden. Dies führt zu einer Änderung der IP-Adresse und der Weiterleitungsregel, wenn ein Modell später bereitgestellt wird.
  • Fehlgeschlagene Automatisierungen werden nicht wiederhergestellt. Im Falle eines Fehlers können Sie den PSC-Endpunkt manuell erstellen. Weitere Informationen finden Sie unter PSC-Endpunkt manuell erstellen.

Online-Inferenzen abrufen

Das Abrufen von Online-Inferenzen von einem Endpunkt mit Private Service Connect ähnelt dem Abrufen von Online-Inferenzen von öffentlichen Endpunkten, mit folgenden Ausnahmen:

  • Die Anfrage muss von einem Projekt gesendet werden, das in projectAllowlist angegeben wurde, als der Endpunkt für die Online-Inferenz erstellt wurde.
  • Wenn der globale Zugriff nicht aktiviert ist, muss die Anfrage aus derselben Region gesendet werden.
  • Da ein Private Service Connect-Endpunkt eine interne IP-Adresse verwendet, die nur innerhalb Ihres VPC-Netzwerk routingfähig ist, können Sie keine Anfragen direkt von öffentlichen oder externen Netzwerken senden, z. B. von einer nicht verbundenen lokalen Entwicklungsmaschine oder einer standardmäßigen Cloud Shell-Sitzung. Wenn Sie Anfragen von einem lokalen Computer oder einem externen Netzwerk senden möchten, leiten Sie den Traffic mit einer der folgenden Methoden an das Nutzer-VPC-Netzwerk weiter:
  • Es sind zwei Ports geöffnet: 443 mit TLS und selbst signiertem Zertifikat und 80 ohne TLS. Beide Ports unterstützen HTTP und gRPC. Der gesamte Traffic verbleibt in Ihrem privaten Netzwerk und durchläuft nicht das öffentliche Internet.
  • Am besten verwenden Sie HTTPS mit dem selbst signierten Zertifikat, das Sie von der Online-Inferenz der Gemini Enterprise Agent Platform erhalten, oder stellen Ihr eigenes selbst signiertes Zertifikat bereit.
  • Zum Abrufen von Inferenzen muss eine Verbindung über die statische IP-Adresse des Endpunkts hergestellt werden, es sei denn, es wird ein DNS-Eintrag für die interne IP-Adresse erstellt. Senden Sie beispielsweise die predict-Anfragen an den folgenden Endpunkt:

    http://INTERNAL_IP_ADDRESS/v1/projects/VERTEX_AI_PROJECT_ID/locations/REGION/endpoints/ENDPOINT_ID:predict
    

    Ersetzen Sie INTERNAL_IP_ADDRESS durch die zuvor reservierte interne IP-Adresse.

  • Für gRPC-Anfragen: Damit Endpunkte für gRPC-Anfragen richtig identifiziert werden, muss der Header x-vertex-ai-endpoint-id enthalten sein. Dies ist erforderlich, da Endpunktinformationen im Anfragepfad für die gRPC-Kommunikation nicht übermittelt werden.

DNS-Eintrag für die interne IP-Adresse erstellen

Wir empfehlen, einen DNS-Eintrag zu erstellen, damit Sie Online-Inferenzen von Ihrem Endpunkt erhalten können, ohne die interne IP-Adresse angeben zu müssen.

Weitere Informationen finden Sie unter Andere Möglichkeiten zur Konfiguration von DNS.

  1. Erstellen Sie mit dem Befehl gcloud dns managed-zones create eine private DNS-Zone. Diese Zone ist dem VPC-Netzwerk zugeordnet, in dem die Weiterleitungsregel erstellt wurde.

    DNS_NAME_SUFFIX="prediction.p.vertexai.goog."  # DNS names have "." at the end.
    gcloud dns managed-zones create ZONE_NAME \
    --project=VPC_PROJECT_ID \
    --dns-name=$DNS_NAME_SUFFIX \
    --networks=VPC_NETWORK_NAME \
    --visibility=private \
    --description="A DNS zone for Agent Platform endpoints using Private Service Connect."
    
    

    Ersetzen Sie dabei Folgendes:

    • ZONE_NAME: der Name der DNS-Zone
  2. Verwenden Sie zum Erstellen eines DNS-Eintrags in der Zone den Befehl gcloud dns record-sets create:

    DNS_NAME=ENDPOINT_ID-REGION-VERTEX_AI_PROJECT_NUMBER.$DNS_NAME_SUFFIX
    gcloud dns record-sets create $DNS_NAME \
    --rrdatas=INTERNAL_IP_ADDRESS \
    --zone=ZONE_NAME \
    --type=A \
    --ttl=60 \
    --project=VPC_PROJECT_ID
    

    Ersetzen Sie dabei Folgendes:

    • VERTEX_AI_PROJECT_NUMBER ist Ihre VERTEX_AI_PROJECT_ID Projektnummer. Sie finden diese Projektnummer in der Google Cloud Console. Weitere Informationen finden Sie unter Projekte identifizieren.
    • INTERNAL_IP_ADDRESS: die interne IP-Adresse Ihres Online-Inferenzendpunkts

    Jetzt können Sie Ihre predict-Anfragen an folgende VMs senden:

    http://ENDPOINT_ID-REGION-VERTEX_AI_PROJECT_NUMBER.prediction.p.vertexai.goog/v1/projects/VERTEX_AI_PROJECT_ID/locations/REGION/endpoints/ENDPOINT_ID:predict
    

Unterstützung für TLS-Zertifikate (Transport Layer Security)

Die Online-Inferenz der Gemini Enterprise Agent Platform wird mit einem selbst signierten Zertifikat gesichert. Da dieses Zertifikat nicht von einer vertrauenswürdigen Zertifizierungsstelle signiert ist, müssen Clients, die eine HTTPS-Verbindung herstellen möchten, explizit so konfiguriert werden, dass sie dem Zertifikat vertrauen. Das selbst signierte Zertifikat, das vom Online-Inferenzendpunkt der Gemini Enterprise Agent Platform abgerufen wird, ist 10 Jahre lang gültig. Da dieses Zertifikat nicht für einen bestimmten Endpunkt eindeutig ist, kann ein einzelnes Zertifikat für alle Trust Store-Integrationen verwendet werden. Im Folgenden finden Sie die allgemeinen Schritte zum Herstellen einer HTTPS-Verbindung zur Online-Inferenz der Gemini Enterprise Agent Platform:

  1. DNS konfigurieren: Das selbst signierte Zertifikat enthält den alternativen Antragstellernamen (Subject Alternative Name, SAN) *.prediction.p.vertexai.goog. Sie müssen in Ihrem Netzwerk einen DNS-Eintrag erstellen, der diesem Format entspricht.

    Weitere Informationen zur Implementierung finden Sie unter DNS-Eintrag für die interne IP-Adresse erstellen.

  2. Vertrauen des Clients herstellen: Der Client muss das selbst signierte Zertifikat herunterladen und seinem lokalen Trust Store hinzufügen.

  3. HTTPS-Verbindung herstellen: Für die Herstellung einer HTTPS-Verbindung zur Online-Inferenz der Gemini Enterprise Agent Platform ist der voll qualifizierte Domainname (FQDN) erforderlich. Dies ist erforderlich, da der Dienst ein Platzhalter-SSL-Zertifikat verwendet, das für die Domain *.prediction.p.vertexai.goog gültig ist.

In den folgenden Schritten wird gezeigt, wie Sie das Online-Inferenzzertifikat der Gemini Enterprise Agent Platform herunterladen und dem lokalen Trust Store auf Debian-basierten Linux-Systemen wie Debian 11 und Ubuntu hinzufügen.

  1. Aktualisieren Sie die Betriebssystempakete und installieren Sie OpenSSL:

    sudo apt update && sudo apt install openssl
    
  2. Führen Sie den folgenden Befehl in Ihrem Basisverzeichnis aus, um das Online-Inferenzzertifikat der Gemini Enterprise Agent Platform herunterzuladen und in einer Datei namens vertex_certificate.crt in Ihrem aktuellen Verzeichnis zu speichern. Ersetzen Sie die folgenden Werte:

    • ENDPOINT_ID: ID des bereitgestellten Modellendpunkts
    • REGION: die Region, in der sich der Endpunkt befindet
    • VERTEX_AI_PROJECT_NUMBER: die Projektnummer für Ihr Projekt. Sie finden diese Projektnummer in der Google Cloud Console. Weitere Informationen finden Sie unter Projekte identifizieren.
    openssl s_client -showcerts -connect \
    ENDPOINT_ID-REGION-VERTEX_AI_PROJECT_NUMBER.prediction.p.vertexai.goog:443 </dev/null | \
    openssl x509 -outform pem -out vertex_certificate.crt
    
    
  3. Verschieben Sie das Zertifikat in den Trust Store des Systems:

    sudo mv vertex_certificate.crt /usr/local/share/ca-certificates
    
  4. Aktualisieren Sie die Liste der vertrauenswürdigen Zertifizierungsstellen im Zertifikatmanager. Sie sollten eine Ausgabe sehen, die bestätigt, dass ein Zertifikat hinzugefügt wurde.

    sudo update-ca-certificates
    
  5. Senden Sie eine predict-Anfrage an die folgende URL und nehmen Sie dabei die folgenden Ersetzungen vor:

    • INTERNAL_IP_ADDRESS: die interne IP-Adresse Ihres Online-Inferenzendpunkts
    • VERTEX_AI_PROJECT_ID: die Projekt-ID für Ihr Projekt
    https://ENDPOINT_ID-REGION-VERTEX_AI_PROJECT_NUMBER.prediction.p.vertexai.goog/v1/projects/VERTEX_AI_PROJECT_ID/locations/REGION/endpoints/ENDPOINT_ID:predict
    

Unterstützung benutzerdefinierter Zertifikate für TLS

Für Organisationen, die eine genaue Kontrolle über die Zertifikatsverwaltung und -rotation für Online-Inferenzendpunkte der Gemini Enterprise Agent Platform benötigen, können Sie ein vom Kunden verwaltetes Zertifikat mit einem externen oder internen regionalen Google CloudApplication Load Balancer (HTTPS) verwenden.

Im Folgenden finden Sie die allgemeinen Bereitstellungsschritte:

  1. Erstellen Sie ein Zertifikat auf eine der folgenden Arten:

    • Generieren Sie ein selbst signiertes Zertifikat (oder verwenden Sie Ihre Zertifizierungsstelle) für eine benutzerdefinierte Domain. Benutzerdefinierte Domains müssen kein bestimmtes Format haben.
    • Verwenden Sie den Zertifikatmanager für ein von Google verwaltetes Zertifikat. Bei von Google verwalteten Zertifikaten ist die Länge der unterstützten Domainnamen begrenzt. Weitere Informationen finden Sie unter Längenbeschränkungen für Domainnamen für von Google verwaltete Zertifikate.
  2. Regionalen Application Load Balancer (HTTPS) bereitstellen:

    • Konfigurieren Sie den Load Balancer so, dass er Ihr vom Kunden verwaltetes Zertifikat für sein HTTPS-Frontend verwendet.
    • Legen Sie den Backend-Dienst auf eine Private Service Connect-Netzwerk-Endpunktgruppe (PSC-NEG) fest. Diese NEG verweist auf den veröffentlichten Dienst des Dienstanhangs Ihres Gemini Enterprise Agent Platform-Modellendpunkts.
  3. DNS konfigurieren:

    • Ihrer DNS-Zone einen A-Eintrag hinzufügen Die Zone kann öffentlich oder privat sein.
    • Dieser Eintrag muss Ihre vollständig qualifizierte benutzerdefinierte Domain (z. B. example.com) der IP-Adresse des regionalen Application Load Balancers zuordnen.
  4. Aktualisieren Sie den lokalen Trust Store:

    • Damit der Client den Server authentifizieren kann, muss das Zertifikat des Application Load Balancers (oder die ausstellende Zertifizierungsstelle) in den lokalen Trust Store importiert werden.

Jetzt können Sie Ihre Vorhersageanfragen an die vollständig qualifizierte benutzerdefinierte Domain senden:

https://example.com/v1/projects/VERTEX_AI_PROJECT_ID/locations/REGION/endpoints/ENDPOINT_ID:predict

Beispiele für das Abrufen von Online-Inferenzen

In den folgenden Abschnitten finden Sie Beispiele dafür, wie Sie die predict-Anfrage mit Python senden können.

Erstes Beispiel

psc_endpoint = aiplatform.PrivateEndpoint("projects/VERTEX_AI_PROJECT_ID/locations/REGION/endpoints/ENDPOINT_ID")
REQUEST_FILE = "PATH_TO_INPUT_FILE"
import json

import urllib3

urllib3.disable_warnings(urllib3.exceptions.InsecureRequestWarning)

with open(REQUEST_FILE) as json_file:
    data = json.load(json_file)
    response = psc_endpoint.predict(
        instances=data["instances"], endpoint_override=INTERNAL_IP_ADDRESS
    )
print(response)

Ersetzen Sie PATH_TO_INPUT_FILE durch den Pfad zu einer JSON-Datei, die die Anfrageeingabe enthält.

Zweites Beispiel

import json
import requests
import urllib3
import google.auth.transport.requests

urllib3.disable_warnings(urllib3.exceptions.InsecureRequestWarning)

REQUEST_FILE = "PATH_TO_INPUT_FILE"

# Programmatically get credentials and generate an access token
creds, project = google.auth.default()
auth_req = google.auth.transport.requests.Request()
creds.refresh(auth_req)
access_token = creds.token
# Note: the credential lives for 1 hour by default
# After expiration, it must be refreshed
# See https://cloud.google.com/docs/authentication/token-types#access-tokens
# for token lifetimes.

with open(REQUEST_FILE) as json_file:
    data = json.load(json_file)
    url = "https://INTERNAL_IP_ADDRESS/v1/projects/VERTEX_AI_PROJECT_ID/locations/REGION/endpoints/ENDPOINT_ID:predict"
    headers = {
      "Content-Type": "application/json",
      "Authorization": f"Bearer {access_token}"  # Add access token to headers
    }
    payload = {
      "instances": data["instances"],
    }

response = requests.post(url, headers=headers, json=payload, verify=False)

print(response.json())

Drittes Beispiel

Im Folgenden finden Sie ein Beispiel dafür, wie Sie die predict-Anfrage mit Python an die DNS-Zone senden können:

REQUEST_FILE = "PATH_TO_INPUT_FILE"
import json

import urllib3

urllib3.disable_warnings(urllib3.exceptions.InsecureRequestWarning)

with open(REQUEST_FILE) as json_file:
    data = json.load(json_file)
    response = psc_endpoint.predict(
        instances=data["instances"], endpoint_override=DNS_NAME
    )
print(response)

Ersetzen Sie DNS_NAME durch den DNS-Namen, den Sie im Befehl gcloud dns record-sets create angegeben haben.

Best Practices

Wenn ein neuer Endpunkt bereitgestellt wird, wird der Dienstanhang möglicherweise aktualisiert. Prüfen Sie immer den Status des Dienstanhangs und des PSC-Endpunkts, bevor Sie den Inferenzaufruf ausführen. Hier sind einige Best Practices:

  • Wenn ein Endpunkt keine aktiven Bereitstellungen hat, kann die Gemini Enterprise Agent Platform den Dienstanhang löschen und neu erstellen. Achten Sie darauf, dass der PSC-Endpunkt verbunden ist (durch Neuerstellung der Weiterleitungsregel), wenn der Dienstanhang neu erstellt wird.
  • Wenn ein Endpunkt ein aktives bereitgestelltes Modell hat, ändert sich der Dienstanhang nicht. Wenn Sie den Dienstanhang beibehalten möchten, erstellen Sie eine Aufteilung des Traffics und migrieren Sie den Traffic schrittweise zur neuen Modellversion, bevor Sie die Bereitstellung der früheren Version aufheben.
  • Die Gemini Enterprise Agent Platform ermöglicht bis zu 1.000 Verbindungen pro Dienstanhang.
  • Für die Weiterleitungsregel gilt ebenfalls ein Kontingentlimit. Weitere Informationen finden Sie unter Kontingente und Limits für Cloud Load Balancing.

Beschränkungen

Agent Platform-Endpunkte mit Private Service Connect unterliegen den folgenden Einschränkungen:

  • Die Bereitstellung von abgestimmten Gemini-Modellen wird nicht unterstützt.
  • Privater ausgehender Traffic innerhalb des Endpunkts wird nicht unterstützt. Da Private Service Connect-Weiterleitungsregeln unidirektional sind, sind andere privateGoogle Cloud -Arbeitslasten in Ihrem Container nicht zugänglich.
  • Der projectAllowlist-Wert eines Endpunkts kann nicht geändert werden.
  • Vertex Explainable AI wird nicht unterstützt.
  • Bevor Sie einen Endpunkt löschen, müssen Sie die Bereitstellung des Modells auf diesem Endpunkt aufheben.
  • Wenn die Bereitstellung aller Modelle länger als 10 Minuten aufgehoben ist, wird der Dienstanhang möglicherweise gelöscht. Prüfen Sie den Verbindungsstatus von Private Service Connect. Wenn er CLOSED lautet, erstellen Sie die Weiterleitungsregel neu.
  • Nachdem Sie Ihren Endpunkt gelöscht haben, können Sie den Namen des Endpunkts bis zu 7 Tage lang nicht wiederverwenden.
  • Ein Projekt kann in seinen Private Service Connect-Konfigurationen bis zu 10 verschiedene projectAllowlist-Werte haben.

Nächste Schritte