Endpunkte erstellen und verwalten

Vorschau

Diese Funktion unterliegt den „Bedingungen für Pre-GA-Angebote“ im Abschnitt „Allgemeine Dienstbedingungen“ der dienstspezifischen Nutzungsbedingungen. Pre-GA‑Funktionen stehen in der vorliegenden Form zur Verfügung und bieten möglicherweise nur eingeschränkten Support. Weitere Informationen finden Sie unter den Beschreibungen der Startphase.

Warnung: Während des Vorschauzeitraums dürfen Sie Gemini on GDC connected API nur zu Evaluierungszwecken und Testzwecken verwenden. Sie dürfen die Vorschauversion von Gemini on GDC connected API nicht für kommerzielle oder Produktionszwecke verwenden oder generierte Ausgaben an Dritte weitergeben.

Auf dieser Seite wird beschrieben, wie Sie Gemini on Google Distributed Cloud connected API-Endpunkte erstellen und verwalten.

Vorbereitung

In diesem Abschnitt werden die einmaligen Schritte beschrieben, die Sie ausführen müssen, bevor Sie Gemini on GDC connected API-Endpunkte bereitstellen können. Führen Sie die Schritte auf dem Turn-up-Computer aus.

Hardware-Turn-up abschließen

Bevor Sie die Schritte auf dieser Seite ausführen, müssen Sie Folgendes tun:

• Die von Google zertifizierte Hardware gemäß den Installationsanforderungen bereitstellen.

• Mit Ihrem Google-Ansprechpartner die erforderlichen Distributed Cloud Edge-Cluster erstellen.

Erforderliche Rollen gewähren

Sie müssen die folgenden erforderlichen Rollen konfigurieren:

• Gewähren Sie für Konten, die zum Verwalten Ihrer Gemini on GDC connected API-Bereitstellung verwendet werden, die unter Distributed Cloud Edge Container API-Rollen und -Berechtigungen aufgeführten Rollen.

• Gewähren Sie für Konten, die zum Interagieren mit Gemini on GDC connected API-Endpunkten verwendet werden, die unter Vertex AI API-Rollen und -Berechtigungen aufgeführten Rollen.

Informationen zur Zielzone von Distributed Cloud Edge abrufen

So rufen Sie den Namen Ihrer Zielzone von Distributed Cloud Edge ab:

1. Rufen Sie die ID der Ziel Google Cloud organisation ab:

   gcloud organizations list
   

2. Listen Sie die Zonen von Distributed Cloud Edge in Ihrer Google Cloud Organisation auf:

   gcloud alpha zone-management zones list \
      --organization ORGANIZATION_ID \
      --location REGION
   

   Ersetzen Sie Folgendes:

   • ORGANIZATION_ID: die ID der Ziel Google Cloud organisation.
   • REGION: die Google Cloud Region, in der die Zielzone von Distributed Cloud Edge erstellt wurde. Während der öffentlichen Vorschau ist us-west2 die einzige unterstützte Region.

3. Rufen Sie detaillierte Informationen zur Zielzone ab:

   gcloud alpha zone-management zones describe ZONE \
      --organization ORGANIZATION_ID \
      --location REGION
   

   Ersetzen Sie Folgendes:

   • ZONE: die Zielzone von Distributed Cloud Edge.
   • ORGANIZATION_ID: die ID der Ziel Google Cloud organisation.
   • REGION: die Google Cloud Region, in der die Zielzone von Distributed Cloud Edge erstellt wurde. Während der öffentlichen Vorschau ist us-west2 die einzige unterstützte Region.

Informationen zu den zertifizierten Computern in Ihrer Zone von Distributed Cloud Edge abrufen

So rufen Sie die Namen der zertifizierten Zielcomputer in Ihrer Zone von Distributed Cloud Edge ab:

1. Listen Sie die Computer von Distributed Cloud Edge in der Zielzone von Distributed Cloud Edge auf wie unter Computer in einer Zone auflisten beschrieben.

2. Rufen Sie detaillierte Informationen zum Zielcomputer ab, wie unter Informationen zu einem Computer abrufen beschrieben.

Lokale AI Platform API- und Vertex AI API-Dienste aktivieren

1. Aktivieren Sie das Ziel Google Cloud projekt in Ihrer Zielzone von Distributed Cloud Edge:

   gcloud alpha zone-management projects enable PROJECT_ID \
      --organization ORGANIZATION_ID \
      --location REGION \
      --zone ZONE
   

   Ersetzen Sie Folgendes:

   • PROJECT_ID: die ID des Ziel Google Cloud projekts.
   • ORGANIZATION_ID: die ID der Ziel Google Cloud organisation.
   • REGION: die Google Cloud Region, in der die Zielzone von Distributed Cloud Edge erstellt wurde.
   • ZONE: die Zielzone von Distributed Cloud Edge.

2. Aktivieren Sie den AI Platform-Dienst für das Ziel Google Cloud projekt:

   gcloud services enable aiplatform.googleapis.com --project PROJECT_ID
   

   Ersetzen Sie PROJECT_ID durch die ID des Ziel Google Cloud projekts.

3. Aktivieren Sie den Vertex AI API-Dienst in der Zone von Distributed Cloud Edge:

   gcloud alpha zone-management services enable vertex --project PROJECT_ID \
      --location REGION \
      --zone ZONE
   

   Ersetzen Sie Folgendes:

   • PROJECT_ID: die ID des Ziel Google Cloud projekts.
   • REGION: die Google Cloud Region, in der die Zielzone von Distributed Cloud Edge erstellt wurde.
   • ZONE: die Zielzone von Distributed Cloud Edge.

Endpunkt für die DNS-Auflösung konfigurieren

1. Rufen Sie die verwaltete DNS-Adresse, die Top-Level-Domain (TLD) und das Zertifikat der Zertifizierungsstelle (CA) für die Zielzone von Distributed Cloud Edge ab.

   gcloud alpha zone-management zones describe ZONE \
     --organization ORGANIZATION_ID \
     --location REGION \
     --format="value(certificateAuthorities)" \
     > CA_CERTIFICATE_FILE
   

   Ersetzen Sie Folgendes:

   • ORGANIZATION_ID: die ID der Ziel Google Cloud organisation.
   • REGION: die Google Cloud Region, in der die Zielzone von Distributed Cloud Edge erstellt wurde.
   • ZONE: die Zielzone von Distributed Cloud Edge.
   • CA_CERTIFICATE_FILE: die Datei, in der die vom Befehl ausgegebene Zertifikatnutzlast gespeichert wird. Sie verwenden diese Datei später, um den Dienstkontoschlüssel zu generieren.

   Der Befehl gibt eine Ausgabe ähnlich der folgenden zurück, die in der Datei gespeichert wird:

   -----BEGIN CERTIFICATE-----
   MIIDATCCAemgAwIBAgIRAOsIG15loHwPBpjQe9FZYUAwDQYJKoZIhvcNAQELBQAw
   GjEYMBYGA1UEAxMPZ2RjZS1jbHVzdGVyLWNhMB4XDTI1MDcyOTEyMTAwNloXDTQ5
   MDcyMzEyMTAwNlowGjEYMBYGA1UEAxMPZ2RjZS1jbHVzdGVyLWNhMIIBIjANBgkq
   hkiG9w0BAQEFAAOCAQ8AMIIBCgKCAQEA3YdoASubyzHdgZ0vIU5g1dxdFRT1T4wc
   o9FaRXftSTDfiNVNKj/vC+De9EZokpyLZkdZNep6p0TLJAsPZYq+yiTCiaJ6Ihwy
   3LBn8j2PessSIte2LUhkft1yCQqfkgpYfKcjM3IauIXETS961m0uJb4sntgLJ4nM
   Scb5vpW1f70D1V27bqnEsE7+rbxzeFTosHC+DGBcLqIE0ptdionm/4xoltH7yv2O
   qKfcc/46TyPwGRzxifEdNzjKZ1kRdTThESfW+L7TQNv6VF5TC4FPksYX/ID/X7Fz
   G9BRey0mikvc4J7qQIeyMRlpIKqRh/1FCdRDC9vVEQipT2Ls0MwwTwIDAQABo0Iw
   QDAOBgNVHQ8BAf8EBAMCAYYwDwYDVR0TAQH/BAUwAwEB/zAdBgNVHQ4EFgQUmES2
   pyMLOnnsKug8amFmenOaTr8wDQYJKoZIhvcNAQELBQADggEBADn71zo7cNFZ0kQE
   C2lS6b0DLz4Nd1yCz5fGDvxzcTRdOT60wyq/TAx1YlYse33cGk/cQ7RkVsM56UX1
   T8RMvi09UcEQG3wFrYuU62ZjXF1a3RrOnHxyvVdyvbUYAO5gvzBQrj4tMZYX9kL3
   6H/9FwXuHVyqWAm0xpWvZfszwJjY4C1VxoDwmRiZPYzTrWI6/rY0QmORgcZXLnPL
   OVufbAX30aRGdTRnVXxE0fKmXwzbtbSHilU5hJT7EQWMvV5hJfyNqdXG0gbrhrsk
   sB0yRjk5PHQd9pOMcXcYIgfNnUEcQl4qeSll3g5cZ+cRrcTO1USFLRo8dcbQpJ6Y
   6ykzvKs=
   -----END CERTIFICATE-----
   createTime: '2025-08-25T20:46:50.269384028Z'
   dnsServers:
   - ipAddress: DNS_SERVER_ADDRESS
   tld: TOP_LEVEL_DOMAIN
   name: organizations/ORGANIZATION_ID/locations/REGION/zones/ZONE
   state: STATE_RUNNING
   

2. Erstellen Sie die DNS-Konfiguration für den Endpunkt mit der DNS-Server-IP-Adresse und dem Namen der Top-Level-Domain (TLD), die Sie im vorherigen Schritt erhalten haben. Sie müssen diesen Befehl auf einem Computer ausführen, der sich im selben lokalen Netzwerk wie der für Gemini on GDC connected API zertifizierte Computer befindet.

   mkdir /etc/systemd/resolved.conf.d
   echo '[Resolve]
   DNS=DNS_SERVER_ADDRESS
   Domains=~TOP_LEVEL_DOMAIN' > /etc/systemd/resolved.conf.d/dns.conf
   sudo systemctl restart systemd-resolved
   

   Ersetzen Sie Folgendes:

   • DNS_SERVER_ADDRESS: die IP-Adresse Ihres DNS-Servers.
   • TOP_LEVEL_DOMAIN: die Top-Level-Domain für den Endpunkt.

Gemini on GDC connected API-Endpunkt bereitstellen

So stellen Sie einen Gemini on GDC connected API-Endpunkt bereit:

1. Erstellen Sie den Endpunkt:

   gcloud beta ai endpoints create \
      --project=PROJECT_ID \
      --region=REGION \
      --gdc-zone=ZONE \
      --display-name=ENDPOINT_NAME \
      --endpoint-id=ENDPOINT_ID
   

   Ersetzen Sie Folgendes:

   • PROJECT_ID: die ID des Ziel Google Cloud projekts.
   • REGION: die Google Cloud Region, in der die Zielzone von Distributed Cloud Edge erstellt wurde.
   • ZONE: die Zielzone von Distributed Cloud Edge.
   • ENDPOINT_NAME: ein aussagekräftiger Name für diesen Endpunkt.
   • ENDPOINT_ID: (optional) eine eindeutige ID für diesen Endpunkt. Wenn Sie diesen Parameter nicht angeben, wird eine zufällige ID generiert.

2. Modell bereitstellen:

   gcloud beta ai endpoints deploy-model ENDPOINT_ID \
     --display-name=ENDPOINT_NAME \
     --model=MODEL_PUBLIC_ID \
     --region=REGION
   

   Ersetzen Sie Folgendes:

   • ENDPOINT_ID: die ID des Zielendpunkts.
   • ENDPOINT_NAME: der Name des Zielendpunkts.
   • REGION: die Google Cloud Region, in der die Zielzone von Distributed Cloud Edge erstellt wurde.
   • MODEL_PUBLIC_ID: die öffentliche ID des Modells. Eine Liste der unterstützten Modelle finden Sie unter Unterstützte Modelle.

3. Stellen Sie die bereitgestellten Endpunkte auf:

   gcloud beta ai endpoints list \
     --project=PROJECT_ID \
     --region=REGION
   

   Ersetzen Sie Folgendes:

   • PROJECT_ID: die ID des Ziel Google Cloud projekts.
   • REGION: die Google Cloud Region, in der die Zielzone von Distributed Cloud Edge erstellt wurde.

   Notieren Sie sich die ID des Zielendpunkts.

4. Rufen Sie die Endpunktadresse ab:

   gcloud beta ai endpoints describe ENDPOINT_ID \
     --project=PROJECT_ID \
     --region=REGION
   

   Ersetzen Sie Folgendes:

   • ENDPOINT_ID: die ID des Zielendpunkts.
   • PROJECT_ID: die ID des Ziel Google Cloud projekts.
   • REGION: die Google Cloud Region, in der die Zielzone von Distributed Cloud Edge erstellt wurde.

5. Erstellen Sie das Dienstkonto für den Endpunkt in der Zielzone von Distributed Cloud Edge:

   gcloud alpha zone-management service-accounts create SERVICE_ACCOUNT \
     --project PROJECT_ID \
     --location REGION \
     --zone ZONE
   

   Ersetzen Sie Folgendes:

   • SERVICE_ACCOUNT: ein aussagekräftiger Name, der dieses Dienstkonto eindeutig identifiziert. Dieser Name darf nur Kleinbuchstaben, Ziffern, „-“ oder „.“ enthalten und muss mit einem alphanumerischen Zeichen beginnen und enden. Großbuchstaben sind nicht zulässig.
   • PROJECT_ID: die ID des Ziel Google Cloud projekts.
   • REGION: die Google Cloud Region, in der die Zielzone von Distributed Cloud Edge erstellt wurde.
   • ZONE: die Zielzone von Distributed Cloud Edge.

6. Rufen Sie Identity and Access Management-Richtlinie für die Zielzone von Distributed Cloud Edge ab:

   gcloud alpha zone-management zones get-iam-policy ZONE \
     --project PROJECT_ID \
     --location REGION
   

   Ersetzen Sie Folgendes:

   • ZONE: die Zielzone von Distributed Cloud Edge.
   • PROJECT_ID: die ID des Ziel Google Cloud projekts.
   • REGION: die Google Cloud Region, in der die Zielzone von Distributed Cloud Edge erstellt wurde.

7. Weisen Sie dem Dienstkonto die Rolle „AI Platform-Entwickler“ zu:

   gcloud alpha zone-management zones set-iam-policy POLICY_FILE \
     --project PROJECT_ID \
     --location REGION \
     --zone ZONE
   

   Ersetzen Sie Folgendes:

   • POLICY_FILE: JSON- oder YAML-Datei mit der Richtlinie für die Rollenzuweisung.
   • PROJECT_ID: die ID des Ziel Google Cloud projekts.
   • REGION: die Google Cloud Region, in der die Zielzone von Distributed Cloud Edge erstellt wurde.
   • ZONE: die Zielzone von Distributed Cloud Edge.

   Das folgende Beispiel zeigt eine Richtlinie im JSON-Format:

   "bindings": [
      {
         "role": "roles/aiplatform.geminiDeveloper",
         "members": [
         "serviceAccount": "projects/PROJECT_ID/locations/REGION/serviceAccounts/SERVICE_ACCOUNT"
         ]
      }
   ]
   "etag": ""
   

   Das folgende Beispiel zeigt eine Richtlinie im YAML-Format:

   bindings:
   - role: roles/aiplatform.geminiDeveloper
   members:
   - serviceAccount: projects/PROJECT_ID/locations/REGION/serviceAccounts/SERVICE_ACCOUNT
   etag: ""
   

   Ersetzen Sie Folgendes:

   • PROJECT_ID: die ID des Ziel Google Cloud projekts.
   • REGION: die Google Cloud Region, in der die Zielzone von Distributed Cloud Edge erstellt wurde.
   • SERVICE_ACCOUNT: ein aussagekräftiger Name, der dieses Dienstkonto eindeutig identifiziert.

8. Erstellen Sie einen Schlüssel für das Dienstkonto:

   gcloud alpha zone-management service-accounts keys create SA_KEY_FILE \
     --service-account SERVICE_ACCOUNT \
     --project PROJECT_ID \
     --location REGION \
     --ca-cert-path CA_CERTIFICATE_FILE
   

   Ersetzen Sie Folgendes:

   • SA_KEY_FILE: Datei, in der der generierte Dienstkontoschlüssel gespeichert werden soll.
   • PROJECT_ID: die ID des Ziel Google Cloud projekts.
   • REGION: die Google Cloud Region, in der die Zielzone von Distributed Cloud Edge erstellt wurde.
   • CA_CERTIFICATE_FILE: die zuvor erstellte CA-Zertifikatsdatei.

9. Rufen Sie die vollständig qualifizierte URL des Endpunkts ab:

   gcloud beta ai endpoints describe ENDPOINT_ID \
     --project=PROJECT_ID \
     --region=REGION
   

10. Geben Sie das Identitätstoken für das Dienstkonto aus. Sie müssen diesen Befehl auf einem Computer ausführen, der sich im selben lokalen Netzwerk wie der für Gemini on GDC connected API zertifizierte Computer befindet.

    gcloud alpha zone-management auth print-identity-token \
      --cred-file=SA_KEY_FILE \
      --audience=ENDPOINT_URL
    

    Ersetzen Sie Folgendes:

    • SA_KEY_FILE: die zuvor erstellte Dienstkontoschlüsseldatei.
    • ENDPOINT_URL: die vollständig qualifizierte URL des Endpunkts, einschließlich des TLD-Suffix.

Bereitgestellte Gemini on GDC connected API-Endpunkte auflisten

So listen Sie Ihre bereitgestellten Gemini on GDC connected API-Endpunkte auf:

gcloud beta ai endpoints list \
    --project=PROJECT_ID \
    --region=REGION \
    --gdc-zone=ZONE

Ersetzen Sie Folgendes:

• PROJECT_ID: die ID des Ziel Google Cloud projekts.
• REGION: die Google Cloud Region, in der die Zielzone von Distributed Cloud Edge erstellt wurde.
• ZONE: die Zielzone von Distributed Cloud Edge.

Informationen zu einem Gemini on GDC connected API-Endpunkt abrufen

So rufen Sie Informationen zu einem bereitgestellten Gemini on GDC connected API-Endpunkt ab:

gcloud beta ai endpoints describe ENDPOINT_ID \
    --project=PROJECT_ID \
    --region=REGION
   

Ersetzen Sie Folgendes:

• ENDPOINT_ID: die ID des Zielendpunkts.
• PROJECT_ID: die ID des Ziel Google Cloud projekts.
• REGION: die Google Cloud Region, in der die Zielzone von Distributed Cloud Edge erstellt wurde.

Mit einem Gemini on Google Distributed Cloud connected API-Endpunkt interagieren

Ihr Gemini on GDC connected API-Endpunkt unterstützt die Interaktion über die ChatCompletions API und die ListAvailableModels API. Mit diesen APIs können Sie programmatisch mit Ihrem Endpunkt interagieren.

Hier ist ein Beispiel für eine Anfrage über die ChatCompletions API. Das in dieser Anfrage generierte Inhabertoken ist 12 Stunden lang gültig.

1. Legen Sie die folgenden Variablen in Ihrer Shell-Umgebung fest:

   MODEL_NAME="MODEL_NAME"
   USER_CONTENT="Who invented the light bulb?"
   PROJECT="PROJECT_ID"
   LOCATION="REGION"
   IG_FQDN="inference-gateway.vai.ZONE.google.private.goog"
   CRED_FILE="SA_KEY_FILE"
   API_ENDPOINT="https://${IG_FQDN}/v1/projects/${PROJECT}/locations/${LOCATION}/chat/completions"
   

   Ersetzen Sie Folgendes:

   • MODEL_NAME: der Name des Zielmodells.
   • PROJECT_ID: die ID des Ziel Google Cloud projekts.
   • REGION: die Google Cloud Region, in der die Zielzone von Distributed Cloud Edge erstellt wurde.
   • SA_KEY_FILE: die zuvor erstellte Dienstkontoschlüsseldatei.

2. Geben Sie das Inhabertoken aus. Sie müssen diesen Befehl auf einem Computer ausführen, der sich im selben lokalen Netzwerk wie der für Gemini on GDC connected API zertifizierte Computer befindet.

   BEARER_TOKEN=$(gcloud alpha zone-management auth print-identity-token --cred-file="${CRED_FILE}" --audience="https://${IG_FQDN}")
   echo $BEARER_TOKEN
   

3. Erstellen Sie die Nutzlast:

   REQUEST_BODY=$(cat <<EOF
   {
   "model": "${MODEL_NAME}",
   "messages": [
      {
         "role": "system",
         "content": "Pizza for everyone!"
      },
      {
         "role": "user",
         "content": "${USER_CONTENT}"
      }
   ],
   "stream": false
   }
   EOF
   )
   

4. Senden Sie die Anfrage an den Endpunkt. Sie müssen diesen Befehl auf einem Computer ausführen, der sich im selben lokalen Netzwerk wie der für Gemini on GDC connected API zertifizierte Computer befindet.

   curl -k -X POST \
   "${API_ENDPOINT}" \
   -d "${REQUEST_BODY}" \
   -H "Content-Type: application/json" \
   -H "Authorization: Bearer ${BEARER_TOKEN}" \
   -H "x-goog-user-project: projects/${PROJECT}"
   

Beispiel für eine multimodale ChatCompletions API-Anfrage

Das folgende Beispiel zeigt eine multimodale ChatCompletions API-Anfragenutzlast mit einem Dokument als Eingabe:

1. Erstellen Sie die Nutzlast:

   BASE64_IMAGE=$(base64 -w 0 JPEG_FILE)
   REQUEST_BODY=$(cat <<EOF
   {
   "model": "${MODEL_NAME}",
   "messages": [
      {
         "role": "user",
         "content": [
               {
                  "type": "text",
                  "text": "What is this image?"
               },
               {
                  "type": "image_url",
                  "image_url": {
                     "url": "data:image/jpeg;base64,${BASE64_IMAGE}"
                  }
               }
         ]
      }
   ]
   }
   EOF
   
   )
   

2. Senden Sie die Anfrage an den Endpunkt. Sie müssen diesen Befehl auf einem Computer ausführen, der sich im selben lokalen Netzwerk wie der für Gemini on GDC connected API zertifizierte Computer befindet.

   curl -k -X POST \
   "${API_ENDPOINT}" \
   -d "${REQUEST_BODY}" \
   -H "Content-Type: application/json" \
   -H "Authorization: Bearer ${BEARER_TOKEN}" \
   -H "x-goog-user-project: projects/${PROJECT}"
   

Beispiel für eine ListAllAvailableModels API-Anfrage

Das folgende Beispiel zeigt eine ListAllAvailableModels API-Anfrage:

BEARER_TOKEN=$(gcloud alpha zone-management auth print-identity-token --cred-file="${CRED_FILE}" --audience="https://${IG_FQDN}")
# The request body -d parameter is intentionally omitted.
grpcurl -insecure \
  -H "Authorization: Bearer ${BEARER_TOKEN}" \
  -H "x-goog-user-project: projects/${PROJECT}" \
  "${IG_FQDN}" \
  cloud.gdc.ai.inference.inferencegateway.GeminiMetadataService.ListAvailableModels

Gemini on Google Distributed Cloud connected API-Endpunkt löschen

So löschen Sie einen Gemini on GDC connected API-Endpunkt:

1. Heben Sie die Bereitstellung des Modells auf:

   gcloud beta ai endpoints undeploy-model ENDPOINT_ID \
     --region=REGION \
     --gdc-zone=ZONE \
     --model=MODEL_PUBLIC_ID
   

   Ersetzen Sie Folgendes:

   • ENDPOINT_ID: die ID des Zielendpunkts.
   • REGION: die Google Cloud Region, in der die Zielzone von Distributed Cloud Edge erstellt wurde.
   • ZONE: die Zielzone von Distributed Cloud Edge.
   • MODEL_PUBLIC_ID: die öffentliche ID des Modells. Eine Liste der unterstützten Modelle finden Sie unter Unterstützte Modelle.

2. Löschen Sie den Endpunkt:

   gcloud beta ai endpoints delete ENDPOINT_ID \
      --project=PROJECT_ID \
      --region=REGION
   

   Ersetzen Sie Folgendes:

   • ENDPOINT_ID: die ID des Zielendpunkts.
   • PROJECT_ID: der Name des Zielendpunkts.
   • REGION: die Google Cloud Region, in der die Zielzone von Distributed Cloud Edge erstellt wurde.

Fehlerbehebung bei Endpunkten

Wenn ein Gemini on GDC connected API-Endpunkt ausfällt, wenden Sie sich an Ihren Google-Ansprechpartner, um das Problem zu beheben.