So funktioniert die Gemini on GDC Connected API in GDC Connected

Auf dieser Seite wird beschrieben, wie die API für Gemini auf Google Distributed Cloud Connected funktioniert, einschließlich Informationen zur Infrastruktur, Hardware und Softwarefunktionen.

Übersicht

Die Gemini on GDC Connected API ist eine schlüsselfertige Softwarelösung, mit der Sie Gemini-Modelle auf Ihrer eigenen Google-zertifizierten Hardware bereitstellen können, die mit Ihrem lokalen Netzwerk verbunden ist. Die Modelle werden in Confidential VMs (CVMs) gehostet, die in Distributed Cloud Connected-Clustern bereitgestellt werden. Die erforderliche Hardware hat eine bestimmte Konfiguration, die von Google festgelegt und zertifiziert wurde.

Von Google zertifizierte Hardware

Für die Gemini on GDC Connected API ist Google-zertifizierte Hardware erforderlich, die genau wie unter Google-zertifizierte Hardware beschrieben konfiguriert ist. Sie müssen diese Hardware bestellen und in Ihren Räumlichkeiten installieren, bevor Sie die Gemini on GDC Connected API bestellen. Sie müssen Google bei der Bestellung der Gemini on GDC Connected API die entsprechenden Service-Tags und andere Hardware-Identifikationsinformationen zur Verfügung stellen, wie in den Installationsanforderungen beschrieben.

Die von Google zertifizierte Hardware hat die folgenden Spezifikationen:

  • Plattform:Dell XE9680-Servergehäuse
  • CPU:Zwei (2) Intel Xeon Platinum 8592+-Prozessoren mit 64 Kernen
  • Arbeitsspeicher: 2 TB DDR5 5600 MT/s RDIMM RAM
  • GPU:NVIDIA HGX H200 SXM-Baugruppe mit acht (8) GPUs der NVIDIA H200-Serie
  • Speicher: FIPS-zertifizierter NVMe-Speicher, der so konfiguriert ist:
    • 2 × 960 GB-Festplatten in Hardware-RAID1 für das Betriebssystem
    • 2 × 15,36 TB-Laufwerke in Software-RAID1, die für systemreservierte Funktionen reserviert sind
    • 6 Laufwerke mit je 15,36 TB zum Speichern von Daten für die vertraulichen VMs, die Ihre Gemini on GDC Connected API-Endpunkte lokal bereitstellen.
  • Netzwerk:
    • Zwei (2) Mellanox ConnectX-6 Dual-Port-100 GbE-QFSP56-Netzwerkadapter
    • Ein (1) integrierter Broadcom 5720 1 GbE-Netzwerkadapter
  • Verwaltung: Integrierter Dell Remote Access Controller 9 (iDRAC9) Datacenter 16G für die Verwaltung eingebetteter Systeme
  • Stromversorgung:Sechs (6) 2.800‑W-Netzteile mit Titanium-Zertifizierung

Eine einzelne Bereitstellung der Gemini on GDC Connected API besteht aus einer (1) von Google zertifizierten Maschine. Die Gemini on GDC Connected API wird nicht auf nicht von Google zertifizierten Hardwarekonfigurationen ausgeführt.

Vertrauliche virtuelle Maschinen

Die von der Gemini on GDC Connected API bereitgestellten Modelle werden in Confidential Virtual Machines gehostet, die in Distributed Cloud Connected-Clustern ausgeführt werden. Die Remote Attestation sorgt für die Sicherheit und Integrität der bereitgestellten CVMs und der sicheren Softwareumgebung, in der sie ausgeführt werden.

Remote-Zertifizierung

Für die Gemini on GDC Connected API ist eine ständige Internetverbindung erforderlich, um die Remote-Attestierung der bereitgestellten CVMs und der sicheren Softwareumgebung, in der sie gehostet werden, aufrechtzuerhalten. Der Attestierungsmechanismus wird mit Intel® Software Guard Extension (Intel® SGX) Remote Attestation Services implementiert. Sie benötigen ein Abonnement für den Intel® SGX Provisioning Certification Service und müssen Google die entsprechenden API-Schlüssel zur Verfügung stellen, wenn Sie Gemini über die GDC-verbundene API bestellen.

Fehler bei der Remote-Attestierung

Der Remote-Attestierungsdienst stellt einen Heartbeat zwischen Ihrer Gemini on GDC Connected API-Bereitstellung und Google her. Dazu ist eine ununterbrochene Internetverbindung erforderlich. Wenn dieser Heartbeat länger als 30 Minuten unterbrochen wird, werden die CVMs heruntergefahren, bis der Heartbeat wiederhergestellt ist. Wenden Sie sich an Ihren Google-Ansprechpartner, um Attestierungsfehler zu beheben.

Unterstützte Modelle

Diese Version der Gemini on GDC Connected API unterstützt die folgenden Modelle:

  • Gemini 2.5 Flash 128k mit der öffentlichen ID gemini-2.5-flash und der Prompt-ID gemini-2.5-flash-ggc.

Verwenden Sie die öffentliche ID des Modells für alle Befehle, außer für die Interaktion mit dem Endpunkt, um Prompts zu erstellen. Verwenden Sie die Prompt-ID, wenn Sie Prompts erstellen und an den Endpunkt senden.

Deployment

Die Bereitstellung eines Gemini-Modells in der Gemini on GDC Connected API läuft im Wesentlichen so ab:

  1. Beschaffen und installieren Sie die von Google zertifizierte Hardware, wie unter Hardware beschrieben.
  2. Führen Sie die erforderlichen Schritte aus, um alle in Installationsanforderungen beschriebenen Installationsanforderungen zu erfüllen.
  3. Bestellen Sie die Gemini on GDC Connected API, wie unter Gemini on Google Distributed Cloud Connected API auf Distributed Cloud Connected bestellen beschrieben. Bei der Bestellung müssen Sie die unter Installationsanforderungen aufgeführten Informationen angeben, damit Google Ihre Gemini on GDC Connected API-Bereitstellung für die Softwareverwaltung und die Remote-Attestierung der CVMs bereitstellen kann, auf denen die Modelle gehostet werden, die Sie bereitstellen möchten.
  4. Vereinbaren Sie einen Termin mit einem Google-Techniker, der Ihren Standort besuchen muss, um die Software für die Gemini on GDC Connected API auf Ihrer Google-zertifizierten Hardware zu installieren und zu konfigurieren.
  5. Aktivieren Sie die erforderlichen APIs, wie unter Erforderliche APIs aktivieren beschrieben.
  6. Richten Sie ein Cloud-Rechnungskonto für Ihr Zielprojekt Google Cloud ein, wie unter Neues Selfservice-Cloud-Rechnungskonto erstellen beschrieben.
  7. Weisen Sie Ihren Administratoren der Gemini on Google Distributed Cloud Connected API und den Konten der Gemini on GDC Connected API-Modellnutzer die erforderlichen Rollen zu, wie unter Erforderliche Rollen zuweisen beschrieben.
  8. Erstellen und stellen Sie Ihre Gemini on GDC Connected API-Endpunkte bereit, wie unter Gemini on GDC Connected API-Endpunkt bereitstellen beschrieben.
  9. Interagieren Sie mit den bereitgestellten Gemini on GDC Connected API-Endpunkten, wie unter Mit einem Gemini on GDC Connected API-Endpunkt interagieren beschrieben.

Nächste Schritte