Fonctionnement de l'API Gemini sur GDC connecté

Cette page décrit le fonctionnement de l'API Gemini on Google Distributed Cloud connected, y compris des informations sur son infrastructure, ses capacités matérielles et logicielles.

Présentation

L'API Gemini on GDC connected est une solution logicielle clé en main qui vous permet de déployer des modèles Gemini sur votre propre matériel certifié par Google connecté à votre réseau local. Les modèles sont hébergés dans des machines virtuelles confidentielles (CVM) déployées sur des clusters Distributed Cloud connected. Le matériel requis présente une configuration spécifique établie et certifiée par Google.

Matériel certifié par Google

L'API Gemini on GDC connected nécessite du matériel certifié par Google configuré exactement comme décrit dans Matériel certifié par Google. Vous devez commander et installer ce matériel dans vos locaux avant de commander l'API Gemini on GDC connected. Vous devez fournir les tags de service correspondants et d'autres informations d'identification du matériel à Google lorsque vous commandez l'API Gemini on GDC connected, comme décrit dans Exigences d'installation.

Le matériel certifié par Google présente les spécifications suivantes :

  • Plate-forme : châssis de serveur Dell XE9680
  • Processeur : deux processeurs Intel Xeon Platinum 8592+ à 64 cœurs
  • Mémoire : 2 To de RAM DDR5 5600 MT/s RDIMM
  • GPU : assemblage NVIDIA HGX H200 SXM avec huit GPU NVIDIA série H200
  • Stockage : stockage NVMe certifié FIPS configuré comme suit :
    • 2 disques de 960 Go en RAID1 matériel pour le système d'exploitation
    • 2 disques de 15,36 To en RAID1 logiciel réservés aux fonctions réservées au système
    • 6 disques de 15,36 To pour stocker les données des machines virtuelles confidentielles qui diffusent localement vos points de terminaison de l'API Gemini on GDC connected.
  • Mise en réseau:
    • Deux adaptateurs réseau Mellanox ConnectX-6 à double port 100 GbE QFSP56
    • Un adaptateur réseau Broadcom 5720 1 GbE intégré
  • Gestion : Integrated Dell Remote Access Controller 9 (iDRAC9) Datacenter 16G pour la gestion des systèmes intégrés
  • Alimentation : six alimentations de 2 800 W certifiées Titanium

Un seul déploiement de l'API Gemini on GDC connected se compose d'une seule machine certifiée par Google. L'API Gemini on GDC connected ne fonctionne pas sur des configurations matérielles non certifiées par Google.

Machines virtuelles confidentielles

Les modèles diffusés par l'API Gemini on GDC connected sont hébergés dans des machines virtuelles confidentielles exécutées sur des clusters Distributed Cloud connected. L'attestation à distance garantit la sécurité et l'intégrité des CVM déployées et de l'environnement logiciel sécurisé qui les exécute.

Attestation à distance

L'API Gemini on GDC connected nécessite une connexion Internet constante pour maintenir l'attestation à distance des CVM déployées et de l'environnement logiciel sécurisé qui les héberge. Le mécanisme d'attestation est implémenté à l'aide des services d'attestation à distance Intel® Software Guard Extension (Intel® SGX). Vous devez disposer d'un abonnement au service de certification de provisionnement Intel® SGX et fournir les clés API correspondantes à Google lorsque vous commandez l'API Gemini on GDC connected.

Échec de l'attestation à distance

Le service d'attestation à distance établit un signal de pulsation entre votre déploiement de l'API Gemini on GDC connected et Google, ce qui nécessite une connexion Internet ininterrompue. Si ce signal de pulsation est interrompu pendant plus de 30 minutes consécutives, les CVM sont éteintes jusqu'à ce que le signal de pulsation soit rétabli. Contactez votre représentant Google pour résoudre les échecs d'attestation.

Modèles compatibles

Cette version de l'API Gemini on GDC connected est compatible avec les modèles suivants :

  • Gemini 2.5 Flash 128k avec l'ID public gemini-2.5-flash et l'ID d'invite gemini-2.5-flash-ggc.

Utilisez l'ID public du modèle pour toutes les commandes, sauf pour interagir avec son point de terminaison afin de créer des requêtes d'invite. Utilisez l'ID d'invite lorsque vous créez des requêtes d'invite et que vous les envoyez au point de terminaison.

Procédure de déploiement

De manière générale, le déploiement d'un modèle Gemini sur l'API Gemini on GDC connected se présente comme suit :

  1. Procurez-vous et installez le matériel certifié par Google, comme décrit dans Matériel.
  2. Suivez les étapes nécessaires pour répondre à toutes les exigences d'installation décrites dans Exigences d'installation.
  3. Commandez l'API Gemini on GDC connected comme décrit dans Commander l'API Gemini on Google Distributed Cloud connected sur Distributed Cloud connected. Lorsque vous passez commande, vous devez fournir les informations listées dans Exigences d'installation afin que Google puisse provisionner votre déploiement de l'API Gemini on GDC connected pour la gestion des logiciels et l'attestation à distance des CVM qui hébergent les modèles que vous souhaitez déployer.
  4. Planifiez une visite avec un technicien Google qui devra se rendre sur votre site pour installer et configurer le logiciel de l'API Gemini on GDC connected sur votre matériel certifié par Google.
  5. Activez les API requises, comme décrit dans Activer les API requises.
  6. Configurez un compte de facturation Cloud pour votre projet cible Google Cloud , comme décrit dans Créer un compte de facturation Cloud en libre-service.
  7. Attribuez les rôles requis à vos administrateurs de l'API Gemini on Google Distributed Cloud connected et aux comptes consommateurs de modèles de l'API Gemini on GDC connected, comme décrit dans Attribuer les rôles requis.
  8. Créez et déployez vos points de terminaison de l'API Gemini on GDC connected, comme décrit dans Déployer un point de terminaison de l'API Gemini on GDC connected.
  9. Interagissez avec vos points de terminaison de l'API Gemini on GDC connected déployés, comme décrit dans Interagir avec un point de terminaison de l'API Gemini on GDC connected.

Étape suivante