Come funziona l'API Gemini su GDC Connected

Questa pagina descrive il funzionamento dell'API Gemini su Google Distributed Cloud connected, incluse informazioni su infrastruttura, funzionalità hardware e software.

Panoramica

L'API Gemini on GDC connected è una soluzione software chiavi in mano che ti consente di eseguire il deployment dei modelli Gemini sul tuo hardware certificato da Google connesso alla tua rete locale. I modelli sono ospitati all'interno di macchine virtuali confidenziali (CVM) di cui è stato eseguito il deployment su cluster Distributed Cloud Connected. L'hardware richiesto ha una configurazione specifica stabilita e certificata da Google.

Hardware certificato da Google

L'API Gemini on GDC connected richiede hardware certificato da Google configurato esattamente come descritto in Hardware certificato da Google. Devi ordinare e installare questo hardware presso la tua sede prima di ordinare l'API Gemini on GDC connected. Quando ordini l'API Gemini on GDC connected, devi fornire a Google i service tag corrispondenti e altre informazioni di identificazione dell'hardware, come descritto in Requisiti di installazione.

L'hardware certificato da Google ha le seguenti specifiche:

  • Piattaforma: chassis del server Dell XE9680
  • CPU: due (2) processori Intel Xeon Platinum 8592+ a 64 core
  • Memoria: 2 TB di RAM RDIMM DDR5 5600 MT/s
  • GPU: gruppo NVIDIA HGX H200 SXM con otto (8) GPU della serie NVIDIA H200
  • Spazio di archiviazione: spazio di archiviazione NVMe con certificazione FIPS configurato come segue:
    • 2 unità da 960 GB in RAID1 hardware per il sistema operativo
    • 2 unità da 15,36 TB in RAID1 software riservate alle funzioni riservate al sistema
    • 6 unità da 15,36 TB per l'archiviazione dei dati per le macchine virtuali confidenziali che erogano localmente gli endpoint API Gemini on GDC connected.
  • Networking:
    • Due (2) schede di rete Mellanox ConnectX-6 dual-port 100 GbE QFSP56
    • Un (1) adattatore di rete Broadcom 5720 1 GbE integrato
  • Gestione: Integrated Dell Remote Access Controller 9 (iDRAC9) Datacenter 16G per la gestione del sistema integrato
  • Alimentazione: sei (6) alimentatori con certificazione Titanium da 2800 W

Un singolo deployment dell'API Gemini on GDC connected è costituito da una (1) macchina certificata da Google. L'API Gemini on GDC connected non viene eseguita su configurazioni hardware non certificate da Google.

Macchine virtuali confidenziali

I modelli pubblicati dall'API Gemini on GDC connected sono ospitati all'interno di macchine virtuali confidenziali in esecuzione su cluster Distributed Cloud connected. L'attestazione remota garantisce la sicurezza e l'integrità delle CVM di cui è stato eseguito il deployment e dell'ambiente software sicuro che le esegue.

Attestazione remota

L'API Gemini on GDC connected richiede una connessione a internet costante per mantenere l'attestazione remota delle CVM di cui è stato eseguito il deployment e dell'ambiente software sicuro che le ospita. Il meccanismo di attestazione viene implementato utilizzando Intel® Software Guard Extension (Intel® SGX) Remote Attestation Services. Devi disporre di un abbonamento al servizio di provisioning di Intel® SGX e fornire le chiavi API corrispondenti a Google quando ordini Gemini sull'API GDC connected.

Errore di attestazione remota

Il servizio di attestazione remota stabilisce un heartbeat tra il deployment dell'API Gemini on GDC connected e Google, che richiede una connessione a internet ininterrotta. Se questo heartbeat viene interrotto per più di 30 minuti consecutivi, le CVM vengono arrestate finché l'heartbeat non viene ristabilito. Contatta il tuo rappresentante di Google per risolvere gli errori di attestazione.

Modelli supportati

Questa release dell'API Gemini on GDC connected supporta i seguenti modelli:

  • Gemini 2.5 Flash 128k con ID pubblico gemini-2.5-flash e ID prompt gemini-2.5-flash-ggc.

Utilizza l'ID pubblico del modello per tutti i comandi, tranne per l'interazione con il relativo endpoint, per creare richieste di prompt. Utilizza l'ID prompt quando crei richieste di prompt e le invii all'endpoint.

Passi per il deployment

A livello generale, il deployment di un modello Gemini sull'API Gemini on GDC connected si presenta come segue:

  1. Acquista e installa l'hardware certificato da Google, come descritto in Hardware.
  2. Completa i passaggi necessari per soddisfare tutti i requisiti di installazione descritti in Requisiti di installazione.
  3. Ordina l'API Gemini on GDC connected come descritto in Ordinare l'API Gemini on Google Distributed Cloud connesso su Distributed Cloud connesso. Al momento dell'ordine, devi fornire le informazioni elencate in Requisiti di installazione in modo che Google possa eseguire il provisioning del deployment dell'API Gemini on GDC connected per la gestione del software e l'attestazione remota delle CVM che ospitano i modelli che vuoi eseguire il deployment.
  4. Pianifica una visita con un tecnico Google che deve recarsi presso la tua sede per installare e configurare il software dell'API Gemini on GDC connected sull'hardware certificato da Google.
  5. Abilita le API richieste, come descritto in Abilita le API richieste.
  6. Configura un account di fatturazione Cloud per il progetto di destinazione Google Cloud come descritto in Creare un nuovo account di fatturazione Cloud self-service.
  7. Concedi agli amministratori dell'API Gemini on Google Distributed Cloud connected e agli account consumer del modello dell'API Gemini on GDC connected i ruoli richiesti, come descritto in Concedere i ruoli richiesti.
  8. Crea ed esegui il deployment degli endpoint API Gemini on GDC connected, come descritto in Esegui il deployment di un endpoint API Gemini on GDC connected.
  9. Interagisci con gli endpoint API Gemini on GDC connected di cui è stato eseguito il deployment come descritto in Interagisci con un endpoint API Gemini on GDC connected.

Passaggi successivi