Como o Gemini na API GDC connected no GDC connected funciona

Nesta página, descrevemos como funciona a API conectada do Gemini no Google Distributed Cloud, incluindo informações sobre a infraestrutura, os recursos de hardware e software.

Visão geral

A API Gemini on GDC connected é uma solução de software pronta para uso que permite implantar modelos do Gemini no seu próprio hardware certificado pelo Google conectado à rede local. Os modelos são hospedados em máquinas virtuais confidenciais (CVMs) implantadas em clusters conectados ao Distributed Cloud. O hardware necessário tem uma configuração específica estabelecida e certificada pelo Google.

Hardware certificado pelo Google

A API Gemini on GDC connected exige hardware certificado pelo Google configurado exatamente como descrito em Hardware certificado pelo Google. É necessário pedir e instalar esse hardware nas suas instalações antes de pedir a API Gemini on GDC connected. Você precisa fornecer as tags de serviço correspondentes e outras informações de identificação de hardware ao Google ao fazer o pedido da API Gemini on GDC connected, conforme descrito em Requisitos de instalação.

O hardware certificado pelo Google tem as seguintes especificações:

  • Plataforma:chassi do servidor Dell XE9680
  • CPU:dois processadores Intel Xeon Platinum 8592+ de 64 núcleos
  • Memória: 2 TB DDR5 5600 MT/s RDIMM RAM
  • GPU:conjunto NVIDIA HGX H200 SXM com oito (8) GPUs da série NVIDIA H200
  • Armazenamento: armazenamento NVMe certificado pelo FIPS configurado da seguinte maneira:
    • 2 unidades de 960 GB em RAID1 de hardware para o sistema operacional
    • 2 unidades de 15,36 TB em RAID1 de software reservadas para funções reservadas do sistema
    • Seis unidades de 15,36 TB para armazenar dados das máquinas virtuais confidenciais que atendem localmente aos endpoints da API Gemini on GDC connected.
  • Rede:
    • Dois (2) adaptadores de rede Mellanox ConnectX-6 de porta dupla 100 GbE QFSP56
    • Um adaptador de rede Broadcom 5720 1 GbE integrado
  • Gerenciamento: Integrated Dell Remote Access Controller 9 (iDRAC9) Datacenter 16G para gerenciamento de sistemas incorporados
  • Alimentação:seis fontes de alimentação de 2.800 W com certificação Titanium

Uma única implantação da API Gemini on GDC connected consiste em uma (1) máquina certificada pelo Google. A API Gemini on GDC connected não é executada em configurações de hardware não certificadas pelo Google.

Máquinas virtuais confidenciais

Os modelos veiculados pela API Gemini on GDC connected são hospedados em máquinas virtuais confidenciais executadas em clusters do Distributed Cloud connected. O atestado remoto garante a segurança e a integridade das CVMs implantadas e do ambiente de software seguro que as executa.

Atestado remoto

A API Gemini on GDC connected exige uma conexão constante com a Internet para manter o atestado remoto das CVMs implantadas e o ambiente de software seguro que as hospeda. O mecanismo de certificação é implementado usando os Serviços de certificação remota do Intel® Software Guard Extension (Intel® SGX). Você precisa ter uma assinatura do serviço de certificação de provisionamento do Intel® SGX e fornecer as chaves de API correspondentes ao Google ao pedir o Gemini na API conectada ao GDC.

Falha na atestação remota

O serviço de atestado remoto estabelece um heartbeat entre sua implantação da API Gemini on GDC connected e o Google, o que exige uma conexão de Internet ininterrupta. Se esse heartbeat for interrompido por mais de 30 minutos consecutivos, as CVMs serão desligadas até que ele seja restabelecido. Entre em contato com seu representante do Google para resolver falhas de atestado.

Modelos compatíveis

Esta versão da API Gemini on GDC connected é compatível com os seguintes modelos:

  • Gemini 2.5 Flash 128k com ID público gemini-2.5-flash e ID de comando gemini-2.5-flash-ggc.

Use o ID público do modelo para todos os comandos, exceto para interagir com o endpoint dele e criar solicitações de comandos. Use o ID do comando ao criar solicitações e enviá-las ao endpoint.

Etapas da implantação

Em um nível geral, a implantação de um modelo do Gemini na API Gemini on GDC conectado é assim:

  1. Adquira e instale o hardware certificado pelo Google, conforme descrito em Hardware.
  2. Conclua as etapas necessárias para atender a todos os requisitos de instalação descritos em Requisitos de instalação.
  3. Faça o pedido da API Gemini on GDC connected conforme descrito em Pedir a API Gemini on Google Distributed Cloud connected no Distributed Cloud connected. Ao fazer o pedido, você precisa fornecer as informações listadas em Requisitos de instalação para que o Google possa provisionar sua implantação da API Gemini on GDC connected para gerenciamento de software e comprovação remota das CVMs que hospedam os modelos que você quer implantar.
  4. Agende uma visita com um técnico do Google, que vai até seu local para instalar e configurar o software da API Gemini on GDC connected no hardware certificado pelo Google.
  5. Ative as APIs necessárias, conforme descrito em Ativar as APIs necessárias.
  6. Configure uma conta do Cloud Billing para seu projeto Google Cloud de destino, conforme descrito em Criar uma conta de autoatendimento do Cloud Billing.
  7. Conceda aos administradores da API Gemini on Google Distributed Cloud connected e às contas de consumidor do modelo da API Gemini on GDC connected os papéis necessários, conforme descrito em Conceder os papéis necessários.
  8. Crie e implante seu Gemini em endpoints de API conectados ao GDC, conforme descrito em Implantar um Gemini em um endpoint de API conectado ao GDC.
  9. Interaja com seus endpoints de API Gemini on GDC implantados conforme descrito em Interagir com um endpoint de API Gemini on GDC conectado.

A seguir