Cómo funciona Gemini en la API de GDC conectado

En esta página, se describe cómo funciona Gemini en la API de Google Distributed Cloud conectado, incluida información sobre su infraestructura, hardware y capacidades de software.

Descripción general

Gemini en la API de GDC conectado es una solución de software lista para usar que te permite implementar modelos de Gemini en tu propio hardware certificado por Google y conectado a tu red local. Los modelos se alojan en máquinas virtuales confidenciales (CVM) implementadas en clústeres conectados a Distributed Cloud. El hardware requerido tiene una configuración específica establecida y certificada por Google.

Hardware certificado por Google

La API de Gemini en GDC conectado requiere hardware certificado por Google configurado exactamente como se describe en Hardware certificado por Google. Debes pedirlo e instalarlo de manera local antes de solicitar la API de Gemini en GDC conectado. Cuando la solicites, debes proporcionar a Google las etiquetas de servicio correspondientes y otra información de identificación del hardware, como se describe en los requisitos de instalación.

El hardware certificado por Google tiene las siguientes especificaciones:

  • Plataforma: Chasis del servidor Dell XE9680
  • CPU: Dos (2) procesadores Intel Xeon Platinum 8592+ de 64 núcleos
  • Memoria: 2 TB de RAM RDIMM DDR5 de 5600 MT/s
  • GPU: NVIDIA HGX H200 SXM con ocho (8) GPUs de la serie NVIDIA H200
  • Almacenamiento: Unidad NVMe certificada por FIPS y configurada de la siguiente manera:
    • 2 unidades de 960 GB en RAID 1 de hardware para el sistema operativo
    • 2 unidades de 15.36 TB en RAID 1 de software reservadas para funciones del sistema
    • 6 unidades de 15.36 TB para almacenar datos de las máquinas virtuales confidenciales que atienden de forma local tus extremos de Gemini en la API de GDC conectado.
  • Redes:
    • Dos (2) adaptadores de red Mellanox ConnectX-6 de doble puerto 100 GbE QFSP56
    • Un (1) adaptador de red Broadcom 5720 1 GbE integrado
  • Administración: Controlador de acceso remoto integrado de Dell 9 (iDRAC9) Datacenter 16G para la administración de sistemas integrados
  • Alimentación: Seis (6) fuentes de alimentación con certificación de titanio de 2,800 W

Una sola implementación de Gemini en la API de GDC conectado consta de una (1) máquina certificada por Google. Gemini en la API de GDC conectado no se ejecuta en configuraciones de hardware que no están certificadas por Google.

Máquinas virtuales confidenciales

Los modelos que ofrece Gemini en la API de GDC conectado se alojan en máquinas virtuales confidenciales que se ejecutan en clústeres conectados a Distributed Cloud. La certificación remota garantiza la seguridad y la integridad de las CVM implementadas y el entorno de software seguro en el que se ejecutan.

Certificación remota

Gemini en la API de GDC conectado requiere una conexión a Internet constante para mantener la certificación remota de las CVM implementadas y el entorno de software seguro que las aloja. El mecanismo de certificación se implementa con los servicios de certificación remota de Intel® Software Guard Extension (Intel® SGX). Debes tener una suscripción al servicio de certificación de aprovisionamiento de Intel® SGX y proporcionar las claves de API correspondientes a Google cuando pidas Gemini en la API de GDC conectado.

Error de certificación remota

El servicio de certificación remota establece una señal de monitoreo de funcionamiento entre la implementación de Gemini en la API de GDC conectado y Google, lo que requiere una conexión a Internet ininterrumpida. Si esa señal se interrumpe durante más de 30 minutos consecutivos, las CVM se apagan hasta que se restablece la señal. Comunícate con tu representante de Google para resolver los errores de certificación.

Modelos compatibles

Esta versión de Gemini en la API de GDC conectado admite los siguientes modelos:

  • Gemini 2.0 Flash 128k con la ID pública gemini-2.0-flash-001.

Pasos para la implementación

En términos generales, para la implementación de un modelo de Gemini en la API de GDC conectado se siguen estos pasos:

  1. Adquiere e instala el hardware certificado por Google, como se describe en Hardware.
  2. Completa los pasos necesarios para satisfacer todos los requisitos de instalación que se describen en Requisitos de instalación.
  3. Haz el pedido del producto como se describe en Solicita Gemini en la API de GDC conectado en Distributed Cloud conectado. Cuando realices el pedido, debes proporcionar la información que se indica en Requisitos de instalación para que Google pueda aprovisionar tu implementación de Gemini en la API de GDC conectado para la administración de software y la certificación remota de las CVM que alojan los modelos que deseas implementar.
  4. Programa una visita con un técnico de Google que debe acudir a tu ubicación para instalar y configurar el software de Gemini en la API de GDC conectado en tu hardware certificado por Google.
  5. Habilita las APIs necesarias, como se describe en Habilita las APIs necesarias.
  6. Configura una cuenta de Facturación de Cloud para tu proyecto Google Cloud objetivo como se describe en Crea una nueva cuenta de Facturación de Cloud de servicio automático.
  7. Otorga a los administradores de Gemini en la API de Google Distributed Cloud conectado y a las cuentas de consumidor del modelo los roles requeridos, como se describe en Otorga los roles requeridos.
  8. Crea e implementa tus extremos de Gemini en la API de GDC conectado, como se describe en Implementa un extremo de Gemini en la API de GDC conectado.
  9. Interactúa con esos extremos implementados como se describe en Interactúa con un extremo de Gemini en la API de GDC conectado.

¿Qué sigue?