本页介绍了 Gemini on Google Distributed Cloud connected API 的工作原理,包括其基础架构、硬件和软件功能的相关信息。
概览
Gemini on GDC connected API 是一种统包式软件解决方案,可让您在连接到本地网络的 Google 认证硬件上部署 Gemini 模型。这些模型托管在 部署于 Distributed Cloud connected 集群中的机密虚拟机 (CVM) 内。所需硬件具有 Google 建立和认证的特定配置。
Google 认证硬件
Gemini on GDC connected API 需要 Google 认证硬件,并且配置必须与 Google 认证硬件中所述的配置完全一致。 您必须先在本地订购并安装此硬件,然后才能订购 Gemini on GDC connected API。 订购 Gemini on GDC connected API 时,您必须向 Google 提供相应的服务代码和其他硬件标识信息,如安装要求中所述。
Google 认证硬件具有以下规范:
- 平台: Dell XE9680 服务器机箱
- CPU: 两个 (2) Intel Xeon Platinum 8592+ 64 核处理器
- 内存: 2TB DDR5 5600 MT/s RDIMM RAM
- GPU: NVIDIA HGX H200 SXM 组件,包含八个 (8) NVIDIA H200 系列 GPU
- 存储空间:经过 FIPS 认证的 NVMe 存储空间,配置如下:
- 2 个 960 GB 驱动器,采用硬件 RAID1,用于操作系统
- 2 个 15.36 TB 驱动器,采用软件 RAID1,预留给系统预留功能
- 6 个 15.36 TB 驱动器,用于存储机密虚拟机的数据,这些虚拟机在本地为 Gemini on GDC connected API 端点提供服务。
- 网络:
- 两个 (2) Mellanox ConnectX-6 双端口 100 GbE QFSP56 网络适配器
- 一个 (1) 集成 Broadcom 5720 1 GbE 网络适配器
- 管理:集成 Dell Remote Access Controller 9 (iDRAC9) Datacenter 16G,用于嵌入式系统管理
- 电源: 六个 (6) 2800W 钛金级认证电源
Gemini on GDC connected API 的单次部署包含一台 (1) Google 认证机器。 Gemini on GDC connected API 无法 在非 Google 认证的硬件配置上运行。
机密虚拟机
Gemini on GDC connected API 提供的模型托管在 Distributed Cloud connected 集群上运行的机密虚拟机内。 远程证明可确保已部署的 CVM 及其运行的安全软件环境的安全性和完整性。
远程证明
Gemini on GDC connected API 需要持续的互联网连接,以维护已部署的 CVM 及其托管的安全软件环境的远程证明。证明机制使用 Intel® Software Guard Extension (Intel® SGX) 远程证明服务实现。您必须订阅 Intel® SGX 预配认证服务,并在订购 Gemini on GDC connected API 时向 Google 提供相应的 API 密钥。
远程证明失败
远程证明服务会在 Gemini on GDC connected API 部署与 Google 之间建立心跳信号,这需要不间断的互联网连接。如果此心跳信号中断超过 30 分钟,CVM 将关闭,直到心跳信号重新建立为止。如需解决证明失败问题,请与您的 Google 代表联系。
支持的模型
此版本的 Gemini on GDC connected API 支持以下模型:
- Gemini 2.5 Flash 128k,公开 ID 为
gemini-2.5-flash,提示 ID 为gemini-2.5-flash-ggc。
对于除与端点交互以创建提示请求之外的所有命令,请使用模型的公开 ID。 创建提示请求并将其发送到端点时,请使用提示 ID。
部署步骤
大体上讲,在 Gemini on GDC connected API 上部署 Gemini 模型的步骤如下:
- 采购并安装 Google 认证硬件,如 硬件 中所述。
- 完成满足 安装要求中所述的所有安装要求所需的步骤。
- 订购 Gemini on GDC connected API,如在 Distributed Cloud connected 上订购 Gemini on Google Distributed Cloud connected API 中所述。 订购时,您必须提供安装要求中列出的信息,以便 Google 为您的 Gemini on GDC connected API 部署预配软件管理和托管您要部署的模型的 CVM 的远程证明。
- 安排 Google 技术人员上门服务,他们必须上门在您的 Google 认证硬件上安装和配置 Gemini on GDC connected API 软件。
- 启用所需的 API,如 启用所需的 API 中所述。
- 为目标 Google Cloud 项目设置 Cloud Billing 帐号,如创建新的自助 Cloud Billing 账号中所述。
- 向 Gemini on Google Distributed Cloud connected API 管理员和 Gemini on GDC connected API 模型使用者账号授予所需的角色,如 授予所需的角色中所述。
- 创建和部署 Gemini on GDC connected API 端点,如 部署 Gemini on GDC connected API 端点中所述。
- 与已部署的 Gemini on GDC connected API 端点进行交互,如 与 Gemini on GDC connected API 端点进行交互中所述。