本頁說明 Google Distributed Cloud 連結網路方案上的 Gemini API 運作方式,包括基礎架構、硬體和軟體功能等資訊。
總覽
Gemini on GDC connected API 是一項軟體解決方案,可讓您在連上本機網路的 Google 認證硬體上部署 Gemini 模型。模型會託管在部署於 Distributed Cloud 連線叢集的機密虛擬機器 (CVM) 中。必要硬體必須採用 Google 建立及認證的特定設定。
Google 認證的硬體
如要使用 Gemini on GDC connected API,必須使用 Google 認證硬體,並按照這篇文章的說明進行設定。訂購 Gemini on GDC connected API 前,請務必先訂購並在自家安裝這項硬體。 訂購 Gemini on GDC connected API 時,您必須按照安裝需求所述,向 Google 提供相應的服務標籤和其他硬體識別資訊。
Google 認證硬體的規格如下:
- 平台:Dell XE9680 伺服器機殼
- CPU:兩 (2) 個 Intel Xeon Platinum 8592+ 64 核心處理器
- 記憶體:2TB DDR5 5600 MT/s RDIMM RAM
- GPU:NVIDIA HGX H200 SXM 組件,內含八 (8) 個 NVIDIA H200 系列 GPU
- 儲存空間:通過 FIPS 認證的 NVMe 儲存空間,設定如下:
- 2 個 960 GB 硬碟,以硬體 RAID1 形式用於作業系統
- 軟體 RAID1 中的 2 個 15.36 TB 磁碟機,保留給系統保留功能
- 6 個 15.36 TB 的硬碟,用於儲存機密虛擬機器的資料,這些虛擬機器會在本地服務 Gemini on GDC connected API 端點。
- 網路:
- 兩 (2) 個 Mellanox ConnectX-6 雙埠 100 GbE QFSP56 網路介面卡
- 一個 (1) 整合式 Broadcom 5720 1 GbE 網路介面卡
- 管理:整合式 Dell Remote Access Controller 9 (iDRAC9) Datacenter 16G,適用於內嵌系統管理
- 電源:六 (6) 個 2800W 鈦金認證電源供應器
單一 Gemini on GDC connected API 部署作業包含一部 (1) Google 認證的機器。Gemini on GDC connected API 無法在非 Google 認證的硬體設定上執行。
機密虛擬機器
Gemini on GDC connected API 提供的模型會託管在 Distributed Cloud connected 叢集上執行的機密虛擬機器中。遠端驗證可確保部署的 CVM 安全無虞,並維持完整性,以及確保執行 CVM 的軟體環境安全。
遠端認證
Gemini on GDC connected API 需要持續連上網際網路,才能維護已部署 CVM 的遠端認證,以及裝載這些 CVM 的安全軟體環境。驗證機制是使用 Intel® Software Guard Extension (Intel® SGX) Remote Attestation Services 實作。您必須訂閱 Intel® SGX Provisioning Certification Service,並在透過 GDC 連線 API 訂購 Gemini 時,向 Google 提供對應的 API 金鑰。
遠端認證失敗
遠端認證服務會在 Gemini on GDC connected API 部署作業和 Google 之間建立心跳訊號,因此必須維持網路連線。如果心跳訊號中斷超過 30 分鐘,CVM 就會關閉,直到心跳訊號恢復為止。請與 Google 代表聯絡,解決認證失敗問題。
支援的模型
這個版本的 Gemini on GDC connected API 支援下列模型:
- Gemini 2.5 Flash 128k,公開 ID 為
gemini-2.5-flash,提示 ID 為gemini-2.5-flash-ggc。
除了與端點互動來建立提示要求之外,所有指令都使用模型的公開 ID。建立提示要求並傳送至端點時,請使用提示 ID。
部署步驟
大致來說,在 Gemini on GDC connected API 上部署 Gemini 模型的方式如下:
- 如「硬體」一文所述,採購並安裝 Google 認證硬體。
- 完成必要步驟,以滿足「安裝需求」一文所述的所有安裝需求。
- 如要訂購 Gemini on GDC connected API,請參閱「在 Google Distributed Cloud 連結網路方案上訂購 Gemini on Google Distributed Cloud 連結網路方案 API」。訂購時,您必須提供「安裝需求」中列出的資訊,以便 Google 為您佈建 Gemini on GDC connected API 部署作業,用於軟體管理,以及對代管您要部署模型的 CVM 進行遠端認證。
- 預約 Google 技術人員到府服務,他們會前往您的地點,在 Google 認證硬體上安裝及設定 Gemini on GDC connected API 軟體。
- 如「啟用必要的 API」一文所述,啟用必要的 API。
- 按照「建立新的自助式 Cloud Billing 帳戶」一文中的說明,為目標 Google Cloud 專案設定 Cloud Billing 帳戶。
- 如授予必要角色一文所述,將必要角色授予 Gemini on Google Distributed Cloud 連結網路方案 connected API 系統管理員和 Gemini on GDC connected API 模型個人帳戶。
- 按照「部署 Gemini on GDC connected API 端點」一文的說明,建立及部署 Gemini on GDC connected API 端點。
- 如要與已部署的 Gemini on GDC connected API 端點互動,請參閱「與 Gemini on GDC connected API 端點互動」一文。