安裝需求

如要訂購 Google Distributed Cloud Connected API 上的 Gemini，必須先符合本文所述的安裝需求。詳情請參閱「取得支援」。

認證硬體

訂購 Gemini on GDC 連線 API 之前，請務必先採購符合本節所述確切設定的認證硬體。這項設定適用於單一 Google 認證裝置。

項目 Dell SKU 數量
PowerEdge XE9680，DSS RESTRICTED 210-BHYV 1
2.5 底盤 379-BDTF 1
可信任平台模組 2.0 V5 461-AAIG 1
XE9680 6U 機箱，搭載 8 個 GPU，僅支援 8 個 2.5 吋 NVMe 321-BIEK 1
Intel Xeon Platinum 8592+ 1.9G、64 核心/128 執行緒、20GT/秒、320M 快取、Turbo、HT (350W) DDR5-5600 338-CPBP 2
已選取其他處理器 379-BDCO 1
Riser Config 2 330-BCHH 1
2 個 CPU 設定的散熱片 412-BBCN 1
效能最佳化 370-AAIP 1
5600MT/s RDIMM 370-BBRX 1
128GB RDIMM，5600MT/s，雙列 x4，32Gb BASE 370-BCSR 16
C30，NVME 機箱不支援 RAID 780-BCDO 1
沒有遙控器 405-AACD 1
15.36TB Enterprise NVMe Read Intensive Opal Drive U.2 Gen4 with carrier, FIPs,Kioxia CM7-R, DSS RESTRICTED 345-BLPR 8
效能 BIOS 設定 384-BBBL 1
使用 GPT 分區的 UEFI BIOS 啟動模式 800-BBDM 1
高效能風扇 x6 750-ADGJ 1
3+3 FTR (已啟用 GPU Power Brake)、熱插拔 PSU、2800W MM HLAC (200-240Vac) 鈦金級、C22 連接器 450-AMMN 1
C20 至 C21、PDU 樣式、16 安培、8 英尺、電源線 450-AGXK 6
XE9680 系統主機板，MX，MLK 338-CPWL 1
PowerEdge 2U LCD 螢幕外框 325-BGHR 1
NVIDIA HGX H200 8-GPU SXM 141GB 700W GPU 組件 490-BKHF 1
Broadcom 5720 雙連接埠 1GbE LOM 540-BDKD 1
Mellanox ConnectX-6 DX 雙埠 100GbE QSFP56 網路介面卡，全高 540-BCXO 2
BOSS-N1 控制器卡 + 2 個 FIPS M.2 960GB (RAID 1) Micron 7400 SED NVMe 403-BCVH 1
XE9680 BOSS 纜線 470-AFNO 1
Broadcom 57414 雙連接埠 10/25GbE SFP28，OCP NIC 3.0 540-BCOC 1
未安裝作業系統，沒有公用程式磁碟分割 611-BBBG 1
iDRAC9、Datacenter 16G 528-CTID 1
iDRAC Secure Enterprise Key Manager 授權 2.0 634-BZIL 1
安全元件驗證 528-COYT 1
iDRAC，原廠產生的密碼 379-BCSF 1
iDRAC 服務模組 (ISM)，未安裝 379-BCQX 1
iDRAC 群組管理工具已停用 379-BCQY 1
XE9680 機架導軌線材管理臂 770-BEPB 1
XE9680 滑動式 Ready Rail (B28) 770-BEPC 1
PowerEdge XE9680，出貨 340-DDBX 1
PowerEdge XE9680 CE 標章，無 CCC 標章 389-EFKE 1
XE9680 運送材料 343-BBXC 1
不符合 NAC 資格 5A002.a 340-DMRF 1
企業計畫管理支援 973-3700 1
如果裝置很重，現場服務時需要升降輔助推車，否則可能會延誤或產生額外費用 718-9227 1
Basic Next Business Day 36 Months 709-BFTF 1
RESTRICTED:ProSupport One Data Center and Next Business Day Onsite Service Vol Low Init, 36 Month(s) 199-BTKT 1
Keep Your Hard Drive For Enterprise, 36 Month(s) 711-BCXN 1
ProDeploy Plus PowerEdge XE 系列 5U6U 683-BDSB 1

尺寸和重量

每部 Google 認證的機器高度為 6U，尺寸如下：

  • 高度：263.2 公釐 (10.36 吋)
  • 寬度：482.0 公釐 (18.97 吋)
  • 深度：1008.77 公釐 (39.71 吋)，含前擋板

每部 Google 認證機器的重量為 113.3 公斤 (249.78 磅)。

電力和冷卻系統

每部 Google 認證的機器都具有下列電氣規格：

  • 電壓：100V 至 240V AC，50/60Hz
  • 功率：最高 11,000W

您的設施必須具備足夠的冷卻能力，才能支援每個 Gemini on GDC connected API 部署作業的一部 Google 認證機器。

網路

本節說明透過 GDC 連線 API 部署 Gemini 時的網路需求。除了 Gemini on GDC 連線 API Google 認證的機器外，您還必須提供自己的本機電腦 (例如筆電)，僅在啟動期間使用。這就是圖 1 中的「Turn-up machine」。

網路連線

圖 1 說明 GDC connected API 網路上的 Gemini。

圖 1. 透過 Distributed Cloud 連結網路，在 GDC connected API 上使用 Gemini。
圖 1. Distributed Cloud 連結網路方案上的 Gemini on GDC connected API。

如要在 GDC 連線 API 上部署 Gemini，必須符合下列網路連線需求：

  • 準備支援 Quad Small Form-factor Pluggable (QFSP) 100 Gigabit 光纖連線的機架頂端 (ToR) 交換器。

  • 每部 Google 認證的機器，在 ToR 交換器上至少要分配一個 QFSP 100 Gigabit 光纖連接埠；不過，Google 建議每部機器分配兩個 QFSP 100G 光纖連接埠，以確保高可用性。這些通訊埠都需要 QSFP-100G-SR4-S 纜線。

  • 如果每部機器分配兩個連接埠，請將兩個 ToR 交換器連接埠連至每部機器上的相同 Mellanox CX-6 網路介面卡。

  • 網際網路連線的最低頻寬為下游 1 Gbps 和上游 100 Mbps。

為每部 Google 認證的機器建立下列網路連線：

  • 將機器上 Mellanox CX-6 網路介面卡的其中一個或兩個 QFSP 100 Gigabit 通訊埠，連線至 ToR 交換器。這些連接埠會處理 Gemini on GDC 連線 API 和 Distributed Cloud 連線軟體的高速流量。

  • 將電腦上的整合式 Dell 遠端存取控制器 (iDRAC) 連接埠，連線至獨立的第 2 層交換器。 這是管理電腦的必要條件。

  • 僅適用於啟用：

    • 將 IP 位址指派給 iDRAC 連接埠，該位址不得屬於目標 Distributed Cloud 連線區域 CIDR 區塊。

    • 如圖 1 所示，在 iDRAC 和啟動機器之間建立網路連線。

網路設定

如要在 GDC 連線 API 上部署 Gemini，請按照下列步驟設定區域網路：

  • 分配專屬的未標記 VLAN，並將最大傳輸單位 (MTU) 大小設為 1500 位元組。
  • 為工作負載連線分配私人的 /26 IPv4 CIDR 位址區塊。
  • 使用 BGP 對等互連設定 VLAN 的北向連線，並將指派的 /26 CIDR 區塊通告至上游網路。
  • 為 VLAN 佈建連往上游網路和網際網路的預設路徑。
  • 動態主機設定通訊協定 (DHCP) 伺服器，可將 IPv4 位址指派給通過 Google 認證的機器，以進行啟動程序。這個 DHCP 區塊中的位址必須是工作負載連線 IPv4 CIDR 位址區塊的最後一個 /29 區段。

ToR 交換器設定

請按照下列步驟設定 ToR 交換器：

  • 在連線至 GDC Connected API 電腦的 Gemini 指派通訊埠上，啟用 DHCPv4 和 DNS 支援。
  • 在 MTU 為 1500 位元組的專屬未標記 VLAN 上，設定私人 /26 IPv4 CIDR 區塊。
  • 將 CIDR 區塊中的第一個 IPv4 位址分配為網路閘道。
  • 確認 CIDR 區塊中的其餘 IPv4 位址皆為空閒狀態；Gemini on GDC connected API 會自動為系統函式、服務和本機模型端點分配這些位址。

DHCP 伺服器設定

在 GDC 連線 API 電腦上，為 Gemini 設定 DHCP 伺服器，步驟如下：

  • 從連接至 GDC 連線 API 機器的 Gemini 連接的所有 ToR 交換器連接埠，都必須可連上 DHCP 伺服器。
  • 在 GDC 連線 API 電腦上，為指派 DHCP 保留分配給 Gemini 的 /26 IPv4 CIDR 區塊的最後一個 /29 區段，並將 DHCP 伺服器設定為使用這個 /29 區段做為 DHCP 位址集區。

防火牆設定

設定本機防火牆，允許 Gemini on GDC 連線 API 流量，方法如下：

名稱 來源 IP 位址 目的地任播 IP 位址 通訊協定 通訊埠
啟動 GDCc 可用區 CIDR (/26) 192.178.76.0/23 TCP 80
GDC connected 管理 (TCP)、認證服務、背誦檢查服務、模型下載 GDCc 可用區 CIDR (/26) 216.239.{32,34,36,38}.223、192.178.76.0/23 TCP 443
GDC connected 管理 (gRPC、HTTPS) GDCc 可用區 CIDR (/26) 192.178.76.0/23 TCP 444
GDC connected 管理 (QUIC) GDCc 可用區 CIDR (/26) 192.178.18.0/23 UDP 443
網域名稱服務 (DNS) GDCc 可用區 CIDR (/26) Google DNS：8.8.8.8、8.8.4.4 TCP、UDP 53
網路時間通訊協定 (NTP) GDCc 可用區 CIDR (/26) Google NTP：216.239.35.{0,4,8,12} UDP 123
Intel TDX 遠端認證 GDCc 可用區 CIDR (/26) 4.255.75.174 TCP 443

Intel TDX 遠端認證 API 金鑰

如要啟用為 Gemini on GDC 連線 API 端點提供服務的機密虛擬機器認證，請取得 Intel TDX 遠端認證 API 金鑰，並提供給 Google。如要取得 API 金鑰，請完成本節中的步驟。

  1. 前往 Intel® Provisioning Certification Service for ECDSA Attestation 頁面。

  2. 在「取得 PCK 憑證」部分，按一下「訂閱」。

  3. 按照畫面上的指示建立帳戶，並設定 Intel® SGX Provisioning Certification Service 訂閱項目。

  4. 在帳戶的「你的訂閱項目」部分，找出並記下 Intel® SGX 佈建認證服務訂閱項目的主要 API 金鑰。

提供給 Google 的資訊

請向 Google 提供下列資訊：

  1. 負責採購及部署 Google 認證機器的聯絡人資訊。

  2. 您為 Google 認證機器分配的 /26 IPv4 CIDR 區塊。

  3. Intel® SGX 佈建認證服務訂閱方案的主要和次要 API 金鑰。

  4. Gemini on GDC 連線 API 機器的服務標記。如需操作說明，請參閱「尋找快速服務代碼和服務編號」。

  5. Google 認證電腦中非開機磁碟機的實體安全 ID (PSID)。

  6. 專案 ID，用於存放 Gemini on GDC connected API 的 Distributed Cloud 連線區域。 Google Cloud

驗證認證硬體

安排 Google 技術人員上門服務前，請務必先驗證認證硬體，方法如下：

  1. 向 Google 代表索取硬體驗證 Docker 映像檔。

  2. 在認證的電腦上安裝或即時啟動 Ubuntu Linux。這個安裝項目僅用於飛行前工作；飛行前工作完成後，Google 會以 Gemini on GDC 連線 API 軟體取代這個項目。

  3. 安裝下列套件：

  4. 載入硬體驗證器 Docker 映像檔：

    docker load -i gdc_hw_validator.tar

  5. 指定 Distributed Cloud connected 可用區 CIDR 區塊：

    export IP_CIDR="ZONE_CIDR"

    將 ZONE_CIDR 替換為區域的 CIDR 區塊。

  6. 在認證裝置上以 root 身分執行硬體驗證指令碼：

    docker run --rm -t --privileged -v "$(pwd)":/output -v /sys/fs/cgroup:/sys/fs/cgroup:rw \ 
  --cgroupns=host --network=host -v /lib/modules:/lib/modules:ro -v /dev:/dev \ 
  -e IP_CIDR="$IP_CIDR" gdc_hw_validator

  7. 將指令碼產生的 JSON 檔案提供給 Google 代表。

啟用必用的 API。

您必須在目標 Google Cloud 專案中啟用下列 API：

  • aiplatform.googleapis.com
  • anthos.googleapis.com
  • anthosaudit.googleapis.com
  • anthosgke.googleapis.com
  • cloudresourcemanager.googleapis.com
  • connectgateway.googleapis.com
  • compute.googleapis.com
  • container.googleapis.com
  • edgecontainer.googleapis.com
  • gdchardwaremanagement.googleapis.com
  • gkeconnect.googleapis.com
  • gkehub.googleapis.com
  • gkeonprem.googleapis.com
  • iam.googleapis.com
  • iamcredentials.googleapis.com
  • kubernetesmetadata.googleapis.com
  • logging.googleapis.com
  • monitoring.googleapis.com
  • multiclustermetering.googleapis.com
  • opsconfigmonitoring.googleapis.com
  • oslogin.googleapis.com
  • serviceusage.googleapis.com
  • stackdriver.googleapis.com
  • storage.googleapis.com
  • sts.googleapis.com

如要瞭解如何啟用 API，請參閱「啟用服務」。

設定帳單帳戶

您必須為目標 Google Cloud 專案設定帳單帳戶，詳情請參閱「建立新的自助式 Cloud Billing 帳戶」。

後續步驟

如要讓 Gemini on GDC 連線 API 部署作業上線，請按照下列步驟操作：

  1. 在目標地點接收並安裝 Gemini on GDC 連線 API 認證硬體。

  2. 如本文稍早所述，設定 Gemini on GDC 連線 API 環境。

  3. 如本文稍早所述，驗證認證硬體。

  4. 請與 Google 代表協調，安排 Google 技術人員到府服務。

  5. 請配合 Google 技術人員完成安裝及設定 Gemini on GDC connected API 軟體。

  6. 完成「建立及管理端點」中的步驟。