GDC connected의 Gemini API가 작동하는 방식

이 페이지에서는 인프라, 하드웨어, 소프트웨어 기능을 포함하여 Google Distributed Cloud connected API의 Gemini가 작동하는 방식을 설명합니다.

개요

Gemini on GDC connected API는 로컬 네트워크에 연결된 Google 인증 하드웨어에 Gemini 모델을 배포할 수 있는 턴키 소프트웨어 솔루션입니다. 모델은 Distributed Cloud connected 클러스터에 배포된 컨피덴셜 가상 머신 (CVM) 내에서 호스팅됩니다. 필요한 하드웨어에는 Google에서 설정하고 인증한 특정 구성이 있습니다.

Google 인증 하드웨어

Gemini on GDC connected API에는 Google 인증 하드웨어에 설명된 대로 정확하게 구성된 Google 인증 하드웨어가 필요합니다. Gemini on GDC connected API를 주문하기 전에 이 하드웨어를 주문하고 온프레미스에 설치해야 합니다. 설치 요구사항에 설명된 대로 Gemini on GDC connected API를 주문할 때 Google에 해당 서비스 태그 및 기타 하드웨어 식별 정보를 제공해야 합니다.

Google 인증 하드웨어의 사양은 다음과 같습니다.

  • 플랫폼: Dell XE9680 서버 섀시
  • CPU: Intel Xeon Platinum 8592+ 64코어 프로세서 2개
  • 메모리: 2TB DDR5 5600MT/s RDIMM RAM
  • GPU: NVIDIA H200 시리즈 GPU 8개가 포함된 NVIDIA HGX H200 SXM 어셈블리
  • 스토리지: 다음과 같이 구성된 FIPS 인증 NVMe 스토리지
    • 운영체제를 위한 하드웨어 RAID1의 960GB 드라이브 2개
    • 시스템 예약 함수를 위해 예약된 소프트웨어 RAID1의 15.36TB 드라이브 2개
    • Gemini on GDC connected API 엔드포인트를 로컬로 제공하는 컨피덴셜 가상 머신의 데이터를 저장하기 위한 15.36TB 드라이브 6개
  • 네트워킹:
    • Mellanox ConnectX-6 듀얼 포트 100GbE QFSP56 네트워크 어댑터 2개
    • 통합 Broadcom 5720 1GbE 네트워크 어댑터 1개
  • 관리: 임베디드 시스템 관리를 위한 통합 Dell Remote Access Controller 9 (iDRAC9) 데이터 센터 16G
  • 전원: 2800W 티타늄 인증 전원 공급 장치 6개

Gemini on GDC connected API의 단일 배포는 Google 인증 머신 1개로 구성됩니다. Gemini on GDC connected API는 Google 인증이 아닌 하드웨어 구성에서 실행되지 않습니다.

컨피덴셜 가상 머신

Gemini on GDC connected API에서 제공하는 모델은 Distributed Cloud connected 클러스터에서 실행되는 컨피덴셜 가상 머신 내에서 호스팅됩니다. 원격 증명은 배포된 CVM과 이를 실행하는 보안 소프트웨어 환경의 보안 및 무결성을 보장합니다.

원격 증명

Gemini on GDC connected API를 사용하려면 배포된 CVM과 이를 호스팅하는 보안 소프트웨어 환경의 원격 증명을 유지하기 위해 지속적인 인터넷 연결이 필요합니다. 증명 메커니즘은 Intel® Software Guard Extension (Intel® SGX) 원격 증명 서비스를 사용하여 구현됩니다. Intel® SGX 프로비저닝 인증 서비스 구독이 있어야 하며 Gemini on GDC connected API를 주문할 때 Google에 해당 API 키를 제공해야 합니다.

원격 증명 실패

원격 증명 서비스는 Gemini on GDC connected API 배포와 Google 간에 하트비트를 설정하며, 이를 위해서는 중단 없는 인터넷 연결이 필요합니다. 이 하트비트가 30분 이상 연속으로 중단되면 하트비트가 다시 설정될 때까지 CVM이 종료됩니다. 증명 실패를 해결하려면 Google 담당자에게 문의하세요.

지원되는 모델

이번 버전의 Gemini on GDC connected API는 다음 모델을 지원합니다.

  • Gemini 2.5 Flash 128k 공개 ID gemini-2.5-flash 및 프롬프트 ID gemini-2.5-flash-ggc 포함.

엔드포인트와 상호작용하여 프롬프트 요청을 만드는 경우를 제외한 모든 명령어에 모델의 공개 ID를 사용합니다. 프롬프트 요청을 만들고 엔드포인트로 보낼 때는 프롬프트 ID를 사용합니다.

배포 단계

상위 수준에서 Gemini on GDC connected API에 Gemini 모델을 배포하는 방법은 다음과 같습니다.

  1. 하드웨어에 설명된 대로 Google 인증 하드웨어를 조달하고 설치합니다.
  2. 설치 요구사항에 설명된 모든 설치 요구사항을 충족하는 데 필요한 단계를 완료합니다. 설치 요구사항.
  3. Distributed Cloud connected에서 Google Distributed Cloud connected API의 Gemini 주문에 설명된 대로 Gemini on GDC connected API를 주문합니다. 주문할 때 Google에서 배포하려는 모델을 호스팅하는 CVM의 소프트웨어 관리 및 원격 증명을 위해 Gemini on GDC connected API 배포를 프로비저닝할 수 있도록 설치 요구사항에 나열된 정보를 제공해야 합니다.
  4. Google 인증 하드웨어에 Gemini on GDC connected API 소프트웨어를 설치하고 구성하기 위해 위치를 방문해야 하는 Google 기술자와의 방문 일정을 예약합니다.
  5. 필요한 API 사용 설정에 설명된 대로 필요한 API를 사용 설정합니다.
  6. 새 셀프 서비스 Cloud Billing 계정 만들기에 설명된 대로 target Google Cloud project의 Cloud Billing 계정을 설정합니다.
  7. 필요한 역할 부여에 설명된 대로 Google Distributed Cloud connected API 관리자의 Gemini 및 GDC connected API 모델 일반 계정에 필요한 역할을 부여합니다.
  8. Gemini on GDC connected API 엔드포인트 배포에 설명된 대로 Gemini on GDC connected API 엔드포인트를 만들고 배포합니다.
  9. Gemini on GDC connected API 엔드포인트와 상호작용 에 설명된 대로 배포된 Gemini on GDC connected API 엔드포인트와 상호작용합니다.

다음 단계