Cara kerja Gemini di API GDC terhubung di GDC terhubung

Halaman ini menjelaskan cara kerja Gemini di Google Distributed Cloud connected API, termasuk informasi tentang infrastruktur, hardware, dan kemampuan software-nya.

Ringkasan

Gemini di GDC connected API adalah solusi software siap pakai yang memungkinkan Anda men-deploy model Gemini di hardware bersertifikasi Google Anda sendiri yang terhubung ke jaringan lokal Anda. Model ini dihosting dalam Confidential Virtual Machine (CVM) yang di-deploy di cluster Distributed Cloud connected. Hardware yang diperlukan memiliki konfigurasi khusus yang ditetapkan dan disertifikasi oleh Google.

Hardware bersertifikasi Google

Gemini di GDC connected API memerlukan hardware bersertifikasi Google yang dikonfigurasi persis seperti yang dijelaskan di Hardware bersertifikasi Google. Anda harus memesan dan menginstal hardware ini di lokasi Anda sebelum memesan Gemini di GDC connected API. Anda harus memberikan tag layanan yang sesuai dan informasi identifikasi hardware lainnya kepada Google saat memesan Gemini di GDC connected API, seperti yang dijelaskan di Persyaratan penginstalan.

Hardware bersertifikasi Google memiliki spesifikasi berikut:

  • Platform: Chassis server Dell XE9680
  • CPU: Dua (2) prosesor Intel Xeon Platinum 8592+ 64-core
  • Memori: RAM RDIMM DDR5 5600 MT/s 2 TB
  • GPU: Rakitan NVIDIA HGX H200 SXM dengan delapan (8) GPU seri NVIDIA H200
  • Penyimpanan: Penyimpanan NVMe bersertifikasi FIPS yang dikonfigurasi sebagai berikut:
    • 2x drive 960 GB dalam hardware RAID1 untuk sistem operasi
    • 2x drive 15,36 TB dalam software RAID1 yang dicadangkan untuk fungsi yang dicadangkan sistem
    • 6x drive 15,36 TB untuk menyimpan data bagi Confidential Virtual Machine yang secara lokal melayani endpoint Gemini di GDC connected API Anda.
  • Jaringan:
    • Dua (2) adaptor jaringan Mellanox ConnectX-6 dual-port 100 GbE QFSP56
    • Satu (1) adaptor jaringan Broadcom 5720 1 GbE terintegrasi
  • Pengelolaan: Integrated Dell Remote Access Controller 9 (iDRAC9) Datacenter 16G untuk pengelolaan sistem tersemat
  • Daya: Enam (6) catu daya bersertifikasi Titanium 2800 W

Satu deployment Gemini di GDC connected API terdiri dari satu (1) mesin bersertifikasi Google. Gemini di GDC connected API tidak berjalan pada konfigurasi hardware yang tidak bersertifikasi Google.

Confidential Virtual Machine

Model yang ditayangkan oleh Gemini di GDC connected API dihosting dalam Confidential Virtual Machine yang berjalan di cluster Distributed Cloud connected. Pengesahan jarak jauh memastikan keamanan dan integritas CVM yang di-deploy dan lingkungan software aman yang menjalankannya.

Pengesahan jarak jauh

Gemini di GDC connected API memerlukan koneksi internet yang konstan untuk mempertahankan pengesahan jarak jauh CVM yang di-deploy dan lingkungan software aman yang menghostingnya. Mekanisme pengesahan diterapkan menggunakan Layanan Pengesahan Jarak Jauh Intel® Software Guard Extension (Intel® SGX). Anda harus memiliki langganan Layanan Sertifikasi Penyediaan Intel® SGX dan memberikan kunci API yang sesuai kepada Google saat memesan Gemini di GDC connected API.

Kegagalan pengesahan jarak jauh

Layanan pengesahan jarak jauh menetapkan sinyal detak jantung antara deployment Gemini di GDC connected API Anda dan Google, yang memerlukan koneksi internet tanpa gangguan. Jika sinyal detak jantung ini terganggu selama lebih dari 30 menit berturut-turut, CVM akan dimatikan hingga sinyal detak jantung dibuat ulang. Hubungi perwakilan Google Anda untuk mengatasi kegagalan pengesahan.

Model yang didukung

Rilis Gemini di GDC connected API ini mendukung model berikut:

  • Gemini 2.5 Flash 128k dengan ID publik gemini-2.5-flash dan ID perintah gemini-2.5-flash-ggc.

Gunakan ID publik model untuk semua perintah, kecuali berinteraksi dengan endpoint-nya untuk membuat permintaan perintah. Gunakan ID perintah saat membuat permintaan perintah dan mengirimkannya ke endpoint.

Langkah-langkah deployment

Secara umum, deployment model Gemini di Gemini di GDC connected API terlihat sebagai berikut:

  1. Membeli dan menginstal hardware bersertifikasi Google, seperti yang dijelaskan di Hardware.
  2. Menyelesaikan langkah-langkah yang diperlukan untuk memenuhi semua persyaratan penginstalan yang dijelaskan di Persyaratan penginstalan.
  3. Memesan Gemini di GDC connected API seperti yang dijelaskan di Memesan Gemini di Google Distributed Cloud connected API di Distributed Cloud connected. Saat memesan, Anda harus memberikan informasi yang tercantum di Persyaratan penginstalan agar Google dapat menyediakan deployment Gemini di GDC connected API Anda untuk pengelolaan software dan pengesahan jarak jauh CVM yang menghosting model yang ingin Anda deploy.
  4. Menjadwalkan kunjungan dengan teknisi Google yang harus mengunjungi lokasi Anda untuk menginstal dan mengonfigurasi software Gemini di GDC connected API di hardware bersertifikasi Google Anda.
  5. Mengaktifkan API yang diperlukan, seperti yang dijelaskan di Mengaktifkan API yang diperlukan.
  6. Menyiapkan akun Penagihan Cloud untuk target Google Cloud project Anda seperti yang dijelaskan di Membuat akun Penagihan Cloud layanan mandiri baru.
  7. Memberikan peran yang diperlukan kepada administrator Gemini di Google Distributed Cloud connected API dan akun konsumen model Gemini di GDC connected API, seperti yang dijelaskan di Memberikan peran yang diperlukan.
  8. Membuat dan men-deploy endpoint Gemini di GDC connected API Anda, seperti yang dijelaskan di Men-deploy endpoint Gemini di GDC connected API.
  9. Berinteraksi dengan endpoint Gemini di GDC connected API yang di-deploy seperti yang dijelaskan di Berinteraksi dengan endpoint Gemini di GDC connected API.

Langkah berikutnya