Mendesain infrastruktur AI dengan Compute Advisor

Dokumen ini menjelaskan cara merencanakan dan mendesain instance atau cluster GPU dengan meminta Compute Advisor, antarmuka berteknologi AI yang didukung oleh Gemini. Untuk mempelajari lebih lanjut komponen yang harus Anda konfigurasi sebelum atau saat membuat cluster, lihat Merencanakan dan membuat infrastruktur AI.

Compute Advisor membantu Anda mengevaluasi opsi hardware, memperkirakan biaya deployment, dan melihat konfigurasi yang direkomendasikan untuk cluster Anda. Untuk menyesuaikan rekomendasinya, Compute Advisor mengevaluasi Google Cloud project Anda dengan memeriksa batas kuota, reservasi yang ada, diskon abonemen (DA), region dan zona default, serta batasan lokasi resource. Dengan menggunakan Compute Advisor untuk membantu perencanaan, Anda dapat mencapai konfigurasi yang optimal untuk workload sebelum membuat atau mengubah cluster.

Batasan

Saat Anda meminta Compute Advisor di konsol Google Cloud , Anda tidak dapat membuat, mengubah, atau menghapus resource secara langsung.

Sebelum memulai

Saat menggunakan konsol Google Cloud untuk mengakses layanan Google Cloud dan API, Anda tidak perlu menyiapkan autentikasi.

Peran yang diperlukan

Untuk mendapatkan izin yang diperlukan untuk mengakses dan meminta Gemini, minta administrator untuk memberi Anda peran IAM Cluster Director Viewer (roles/hypercomputecluster.viewer) di project. Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.

Peran bawaan ini berisi izin yang diperlukan untuk mengakses dan meminta Gemini. Untuk melihat izin yang benar-benar diperlukan, perluas bagian Izin yang diperlukan:

Izin yang diperlukan

Izin berikut diperlukan untuk mengakses dan meminta Gemini:

  • Untuk melihat daftar cluster: hypercomputecluster.clusters.list

Anda mungkin juga bisa mendapatkan izin ini dengan peran khusus atau peran bawaan lainnya.

Mengakses Compute Advisor di konsol Google Cloud

Untuk mengakses Compute Advisor di konsol Google Cloud , selesaikan langkah-langkah berikut:

  1. Di konsol Google Cloud , buka halaman Compute Advisor.

    Buka Compute Advisor

  2. Setelah halaman siap, Anda dapat melihat hal berikut:

    Elemen antarmuka halaman Compute Advisor.

    Elemen UI yang ditampilkan dalam screenshot sebelumnya adalah sebagai berikut:

    • Panel samping histori percakapan: menampilkan percakapan terbaru Anda. Anda dapat berinteraksi dengan panel ini sebagai berikut:

      • Untuk memulai percakapan baru, klik Percakapan baru.

      • Untuk melanjutkan percakapan terbaru, di bagian Percakapan terbaru, klik percakapan.

      • Untuk melihat daftar semua percakapan Anda, klik Lihat semua. Di halaman Histori saya, Anda dapat melihat detail percakapan sebelumnya dan melanjutkannya, atau menghapus percakapan jika tidak lagi memerlukannya.

    • Kartu perintah tindakan cepat: sekumpulan kartu yang masing-masing berisi contoh perintah. Jika Anda mengklik kartu, konsol Google Cloud akan otomatis mengisi kotak perintah dengan perintah contoh.

    • Kotak perintah: kolom ini memungkinkan Anda memasukkan dan mengirimkan perintah. Untuk mengirimkan perintah, klik Kirim perintah.

Minta Compute Advisor

Setelah Anda mengirimkan perintah, Compute Advisor akan mulai membuat respons. Panel akan muncul dan Google Cloud konsol akan menampilkan respons terhadap perintah Anda di panel, seperti yang ditunjukkan pada screenshot berikut:

Respons rekomendasi yang dihasilkan di panel Compute Advisor.

Berdasarkan perintah Anda, panel respons mencakup elemen berikut:

  • Penyesuaian kontekstual: Compute Advisor secara otomatis mengevaluasi konteks project Anda untuk memberikan rekomendasi yang sangat disesuaikan, termasuk batas kuota, reservasi yang ada, CUD, region dan zona default Anda, serta batasan lokasi resource.

  • Cuplikan kode interaktif: Compute Advisor membuat perintah gcloud, metode REST API, atau resource Terraform. Anda dapat menyalin dan menempelkan cuplikan kode ini atau menjalankannya di Cloud Shell.

  • Kanvas visual: Compute Advisor mengatur rekomendasi ke dalam tabel terstruktur dan perbandingan berdampingan. Tampilan ini membantu Anda mengevaluasi fitur produk dan pendekatan arsitektur. Panduan ini juga memberikan rencana penerapan untuk kasus penggunaan Anda.

Bagian berikut menguraikan praktik terbaik untuk menulis perintah, dan contoh perintah yang dapat Anda gunakan sebelum membuat atau mengubah cluster.

Praktik terbaik untuk perintah

Untuk mendapatkan rekomendasi yang paling akurat dan dapat ditindaklanjuti dari Compute Advisor, sebaiknya susun perintah Anda dengan cara yang sama seperti yang Anda lakukan pada blok kode. Pendekatan ini memandu AI generatif dengan menggunakan deklarasi parameter yang jelas, definisi peran, petunjuk spesifik, dan format output eksplisit.

Saat Anda memberikan perintah ke Compute Advisor, pertimbangkan praktik terbaik berikut:

  • Berfokus pada desain dan perencanaan: sebaiknya jangan meminta Compute Advisor untuk memecahkan masalah error kluster. Untuk mengatasi error ini, lihat artikel Memecahkan masalah pembuatan, update, dan penghapusan instance komputasi.

  • Menentukan persona atau peran: menyatakan target peran atau persona, seperti administrator IT, peneliti AI, atau engineer platform, yang akan digunakan Compute Advisor. Pendekatan ini memandu gaya bahasa, kedalaman, dan tingkat keahlian rekomendasi yang dihasilkan.

  • Berikan petunjuk bernomor yang jelas: pecah tujuan Anda menjadi pertanyaan atau tugas langkah demi langkah yang konkret. Pendekatan ini menyusun proses penalaran Compute Advisor dan membantu memastikan bahwa Compute Advisor memenuhi semua persyaratan Anda.

  • Tentukan format output tertentu: nyatakan secara eksplisit format rekomendasi yang Anda inginkan, seperti penjelasan langkah-langkah, tabel perbandingan Markdown, atau blok kode gcloud siap pakai.

  • Memanfaatkan perujukan konteks otomatis: Anda tidak perlu menyertakan region atau zona default, kuota yang tersedia, CUD, atau batasan lokasi resource ke dalam perintah Anda. Compute Advisor dapat mengakses informasi ini di project Google Cloud Anda.

  • Menyempurnakan desain secara berulang: Anda dapat mengubah atau memperluas respons yang dihasilkan Compute Advisor dengan mengirimkan perintah baru. Misalnya, Anda dapat meminta asisten untuk menambahkan rekomendasi jaringan ke rencana deployment atau mengubah persyaratan penyimpanan tanpa memulai percakapan baru.

Contoh perintah

Berikut adalah contoh perintah yang dapat Anda gunakan untuk membantu Anda mendesain dan mengoptimalkan cluster:

  • Topologi cluster dan strategi penempatan: untuk menentukan model deployment dan kebijakan penempatan yang optimal untuk beban kerja AI berperforma tinggi, gunakan perintah seperti berikut:

    Act as an AI researcher. I need to design a GPU cluster topology in
Cluster Director to train a foundation large language model that
maximizes ML goodput and secures accelerator capacity. Please provide the
following:

1. A comparison of clustered GPU machine series across available regions.
2. An explanation of how compact placement policies and workload policies
   reduce network latency and boost goodput.
3. The optimal configuration for future reservations in
   AI Hypercomputer to secure capacity for this workload.

Format the comparison as a Markdown table, and provide the deployment steps
as a ready-to-use gcloud code block.

  • Model penyediaan dan pengoptimalan biaya: untuk mengevaluasi model penyediaan dan mengurangi biaya pemrosesan batch, gunakan perintah seperti berikut:

    Act as an IT administrator. I need to select the most cost-effective
consumption option to run large fault-tolerant AI batch jobs on clusters in
Cluster Director without data loss. Please provide the following:

1. A cost and availability comparison of Flex-start VMs against
   Spot VMs for AI workloads.

2. An explanation of how atomic allocation in Flex-start VMs
   provisions all accelerator nodes at the exact same time.

3. A cluster configuration with checkpoint storage to save model state
   before Compute Engine reclaims a Spot VM.

Format the comparison as a Markdown table, and provide the configuration
steps to complete in the Google Cloud console.

Langkah berikutnya