Membuat metrik Gemini Code Assist

Dokumen ini menjelaskan cara membuat metrik Gemini Code Assist. Misalnya, Anda dapat membuat metrik yang melaporkan penggunaan aktif harian atau penerimaan rekomendasi kode untuk berbagai Google Cloud produk, termasuk Cloud Logging, Google Cloud CLI, Cloud Monitoring, dan BigQuery.

Jika Anda perlu mengaktifkan dan melihat log Gemini untuk Google Cloud perintah, respons, dan metadata, lihat Melihat log Gemini Google Cloud log.

Batasan

Halaman ini secara khusus berlaku untuk membuat metrik interaksi pengguna dengan Gemini Code Assist dalam IDE.

Sebelum memulai

  • Pastikan Anda telah menyiapkan Gemini Code Assist di project Anda.

  • Pastikan Anda telah mengaktifkan Gemini untuk Google Cloud logging di project Anda.

  • Di konsol, aktifkan Cloud Shell. Google Cloud

    Aktifkan Cloud Shell

    Di bagian bawah konsol Google Cloud , sesi Cloud Shell akan dimulai dan menampilkan prompt command line. Cloud Shell adalah lingkungan shell dengan Google Cloud CLI yang sudah terinstal, dan dengan nilai yang sudah ditetapkan untuk project Anda saat ini. Diperlukan waktu beberapa detik untuk melakukan inisialisasi pada sesi.

Mencantumkan jumlah pengguna unik

Petunjuk berikut menjelaskan cara menggunakan gcloud CLI untuk mencantumkan jumlah pengguna unik Gemini Code Assist dalam periode 28 hari terakhir:

  1. Di lingkungan shell, pastikan Anda telah mengupdate semua komponen yang terinstal dari gcloud CLI ke versi terbaru:

    gcloud components update

  2. Baca entri log untuk pengguna dan penggunaan Gemini Code Assist:

    gcloud logging read 'resource.type=cloudaicompanion.googleapis.com/Instance labels.product=~"code_assist"' \
--freshness 28d \
--project PROJECT_ID \
--format "csv(timestamp.date('%Y-%m-%d'),labels.user_id)"

    Ganti PROJECT_ID dengan Google Cloud project IDAnda.

    Anda dapat menggunakan perintah Unix uniq untuk mengidentifikasi pengguna secara unik setiap hari.

    Outputnya mirip dengan hal berikut ini:

    2024-10-30,user1@company.com
2024-10-29,user2@company.com
2024-10-29,user2@company.com
2024-10-29,user2@company.com
2024-10-29,user1@company.com
2024-10-28,user1@company.com

Membuat diagram yang menampilkan penggunaan harian

Langkah-langkah berikut menunjukkan cara menggunakan Monitoring untuk membuat grafik penggunaan harian yang menampilkan total gabungan pengguna aktif harian Gemini Code Assist dan jumlah permintaan mereka per hari.

  1. Buat metrik Monitoring dari data log Anda yang mencatat jumlah pengguna Gemini Code Assist:

    1. Di Google Cloud konsol, buka halaman Logs Explorer:

      Buka Logs Explorer

      Jika Anda menggunakan kotak penelusuran untuk menemukan halaman ini, pilih hasil yang subjudulnya adalah Logging.

    2. Di panel kueri, masukkan kueri berikut, lalu klik Run query:

       resource.type="cloudaicompanion.googleapis.com/Instance" AND labels.product="code_assist" AND jsonPayload.@type="type.googleapis.com/google.cloud.cloudaicompanion.logging.v1.ResponseLog"

    3. Di toolbar, klik Actions, lalu pilih Create metric.

      Dialog Create log-based metric akan muncul.

    4. Konfigurasikan detail metrik berikut:

      • Pastikan Metric Type ditetapkan ke Counter.
      • Beri nama metrik code_assist_example.

      • Pastikan Filter selection ditetapkan untuk mengarah ke lokasi tempat log Anda disimpan, baik Project maupun Bucket.

        Untuk mengetahui informasi tentang cara membuat metrik Monitoring dari data log Anda, lihat Ringkasan metrik berbasis log.

    5. Klik Create metric.

      Banner keberhasilan akan ditampilkan, yang menjelaskan bahwa metrik telah dibuat.

    6. Di banner keberhasilan tersebut, klik View in Metrics explorer.

      Metrics Explorer akan terbuka dan menampilkan diagram yang telah dikonfigurasi sebelumnya.

  2. Simpan diagram ke dasbor:

    1. Di toolbar, klik Save chart.
    2. Opsional: Perbarui judul diagram.
    3. Gunakan menu Dashboard untuk memilih dasbor kustom yang ada atau membuat dasbor baru.
    4. Klik Save chart.

Menganalisis penggunaan menggunakan BigQuery

Langkah-langkah berikut menunjukkan cara menggunakan BigQuery untuk menganalisis data log Anda.

Ada dua pendekatan yang dapat Anda gunakan untuk menganalisis data log di BigQuery:

  • Buat sink log dan ekspor data log Anda ke set data BigQuery.
  • Upgrade bucket log yang menyimpan data log Anda untuk menggunakan Observability Analytics, lalu buat set data BigQuery tertaut.

Dengan kedua pendekatan tersebut, Anda dapat menggunakan SQL untuk membuat kueri dan menganalisis data log, serta membuat diagram hasil kueri tersebut. Jika menggunakan Observability Analytics, Anda dapat menyimpan diagram ke dasbor kustom. Namun, ada perbedaan dalam harga. Untuk mengetahui detailnya, lihat Harga Observability Analytics dan harga BigQuery.

Bagian ini menjelaskan cara membuat sink log untuk mengekspor entri log tertentu ke BigQuery, dan menyediakan daftar contoh kueri. Jika ingin mengetahui Observability Analytics lebih lanjut, lihat Membuat kueri dan menganalisis log dengan Observability Analytics dan Membuat kueri set data BigQuery tertaut.

Membuat sink log

  1. Di Google Cloud konsol, buka halaman Log Router:

    Buka Log Router

    Jika Anda menggunakan kotak penelusuran untuk menemukan halaman ini, pilih hasil yang subjudulnya adalah Logging.

  2. Pilih Google Cloud project tempat asal entri log yang Anda ingin Anda kirim.
  3. Pilih Create sink.

  4. Di panel Sink details, masukkan detail berikut:

    • Untuk Sink name, berikan ID untuk sink. Setelah membuat sink, Anda tidak dapat mengganti nama sink, tetapi dapat menghapusnya dan membuat sink baru.

    • Untuk Sink description, jelaskan tujuan atau kasus penggunaan sink.

  5. Di panel Sink destination, konfigurasikan detail berikut:

    • Untuk Select sink service, pilih BigQuery dataset.
    • Untuk Select BigQuery dataset, buat set data BigQuery baru dan beri nama code_assist_bq.

  6. Buka panel Choose logs to include in sink, lalu di kolom Build inclusion filter, masukkan hal berikut:

    resource.type="cloudaicompanion.googleapis.com/Instance" AND labels.product="code_assist"

  7. Opsional: Untuk memverifikasi bahwa Anda memasukkan filter yang benar, pilih Preview logs. Logs Explorer akan terbuka di tab baru dengan filter yang telah diisi sebelumnya.

  8. Klik Create sink.

Memberikan otorisasi log sink untuk menulis entri log ke set data

Jika Anda memiliki akses Pemilik ke set data BigQuery, Cloud Logging akan memberikan izin yang diperlukan kepada sink log untuk menulis data log.

Jika Anda tidak memiliki akses Pemilik atau tidak melihat entri apa pun di set data, sink log mungkin tidak memiliki izin yang diperlukan. Untuk mengatasi kegagalan ini, ikuti petunjuk di Menetapkan izin tujuan.

Kueri

Anda dapat menggunakan contoh kueri BigQuery berikut untuk membuat data tingkat pengguna dan gabungan untuk penggunaan aktif harian dan saran yang dihasilkan.

Sebelum menggunakan contoh kueri berikut, Anda harus mendapatkan jalur yang sepenuhnya memenuhi syarat untuk sink yang baru dibuat. Untuk mendapatkan jalur, lakukan hal berikut:

  1. Di Google Cloud konsol, buka halaman BigQuery.

    Buka BigQuery

  2. Dalam daftar resource, temukan set data bernama code_assist_bq. Data ini adalah tujuan sink.

  3. Pilih tabel respons dari bawah code_assist_bq_dataset, klik ikon , lalu klik Copy ID untuk membuat ID set data. Catat ID tersebut agar dapat digunakan di bagian berikut sebagai variabel GENERATED_BIGQUERY_TABLE.

Mencantumkan pengguna perorangan berdasarkan hari

SELECT DISTINCT labels.user_id as user, DATE(timestamp) as use_date
FROM GENERATED_BIGQUERY_TABLE
ORDER BY use_date

Ganti GENERATED_BIGQUERY_TABLE dengan jalur yang sepenuhnya memenuhi syarat dari tabel respons BigQuery yang Anda catat di langkah sebelumnya untuk membuat sink.

Mencantumkan pengguna gabungan berdasarkan hari

SELECT COUNT(DISTINCT labels.user_id) as total_users, DATE(timestamp) as use_date
FROM GENERATED_BIGQUERY_TABLE
GROUP BY use_date
ORDER BY use_date

Mencantumkan permintaan perorangan per hari berdasarkan pengguna

SELECT COUNT(*), DATE(timestamp) as use_date, labels.user_id as user
FROM GENERATED_BIGQUERY_TABLE
GROUP BY use_date, user
ORDER BY use_date

Mencantumkan permintaan gabungan per hari berdasarkan tanggal

SELECT COUNT(*), DATE(timestamp) as use_date
FROM GENERATED_BIGQUERY_TABLE
GROUP BY use_date
ORDER BY use_date

Langkah berikutnya