Generare metriche di Gemini Code Assist

Questo documento descrive come generare metriche di Gemini Code Assist. Ad esempio, puoi generare metriche che riportano l'utilizzo attivo giornaliero o l'accettazione dei suggerimenti di codice per una serie di prodotti, Google Cloud tra cui Cloud Logging, Google Cloud CLI, Cloud Monitoring e BigQuery.

Se devi abilitare e visualizzare i log di prompt, risposte e metadati di Gemini Code Assist, consulta Visualizzare i log di Gemini Code Assist.

Limitazioni

Questa pagina si applica in modo specifico alla generazione di metriche per le interazioni degli utenti con Gemini Code Assist all'interno di un IDE.

Prima di iniziare

  • Assicurati di aver configurato Gemini Code Assist nel tuo progetto.

  • Assicurati di aver attivato la registrazione di Gemini Code Assist nel tuo progetto.

  • Nella console Google Cloud , attiva Cloud Shell.

    Attiva Cloud Shell

    Nella parte inferiore della console Google Cloud viene avviata una sessione di Cloud Shell e viene visualizzato un prompt della riga di comando. Cloud Shell è un ambiente shell con Google Cloud CLI già installata e con valori già impostati per il progetto corrente. L'inizializzazione della sessione può richiedere alcuni secondi.

Elenca il numero di utenti unici

Le seguenti istruzioni descrivono come utilizzare gcloud CLI per elencare il numero di utenti unici di Gemini Code Assist nel periodo di 28 giorni più recente:

  1. In un ambiente shell, assicurati di aver aggiornato tutti i componenti installati di gcloud CLI all'ultima versione:

    gcloud components update

  2. Leggi le voci di log per gli utenti e l'utilizzo di Gemini Code Assist:

    gcloud logging read 'resource.type=cloudaicompanion.googleapis.com/Instance labels.product=~"code_assist"' \
--freshness 28d \
--project PROJECT_ID \
--format "csv(timestamp.date('%Y-%m-%d'),labels.user_id)"

    Sostituisci PROJECT_ID con l'ID progetto Google Cloud .

    Puoi utilizzare il comando Unix uniq per identificare in modo univoco gli utenti su base giornaliera.

    L'output è simile al seguente:

    2024-10-30,user1@company.com
2024-10-29,user2@company.com
2024-10-29,user2@company.com
2024-10-29,user2@company.com
2024-10-29,user1@company.com
2024-10-28,user1@company.com

Creare un grafico che mostri l'utilizzo giornaliero

I passaggi seguenti mostrano come utilizzare Monitoring per creare grafici sull'utilizzo giornaliero che mostrano il totale aggregato degli utenti attivi giornalieri di Gemini Code Assist e il numero di richieste al giorno.

  1. Crea una metrica di Monitoring dai dati di log che registri il numero di utenti di Gemini Code Assist:

    1. Nella console Google Cloud , vai alla pagina Esplora log:

      Vai a Esplora log

      Se utilizzi la barra di ricerca per trovare questa pagina, seleziona il risultato con il sottotitolo Logging.

    2. Nel riquadro della query, inserisci la seguente query, quindi fai clic su Esegui query:

       resource.type="cloudaicompanion.googleapis.com/Instance" AND labels.product="code_assist" AND jsonPayload.@type="type.googleapis.com/google.cloud.cloudaicompanion.logging.v1.ResponseLog"

    3. Nella barra degli strumenti, fai clic su Azioni e poi seleziona Crea metrica.

      Viene visualizzata la finestra di dialogo Crea metrica basata su log.

    4. Configura i seguenti dettagli della metrica:

      • Assicurati che il Tipo di metrica sia impostato su Contatore.
      • Assegna un nome alla metrica code_assist_example.

      • Assicurati che Selezione filtro sia impostato in modo da puntare alla posizione in cui vengono archiviati i log, ovvero Progetto o Bucket.

        Per informazioni sulla generazione di metriche di Monitoring dai dati dei log, consulta la panoramica delle metriche basate su log.

    5. Fai clic su Crea metrica.

      Viene visualizzato un banner di successo che spiega che la metrica è stata creata.

    6. Nel banner di conferma, fai clic su Visualizza in Esplora metriche.

      Si apre Metrics Explorer e viene visualizzato un grafico preconfigurato.

  2. Salva il grafico in una dashboard:

    1. Fai clic su Salva grafico nella barra degli strumenti.
    2. (Facoltativo) Aggiorna il titolo del grafico.
    3. Utilizza il menu Dashboard per selezionare una dashboard personalizzata esistente o per crearne una nuova.
    4. Fai clic su Salva grafico.

Analizzare l'utilizzo utilizzando BigQuery

I seguenti passaggi mostrano come utilizzare BigQuery per analizzare i dati di log.

Esistono due approcci che puoi utilizzare per analizzare i dati dei log in BigQuery:

  • Crea un sink di log ed esporta i dati di log in un set di dati BigQuery.
  • Esegui l'upgrade del bucket di log che archivia i dati di log per utilizzare Observability Analytics, quindi crea un set di dati BigQuery collegato.

Con entrambi gli approcci, puoi utilizzare SQL per eseguire query e analizzare i dati dei log e puoi creare grafici dei risultati di queste query. Se utilizzi Observability Analytics, puoi salvare i grafici in una dashboard personalizzata. Tuttavia, esistono differenze di prezzo. Per informazioni dettagliate, consulta le pagine relative ai prezzi di Observability Analytics e ai prezzi di BigQuery.

Questa sezione descrive come creare un sink di log per esportare voci di log selezionate in BigQuery e fornisce un elenco di query di esempio. Se vuoi saperne di più su Observability Analytics, consulta Eseguire query e analizzare i log con Observability Analytics e Eseguire query su un set di dati BigQuery collegato.

Crea un sink di log

  1. Nella console Google Cloud , vai alla pagina Router dei log:

    Vai a Router dei log

    Se utilizzi la barra di ricerca per trovare questa pagina, seleziona il risultato con il sottotitolo Logging.

  2. Seleziona il progetto Google Cloud in cui hanno origine le voci di log che vuoi instradare.
  3. Seleziona Crea sink.

  4. Nel riquadro Dettagli sink, inserisci i seguenti dettagli:

    • In Nome sink, fornisci un identificatore per il sink. Dopo aver creato il sink, non puoi rinominarlo, ma puoi eliminarlo e crearne uno nuovo.

    • Per Descrizione del sink, descrivi lo scopo o il caso d'uso del sink.

  5. Nel riquadro Destinazione sink, configura i seguenti dettagli:

    • Per Seleziona il servizio sink, seleziona Set di dati BigQuery.
    • Per Seleziona set di dati BigQuery, crea un nuovo set di dati BigQuery e chiamalo code_assist_bq.

  6. Apri il riquadro Scegli i log da includere nel sink e, nel campo Crea filtro di inclusione, inserisci quanto segue:

    resource.type="cloudaicompanion.googleapis.com/Instance" AND labels.product="code_assist"

  7. (Facoltativo) Per verificare di aver inserito il filtro corretto, seleziona Anteprima dei log. Esplora log si apre in una nuova scheda con il filtro precompilato.

  8. Fai clic su Crea sink.

Autorizza il sink di log a scrivere voci di log nel set di dati

Quando hai accesso Proprietario al set di dati BigQuery, Cloud Logging concede al sink di log le autorizzazioni necessarie per scrivere i dati di log.

Se non disponi dell'accesso Proprietario o se non vedi voci nel tuo dataset, il sink di log potrebbe non disporre delle autorizzazioni richieste. Per risolvere questo errore, segui le istruzioni riportate in Impostare le autorizzazioni della destinazione.

Query

Puoi utilizzare le seguenti query BigQuery di esempio per generare dati a livello di utente e aggregati per l'utilizzo attivo giornaliero e i suggerimenti generati.

Prima di utilizzare le seguenti query di esempio, devi ottenere il percorso completo per il sink appena creato. Per ottenere il percorso:

  1. Nella console Google Cloud , vai alla pagina BigQuery.

    Vai a BigQuery

  2. Nell'elenco delle risorse, individua il set di dati denominato code_assist_bq. Questi dati sono la destinazione sink.

  3. Seleziona la tabella delle risposte da sotto code_assist_bq_dataset, fai clic sull'icona e poi su Copia ID per generare l'ID set di dati. Prendi nota per poterlo utilizzare nelle sezioni seguenti come variabile GENERATED_BIGQUERY_TABLE.

Elencare i singoli utenti per giorno

SELECT DISTINCT labels.user_id as user, DATE(timestamp) as use_date
FROM GENERATED_BIGQUERY_TABLE
ORDER BY use_date

Sostituisci GENERATED_BIGQUERY_TABLE con il percorso completo della tabella di risposta BigQuery annotata nei passaggi precedenti per la creazione di un sink.

Elenca gli utenti aggregati per giorno

SELECT COUNT(DISTINCT labels.user_id) as total_users, DATE(timestamp) as use_date
FROM GENERATED_BIGQUERY_TABLE
GROUP BY use_date
ORDER BY use_date

Elenca le singole richieste al giorno per utente

SELECT COUNT(*), DATE(timestamp) as use_date, labels.user_id as user
FROM GENERATED_BIGQUERY_TABLE
GROUP BY use_date, user
ORDER BY use_date

Elenca le richieste aggregate al giorno per data

SELECT COUNT(*), DATE(timestamp) as use_date
FROM GENERATED_BIGQUERY_TABLE
GROUP BY use_date
ORDER BY use_date

Passaggi successivi