Genera métricas de Gemini Code Assist

En este documento, se describe cómo generar métricas de Gemini Code Assist. Por ejemplo, puedes generar métricas que informen el uso activo diario o la aceptación de recomendaciones de código para una variedad de Google Cloud productos, incluidos Cloud Logging, Google Cloud CLI, Cloud Monitoring y BigQuery.

Si necesitas habilitar y ver Gemini para las Google Cloud instrucciones, las respuestas y los registros de metadatos, consulta Visualiza Gemini para los Google Cloud registros.

Limitaciones

Esta página se aplica específicamente a la generación de métricas para las interacciones del usuario con Gemini Code Assist dentro de un IDE.

Antes de comenzar

  • Asegúrate de haber configurado Gemini Code Assist en tu proyecto.

  • Asegúrate de haber habilitado Gemini para elregistro en tu proyecto. Google Cloud

  • En la Google Cloud consola de, activa Cloud Shell.

    Activa Cloud Shell

    En la parte inferior de la Google Cloud consola de, se inicia una sesión de Cloud Shell en la que se muestra una ventana de línea de comandos. Cloud Shell es un entorno de shell con Google Cloud CLI ya instalada y con valores ya establecidos para el proyecto actual. La sesión puede tardar unos segundos en inicializarse.

Enumera la cantidad de usuarios únicos

En las siguientes instrucciones, se describe cómo usar gcloud CLI para enumerar la cantidad de usuarios únicos de Gemini Code Assist en el período más reciente de 28 días:

  1. En un entorno de shell, asegúrate de haber actualizado todos los componentes instalados de gcloud CLI a la versión más reciente:

    gcloud components update

  2. Lee las entradas de registro de los usuarios y el uso de Gemini Code Assist:

    gcloud logging read 'resource.type=cloudaicompanion.googleapis.com/Instance labels.product=~"code_assist"' \
--freshness 28d \
--project PROJECT_ID \
--format "csv(timestamp.date('%Y-%m-%d'),labels.user_id)"

    Reemplaza PROJECT_ID por el ID del Google Cloud proyecto de.

    Puedes usar el comando de Unix uniq para identificar de forma única a los usuarios por día.

    El resultado es similar a este:

    2024-10-30,user1@company.com
2024-10-29,user2@company.com
2024-10-29,user2@company.com
2024-10-29,user2@company.com
2024-10-29,user1@company.com
2024-10-28,user1@company.com

Crea un gráfico que muestre el uso diario

En los siguientes pasos, se muestra cómo usar Monitoring para crear gráficos de uso diario que muestren el total agregado de usuarios activos diarios de Gemini Code Assist y la cantidad de sus solicitudes por día.

  1. Crea una métrica de Monitoring a partir de tus datos de registro que registre la cantidad de usuarios de Gemini Code Assist:

    1. En la Google Cloud consola de, ve a la Explorador de registros del segmento:

      Ir al Explorador de registros

      Si usas la barra de búsqueda para encontrar esta página, selecciona el resultado cuyo subtítulo es Logging.

    2. En el panel de consultas, ingresa la siguiente consulta y, luego, haz clic en Ejecutar consulta:

       resource.type="cloudaicompanion.googleapis.com/Instance" AND labels.product="code_assist" AND jsonPayload.@type="type.googleapis.com/google.cloud.cloudaicompanion.logging.v1.ResponseLog"

    3. En la barra de herramientas, haz clic en Acciones y, luego, selecciona Crear métrica.

      Aparecerá el diálogo Crear métrica basada en registros.

    4. Configura los siguientes detalles de la métrica:

      • Asegúrate de que el Tipo de métrica esté configurado como Contador.
      • Asigna el nombre code_assist_example a la métrica.

      • Asegúrate de que la Selección de filtros esté configurada para que apunte a la ubicación en la que se almacenan tus registros, ya sea Proyecto o Bucket.

        Para obtener información sobre cómo generar métricas de Monitoring a partir de tus datos de registro, consulta Descripción general de las métricas basadas en registros.

    5. Haz clic en Crear métrica.

      Se muestra un banner de éxito en el que se explica que se creó la métrica.

    6. En ese banner de éxito, haz clic en Ver en el Explorador de métricas.

      Se abrirá el Explorador de métricas y se mostrará un gráfico preconfigurado.

  2. Guarda el gráfico en un panel:

    1. En la barra de herramientas, haz clic en Guardar gráfico.
    2. Opcional: Actualiza el título del gráfico.
    3. Usa el menú Panel para seleccionar un panel personalizado existente o crear uno nuevo.
    4. Haz clic en Guardar gráfico.

Analiza el uso con BigQuery

En los siguientes pasos, se muestra cómo usar BigQuery para analizar tus datos de registro.

Existen dos enfoques que puedes usar para analizar tus datos de registro en BigQuery:

  • Crea un receptor de registros y exporta tus datos de registro a un conjunto de datos de BigQuery.
  • Actualiza el bucket de registros que almacena tus datos de registro para usar Observability Analytics, y, luego, crea un conjunto de datos de BigQuery vinculado.

Con ambos enfoques, puedes usar SQL para consultar y analizar tus datos de registro, y puedes graficar los resultados de esas consultas. Si usas Observability Analytics, puedes guardar tus gráficos en un panel personalizado. Sin embargo, existen diferencias en los precios. Para obtener más información, consulta Precios de Observability Analytics y Precios de BigQuery.

En esta sección, se describe cómo crear un receptor de registros para exportar entradas de registro seleccionadas a BigQuery y se proporciona una lista de consultas de muestra. Si deseas obtener más información sobre Observability Analytics, consulta Consulta y analiza registros con Observability Analytics y Consulta un conjunto de datos de BigQuery vinculado.

Crear un receptor de registros

  1. En la Google Cloud consola de, ve a la página Enrutador de registros:

    Ir a Enrutador de registros

    Si usas la barra de búsqueda para encontrar esta página, selecciona el resultado cuyo subtítulo es Logging.

  2. Selecciona el Google Cloud proyecto en el que se originan las entradas de registro que deseas enrutar.
  3. Selecciona Crear receptor.

  4. En el panel Detalles del receptor, ingresa los siguientes detalles:

    • En Nombre del receptor, proporciona un identificador para el receptor. Después de crear el receptor, no puedes cambiarle el nombre, pero puedes borrarlo y crear uno nuevo.

    • En Descripción del receptor, describe el propósito o el caso de uso del receptor.

  5. En el panel Destino del receptor, configura los siguientes detalles:

    • En Selecciona el servicio del receptor, selecciona Conjunto de datos de BigQuery.
    • En Selecciona un conjunto de datos de BigQuery, crea un conjunto de datos de BigQuery nuevo y asígnale el nombre code_assist_bq.

  6. Abre el panel Elige registros para incluirlos en el receptor y, en el campo Crear filtro de inclusión, ingresa lo siguiente:

    resource.type="cloudaicompanion.googleapis.com/Instance" AND labels.product="code_assist"

  7. Opcional: Para verificar que ingresaste el filtro correcto, selecciona Obtener vista previa de los registros. El Explorador de registros se abrirá en una pestaña nueva con el filtro propagado previamente.

  8. Haz clic en Crear receptor.

Autoriza el receptor de registros para escribir entradas de registro en el conjunto de datos

Cuando tienes acceso de propietario al conjunto de datos de BigQuery, Cloud Logging otorga al receptor de registros los permisos necesarios para escribir datos de registro.

Si no tienes acceso de propietario o no ves ninguna entrada en tu conjunto de datos, es posible que el receptor de registros no tenga los permisos necesarios. Para resolver esta falla, sigue las instrucciones que se indican en Establece permisos de destino.

Consultas

Puedes usar las siguientes consultas de BigQuery de muestra para generar datos a nivel del usuario y agregados para el uso activo diario y las sugerencias generadas.

Antes de usar las siguientes consultas de muestra, debes obtener la ruta completamente calificada para el receptor recién creado. Para obtener la ruta, haz lo siguiente:

  1. En la Google Cloud consola de, ve a la página BigQuery.

    Ir a BigQuery

  2. En la lista de recursos, busca el conjunto de datos llamado code_assist_bq. Estos datos son el destino del receptor.

  3. Selecciona la tabla de respuestas de debajo de code_assist_bq_dataset, haz clic en el ícono y, luego, en Copiar ID para generar el ID del conjunto de datos. Toma nota para que puedas usar lo en las siguientes secciones como la GENERATED_BIGQUERY_TABLE variable.

Enumera los usuarios individuales por día

SELECT DISTINCT labels.user_id as user, DATE(timestamp) as use_date
FROM GENERATED_BIGQUERY_TABLE
ORDER BY use_date

Reemplaza GENERATED_BIGQUERY_TABLE por la ruta completamente calificada de la tabla de respuestas de BigQuery que anotaste en los pasos anteriores para crear un receptor.

Enumera los usuarios agregados por día

SELECT COUNT(DISTINCT labels.user_id) as total_users, DATE(timestamp) as use_date
FROM GENERATED_BIGQUERY_TABLE
GROUP BY use_date
ORDER BY use_date

Enumera las solicitudes individuales por día por usuario

SELECT COUNT(*), DATE(timestamp) as use_date, labels.user_id as user
FROM GENERATED_BIGQUERY_TABLE
GROUP BY use_date, user
ORDER BY use_date

Enumera las solicitudes agregadas por día por fecha

SELECT COUNT(*), DATE(timestamp) as use_date
FROM GENERATED_BIGQUERY_TABLE
GROUP BY use_date
ORDER BY use_date

¿Qué sigue?