Consulta los recursos de IA con la Supervisión de la aplicación

Puedes usar la Supervisión de la aplicación para supervisar el estado, el rendimiento y el costo de los recursos de IA que usan tus aplicaciones, servicios y cargas de trabajo registrados en App Hub. Las consultas de Application Monitoring rastrean los datos de seguimiento que contienen etiquetas y eventos específicos de la aplicación que siguen las convenciones semánticas de OpenTelemetry GenAI para generar métricas agregadas y detalladas, como la tasa de errores, la latencia y el uso de tokens.

En el siguiente panel, se muestra la información de los recursos de IA para una aplicación registrada:

Es un panel que muestra información sobre los recursos de IA.

Antes de comenzar

Los procedimientos de este documento requieren un proyecto Google Cloud con recursos de IA activos para analizar. También requieren que tus recursos de IA estén asociados con aplicaciones, servicios y cargas de trabajo registrados en App Hub. La supervisión de aplicaciones necesita datos de telemetría y de seguimiento para producir resultados significativos.

Configura roles y APIs, y configura Application Monitoring

  1. Completa los pasos definidos en Investiga aplicaciones, servicios y cargas de trabajo: Antes de comenzar.

  2. Habilita las APIs de Observability, Cloud Trace y Telemetry si alguna aún no está habilitada.

    Roles necesarios para habilitar las APIs

    Para habilitar APIs, necesitas el permiso serviceusage.services.enable. Si creaste el proyecto, es probable que ya tengas este permiso a través del rol de propietario (roles/owner). De lo contrario, puedes obtener este permiso a través del rol de administrador de Service Usage (roles/serviceusage.serviceUsageAdmin). Obtén más información para otorgar roles.

    Habilitar las API

  3. Para obtener los permisos que necesitas y ver la información de uso de los recursos de IA, pídele a tu administrador que te otorgue los siguientes roles de IAM:

    Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso a proyectos, carpetas y organizaciones.

    También puedes obtener los permisos necesarios a través de roles personalizados o cualquier otro rol predefinido.

Desarrolla y registra aplicaciones, servicios y cargas de trabajo

Para mostrar los datos de los recursos de IA que usan tus aplicaciones, servicios y cargas de trabajo, tus datos de seguimiento deben contener etiquetas y eventos específicos de la aplicación que sigan las convenciones semánticas de OpenTelemetry GenAI. Para obtener estas etiquetas, completa los siguientes pasos:

  1. Registra tu aplicación, sus servicios y cargas de trabajo en App Hub.
  2. Usa el framework del Kit de desarrollo de agentes (ADK) o instrumenta tu aplicación con OpenTelemetry y envía tus datos de seguimiento a la API de Telemetry. Para ver muestras de instrumentación, consulta Instrumenta aplicaciones del ADK con OpenTelemetry y Descripción general de las muestras de instrumentación basadas en el recopilador.

Cómo ver los recursos de IA de una aplicación

Para ver los recursos de IA asociados a una aplicación, haz lo siguiente:

  1. En la consola de Google Cloud , ve a la página Supervisión de aplicaciones:

    Ir a Supervisión de aplicaciones

    Si usas la barra de búsqueda para encontrar esta página, selecciona el resultado cuyo subtítulo es Monitoring.

  2. En la barra de herramientas de la consola de Google Cloud , selecciona tu proyecto host o proyecto de administración de App Hub.

  3. Selecciona la pestaña Aplicaciones y, luego, la aplicación de la lista.

  4. Selecciona la pestaña Paneles.

  5. En el Índice del panel, selecciona Recursos de IA.

    El sistema crea la entrada Recursos de IA cuando tienes al menos un agente de IA asociado con tu aplicación que está activo. Si no tienes ningún agente o todos están inactivos, la opción no aparecerá en la lista.

El panel se dirige a la sección Recursos de IA, en la que se muestra información como la siguiente:

  • Cantidad total de consultas por segundo y recuento de tokens.
  • Tasa de errores promedio, latencia y tasa de errores de llamadas a herramientas
  • Uso de tokens
  • Latencia y tasas de errores de los agentes

Visualiza los recursos de IA para un servicio o una carga de trabajo

Para ver los recursos de IA asociados a un servicio o carga de trabajo, haz lo siguiente:

  1. Abre el panel del servicio o la carga de trabajo:

    1. En la consola de Google Cloud , ve a la página Supervisión de aplicaciones:

      Ir a Supervisión de aplicaciones

      Si usas la barra de búsqueda para encontrar esta página, selecciona el resultado cuyo subtítulo es Monitoring.

    2. Selecciona la pestaña Servicios y cargas de trabajo y, luego, el servicio o la carga de trabajo.

    Se abrirá el panel del servicio o la carga de trabajo. El Índice enumera las secciones del panel, que pueden depender del tipo de recurso de IA.

  2. Para ir a la sección del panel que contiene información sobre tus recursos de IA, usa el Índice del panel:

    • Agente: Disponible para agentes. En esta sección, se muestra información sobre las sesiones, las invocaciones de agentes y el uso de tokens.

    • Herramientas: Están disponibles para los agentes. En esta sección, se muestra información sobre las llamadas a herramientas, como la tasa de error, el recuento de llamadas y la latencia de P95.

    • Modelos: Disponibles para algunos agentes. En esta sección, se muestra información sobre la cantidad de llamadas al modelo que realizó el agente, la tasa de error y el uso de tokens.

Explorar la telemetría

Las consultas en SQL que se ejecutan en tus datos de seguimiento determinan los datos que se muestran en los gráficos de recursos basados en IA. Estas consultas filtran los datos de seguimiento por etiquetas específicas de la aplicación y eventos de IA generativa que siguen las convenciones semánticas de OpenTelemetry GenAI.

Para ver la consulta de un gráfico, en la barra de herramientas del gráfico, selecciona Más opciones del gráfico y, luego, Explorar en Estadísticas de observabilidad.

Se abrirá Estadísticas de observabilidad y se mostrará la consulta en SQL que genera datos para el gráfico. Tienes las siguientes opciones:

  • Inspecciona la consulta y, luego, vuelve a Application Monitoring.
  • Ejecuta la consulta.
  • Modifica la consulta y, luego, ejecútala.
  • Crea un gráfico que muestre el resultado de la consulta.
  • Guarda en un panel personalizado un gráfico que muestre el resultado de la consulta.

Para obtener más información, consulta los siguientes documentos: