Perspectiva de la IA y el AA: confiabilidad

Last reviewed 2026-10-29 UTC

En este documento del Well-Architected Framework deGoogle Cloud : perspectiva de IA y AA, se proporciona una descripción general de los principios y las recomendaciones para diseñar y operar sistemas confiables de IA y AA en Google Cloud. Se explora cómo integrar prácticas de confiabilidad y observabilidad avanzadas en tus planos arquitectónicos. Las recomendaciones de este documento se alinean con el pilar de confiabilidad del Well-Architected Framework.

En el panorama de la IA y el AA, que evoluciona con rapidez, los sistemas confiables son esenciales para garantizar la satisfacción del cliente y alcanzar los objetivos comerciales. Para satisfacer las demandas únicas del AA predictivo y la IA generativa, necesitas sistemas de IA y AA que sean sólidos, confiables y adaptables. Para controlar las complejidades de MLOps, desde el desarrollo hasta la implementación y la mejora continua, debes usar un enfoque que priorice la confiabilidad. Google Cloud ofrece una infraestructura de IA diseñada específicamente que se alinea con los principios de la ingeniería de confiabilidad de sitios (SRE) y que proporciona una base potente para sistemas de IA y AA confiables.

Las recomendaciones de este documento se asignan a los siguientes principios fundamentales:

Garantizar que la infraestructura de AA sea escalable y tenga alta disponibilidad

Los sistemas de IA y AA confiables en la nube requieren una infraestructura escalable y de alta disponibilidad. Estos sistemas tienen demandas dinámicas, diversas necesidades de recursos y dependencias críticas de la disponibilidad del modelo. Las arquitecturas escalables se adaptan a las cargas fluctuantes y a las variaciones en el volumen de datos o las solicitudes de inferencia. La alta disponibilidad (HA) ayuda a garantizar la resiliencia contra fallas a nivel de componente, zona o región.

Para compilar una infraestructura de AA escalable y con alta disponibilidad, ten en cuenta las siguientes recomendaciones.

Implementar funciones de escalamiento automático y dinámico

Las cargas de trabajo de IA y AA son dinámicas, con una demanda que fluctúa según las tasas de llegada de datos, la frecuencia de entrenamiento y el volumen de tráfico de inferencia. El escalamiento automático y dinámico adapta los recursos de infraestructura sin problemas a las fluctuaciones de la demanda. Escalar tus cargas de trabajo de manera eficaz ayuda a evitar el tiempo de inactividad, mantener el rendimiento y optimizar los costos.

Para escalar automáticamente tus cargas de trabajo de IA y AA, usa los siguientes productos y funciones en Google Cloud:

  • Canalizaciones de procesamiento de datos: Crea canalizaciones de datos en Dataflow. Configura las canalizaciones para que usen la función de ajuste de escala automático horizontal de Dataflow, que ajusta de forma dinámica la cantidad de instancias de trabajador según el uso de CPU, el paralelismo de la canalización y los datos pendientes. Puedes configurar los parámetros de ajuste de escala automático con las opciones de canalización cuando inicias trabajos.
  • Trabajos de entrenamiento: Automatiza el escalamiento de los trabajos de entrenamiento con el entrenamiento personalizado de Gemini Enterprise Agent Platform. Puedes definir las especificaciones del grupo de trabajadores, como el tipo de máquina, el tipo y la cantidad de aceleradores, y la cantidad de grupos de trabajadores. En el caso de los trabajos que pueden tolerar interrupciones y aquellos en los que el código de entrenamiento implementa puntos de control, puedes reducir los costos con VMs Spot.
  • Inferencia en línea: Para la inferencia en línea, usa los extremos de Agent Platform. Para habilitar el ajuste de escala automático, configura el recuento mínimo y máximo de réplicas. Especifica un mínimo de dos réplicas para la alta disponibilidad. Agent Platform ajusta automáticamente la cantidad de réplicas según el tráfico y las métricas de ajuste de escala automático configuradas, como el uso de CPU y el uso de réplicas.
  • Cargas de trabajo alojadas en contenedores en Google Kubernetes Engine: Configura el ajuste de escala automático a nivel de nodo y de Pod. Configura el escalador automático de clústeres y el aprovisionamiento automático de nodos para ajustar el recuento de nodos según las solicitudes de recursos de Pods pendientes, como CPU, memoria, GPU y Cloud TPU. Usa el Horizontal Pod Autoscaler (HPA) para que las implementaciones definan políticas de escalamiento basadas en métricas, como el uso de CPU y memoria. También puedes escalar en función de métricas personalizadas de IA y AA, como el uso de GPU o Cloud TPU y las solicitudes de predicción por segundo.
  • Servicios alojados en contenedores sin servidores: Implementa los servicios en Cloud Run y configura el escalado automático especificando la cantidad mínima y máxima de instancias de contenedor. Usa prácticas recomendadas para ajustar la escala automáticamente de las instancias habilitadas para GPU especificando el tipo de acelerador. Cloud Run escala automáticamente las instancias entre los límites mínimo y máximo configurados según las solicitudes entrantes. Cuando no hay solicitudes, escala de manera eficiente a cero instancias. Puedes aprovechar el escalado automático controlado por solicitudes de Cloud Run para implementar agentes y cargas de trabajo de terceros, como modelos cuantizados con Ollama y inferencia de LLM con vLLM.

Diseña para la HA y la tolerancia a errores

Para las cargas de trabajo de IA y AA de nivel de producción, es fundamental que garantices el funcionamiento continuo y la resiliencia ante fallas. Para implementar la alta disponibilidad y la tolerancia a errores, debes incorporar redundancia y replicación en tu arquitectura en Google Cloud. Este enfoque ayuda a garantizar que una falla de un componente individual no cause una falla de todo el sistema.

Implementar redundancia para los componentes críticos de IA y AA en Google Cloud Los siguientes son ejemplos de productos y funciones que te permiten implementar la redundancia de recursos:

  • Implementa clústeres regionales de GKE en varias zonas.
  • Garantiza la redundancia de datos para los conjuntos de datos y los puntos de control con buckets multirregionales o birregionales de Cloud Storage.
  • Usa Spanner para el almacenamiento de metadatos con coherencia global y alta disponibilidad.
  • Configura réplicas de lectura de Cloud SQL para bases de datos operativas.
  • Asegúrate de que las bases de datos vectoriales para la generación aumentada por recuperación (RAG) tengan alta disponibilidad y sean multizonales o multirregionales.

Administrar los recursos de forma proactiva y anticipar los requisitos

La administración eficaz de los recursos es importante para ayudarte a optimizar los costos, el rendimiento y la confiabilidad. Las cargas de trabajo de IA y AA son dinámicas y hay una gran demanda de hardware especializado, como GPU y Cloud TPU. Por lo tanto, es fundamental que apliques una administración proactiva de los recursos y garantices su disponibilidad.

Planifica la capacidad en función de los datos de supervisión históricos, como las tasas de uso y capacidad de procesamiento de GPU o Cloud TPU, de Cloud Monitoring y los registros en Cloud Logging. Analiza estos datos de telemetría con BigQuery o Data Studio y prevé la demanda futura de GPU en función del crecimiento o de los modelos nuevos. El análisis de los patrones y las tendencias de uso de recursos te ayuda a predecir cuándo y dónde necesitas aceleradores especializados críticos.

  • Valida las estimaciones de capacidad con pruebas de carga rigurosas. Simula el tráfico en los servicios de IA y AA, como la entrega y las canalizaciones, con herramientas como Apache JMeter o LoadView.
  • Analizar el comportamiento del sistema bajo estrés
    • Para anticipar y satisfacer las mayores demandas de carga de trabajo en producción, identifica de forma proactiva los requisitos de recursos. Supervisa la latencia, la capacidad de procesamiento, los errores y el uso de recursos, en especial el uso de GPU y Cloud TPU. Aumenta las cuotas de recursos según sea necesario.
    • Para la entrega de IA generativa, realiza pruebas con cargas simultáneas altas y determina el nivel en el que la disponibilidad del acelerador limita el rendimiento.
  • Supervisa de forma continua las consultas de modelos y configura alertas proactivas para los agentes.
    • Usa el panel de observabilidad del modelo para ver las métricas que recopila Monitoring, como las consultas por segundo (QPS) del modelo, la capacidad de procesamiento de tokens y las latencias del primer token.

Optimiza la disponibilidad y la obtención de recursos

Optimiza los costos y garantiza la disponibilidad de los recursos seleccionando de forma estratégica los recursos de procesamiento adecuados según los requisitos de la carga de trabajo.

  • Para cargas de trabajo de inferencia o entrenamiento estables las 24 horas, todos los días, con requisitos de capacidad fijos o predecibles, usa descuentos por compromiso de uso (CUD) para VMs y aceleradores.
  • Para los nodos de GKE y las VMs de Compute Engine, usa las funciones de las VMs Spot y de Dynamic Workload Scheduler (DWS):

    • Para las tareas tolerantes a errores, como las cargas de trabajo de evaluación y experimentación, usa VMs Spot. Las VMs Spot se pueden interrumpir, pero pueden ayudarte a reducir los costos generales.
    • Para administrar el riesgo de interrupción de los aceleradores de alta demanda, puedes garantizar una mejor obtención con DWS.
      • Para el entrenamiento por lotes complejo que necesita GPUs de alta gama para ejecutarse durante un máximo de siete días, usa el modo de inicio flexible de DWS.
      • Para cargas de trabajo de mayor duración que se ejecutan hasta tres meses, usa el modo Calendario para reservar GPU específicas (H100 y H200) y Cloud TPU (Trillium).
  • Para optimizar la inferencia de IA en GKE, puedes ejecutar un motor de vLLM que use de forma dinámica Cloud TPU y GPU para abordar las necesidades fluctuantes de capacidad y rendimiento. Para obtener más información, consulta Fungibilidad de GPU/TPU de vLLM.

  • En situaciones avanzadas con necesidades complejas de recursos y topología que involucran aceleradores, usa herramientas para abstraer la administración de recursos.

    • Cluster Director te permite implementar y administrar grupos de aceleradores con ubicación conjunta y programación para el entrenamiento de varias GPU (A3 Ultra H200 y A4 B200). Cluster Director admite clústeres de GKE y Slurm.
    • Ray en Gemini Enterprise Agent Platform abstrae la infraestructura de procesamiento distribuido. Permite que las aplicaciones soliciten recursos para el entrenamiento y la entrega sin necesidad de administrar directamente las VMs y los contenedores.

Distribuir el tráfico entrante entre varias instancias

El balanceo de cargas eficaz es fundamental para las aplicaciones de IA que tienen demandas fluctuantes. El balanceo de cargas distribuye el tráfico, optimiza el uso de recursos, proporciona alta disponibilidad y baja latencia, y ayuda a garantizar una experiencia del usuario fluida.

  • Inferencia con necesidades de recursos variables: Implementa el balanceo de cargas en función de las métricas del modelo. GKE Inference Gateway te permite implementar modelos detrás de un balanceador de cargas con enrutamiento con reconocimiento de modelos. La puerta de enlace prioriza las instancias con aceleradores de GPU y Cloud TPU para tareas de procesamiento intensivo, como la IA generativa y la inferencia de LLM. Configura verificaciones de estado detalladas para evaluar el estado del modelo. Usa frameworks de entrega como vLLM o Triton para las métricas de LLM y, luego, intégralas en Monitoring con Google Cloud Managed Service para Prometheus.
  • Cargas de trabajo de inferencia que necesitan GPU o Cloud TPU: Para garantizar que las cargas de trabajo de inferencia de IA y AA críticas se ejecuten de forma coherente en máquinas que sean adecuadas para los requisitos de las cargas de trabajo, en especial cuando la disponibilidad de GPU y Cloud TPU está restringida, usa clases de procesamiento personalizadas de GKE. Puedes definir perfiles de procesamiento específicos con políticas de resguardo para el ajuste de escala automático. Por ejemplo, puedes definir un perfil que especifique una prioridad más alta para las instancias de GPU o Cloud TPU reservadas. El perfil puede incluir un resguardo para usar VMs Spot rentables si los recursos reservados no están disponibles temporalmente.
  • IA generativa en diversas plataformas de organización: Usa un balanceador de cargas centralizado. Por ejemplo, para mejorar la eficiencia de costos y administración, puedes enrutar las solicitudes que tienen necesidades de GPU bajas a Cloud Run y enrutar las tareas más complejas y que requieren un uso intensivo de GPU a GKE. Para la comunicación entre servicios y la administración de políticas, implementa una malla de servicios con Cloud Service Mesh. Garantiza un registro y una supervisión coherentes con Logging y Monitoring.
  • Distribución de cargas global: Para balancear las cargas del tráfico de usuarios globales que necesitan baja latencia, usa un balanceador de cargas de aplicaciones externo global. Configurar el enrutamiento de ubicación geográfica a la región más cercana y, luego, implementar la conmutación por error Establece la replicación de extremos regionales en Agent Platform o GKE. Configurar Cloud CDN para recursos estáticos Supervisa el tráfico y la latencia globales con Monitoring.
  • Administración detallada del tráfico: Para las solicitudes que tienen tipos de datos o complejidad diversos y solicitudes de larga duración, implementa la administración detallada del tráfico.
    • Configura el enrutamiento basado en el contenido para dirigir las solicitudes a backends especializados según atributos como las rutas de URL y los encabezados. Por ejemplo, dirige las solicitudes a backends habilitados para GPU para modelos de imágenes o videos, y a backends optimizados para CPU para modelos basados en texto.
    • Para solicitudes de IA generativa de larga duración o cargas de trabajo por lotes, usa WebSockets o gRPC. Implementa la administración del tráfico para controlar los tiempos de espera y el almacenamiento en búfer. Configura los tiempos de espera y los reintentos de las solicitudes, y, además, implementa límites de frecuencia y cuotas con API Gateway o Apigee.

Usa una arquitectura modular y con acoplamiento bajo

En una arquitectura de IA y AA modular y con acoplamiento bajo, los sistemas complejos se dividen en componentes más pequeños y autónomos que interactúan a través de interfaces bien definidas. Esta arquitectura minimiza las dependencias de los módulos, simplifica el desarrollo y las pruebas, mejora la reproducibilidad y aumenta la tolerancia a errores, ya que los contiene. El enfoque modular es fundamental para administrar la complejidad, acelerar la innovación y garantizar la capacidad de mantenimiento a largo plazo.

Para diseñar una arquitectura modular y con acoplamiento bajo para las cargas de trabajo de IA y AA, ten en cuenta las siguientes recomendaciones.

Implementa módulos o componentes pequeños y autónomos

Separa tu sistema de IA y AA de extremo a extremo en módulos o componentes pequeños y autónomos. Cada módulo o componente es responsable de una función específica, como la transferencia de datos, la transformación de atributos, el entrenamiento de modelos, la entrega de inferencias o la evaluación. Un diseño modular proporciona varios beneficios clave para los sistemas de IA y AA: mejor capacidad de mantenimiento, mayor escalabilidad, reutilización y mayor flexibilidad y agilidad.

En las siguientes secciones, se describen los productos, las funciones y las herramientas de Google Cloud que puedes usar para diseñar una arquitectura modular para tus sistemas de IA y AA.

Microservicios alojados en contenedores en GKE

Para sistemas de IA y AA complejos o canalizaciones de IA generativa complejas que necesitan una organización detallada, implementa módulos como microservicios que se organicen con GKE. Empaqueta cada etapa distinta como un microservicio individual dentro de contenedores de Docker. Estas etapas distintas incluyen la transferencia de datos adaptada a diversos formatos, el procesamiento previo de datos especializado o la ingeniería de atributos, el entrenamiento de modelos distribuidos o el ajuste de modelos de base grandes, la evaluación o la entrega.

Implementa los microservicios alojados en contenedores en GKE y aprovecha el escalamiento automatizado según el uso de CPU y memoria, o las métricas personalizadas, como el uso de GPU, las actualizaciones continuas y las configuraciones reproducibles en manifiestos de YAML. Garantizar una comunicación eficiente entre los microservicios con el descubrimiento de servicios de GKE Para los patrones asíncronos, usa colas de mensajes como Pub/Sub.

El enfoque de microservicios en GKE te ayuda a compilar plataformas escalables y resilientes para tareas como aplicaciones de RAG complejas en las que las etapas se pueden diseñar como servicios distintos.

Servicios sin servidores controlados por eventos

Para las tareas controladas por eventos que pueden beneficiarse del ajuste de escala automático sin servidores, usa Cloud Run o Cloud Run Functions. Estos servicios son ideales para tareas asíncronas, como el procesamiento previo, o para trabajos de inferencia más pequeños. Activa funciones de Cloud Run en eventos, como un archivo de datos nuevo que se crea en Cloud Storage o actualizaciones de modelos en Artifact Registry. Para las tareas o los servicios de webhook que necesitan un entorno de contenedor, usa Cloud Run.

Los servicios de Cloud Run y las funciones de Cloud Run pueden escalar verticalmente con rapidez y reducir la escala verticalmente a cero, lo que ayuda a garantizar la rentabilidad de las cargas de trabajo fluctuantes. Estos servicios son adecuados para componentes modulares en los flujos de trabajo de Agent Conversation. Puedes organizar secuencias de componentes con Workflows o Application Integration.

Servicios administrados de Agent Platform

Los servicios de Agent Platform admiten la modularidad y te ayudan a simplificar el desarrollo y la implementación de tus sistemas de IA y AA. Los servicios abstraen las complejidades de la infraestructura para que puedas enfocarte en la lógica de la aplicación.

  • Para organizar flujos de trabajo que se crean a partir de pasos modulares, usa las canalizaciones de Gemini Enterprise Agent Platform.
  • Para ejecutar código personalizado de IA y AA, empaqueta el código en contenedores de Docker que puedan ejecutarse en servicios administrados, como el entrenamiento personalizado de Agent Platform y la predicción de Agent Platform.
  • Para las canalizaciones de ingeniería de atributos modulares, usa Agent Platform Feature Store.
  • Para la exploración y la creación de prototipos modulares, usa entornos de notebooks, como Gemini Enterprise Agent Platform Workbench o Colab Enterprise. Organiza tu código en funciones, clases y secuencias de comandos reutilizables.

Aplicaciones de agentes

Para los agentes de IA, el Kit de desarrollo de agentes (ADK) proporciona capacidades modulares, como Herramientas y Estado. Para habilitar la interoperabilidad entre frameworks como LangChain, LangGraph, LlamaIndex y Agent Platform, puedes combinar el ADK con el protocolo Agent2Agent (A2A) y el Protocolo de contexto del modelo (MCP). Esta interoperabilidad te permite componer flujos de trabajo de agentes con diversos componentes.

Puedes implementar agentes en Agent Runtime en Gemini Enterprise Agent Platform, que es un entorno de ejecución administrado optimizado para la implementación de agentes escalables. Para ejecutar agentes alojados en contenedores, puedes aprovechar las capacidades de escalado automático de Cloud Run.

Diseña interfaces bien definidas

Para compilar sistemas de software sólidos y fáciles de mantener, es fundamental garantizar que los componentes de un sistema tengan con acoplamiento bajo y estén modularizados. Este enfoque ofrece ventajas significativas, ya que minimiza las dependencias entre las diferentes partes del sistema. Cuando los módulos tienen con acoplamiento bajo, los cambios en un módulo tienen un impacto mínimo en otros módulos. Este aislamiento permite realizar actualizaciones y flujos de trabajo de desarrollo independientes para cada módulo.

En las siguientes secciones, se proporciona orientación para garantizar una comunicación y una integración fluidas entre los módulos de tus sistemas de IA y AA.

Elección del protocolo

  • Para el acceso universal, usa APIs de HTTP, cumple con los principios de RESTful y usa JSON para el intercambio de datos independiente del lenguaje. Diseñar los endpoints de API para representar acciones en los recursos.
  • Para la comunicación interna de alto rendimiento entre microservicios, usa gRPC con búferes de protocolo (Protobuf) para una serialización eficiente y un tipado estricto. Define estructuras de datos, como ModelInput, PredictionResult o datos de ADK Tool, con archivos .proto y, luego, genera vinculaciones de lenguaje.
  • En los casos de uso en los que el rendimiento es fundamental, aprovecha la transmisión de gRPC para conjuntos de datos grandes o flujos continuos, como aplicaciones de texto a voz o de video en vivo. Implementa los servicios de gRPC en GKE.

Documentación estandarizada y completa

Independientemente del protocolo de interfaz que elijas, la documentación estandarizada es fundamental. La especificación de OpenAPI describe las APIs de RESTful. Usa OpenAPI para documentar tus APIs de IA y AA: rutas, métodos, parámetros, formatos de solicitud-respuesta vinculados a esquemas JSON y seguridad. La documentación completa de la API ayuda a mejorar la visibilidad y la integración de los clientes. Para la creación y visualización de APIs, usa herramientas de IU, como Swagger Editor. Para acelerar el desarrollo y garantizar la coherencia, puedes generar SDK de cliente y stubs de servidor con un IDE asistido por IA, como Antigravity. Integra la documentación de OpenAPI en tu flujo de CI/CD.

Interacción con servicios administrados de Google Cloud , como Agent Platform

Elige entre la abstracción más alta del SDK de Agent Platform, que se prefiere para la productividad del desarrollo, y el control detallado que proporciona la API de REST.

  • El SDK de Agent Platform simplifica las tareas y la autenticación. Usa el SDK cuando necesites interactuar con Agent Platform.
  • La API de REST es una alternativa potente, en especial cuando se requiere interoperabilidad entre las capas de tu sistema. Es útil para herramientas en lenguajes que no tienen un SDK o cuando necesitas un control detallado.

Usa APIs para aislar módulos y abstraer detalles de implementación

Para garantizar la seguridad, la escalabilidad y la visibilidad, es fundamental que implementes una gestión de API sólida para tus servicios de IA y AA. Para implementar la gestión de API en tus interfaces definidas, usa los siguientes productos:

  • API Gateway: Para las APIs que se exponen y administran de forma externa, API Gateway proporciona un punto de entrada centralizado y seguro. Simplifica el acceso a los servicios de backend sin servidores, como las APIs de predicción, entrenamiento y datos. API Gateway ayuda a consolidar los puntos de acceso, aplicar contratos de API y administrar funciones de seguridad, como claves de API y OAuth 2.0. Para proteger los backends de la sobrecarga y garantizar la confiabilidad, implementa límite de frecuencia y cuotas de uso en API Gateway.
  • Cloud Endpoints: Para optimizar el desarrollo y la implementación de APIs en GKE y Cloud Run, usa Endpoints, que ofrece una solución fácil de usar para los desarrolladores que permite generar claves de API. También proporciona supervisión y seguimiento integrados para las llamadas a la API y automatiza la generación de especificaciones de OpenAPI, lo que simplifica la documentación y la integración del cliente. Puedes usar Endpoints para administrar el acceso a las APIs de IA y AA internas o controladas, como para activar el entrenamiento y administrar los almacenes de atributos.
  • Apigee: Para la IA y el AA a escala empresarial, en especial las APIs de IA generativa sofisticadas, Apigee proporciona una administración de APIs avanzada y completa. Usa Apigee para obtener seguridad avanzada, como protección contra amenazas y OAuth 2.0, para la administración del tráfico, como el almacenamiento en caché, las cuotas y la mediación, y para las estadísticas. Apigee puede ayudarte a obtener información detallada sobre los patrones de uso, el rendimiento y la participación de las APIs, lo que es fundamental para comprender el uso de las APIs de IA generativa.

Planifica la degradación elegante

En los sistemas de IA y AA de producción, las fallas de los componentes son inevitables, al igual que en otros sistemas. La degradación elegante garantiza que las funciones esenciales sigan operando, posiblemente con un rendimiento reducido. Este enfoque evita las interrupciones completas y mejora la disponibilidad general. La degradación elegante es fundamental para la inferencia sensible a la latencia, el entrenamiento distribuido y la IA generativa.

En las siguientes secciones, se describen las técnicas que usas para planificar e implementar la degradación elegante.

Aislamiento de fallas

  • Para aislar los componentes defectuosos en arquitecturas distribuidas, implementa el patrón de interruptor con bibliotecas de resiliencia, como Resilience4j en Java y CircuitBreaker en Python.
  • Para evitar fallas en cascada, configura umbrales basados en las métricas de carga de trabajo de IA y AA, como las tasas de error y la latencia, y define resguardos, como modelos más simples y datos almacenados en caché.

Redundancia de componentes

Para los componentes críticos, implementa la redundancia y la conmutación por error automática. Por ejemplo, usa clústeres multizona o regionales de GKE y, además, implementa servicios de Cloud Run de forma redundante en diferentes regiones. Para enrutar el tráfico a instancias en buen estado cuando se detectan instancias en mal estado, usa Cloud Load Balancing.

Garantizar la redundancia de datos con buckets multirregionales de Cloud Storage Para el entrenamiento distribuido, implementa puntos de control asíncronos para reanudar después de las fallas. Para un entrenamiento resiliente y elástico, usa Pathways.

Supervisión proactiva

La degradación elegante ayuda a garantizar la disponibilidad del sistema durante una falla, pero también debes implementar medidas proactivas para realizar verificaciones de estado continuas y una supervisión integral. Recopila métricas específicas de la IA y el AA, como la latencia, la capacidad de procesamiento y el uso de GPU. Además, recopila métricas de degradación del rendimiento del modelo, como el desvío de datos y del modelo, con Monitoring y Model Monitoring en Gemini Enterprise Agent Platform.

Las verificaciones de estado pueden activar la necesidad de reemplazar nodos defectuosos, implementar más capacidad o activar automáticamente el reentrenamiento continuo o el ajuste de las canalizaciones que usan datos actualizados. Este enfoque proactivo ayuda a evitar la degradación basada en la exactitud y la degradación elegante a nivel del sistema, y ayuda a mejorar la confiabilidad general.

Prácticas de SRE

Para supervisar el estado de tus sistemas, considera adoptar prácticas de SRE para implementar objetivos de nivel de servicio (SLO). Las alertas sobre la pérdida del porcentaje de error aceptable y la tasa de consumo pueden ser indicadores tempranos de problemas de confiabilidad con el sistema. Para obtener más información sobre las prácticas de SRE, consulta el libro de SRE de Google.

Crea una plataforma de MLOps automatizada de extremo a extremo

Un sistema de IA y AA sólido, escalable y confiable en Google Cloud requiere una plataforma de MLOps automatizada de extremo a extremo para el ciclo de vida del desarrollo de modelos. El ciclo de vida del desarrollo incluye el manejo inicial de los datos, el entrenamiento continuo del modelo, la implementación y la supervisión en producción. Si automatizas estas etapas en Google Cloud, estableces procesos repetibles, reduces el trabajo manual, minimizas los errores y aceleras el ritmo de la innovación.

Una plataforma de MLOps automatizada es esencial para establecer una confiabilidad de nivel de producción para tus aplicaciones. La automatización ayuda a garantizar la calidad del modelo, asegurar la reproducibilidad y habilitar la integración y entrega continuas de artefactos de IA y AA.

Para compilar una plataforma de MLOps automatizada de extremo a extremo, ten en cuenta las siguientes recomendaciones.

Automatiza el ciclo de vida del desarrollo de modelos

Un elemento central de una plataforma de MLOps automatizada es la organización de todo el flujo de trabajo de IA y AA como una serie de pasos conectados y automatizados: desde la preparación y validación de datos hasta el entrenamiento, la evaluación, la implementación y la supervisión de modelos.

  • Usa Agent Platform Pipelines como tu organizador central:
    • Define flujos de trabajo de extremo a extremo con componentes modulares para el procesamiento, el entrenamiento, la evaluación y la implementación de datos.
    • Automatiza las ejecuciones de canalizaciones con programas o activadores, como datos nuevos o cambios en el código.
    • Implementa la parametrización y el control de versiones automatizados para cada ejecución de la canalización y crea un historial de versiones.
    • Supervisa el progreso de la canalización y el uso de recursos con el registro y el seguimiento integrados, y realiza la integración con las alertas de Monitoring.
  • Define tus canalizaciones de AA de manera programática con el SDK de Kubeflow Pipelines (KFP) o el SDK de TensorFlow Extended. Para obtener más información, consulta Interfaces para canalizaciones de Agent Platform.
  • Organiza las operaciones con servicios de Google Cloud , como Dataflow, entrenamiento personalizado de Agent Platform, Model Registry en Gemini Enterprise Agent Platform y extremos de Agent Platform.
  • En el caso de los flujos de trabajo de IA generativa, organiza los pasos para la administración de instrucciones, la inferencia por lotes, la evaluación con intervención humana (HITL) y la coordinación de los componentes del ADK.

Administra la infraestructura como código

La infraestructura como código (IaC) es fundamental para administrar la infraestructura de los sistemas de IA y AA, y para habilitar implementaciones reproducibles, escalables y fáciles de mantener. Las necesidades de infraestructura de los sistemas de IA y AA son dinámicas y complejas. Los sistemas suelen requerir hardware especializado, como GPU y Cloud TPU. La IaC ayuda a mitigar los riesgos de la administración manual de la infraestructura, ya que garantiza la coherencia, habilita las reversiones y hace que las implementaciones sean repetibles.

Para administrar de forma eficaz tus recursos de infraestructura como código, usa las siguientes técnicas.

Automatizar el aprovisionamiento de recursos

Para administrar de manera eficaz la IaC en Google Cloud, define y aprovisiona tus recursos de infraestructura de IA y AA con Terraform. La infraestructura puede incluir recursos como los siguientes:

  • Clústeres de GKE que se configuran con grupos de nodos. Los grupos de nodos se pueden optimizar según los requisitos de la carga de trabajo. Por ejemplo, puedes usar GPU A100, H100, H200 o B200 para el entrenamiento y GPU L4 para la inferencia.
  • Extremos de Agent Platform que están configurados para la entrega de modelos, con tipos de máquinas y políticas de escalamiento definidos.
  • Buckets de Cloud Storage para datos y artefactos

Usa plantillas de configuración

Organiza tus parámetros de configuración de Terraform como plantillas modulares. Para acelerar el aprovisionamiento de recursos de IA y AA, puedes usar Cluster Toolkit. El kit de herramientas proporciona esquemas de ejemplo, que son plantillas de Terraform seleccionadas por Google que puedes usar para implementar clústeres de HPC, IA y AA listos para usar en Slurm o GKE. Puedes personalizar el código de Terraform y administrarlo en tu sistema de control de versión. Para automatizar el flujo de trabajo de aprovisionamiento y actualización de recursos, puedes integrar el código en tus canalizaciones de CI/CD con Cloud Build.

Automatiza los cambios de configuración

Después de aprovisionar tu infraestructura, administra los cambios de configuración en curso de forma declarativa:

  • En entornos centrados en Kubernetes, administra tus recursos de Google Cloud como objetos de Kubernetes con Config Connector.
  • Definir y administrar recursos de Agent Platform, como conjuntos de datos, modelos y extremos, instancias de Cloud SQL, temas de Pub/Sub y buckets de Cloud Storage, con manifiestos de YAML
  • Implementa los manifiestos en tu clúster de GKE para integrar la configuración de la aplicación y la infraestructura.
  • Automatiza las actualizaciones de configuración con canalizaciones de CI/CD y usa plantillas para controlar las diferencias de entorno.
  • Implementa parámetros de configuración para las políticas de Identity and Access Management (IAM) y las cuentas de servicio con IaC.

Integración en CI/CD

  • Automatiza el ciclo de vida de los recursos de infraestructura de Google Cloud integrando la IaC en las canalizaciones de CI/CD con herramientas como Cloud Build y Infrastructure Manager.
  • Definir activadores para actualizaciones automáticas en confirmaciones de código
  • Implementar pruebas y validaciones automatizadas dentro de la canalización Por ejemplo, puedes crear una secuencia de comandos para ejecutar automáticamente los comandos validate y plan de Terraform.
  • Almacenar las configuraciones como artefactos y habilitar el control de versiones
  • Define entornos independientes, como desarrollo, etapa de pruebas y producción, con parámetros de configuración distintos en el control de versión y automatiza la promoción de entornos.

Valida el comportamiento del modelo

Para mantener la exactitud y la relevancia del modelo a lo largo del tiempo, automatiza el proceso de entrenamiento y evaluación dentro de tu plataforma de MLOps. Esta automatización, junto con una validación rigurosa, ayuda a garantizar que los modelos se comporten como se espera con los datos relevantes antes de implementarlos en producción.

  • Configura canalizaciones de entrenamiento continuo, que se activan con datos nuevos y señales de supervisión, como el desvío de datos, o que se ejecutan según un programa.
    • Para administrar trabajos de entrenamiento automatizados, como pruebas de ajuste de hiperparámetros y parámetros de configuración de entrenamiento distribuido para modelos más grandes, usa el entrenamiento personalizado de Agent Platform.
    • Para ajustar los modelos de base, automatiza el proceso de ajuste e integra los trabajos en tus canalizaciones.
  • Implementar el control de versiones automatizado de los modelos y almacenar de forma segura los artefactos de los modelos entrenados después de cada ejecución de entrenamiento exitosa Puedes almacenar los artefactos en Cloud Storage o registrarlos en Model Registry.
  • Define métricas de evaluación y establece umbrales claros, como la exactitud mínima, la tasa de error máxima y la puntuación F1 mínima.
    • Asegúrate de que un modelo cumpla con los umbrales para aprobar automáticamente la evaluación y que se considere para la implementación.
    • Automatiza la evaluación con servicios como la evaluación de modelos en Agent Platform.
    • Asegúrate de que la evaluación incluya métricas específicas de la calidad del resultado generado, la exactitud fáctica, los atributos de seguridad y el cumplimiento del estilo o formato especificados.
  • Para registrar y hacer un seguimiento automático de los parámetros, las versiones de código, las versiones de conjuntos de datos y los resultados de cada ejecución de entrenamiento y evaluación, usa Experimentos en Gemini Enterprise Agent Platform. Este enfoque proporciona un historial que es útil para la comparación, la depuración y la reproducibilidad.
  • Para optimizar el ajuste de hiperparámetros y automatizar la búsqueda de configuraciones de modelos óptimas según el objetivo definido, usa Agent Platform Vizier.
  • Para visualizar las métricas de entrenamiento y depurar durante el desarrollo, usa Agent Platform TensorBoard.

Validar las entradas y salidas de las canalizaciones de IA y AA

Para garantizar la confiabilidad y la integridad de tus sistemas de IA y AA, debes validar los datos cuando ingresan a los sistemas y se mueven por las canalizaciones. También debes verificar las entradas y salidas en los límites de los componentes. La validación sólida de todas las entradas y salidas (datos sin procesar, datos procesados, parámetros de configuración, argumentos y archivos) ayuda a evitar comportamientos inesperados y a mantener la calidad del modelo durante todo el ciclo de vida de MLOps. Cuando integras este enfoque proactivo en tu plataforma de MLOps, ayuda a detectar errores antes de que se propaguen por todo el sistema y ahorra tiempo y recursos.

Para validar de manera eficaz las entradas y salidas de tus canalizaciones de IA y AA, usa las siguientes técnicas.

Automatiza la validación de datos

  • Implementa la validación de datos automatizada en tus canalizaciones de ingesta y procesamiento previo de datos con TensorFlow Data Validation (TFDV).
    • Para las verificaciones de calidad de los datos basadas en SQL a gran escala, aprovecha los servicios de procesamiento escalables, como BigQuery.
    • Para la validación programática y compleja de datos de transmisión o por lotes, usa Dataflow.
  • Supervisar las distribuciones de datos a lo largo del tiempo con las funciones de TFDV
    • Visualiza las tendencias con herramientas integradas en Monitoring para detectar el desvío de datos. Puedes activar automáticamente las canalizaciones de reentrenamiento de modelos cuando los patrones de datos cambian de forma significativa.
  • Almacena los resultados y las métricas de validación en BigQuery para el análisis y el seguimiento histórico, y archiva los artefactos de validación en Cloud Storage.

Valida las configuraciones de la canalización y los datos de entrada

Para evitar fallas en la canalización o un comportamiento inesperado causado por una configuración incorrecta, implementa una validación estricta para todos los parámetros de configuración de la canalización y los argumentos de la línea de comandos:

  • Define esquemas claros para tus archivos de configuración, como YAML o JSON, con bibliotecas de validación de esquemas, como jsonschema para Python. Valida los objetos de configuración con estos esquemas antes de que comience la ejecución de una canalización y antes de que se ejecute un componente.
  • Implementa la validación de entrada para todos los argumentos de línea de comandos y parámetros de canalización con bibliotecas de análisis de argumentos, como argparse. La validación debe verificar los tipos de datos correctos, los valores válidos y los argumentos obligatorios.
  • En Agent Platform Pipelines, define los tipos y las propiedades esperados de los parámetros de los componentes con las funciones integradas de validación de entradas de los componentes.
  • Para garantizar la reproducibilidad de las ejecuciones de canalizaciones y mantener un registro de auditoría, almacena los archivos de configuración validados y con versiones en Cloud Storage o Artifact Registry.

Valida los archivos de entrada y salida

Valida los archivos de entrada y salida, como los conjuntos de datos, los artefactos de modelo y los informes de evaluación, para verificar la integridad y la corrección del formato:

  • Valida formatos de archivo como CSV, Parquet y tipos de imágenes con bibliotecas.
  • En el caso de archivos grandes o artefactos críticos, valida los tamaños de los archivos y las sumas de comprobación para detectar daños o transferencias incompletas con la validación de datos y la detección de cambios de Cloud Storage.
  • Realiza la validación de archivos con Cloud Run Functions (por ejemplo, en función de los eventos de carga de archivos) o dentro de las canalizaciones de Dataflow.
  • Almacena los resultados de la validación en BigQuery para facilitar la recuperación y el análisis.

Automatiza la implementación y establece una supervisión continua

La implementación automatizada y la supervisión continua de los modelos en producción ayudan a garantizar la confiabilidad, realizar actualizaciones rápidas y detectar problemas con prontitud. Esto implica administrar las versiones del modelo, la implementación controlada, la implementación automatizada con CI/CD y la supervisión integral, como se describe en las siguientes secciones.

Administra las versiones de los modelos

Administra las iteraciones de modelos y los artefactos asociados con herramientas de control de versiones:

  • Para hacer un seguimiento de las versiones y los metadatos de los modelos, y vincularlos a los artefactos de modelos subyacentes, usa Model Registry.
  • Implementa un esquema claro de control de versiones (como el control de versiones semántico). Para cada versión del modelo, adjunta metadatos completos, como parámetros de entrenamiento, métricas de evaluación de las canalizaciones de validación y la versión del conjunto de datos.
  • Almacena artefactos de modelos, como archivos de modelos, pesos entrenados previamente y las imágenes de contenedor de entrega en Artifact Registry y usa sus funciones de control de versiones y etiquetado.
  • Para cumplir con los requisitos de seguridad y administración, define políticas estrictas de control de acceso para Model Registry y Artifact Registry.
  • Para registrar y administrar versiones de forma programática, y para integrar versiones en canalizaciones de CI/CD automatizadas, usa el SDK o la API de Agent Platform.

Realiza una implementación controlada

Controla la implementación de las versiones de los modelos en los extremos con las capacidades de administración del tráfico de tu plataforma de entrega.

  • Implementa una implementación progresiva con la función de división del tráfico de los extremos de Agent Platform.
  • Si implementas tu modelo en GKE, usa técnicas avanzadas de administración del tráfico, como la implementación de versiones canary:
    1. Enruta un pequeño subconjunto del tráfico de producción a una nueva versión del modelo.
    2. Supervisa de forma continua el rendimiento y las tasas de errores a través de las métricas.
    3. Establecer que el modelo es confiable
    4. Implementa la versión para todo el tráfico.
  • Realiza pruebas A/B de agentes de IA:
    1. Implementa dos versiones diferentes de agente de modelo o modelos completamente distintos en el mismo extremo.
    2. Dividir el tráfico entre las implementaciones
    3. Analiza los resultados en función de los objetivos comerciales.
  • Implementa mecanismos de reversión automatizados que puedan revertir con rapidez el tráfico del extremo a una versión anterior estable del modelo si se activan alertas de supervisión o no se alcanzan los umbrales de rendimiento.
  • Configura la división del tráfico y los parámetros de configuración de la implementación de forma programática con el SDK o la API de Agent Platform.
  • Usa Monitoring para hacer un seguimiento del rendimiento y el tráfico en las distintas versiones.
  • Automatiza la implementación con canalizaciones de CI/CD. Puedes usar Cloud Build para compilar contenedores, crear versiones de artefactos y activar la implementación en los extremos de Agent Platform.
  • Asegúrate de que las canalizaciones de CI/CD administren las versiones y extraigan de Artifact Registry.
  • Antes de desviar el tráfico, realiza pruebas automatizadas de extremos para verificar la exactitud de las predicciones, la latencia, la capacidad de procesamiento y la función de la API.
  • Almacena todas las configuraciones en el control de versión.

Supervisar continuamente

  • Usa Model Monitoring en Agent Platform para detectar automáticamente la degradación del rendimiento, el desvío de datos (cambios en la distribución de entrada en comparación con el entrenamiento) y el desvío de predicciones (cambios en los resultados del modelo).
    • Configura trabajos de detección de desvío con umbrales y alertas.
    • Supervisa el rendimiento en tiempo real: latencia de predicción, capacidad de procesamiento y tasas de error.
  • Define métricas personalizadas en Monitoring para los KPIs empresariales.
  • Integra los resultados de Model Monitoring en Agent Platform y las métricas personalizadas con Monitoring para alertas y paneles.
  • Configura canales de notificaciones, como correo electrónico, Slack o PagerDuty, y configura la solución automatizada.
  • Para depurar los registros de predicción, usa Logging.
  • Integrar la supervisión con la administración de incidentes

Para los extremos de IA generativa, supervisa las características de salida, como la toxicidad y la coherencia:

  • Supervisar la entrega de atributos para detectar desviaciones
  • Implementa la validación de predicciones detallada: valida los resultados con los rangos y formatos esperados usando lógica personalizada.
  • Supervisa las distribuciones de predicciones para detectar cambios.
  • Valida el esquema de salida.
  • Configura alertas para resultados y cambios inesperados.
  • Realiza un seguimiento de los eventos de validación en tiempo real y respóndelos con Pub/Sub.

Asegúrate de que el resultado de la supervisión integral se incorpore al entrenamiento continuo.

Mantén la confianza y el control a través de la administración de datos y modelos

La confiabilidad de la IA y el AA va más allá del tiempo de actividad técnico. Incluye confianza y una sólida administración de datos y modelos. Los resultados de la IA pueden ser imprecisos, sesgados o desactualizados. Estos problemas erosionan la confianza y pueden causar daños. La trazabilidad integral, el control de acceso sólido, la validación automatizada y las prácticas transparentes ayudan a garantizar que los resultados de la IA sean confiables y cumplan con los estándares éticos.

Para mantener la confianza y el control a través de la administración de datos y modelos, ten en cuenta las siguientes recomendaciones.

Establece catálogos de datos y modelos para la trazabilidad

Para facilitar el seguimiento, la auditoría y la comprensión integrales del linaje de tus recursos de IA y AA, mantén un registro sólido y centralizado de las versiones de los datos y los modelos durante todo su ciclo de vida. Un catálogo de datos y modelos confiable sirve como fuente única de información para todos los artefactos que usan y producen tus canalizaciones de IA y AA, desde fuentes de datos sin procesar y conjuntos de datos procesados hasta versiones de modelos entrenados y extremos implementados.

Usa los siguientes productos, herramientas y técnicas para crear y mantener catálogos de tus recursos de datos:

  • Crea un catálogo de tus recursos de datos para toda la empresa con Knowledge Catalog. Para descubrir y crear inventarios de los recursos de datos de forma automática, integra Knowledge Catalog con tus sistemas de almacenamiento, como BigQuery, Cloud Storage y Pub/Sub.
  • Asegúrate de que tus datos tengan alta disponibilidad y durabilidad almacenándolos en buckets multirregionales o birregionales de Cloud Storage. Los datos que subes a estos buckets se almacenan de forma redundante en al menos dos ubicaciones geográficas independientes. Esta redundancia proporciona resiliencia integrada contra interrupciones regionales y ayuda a garantizar la integridad de los datos.
  • Etiqueta y anota tus conjuntos de datos con metadatos empresariales pertinentes, información de propiedad, niveles de sensibilidad y detalles de linaje. Por ejemplo, vincula un conjunto de datos procesado a su fuente sin procesar y a la canalización que creó el conjunto de datos.
  • Crea un repositorio central para las versiones de modelos con Model Registry. Registra cada versión del modelo entrenado y vincúlala a los metadatos asociados. Los metadatos pueden incluir lo siguiente:
    • Parámetros de entrenamiento.
    • Métricas de evaluación de las canalizaciones de validación.
    • La versión del conjunto de datos que se usó para el entrenamiento, con el linaje rastreado hasta la entrada pertinente de Knowledge Catalog.
    • Es la versión del código que produjo el conjunto de datos.
    • Detalles sobre el framework o el modelo de base que se usó.
  • Antes de importar un modelo a Model Registry, almacena los artefactos del modelo, como los archivos del modelo y los pesos entrenados previamente, en un servicio como Cloud Storage. Almacena imágenes de contenedor personalizadas para entregar o realizar trabajos de entrenamiento personalizados en un repositorio seguro, como Artifact Registry.
  • Para garantizar que los recursos de datos y modelos se registren y actualicen automáticamente en los catálogos correspondientes cuando se creen o modifiquen, implementa procesos automatizados en tus canalizaciones de MLOps. Esta catalogación integral proporciona trazabilidad de extremo a extremo, desde los datos sin procesar hasta la predicción, lo que te permite auditar las entradas y los procesos que llevaron a una versión o predicción específica del modelo. La capacidad de auditoría es fundamental para depurar comportamientos inesperados, garantizar el cumplimiento de las políticas de uso de datos y comprender el impacto de los cambios en los datos o en el modelo con el paso del tiempo.
  • En el caso de la IA generativa y los modelos de base, tu catálogo también debe hacer un seguimiento de los detalles sobre el modelo de base específico que se usó, los parámetros de ajuste y los resultados de la evaluación que son específicos de la calidad y la seguridad del resultado generado.

Implementa controles de acceso y registros de auditoría sólidos

Para mantener la confianza y el control en tus sistemas de IA y AA, es fundamental que protejas los datos y modelos sensibles del acceso no autorizado y que garantices la responsabilidad de todos los cambios.

  • Implementa controles de acceso estrictos y mantén registros de auditoría detallados en todos los componentes de tus sistemas de IA y AA en Google Cloud.
  • Define permisos detallados en IAM para los usuarios, los grupos y las cuentas de servicio que interactúan con tus recursos de IA y AA.
  • Sigue el principio de privilegio mínimo de forma rigurosa.
  • Otorga solo los permisos mínimos necesarios para tareas específicas. Por ejemplo, una cuenta de servicio de entrenamiento necesita acceso de lectura a los datos de entrenamiento y acceso de escritura para los artefactos del modelo, pero es posible que el servicio no necesite acceso de escritura a los extremos de entrega de producción.

Aplica políticas de IAM de manera coherente en todos los recursos y recursos relevantes de tus sistemas de IA y AA, incluidos los siguientes:

  • Buckets de Cloud Storage que contienen datos sensibles o artefactos del modelo
  • Conjuntos de datos de BigQuery.
  • Recursos de Agent Platform, como repositorios de modelos, extremos, canalizaciones y recursos de Feature Store.
  • Recursos de procesamiento, como clústeres de GKE y servicios de Cloud Run.

Usa la auditoría y los registros para capturar, supervisar y analizar la actividad de acceso:

  • Habilita los Registros de auditoría de Cloud para todos los servicios de Google Cloud que usa tu sistema de IA y AA.
  • Configura los registros de auditoría para capturar información detallada sobre las llamadas a la API, los eventos de acceso a los datos y los cambios de configuración que se realicen en tus recursos. Supervisa los registros en busca de actividad sospechosa, intentos de acceso no autorizado o modificaciones inesperadas en los datos o recursos del modelo críticos.
  • Para el análisis, las alertas y la visualización en tiempo real, transmite los registros de auditoría a Logging.
  • Para el almacenamiento rentable a largo plazo y el análisis de seguridad retrospectivo o las auditorías de cumplimiento, exporta los registros a BigQuery.
  • Para la supervisión de seguridad centralizada, integra los registros de auditoría en tus sistemas de administración de información y eventos de seguridad (SIEM). Revisa con regularidad las políticas de acceso y los registros de auditoría para asegurarte de que se alineen con tus requisitos de administración y detecten posibles incumplimientos de políticas.
  • En el caso de las aplicaciones que manejan datos sensibles, como la información de identificación personal (IIP) para el entrenamiento o la inferencia, usa las verificaciones de Sensitive Data Protection en las canalizaciones o en el almacén de datos.
  • En el caso de la IA generativa y las soluciones de agentes, usa registros de auditoría para ayudar a hacer un seguimiento de quién accedió a modelos o herramientas específicos, qué datos se usaron para el ajuste o las instrucciones, y qué consultas se enviaron a los extremos de producción. Los registros de auditoría te ayudan a garantizar la responsabilidad y proporcionan datos cruciales para que investigues el uso inadecuado de los datos o los incumplimientos de políticas.

Aborda el sesgo, la transparencia y la explicabilidad

Para crear sistemas de IA y AA confiables, debes abordar los posibles sesgos inherentes a los datos y los modelos, esforzarte por lograr la transparencia en el comportamiento del sistema y proporcionar explicabilidad para los resultados del modelo. Es especialmente importante crear sistemas confiables en dominios sensibles o cuando usas modelos complejos, como los que se suelen usar para las aplicaciones de IA generativa.

  • Implementar prácticas proactivas para identificar y mitigar los sesgos durante todo el ciclo de vida de MLOps
  • Analiza los datos de entrenamiento para detectar sesgos con herramientas que detecten asimetrías en las distribuciones de atributos en diferentes grupos demográficos o atributos sensibles.
  • Evalúa el rendimiento general del modelo y el rendimiento en porciones de datos predefinidas. Esta evaluación te ayuda a identificar el rendimiento dispar o el sesgo que afecta a subgrupos específicos.

Para la transparencia y la explicabilidad del modelo, usa herramientas que ayuden a los usuarios y desarrolladores a comprender por qué un modelo realizó una predicción en particular o produjo un resultado específico.

  • Para los modelos tabulares que se implementan en extremos de Agent Platform, genera atribuciones de atributos, que indican los atributos de entrada que más contribuyeron a la predicción.
  • Explora de forma interactiva el comportamiento del modelo y los posibles sesgos en un conjunto de datos con herramientas independientes del modelo, como la Herramienta What-If, que se integra en TensorBoard.
  • Integrar la explicabilidad en tus paneles de supervisión En situaciones en las que comprender el razonamiento del modelo es importante para la confianza o la toma de decisiones, proporciona datos de explicabilidad directamente a los usuarios finales a través de las interfaces de tu aplicación.
  • En el caso de los modelos complejos, como los LLM que se usan para los modelos de IA generativa, explica el proceso que siguió un agente, por ejemplo, con registros de seguimiento. La explicabilidad es relativamente difícil para estos modelos, pero sigue siendo fundamental.
  • En las aplicaciones de RAG, proporciona citas para la información recuperada. También puedes usar técnicas como la ingeniería de instrucciones para guiar al modelo y que proporcione explicaciones o muestre sus pasos de razonamiento.
  • Implementa la supervisión continua en producción para detectar cambios en el comportamiento o los resultados del modelo que puedan indicar un sesgo o una injusticia emergentes. Documenta las limitaciones del modelo, los casos de uso previstos y los posibles sesgos conocidos como parte de los metadatos del modelo en el Model Registry.

Implementa prácticas integrales de observabilidad y confiabilidad de IA y AA

La observabilidad integral es esencial para administrar sistemas complejos de IA y AA en producción. También es esencial para medir la confiabilidad de los sistemas complejos de IA y AA, en especial para la IA generativa, debido a su complejidad, intensidad de recursos y potencial de resultados impredecibles. La observabilidad integral implica observar la infraestructura, el código de la aplicación, los datos y el comportamiento del modelo para obtener estadísticas que permitan detectar, diagnosticar y responder a los problemas de forma proactiva. En última instancia, esta observabilidad genera sistemas confiables y de alto rendimiento. Para lograr una observabilidad integral, debes hacer lo siguiente:

  • Adopta los principios de SRE.
  • Define objetivos de confiabilidad claros.
  • Realiza un seguimiento de las métricas en las capas del sistema.
  • Usa las estadísticas de la observabilidad para la mejora continua y la administración proactiva.

Para implementar prácticas de observabilidad y confiabilidad integrales para las cargas de trabajo de IA y AA en Google Cloud, ten en cuenta las siguientes recomendaciones.

Establecer objetivos de confiabilidad y métricas comerciales

Identifica los indicadores clave de rendimiento (KPI) que tu sistema de IA y AA afecta directamente. Los KPI pueden incluir los ingresos que se ven influenciados por las recomendaciones de la IA, la deserción de clientes que los sistemas de IA predijeron o mitigaron, y las tasas de participación y conversión de los usuarios que se impulsan por las funciones potenciadas por IA generativa.

Para cada KPI, define las métricas de confiabilidad técnica correspondientes que afectan el KPI. Por ejemplo, si el KPI es "satisfacción del cliente con un asistente de IA conversacional", las métricas de confiabilidad correspondientes pueden incluir lo siguiente:

  • La tasa de éxito de las solicitudes de los usuarios.
  • La latencia de las respuestas: tiempo hasta el primer token (TTFT) y transmisión de tokens para los LLM.
  • La tasa de respuestas irrelevantes o dañinas.
  • Es la tasa de finalización correcta de las tareas por parte del agente.

Para el entrenamiento de IA y AA, las métricas de confiabilidad pueden incluir la utilización de FLOPS del modelo (MFU), las iteraciones por segundo, los tokens por segundo y los tokens por dispositivo.

Para medir y mejorar de forma eficaz la confiabilidad de la IA y el AA, comienza por establecer objetivos de confiabilidad claros que estén alineados con los objetivos comerciales generales. Adopta el enfoque de SRE definiendo SLO que cuantifiquen los niveles aceptables de confiabilidad y rendimiento para tus servicios de IA y AA desde la perspectiva de los usuarios. Cuantifica estas métricas de confiabilidad técnica con objetivos de SLO específicos.

A continuación, se muestran ejemplos de objetivos de SLO:

  • El 99.9% de las llamadas a la API debe devolver una respuesta correcta.
  • La latencia de inferencia del percentil 95 debe ser inferior a 300 ms.
  • El TTFT debe ser inferior a 500 ms para el 99% de las solicitudes.
  • La tasa de resultados dañinos debe ser inferior al 0.1%.

Alinear los SLO directamente con las necesidades de la empresa garantiza que los esfuerzos de confiabilidad se enfoquen en el comportamiento más crítico del sistema que afecta a los usuarios y a la empresa. Este enfoque ayuda a transformar la confiabilidad en una propiedad de ingeniería medible y procesable.

Supervisa el rendimiento de la infraestructura y las aplicaciones

Realiza un seguimiento de las métricas de infraestructura en todos los recursos que usan tus sistemas de IA y AA. Las métricas incluyen el uso del procesador (CPU, GPU y Cloud TPU), el uso de memoria, la capacidad de procesamiento y la latencia de la red, y las operaciones de E/S de disco. Realiza un seguimiento de las métricas de los entornos administrados, como el entrenamiento y la entrega de Agent Platform, y de los recursos autoadministrados, como los nodos de GKE y las instancias de Cloud Run.

Supervisa los cuatro indicadores clave de tus aplicaciones de IA y AA:

  • Latencia: Es el tiempo que se tarda en responder a las solicitudes.
  • Tráfico: Es el volumen de solicitudes o carga de trabajo.
  • Tasa de errores: Es la tasa de solicitudes o de operaciones con errores.
  • Saturación: Es el uso de recursos críticos, como CPU, memoria y aceleradores de GPU o Cloud TPU, lo que indica qué tan cerca está tu sistema de sus límites de capacidad.

Realiza la supervisión con las siguientes técnicas:

  • Recopila, almacena y visualiza las métricas de infraestructura y de aplicaciones con Monitoring. Puedes usar paneles prediseñados para los servicios de Google Cloud y crear paneles personalizados que se adapten a los indicadores de rendimiento específicos y al estado de la infraestructura de tu carga de trabajo.
  • Recopila registros detallados de tus aplicaciones de IA y AA, y de la infraestructura subyacente con Logging. Estos registros son esenciales para solucionar problemas y analizar el rendimiento. Proporcionan contexto sobre los eventos y los errores.
  • Identifica los problemas de latencia y comprende los flujos de solicitudes en los microservicios de IA y AA distribuidos con Cloud Trace. Esta capacidad es fundamental para depurar interacciones complejas de Agent Conversation o canalizaciones de inferencia de varios componentes.
  • Identifica los cuellos de botella de rendimiento dentro de los bloques de funciones en el código de la aplicación con Cloud Profiler. Identificar los cuellos de botella en el rendimiento puede ayudarte a optimizar el uso de recursos y el tiempo de ejecución.
  • Recopila métricas específicas relacionadas con el acelerador, como el uso detallado de la GPU por proceso, el uso de memoria por proceso y la temperatura, con herramientas como el Administrador de GPU del centro de datos de NVIDIA (DCGM).

Implementa la observabilidad de datos y modelos

Los sistemas de IA generativa confiables requieren una observabilidad sólida de los datos y los modelos, lo que comienza con la supervisión de la canalización de extremo a extremo.

  • Realiza un seguimiento de las tasas de ingesta de datos, los volúmenes procesados y las latencias de transformación con servicios como Dataflow.
  • Supervisa las tasas de éxito y de error de los trabajos en tus canalizaciones de MLOps, incluidas las que administra Agent Platform Pipelines.

La evaluación continua de la calidad de los datos es fundamental.

  • Administra y controla los datos con Knowledge Catalog:
    • Evalúa la exactitud validando con la verdad fundamental o haciendo un seguimiento de las tasas de detección de valores atípicos.
    • Supervisa la actualidad de los datos según su antigüedad y la frecuencia de las actualizaciones en función de los ANS.
    • Evalúa la integridad haciendo un seguimiento de los porcentajes de valores nulos y las tasas de llenado de campos obligatorios.
    • Garantizar la validez y la coherencia a través de verificaciones de adherencia al esquema y duplicación.
  • Detecta anomalías de forma proactiva con las alertas de Monitoring y a través de un linaje de datos claro para la trazabilidad.
  • En el caso de los sistemas de RAG, examina la relevancia del contexto recuperado y la fundamentación (atribución a la fuente) de las respuestas.
  • Supervisar la capacidad de procesamiento de las consultas de la base de datos vectorial.

Las métricas clave de observabilidad del modelo incluyen recuentos de tokens de entrada y salida, y tasas de error específicas del modelo, como alucinaciones o fallas en la resolución de consultas. Para hacer un seguimiento de estas métricas, usa Model Monitoring en Agent Platform.

  • Supervisa continuamente las puntuaciones de toxicidad del resultado y las calificaciones de los comentarios de los usuarios.
  • Automatiza la evaluación de los resultados del modelo en función de criterios definidos con el Gen AI Evaluation Service.
  • Garantiza un rendimiento sostenido supervisando de forma sistemática la desviación de datos y conceptos con métricas integrales de tasa de errores.

Para hacer un seguimiento de las métricas del modelo, puedes usar TensorBoard o MLflow. Para realizar un análisis y un perfilamiento profundos que te permitan solucionar problemas de rendimiento, puedes generar perfiles de modelos en VMs de Cloud TPU o usar NVIDIA Nsight.

Colaboradores

Autores:

Otros colaboradores:

  • Filipe Gracio, PhD | Ingeniero de Atención al cliente, especialista en IA y AA
  • Hossein Sarshar | Arquitecto de soluciones de campo de infraestructura de IA
  • Jose Andrade | Ingeniero de Atención al cliente, especialista en SRE
  • Autor: Kumar Dhanagopal | Desarrollador de soluciones entre productos
  • Laura Hyatt | Ingeniero de Atención al cliente, FSI
  • Olivier Martin | Arquitecto de soluciones de campo de infraestructura de IA
  • Radhika Kanakam | Líder de programa, Google Cloud Well-Architected Framework