MLOps en Agent Platform de Gemini Enterprise

En esta sección, se describen los servicios de Gemini Enterprise Agent Platform que te ayudan a implementar operaciones de aprendizaje automático (MLOps) con tu flujo de trabajo de aprendizaje automático (AA).

Luego de que se hayan implementado los modelos, deben mantener el ritmo de los datos cambiantes del entorno para lograr un rendimiento óptimo y mantenerse relevantes. MLOps es un conjunto de prácticas que mejora la estabilidad y la confiabilidad de tus sistemas de AA.

Las herramientas de MLOps de Gemini Enterprise Agent Platform te ayudan a colaborar en los equipos de IA y a mejorar tus modelos a través de la supervisión de modelos predictivos, las alertas, el diagnóstico y las explicaciones prácticas. Todas las herramientas son modulares, por lo que puedes integrarlas en tus sistemas existentes según sea necesario.

Para obtener más información sobre las MLOps, consulta Canalizaciones de automatización y entrega continua en el aprendizaje automático y la Guía de prácticas para las MLOps.

diagrama de capacidades de MLOps

  • Organiza flujos de trabajo: La ejecución manual de procesos de AA de varios pasos puede llevar mucho tiempo y generar errores. Para automatizar, supervisar y administrar tus canalizaciones, Google Cloud proporciona organizadores adaptados al alcance de tu arquitectura:

    • Canalizaciones de Gemini Enterprise Agent Platform: Es un organizador sin servidores ideal para flujos de trabajo de AA nativos de contenedores y autónomos que operan estrictamente dentro del ecosistema de Agent Platform con Kubeflow Pipelines o TFX. Es la opción con menos fricción para los bucles de entrenamiento y de implementación de modelos puros.

    • Managed Service para Apache Airflow: Es un entorno de Apache Airflow completamente administrado, ideal para MLOps empresariales de extremo a extremo. Si tu canalización requiere heterogeneidad (como organizar canalizaciones de datos en BigQuery o Dataflow, entrenar en Agent Platform y enviar predicciones a CRM o data lakes externos), Managed Airflow actúa como un plano de control unificado. Elimina la deuda técnica de los contenedores personalizados a través de su amplia biblioteca de más de 1,000 integraciones prediseñadas. Como alternativa a escribir DAG de Python de Airflow, Managed Airflow cuenta con canalizaciones de organización, un framework de YAML declarativo que proporciona una matriz lista para usar de motores de ejecución para ejecutar trabajos de PySpark en Managed Service para Apache Spark o trabajos de SQL en BigQuery.

  • Administra y escala trabajos de entrenamiento: Administrar de forma eficiente los recursos de procesamiento para el entrenamiento es un desafío central de las MLOps, en especial cuando se escala de la experimentación a la producción. Vertex AI Training aborda este problema proporcionando servicios flexibles y completamente administrados con opciones de procesamiento que se adaptan a todo el ciclo de vida del AA.

    • Para la experimentación y las cargas de trabajo variables, el entrenamiento personalizado implica la plataforma sin servidores predeterminada que aprovisiona recursos a pedido, lo que ofrece la máxima flexibilidad.

    • Para cargas de trabajo predecibles y a gran escala, los clústeres de entrenamiento de Gemini Enterprise Agent Platform en clústeres reservados proporcionan un entorno persistente y dedicado que garantiza la disponibilidad de los recursos, ofrece un rendimiento estable y ayuda a optimizar los costos para los equipos con un uso intensivo.

  • Realiza un seguimiento de los metadatos usados en tu sistema de AA: En la ciencia de datos, es importante realizar un seguimiento de las métricas, los parámetros y los artefactos usados en tu flujo de trabajo del AA, en especial cuando repites el flujo de trabajo varias veces.

    • Vertex ML Metadata te permite registrar los metadatos, los parámetros y los artefactos que se usan en tu sistema de AA. Puedes consultar esos metadatos para ayudar a analizar, depurar y auditar el rendimiento de tu sistema de AA o los artefactos que produzca.
  • Identifica el mejor modelo para un caso de uso: Cuando pruebes algoritmos de entrenamiento nuevos, necesitas saber qué modelo entrenado tiene el mejor rendimiento.

    • Vertex AI Experiments te permite realizar un seguimiento y analizar diferentes arquitecturas de modelos, hiperparámetros y entornos de entrenamiento a fin de identificar el mejor modelo para tu caso de uso.

    • Vertex AI TensorBoard te ayuda a realizar un seguimiento, visualizar y comparar experimentos de AA para medir el rendimiento de tus modelos.

  • Administra versiones de modelos: Agrega modelos a un repositorio central que te ayuda a hacer un seguimiento de las versiones de modelos.

    • Gemini Enterprise Agent Platform Model Registry proporciona una descripción general de tus modelos para que puedas organizar, hacer un seguimiento y entrenar mejor las versiones nuevas. Desde Model Registry, puedes evaluar modelos, implementarlos en un extremo, crear inferencias por lotes y ver detalles sobre los modelos y las versiones de modelos específicos.
  • Administra atributos: Cuando vuelves a usar los atributos de AA en varios equipos, necesitas una forma rápida y eficiente de compartirlos y entregarlos.

    • Vertex AI Feature Store proporciona un repositorio centralizado para organizar, almacenar y entregar atributos del AA. El uso de un almacén de atributos central permite que una organización reutilice funciones de AA a gran escala y aumente la velocidad de desarrollo y de implementación de aplicaciones de AA nuevas.
  • Supervisa la calidad del modelo: Un modelo implementado en la producción tiene un mejor rendimiento en los datos de entrada de la inferencia que son similares a los datos de entrenamiento. Cuando los datos de entrada difieren de los datos que se usan para entrenar el modelo, el rendimiento del modelo puede disminuir, incluso si el modelo en sí no cambió.

    • Gemini Enterprise Agent Platform Model Monitoring supervisa los modelos para detectar sesgos de entrega y entrenamiento, y te envía alertas cuando los datos de inferencia entrantes se inclinan demasiado lejos del modelo de referencia de entrenamiento. Puedes usar las alertas y las distribuciones de atributos para evaluar si necesitas volver a entrenar el modelo.
  • Escala aplicaciones de IA y Python: Ray es un framework de código abierto para escalar aplicaciones de IA y Python. Ray proporciona la infraestructura para realizar procesamiento distribuido y procesamiento paralelo en tu flujo de trabajo de aprendizaje automático (AA).

    • Ray on Agent Platform está diseñado para que puedas usar el mismo código de Ray de código abierto para escribir programas y desarrollar aplicaciones en Gemini Enterprise Agent Platform con cambios mínimos. Luego, puedes usar las integraciones de Gemini Enterprise Agent Platform con otros servicios de Google Cloud , como Vertex AI Inference y BigQuery, como parte de tu flujo de trabajo de aprendizaje automático (AA).

¿Qué sigue?