En este documento del Framework de buena arquitectura deGoogle Cloud : perspectiva de IA y AA, se proporciona una descripción general de los principios y las recomendaciones para optimizar el costo de tus sistemas de IA durante todo el ciclo de vida del AA. Si adoptas un enfoque proactivo y fundamentado para la administración de costos, tu organización puede aprovechar todo el potencial de los sistemas de IA y AA, y mantener la disciplina financiera. Las recomendaciones de este documento se alinean con el pilar de optimización de costos del Well-Architected Framework.
Los sistemas de IA y AA pueden ayudarte a obtener estadísticas valiosas y capacidades predictivas a partir de los datos. Por ejemplo, puedes reducir la fricción en los procesos internos, mejorar las experiencias de los usuarios y obtener estadísticas más detalladas sobre los clientes. La nube ofrece grandes cantidades de recursos y un rápido tiempo de obtención de valor sin grandes inversiones iniciales para las cargas de trabajo de IA y AA. Para maximizar el valor comercial y alinear la inversión con tus objetivos comerciales, debes comprender los generadores de costos, optimizar los costos de forma proactiva, configurar controles de inversión y adoptar prácticas de FinOps.
Las recomendaciones de este documento se asignan a los siguientes principios fundamentales:
- Define y mide los costos y los retornos
- Optimiza la asignación de recursos
- Aplica prácticas de administración y administración de datos
- Automatiza y optimiza con MLOps
- Usa servicios administrados y modelos entrenados previamente
Definir y medir los costos y los retornos
Para administrar de manera eficaz los costos de IA y AA en Google Cloud, debes definir y medir los costos de los recursos en la nube y el valor empresarial de tus iniciativas de IA y AA. Para ayudarte a realizar un seguimiento detallado de los gastos, Google Cloud proporciona herramientas integrales de facturación y administración de costos, como las siguientes:
- Informes y tablas de Facturación de Cloud
- Paneles, presupuestos y alertas de Data Studio
- Cloud Monitoring
- Cloud Logging
Para tomar decisiones fundamentadas sobre la asignación y optimización de recursos, ten en cuenta las siguientes recomendaciones.
Establece objetivos comerciales y KPIs
Alinear las opciones técnicas de tus proyectos de IA y AA con los objetivos comerciales y los indicadores clave de rendimiento (KPI)
Define objetivos estratégicos y KPIs centrados en el ROI
Asegúrate de que los proyectos de IA y AA estén alineados con objetivos estratégicos, como el crecimiento de los ingresos, la reducción de costos, la satisfacción del cliente y la eficiencia. Involucra a las partes interesadas para comprender las prioridades de la empresa. Definir objetivos de IA y AA que sean específicos, medibles, alcanzables, pertinentes y con plazos determinados (SMART) Por ejemplo, un objetivo SMART es: "Reducir el tiempo de gestión de chats de asistencia al cliente en un 15% en 6 meses con un chatbot de IA".
Para avanzar hacia tus objetivos comerciales y medir el retorno de la inversión (ROI), define los KPI para las siguientes categorías de métricas:
- Costos de entrenamiento, inferencia, almacenamiento y recursos de red, incluidos los costos unitarios específicos (como el costo por inferencia, dato o tarea). Estas métricas te ayudan a obtener estadísticas sobre las oportunidades de eficiencia y optimización de costos. Puedes hacer un seguimiento de estos costos con los informes de Facturación de Cloud y los paneles de Monitoring.
- Métricas de valor empresarial, como el crecimiento de los ingresos, el ahorro de costos, la satisfacción del cliente, la eficiencia, la precisión y la adopción. Puedes hacer un seguimiento de estas métricas con las estadísticas de BigQuery y los paneles de Looker.
Métricas específicas de la industria, como las siguientes:
- Sector de venta minorista: mide el aumento de los ingresos y la deserción
- Sector de atención médica: mide el tiempo y los resultados de los pacientes
- Industria financiera: mide la reducción de fraudes
Métricas específicas del proyecto Puedes hacer un seguimiento de estas métricas con Experimentos en Gemini Enterprise Agent Platform y evaluación.
- IA predictiva: Mide la exactitud y la precisión
- IA generativa: Mide la adopción, la satisfacción y la calidad del contenido
- IA de visión artificial: mide la exactitud
Fomenta una cultura de reconocimiento de costos y optimización continua
Adopta los principios de FinOps para garantizar que cada proyecto de IA y AA tenga costos estimados y formas de medir y hacer un seguimiento de los costos reales durante todo su ciclo de vida. Asegúrate de que los costos y los beneficios comerciales de tus proyectos tengan propietarios asignados y una responsabilidad clara.
Para obtener más información, consulta Fomenta una cultura de conocimiento de los costos en el pilar de optimización de costos del Well-Architected Framework.
Genera valor y optimización continua a través de la iteración y los comentarios
Asigna tus aplicaciones de IA y AA directamente a tus objetivos comerciales y mide el ROI.
Para validar tus hipótesis de ROI, comienza con proyectos piloto y usa el siguiente ciclo de optimización iterativo:
- Supervisa de forma continua y analiza los datos: Supervisa los KPIs y los costos para identificar desviaciones y oportunidades de optimización.
- Realiza ajustes basados en datos: Optimiza las estrategias, los modelos, la infraestructura y la asignación de recursos en función de las estadísticas de datos.
- Define mejor de forma iterativa: Adapta los objetivos comerciales y los KPIs en función de lo que aprendiste y de las necesidades comerciales en evolución. Esta iteración te ayuda a mantener la relevancia y la alineación estratégica.
- Establece un ciclo de reacción: Revisa el rendimiento, los costos y el valor con las partes interesadas para fundamentar la optimización continua y la planificación de proyectos futuros.
Administra los datos de facturación con la Facturación de Cloud y las etiquetas
La optimización eficaz de costos requiere visibilidad de la fuente de cada elemento de costo. Las recomendaciones de esta sección pueden ayudarte a usar las herramientas de Google Cloud para obtener estadísticas detalladas sobre tus costos de IA y AA. También puedes atribuir costos a proyectos, equipos y actividades específicos de IA y AA. Estas estadísticas sientan las bases para la optimización de costos.
Organiza y etiqueta los recursos de Google Cloud
- Estructura tus proyectos y recursos en una jerarquía que refleje tu estructura organizativa y tus flujos de trabajo de IA y AA. Para hacer un seguimiento de los costos y analizarlos en diferentes niveles, organiza tus recursos de Google Cloud con organizaciones, carpetas y proyectos. Para obtener más información, consulta Elige una jerarquía de recursos para la zona de destino de Google Cloud .
- Aplica etiquetas significativas a tus recursos. Puedes usar etiquetas que indiquen el proyecto, el equipo, el entorno, el nombre del modelo, el conjunto de datos, el caso de uso y los requisitos de rendimiento. Las etiquetas proporcionan un contexto valioso para tus datos de facturación y permiten un análisis de costos detallado.
- Mantén la coherencia en tus convenciones de etiquetado en todos tus proyectos de IA y AA. Las convenciones de etiquetado coherentes ayudan a garantizar que tus datos de facturación estén organizados y se puedan analizar con facilidad.
Usa herramientas relacionadas con la facturación
- Para facilitar el análisis y los informes detallados, exporta los datos de facturación a BigQuery. BigQuery tiene funciones de consulta potentes que te permiten analizar los datos de facturación para ayudarte a comprender tus costos.
- Para agregar costos por etiquetas, proyectos o períodos específicos, puedes escribir consultas en SQL personalizadas en BigQuery. Estas consultas te permiten atribuir costos a actividades específicas de IA y AA, como el entrenamiento de modelos, el ajuste de hiperparámetros o la inferencia.
- Para identificar anomalías de costos o aumentos repentinos de gastos inesperados, usa las capacidades analíticas de BigQuery. Este enfoque puede ayudarte a detectar posibles problemas o ineficiencias en tus cargas de trabajo de IA y AA.
- Para identificar y administrar los costos inesperados, usa el panel de detección de anomalías en la Facturación de Cloud.
- Para distribuir los costos entre diferentes equipos o departamentos según el uso de recursos, usa la función de asignación de costos de Google Cloud. La asignación de costos promueve la responsabilidad y la transparencia.
- Para obtener estadísticas sobre los patrones de inversión, explora los informes de Facturación de Cloud prediseñados. Puedes filtrar y personalizar estos informes para enfocarte en proyectos o servicios específicos de IA y AA.
Supervisa los recursos de forma continua con paneles, alertas e informes
Para crear una forma escalable y resiliente de hacer un seguimiento de los costos, necesitas una supervisión y generación de informes continuas. Los paneles, las alertas y los informes constituyen la base para un seguimiento eficaz de los costos. Esta base te permite mantener un acceso constante a la información de costos, identificar áreas de optimización y garantizar la alineación entre los objetivos comerciales y los costos.
Crea un sistema de informes
Crear informes programados y compartirlos con las partes interesadas correspondientes
Usa Monitoring para recopilar métricas de varias fuentes, incluidas tus aplicaciones, infraestructura y servicios de Google Cloud , como Compute Engine, Google Kubernetes Engine (GKE) y Cloud Run Functions. Para visualizar métricas y registros en tiempo real, puedes usar el panel de Monitoring prediseñado o crear paneles personalizados. Los paneles personalizados te permiten definir y agregar métricas para hacer un seguimiento de aspectos específicos de tus sistemas, como el rendimiento del modelo, las llamadas a la API o los KPI a nivel empresarial.
Usa Logging para recopilar y almacenar de forma centralizada los registros de tus aplicaciones, sistemas y servicios de Google Cloud . Usa los registros para los siguientes fines:
- Realiza un seguimiento de los costos y el uso de recursos, como CPU, memoria, almacenamiento y red.
- Identifica los casos de aprovisionamiento excesivo (en los que los recursos no se utilizan por completo) y de aprovisionamiento insuficiente (en los que no hay recursos suficientes). El aprovisionamiento excesivo genera costos innecesarios. El aprovisionamiento insuficiente ralentiza los tiempos de entrenamiento y puede causar problemas de rendimiento.
- Identifica los recursos inactivos o poco utilizados, como las VMs y las GPUs, y toma medidas para cerrarlos o ajustar su tamaño para optimizar los costos.
- Identifica los aumentos repentinos de costos para detectar incrementos inesperados en el uso de recursos o los costos.
Usa Looker o Data Studio para crear informes y paneles interactivos. Conectar los paneles y los informes a varias fuentes de datos, incluidas BigQuery y Monitoring
Establece umbrales de alerta basados en KPIs clave
Para tus KPIs, determina los umbrales que deberían activar las alertas. Los umbrales de alerta significativos pueden ayudarte a evitar la fatiga por alertas. Crea políticas de alertas en Monitoring para recibir notificaciones relacionadas con tus KPIs. Por ejemplo, puedes recibir notificaciones cuando la exactitud caiga por debajo de un umbral determinado o la latencia supere un límite definido. Las alertas basadas en datos de registro pueden notificarte sobre posibles problemas de costos en tiempo real. Estas alertas te permiten tomar medidas correctivas con rapidez y evitar más pérdidas financieras.
Optimiza la asignación de recursos
Para lograr la rentabilidad de tus cargas de trabajo de IA y AA en Google Cloud, debes optimizar la asignación de recursos. Para ayudarte a evitar gastos innecesarios y garantizar que tus cargas de trabajo tengan los recursos que necesitan para funcionar de manera óptima, alinea la asignación de recursos con las necesidades de tus cargas de trabajo.
Para optimizar la asignación de recursos de la nube a las cargas de trabajo de IA y AA, ten en cuenta las siguientes recomendaciones.
Usa el ajuste de escala automático para ajustar los recursos de forma dinámica
Usa servicios de Google Cloud que admitan el ajuste de escala automático, que ajusta automáticamente la asignación de recursos para satisfacer la demanda actual. El ajuste de escala automático proporciona los siguientes beneficios:
- Optimización de costos y rendimiento: Evitas pagar por recursos inactivos. Al mismo tiempo, el ajuste de escala automático garantiza que tus sistemas tengan los recursos necesarios para funcionar de manera óptima, incluso con una carga máxima.
- Eficiencia mejorada: Liberas a tu equipo para que se enfoque en otras tareas.
- Mayor agilidad: Puedes responder con rapidez a las demandas cambiantes y mantener una alta disponibilidad para tus aplicaciones.
En las siguientes secciones, se resumen las técnicas que puedes usar para implementar el ajuste de escala automático en diferentes etapas de tus proyectos de IA.
Capacitación
- Usa servicios administrados como Gemini Enterprise Agent Platform o GKE, que ofrecen capacidades de ajuste de escala automático integradas para los trabajos de entrenamiento.
- Configura políticas de ajuste de escala automático para escalar la cantidad de instancias de entrenamiento en función de métricas como el uso de CPU, el uso de memoria y la longitud de la cola de trabajos.
- Usa métricas de escalamiento personalizadas para ajustar el comportamiento del ajuste de escala automático en tus cargas de trabajo específicas.
Inferencia
- Implementa tus modelos en plataformas escalables, como Inferencia de Gemini Enterprise Agent Platform, GPU en GKE o Cloud TPU en GKE.
- Usa las funciones de ajuste de escala automático para ajustar la cantidad de réplicas según métricas como el porcentaje de solicitudes, la latencia y el uso de recursos.
- Implementa el balanceo de cargas para distribuir el tráfico de manera uniforme entre las réplicas y garantizar una alta disponibilidad.
Comienza con modelos y conjuntos de datos pequeños
Para ayudar a reducir los costos, prueba las hipótesis de AA a pequeña escala cuando sea posible y usa un enfoque iterativo. Este enfoque, con modelos y conjuntos de datos más pequeños, proporciona los siguientes beneficios:
- Costos reducidos desde el principio: Menos potencia de procesamiento, almacenamiento y tiempo de procesamiento pueden generar costos más bajos durante las fases iniciales de experimentación y desarrollo.
- Iteración más rápida: Se requiere menos tiempo de entrenamiento, lo que te permite iterar más rápido, explorar enfoques alternativos y, además, identificar direcciones prometedoras de manera más eficiente.
- Menor complejidad: Depuración, análisis e interpretación de resultados más sencillos, lo que genera ciclos de desarrollo más rápidos.
- Uso eficiente de los recursos: Se reduce la posibilidad de aprovisionar recursos en exceso. Solo aprovisionas los recursos que son necesarios para la carga de trabajo actual.
Ten en cuenta las siguientes recomendaciones:
- Usa datos de muestra primero: Entrena tus modelos con un subconjunto representativo de tus datos. Este enfoque te permite evaluar el rendimiento del modelo y detectar posibles problemas sin procesar todo el conjunto de datos.
- Experimenta con notebooks: Comienza con instancias más pequeñas y escala según sea necesario. Puedes usar Gemini Enterprise Agent Platform Workbench, un entorno de notebooks de Jupyter administrado que es adecuado para experimentar con diferentes arquitecturas de modelos y conjuntos de datos.
Comienza con modelos más simples o modelos entrenados previamente: Usa Model Garden para descubrir y explorar los modelos entrenados previamente. Estos modelos requieren menos recursos de procesamiento. Aumenta gradualmente la complejidad según sea necesario en función de los requisitos de rendimiento.
- Usa modelos previamente entrenados para tareas como la clasificación de imágenes y el procesamiento de lenguaje natural. Para ahorrar en costos de entrenamiento, puedes ajustar los modelos en conjuntos de datos más pequeños inicialmente.
- Usa BigQuery ML para datos estructurados. BigQuery ML te permite crear e implementar modelos directamente en BigQuery. Este enfoque puede ser rentable para la experimentación inicial, ya que puedes aprovechar el modelo de precios de pago por consulta para BigQuery.
Escala para optimizar los recursos: Usa la infraestructura flexible de Google Cloud para escalar los recursos según sea necesario. Comienza con instancias más pequeñas y ajusta su tamaño o cantidad cuando sea necesario.
Descubre los requisitos de recursos a través de la experimentación
Los requisitos de recursos para las cargas de trabajo de IA y AA pueden variar de forma significativa. Para optimizar la asignación de recursos y los costos, debes comprender las necesidades específicas de tus cargas de trabajo a través de la experimentación sistemática. Para identificar la configuración más eficiente para tus modelos, prueba diferentes configuraciones y analiza su rendimiento. Luego, según los requisitos, ajusta el tamaño de los recursos que usaste para el entrenamiento y la entrega.
Recomendamos el siguiente enfoque para la experimentación:
- Comienza con un modelo de referencia: Comienza con una configuración de referencia basada en tus estimaciones iniciales de los requisitos de la carga de trabajo. Para crear un modelo de referencia, puedes usar la calculadora de precios deGoogle Cloud para cargas de trabajo nuevas o usar un informe de facturación existente.
- Comprende tus cuotas: Antes de lanzar experimentos extensos, familiarízate con las cuotas del proyecto de Google Cloud para los recursos y las APIs que planeas usar. Las cuotas determinan el rango de configuraciones que puedes probar de manera realista. Si te familiarizas con las cuotas, puedes trabajar dentro de los límites de recursos disponibles durante la fase de experimentación.
- Experimenta de forma sistemática: Ajusta parámetros como la cantidad de CPU, la cantidad de memoria, la cantidad y el tipo de GPU y Cloud TPU, y la capacidad de almacenamiento. Gemini Enterprise Agent Platform Managed Training y Agent Platform Inference te permiten experimentar con diferentes tipos y configuraciones de máquinas.
Supervisa el uso, el costo y el rendimiento: Realiza un seguimiento del uso de recursos, el costo y las métricas de rendimiento clave, como el tiempo de entrenamiento, la latencia de inferencia y la exactitud del modelo, para cada configuración con la que experimentes.
- Para hacer un seguimiento de las métricas de rendimiento y uso de recursos, puedes usar la consola de Agent Platform.
- Para recopilar y analizar métricas de rendimiento detalladas, usa Monitoring.
- Para ver los costos, usa los informes de Facturación de Cloud y los paneles de Monitoring.
- Para identificar cuellos de botella en el rendimiento de tus modelos y optimizar el uso de recursos, usa herramientas de generación de perfiles, como Agent Platform TensorBoard.
Analiza los costos: Compara el costo y el rendimiento de cada configuración para identificar la opción más rentable.
Establece umbrales de recursos y objetivos de mejora basados en cuotas: Define umbrales para cuando el escalamiento comience a generar rendimientos decrecientes en el rendimiento, como una reducción mínima en el tiempo de entrenamiento o la latencia para un aumento significativo de los costos. Considera las cuotas del proyecto cuando establezcas estos umbrales. Determina el punto en el que el costo y las posibles implicaciones de cuota de un mayor escalamiento ya no se justifican por las mejoras de rendimiento.
Define mejor de forma iterativa: Repite el proceso de experimentación con parámetros de configuración mejorados según tus hallazgos. Asegúrate siempre de que el uso de recursos se mantenga dentro de las cuotas asignadas y se alinee con los umbrales de costo-beneficio establecidos.
Usa MLOps para reducir las ineficiencias
A medida que las organizaciones usan cada vez más el AA para impulsar la innovación y la eficiencia, administrar el ciclo de vida del AA de manera eficaz se vuelve fundamental. Las operaciones de AA (MLOps) son un conjunto de prácticas que automatizan y optimizan el ciclo de vida del AA, desde el desarrollo del modelo hasta la implementación y la supervisión.
Alinea las MLOps con los generadores de costos
Para aprovechar MLOps y lograr rentabilidad, identifica los principales generadores de costos en el ciclo de vida del AA. Luego, puedes adoptar e implementar prácticas de MLOps que se alineen con los generadores de costos. Prioriza y adopta las funciones de MLOps que abordan los generadores de costos más importantes. Este enfoque ayuda a garantizar un camino manejable y exitoso hacia ahorros de costos significativos.
Implementa MLOps para optimizar los costos
Las siguientes son prácticas comunes de MLOps que ayudan a reducir los costos:
- Control de versiones: Las herramientas como Git pueden ayudarte a hacer un seguimiento de las versiones de código, datos y modelos. El control de versiones garantiza la reproducibilidad, facilita la colaboración y evita el retrabajo costoso que pueden causar los problemas de control de versiones.
- Integración continua y entrega continua (CI/CD): Cloud Build y Artifact Registry te permiten implementar canalizaciones de CI/CD para automatizar la compilación, las pruebas y la implementación de tus modelos de AA. Las canalizaciones de CI/CD garantizan el uso eficiente de los recursos y minimizan los costos asociados con las intervenciones manuales.
- Observabilidad: La supervisión y el registro te permiten hacer un seguimiento del rendimiento del modelo en producción, identificar problemas y activar alertas para una intervención proactiva. La observabilidad te permite mantener la exactitud del modelo, optimizar la asignación de recursos y evitar el tiempo de inactividad costoso o la degradación del rendimiento.
- Reentrenamiento de modelos: Las canalizaciones de Gemini Enterprise Agent Platform simplifican los procesos para volver a entrenar modelos de forma periódica o cuando el rendimiento disminuye. Cuando usas Agent Platform Pipelines para volver a entrenar, se garantiza que tus modelos sigan siendo precisos y eficientes, lo que puede evitar el consumo innecesario de recursos y mantener un rendimiento óptimo.
- Pruebas y evaluaciones automatizadas: Agent Platform te ayuda a acelerar y estandarizar la evaluación de modelos. Implementa pruebas automatizadas durante todo el ciclo de vida del AA para garantizar la calidad y confiabilidad de tus modelos. Estas pruebas pueden ayudarte a detectar errores de forma temprana, evitar problemas costosos en la producción y reducir la necesidad de realizar pruebas manuales exhaustivas.
Para obtener más información, consulta MLOps: Canalizaciones de automatización y entrega continua en el aprendizaje automático.
Aplicar prácticas de administración y control de datos
Las prácticas eficaces de administración y control de datos son fundamentales para la optimización de costos. Los datos bien organizados pueden alentar a los equipos a reutilizar conjuntos de datos, evitar la duplicación innecesaria y reducir el esfuerzo para obtener datos de alta calidad. Si administras los datos de forma proactiva, puedes reducir los costos de almacenamiento, mejorar la calidad de los datos y asegurarte de que tus modelos de AA se entrenen con los datos más relevantes y valiosos.
Para implementar prácticas de administración y administración de datos, ten en cuenta las siguientes recomendaciones.
Establece y adopta un marco de administración de datos
La creciente importancia de la IA y el AA convirtió a los datos en el recurso más valioso para las organizaciones que están experimentando una transformación digital. Un marco de trabajo sólido para la administración de datos es un requisito fundamental para administrar las cargas de trabajo de IA y AA de forma rentable a escala. Un framework de administración de datos con políticas, procedimientos y roles definidos con claridad proporciona un enfoque estructurado para administrar los datos durante todo su ciclo de vida. Este marco de trabajo ayuda a mejorar la calidad de los datos, aumentar la seguridad, mejorar la utilización y reducir la redundancia.
Establece un marco de administración de datos
Existen muchos frameworks preexistentes para la administración de datos, como los que publica el EDM Council, con opciones disponibles para diferentes industrias y tamaños de organizaciones. Elige y adapta un marco que se alinee con tus necesidades y prioridades específicas.
Implementa el framework de administración de datos
Google Cloud proporciona los siguientes servicios y herramientas para ayudarte a implementar un framework de administración de datos sólido:
Knowledge Catalog es un tejido de datos inteligente que te ayuda a unificar datos distribuidos y automatizar la administración de datos sin necesidad de consolidar conjuntos de datos en un solo lugar. Esto ayuda a reducir el costo de distribución y mantenimiento de los datos, facilitar el descubrimiento de datos y promover la reutilización.
- Para organizar los datos, usa las abstracciones de Knowledge Catalog y configura dominios de datos y productos de datos.
- Para administrar el acceso a los recursos de datos y de administración, usa Grupos de Google y roles de Identity and Access Management (IAM) de Knowledge Catalog.
- Para optimizar los procesos de calidad de los datos, habilita la calidad de los datos automática.
Knowledge Catalog también es un servicio de administración de metadatos completamente administrado y escalable. El catálogo proporciona una base que garantiza que los recursos de datos sean accesibles y reutilizables.
- Los metadatos de las fuentes Google Cloud compatibles se transfieren automáticamente al catálogo. Para las fuentes de datos fuera de Google Cloud, crea entradas personalizadas.
- Para mejorar la visibilidad y la administración de los recursos de datos, enriquece los metadatos técnicos con metadatos empresariales usando aspectos.
- Asegúrate de que los científicos de datos y los profesionales del AA tengan suficientes permisos para acceder a Knowledge Catalog y usar la función de búsqueda.
El uso compartido de BigQuery te permite intercambiar recursos de datos de forma eficiente y segura entre tus organizaciones para abordar los desafíos de confiabilidad y costo de los datos.
- Configura intercambios de datos y asegúrate de que los recursos de datos seleccionados se puedan ver como fichas.
- Usa salas limpias de datos para administrar de forma segura el acceso a los datos sensibles y asociarte de manera eficiente con equipos y organizaciones externos en proyectos de IA y AA.
- Asegúrate de que los científicos de datos y los profesionales de AA tengan suficientes permisos para ver y publicar conjuntos de datos en el uso compartido de BigQuery.
Hacer que los conjuntos de datos y los atributos sean reutilizables durante todo el ciclo de vida del AA
Para obtener beneficios significativos de eficiencia y costos, reutiliza conjuntos de datos y atributos en varios proyectos de AA. Cuando evitas los esfuerzos redundantes de ingeniería de datos y desarrollo de atributos, tu organización puede acelerar el desarrollo de modelos, reducir los costos de infraestructura y liberar recursos valiosos para otras tareas críticas.
Google Cloud proporciona los siguientes servicios y herramientas para ayudarte a reutilizar conjuntos de datos y atributos:
- Los profesionales de datos y AA pueden publicar productos de datos para maximizar la reutilización entre equipos. Luego, los productos de datos se pueden descubrir y usar a través de Knowledge Catalog y BigQuery sharing.
- Para los conjuntos de datos tabulares y estructurados, puedes usar Feature Store de Agent Platform para promover la reutilización y optimizar la administración de atributos a través de BigQuery.
- Puedes almacenar datos no estructurados en Cloud Storage y administrarlos con tablas de objetos de BigQuery y URLs firmadas.
- Puedes administrar los embeddings de vectores incluyendo metadatos en tus índices de Vector Search.
Automatiza y optimiza con MLOps
Un beneficio principal de adoptar prácticas de MLOps es la reducción de los costos de tecnología y personal. La automatización te ayuda a evitar la duplicación de actividades de AA y a reducir la carga de trabajo de los científicos de datos y los ingenieros de AA.
Para automatizar y optimizar el desarrollo de AA con MLOps, ten en cuenta las siguientes recomendaciones.
Automatiza y estandariza la recopilación y el procesamiento de datos
Para ayudar a reducir el esfuerzo y el tiempo de desarrollo del AA, automatiza y estandariza tus tecnologías de recopilación y procesamiento de datos.
Automatiza la recopilación y el procesamiento de datos
En esta sección, se resumen los productos, las herramientas y las técnicas que puedes usar para automatizar la recopilación y el procesamiento de datos.
Identifica y elige las fuentes de datos relevantes para tus tareas de IA y AA:
- Opciones de bases de datos, como Cloud SQL, Spanner, AlloyDB para PostgreSQL, Firestore y BigQuery. La elección depende de tus requisitos, como la latencia en el acceso de escritura (estático o dinámico), el volumen de datos (alto o bajo) y el formato de los datos (estructurados, no estructurados o semiestructurados). Para obtener más información, consulta Bases de datos deGoogle Cloud .
- Data lakes, como Cloud Storage con BigLake.
- Knowledge Catalog para administrar datos en todas las fuentes.
- Plataformas de eventos de transmisión, como Pub/Sub, Dataflow o Apache Kafka.
- APIs externas
Para cada una de tus fuentes de datos, elige una herramienta de transferencia:
- Dataflow: Para el procesamiento por lotes y de transmisión de datos de varias fuentes, con integración de componentes de AA. En el caso de una arquitectura basada en eventos, puedes combinar Dataflow con Eventarc para procesar datos de AA de manera eficiente. Para mejorar la eficiencia de MLOps y los trabajos de AA, usa las capacidades de GPU y ajuste adecuado.
- Funciones de Cloud Run: Para la transferencia de datos basada en eventos que se activa por cambios en las fuentes de datos para aplicaciones en tiempo real.
- BigQuery: Para la transferencia de datos tabulares clásicos con acceso frecuente.
Elige herramientas para la transformación y carga de datos:
- Usa herramientas como Dataflow o Dataform para automatizar las transformaciones de datos, como el escalamiento de atributos, la codificación de variables categóricas y la creación de atributos nuevos en lotes, transmisión o tiempo real. Las herramientas que selecciones dependerán de tus requisitos y de los servicios que elijas.
- Usa Feature Store para automatizar la creación y administración de atributos. Puedes centralizar los atributos para reutilizarlos en diferentes modelos y proyectos.
Estandariza la recopilación y el procesamiento de datos
Para descubrir, comprender y administrar los recursos de datos, usa servicios de administración de metadatos, como Knowledge Catalog. Te ayuda a estandarizar las definiciones de datos y garantizar la coherencia en toda tu organización.
Para aplicar la estandarización y evitar el costo de mantener varias implementaciones personalizadas, usa canalizaciones de entrenamiento y organización automatizadas. Para obtener más información, consulta la siguiente sección.
Automatiza las canalizaciones de entrenamiento y reutiliza los recursos existentes
Para aumentar la eficiencia y la productividad en las MLOps, las canalizaciones de entrenamiento automatizadas son fundamentales. Google Cloud ofrece un conjunto sólido de herramientas y servicios para compilar e implementar canalizaciones de entrenamiento, con un gran énfasis en la reutilización de los recursos existentes. Las canalizaciones de entrenamiento automatizadas ayudan a acelerar el desarrollo de modelos, garantizar la coherencia y reducir el esfuerzo redundante.
Automatiza las canalizaciones de entrenamiento
En la siguiente tabla, se describen los servicios y las funciones de Google Cloud que puedes usar para automatizar las diferentes funciones de una canalización de entrenamiento.
| Función | Servicios y funciones deGoogle Cloud |
|---|---|
| Organización: Define flujos de trabajo de AA complejos que constan de varios pasos y dependencias. Puedes definir cada paso como una tarea en contenedores independiente, lo que te ayuda a administrar y escalar tareas individuales con facilidad. |
|
| Control de versiones: Realiza un seguimiento y controla las diferentes versiones de las canalizaciones y los componentes para garantizar la reproducibilidad y la auditabilidad. | Almacena plantillas de Kubeflow Pipelines en un repositorio de Kubeflow Pipelines en Artifact Registry. |
| Reutilización: Reutiliza los componentes y artefactos de canalización existentes, como los conjuntos de datos preparados y los modelos entrenados, para acelerar el desarrollo. | Almacena tus plantillas de canalización en Cloud Storage y compártelas en toda tu organización. |
| Supervisión: Supervisa la ejecución de la canalización para identificar y abordar cualquier problema. | Usa Logging y Monitoring. Para obtener más información, consulta Supervisa recursos de forma continua con paneles, alertas e informes. |
Amplía la reutilización más allá de las canalizaciones
Busca oportunidades para expandir la reutilización más allá de las canalizaciones de entrenamiento. Los siguientes son ejemplos de capacidades de Google Cloud que te permiten reutilizar funciones, conjuntos de datos, modelos y código de AA.
- Feature Store proporciona un repositorio centralizado para organizar, almacenar y entregar atributos del AA. Te permite reutilizar atributos en diferentes proyectos y modelos, lo que puede mejorar la coherencia y reducir el esfuerzo de ingeniería de atributos. Puedes almacenar, compartir y acceder a los atributos para casos de uso en línea y sin conexión.
- Los conjuntos de datos de Agent Platform permiten que los equipos creen y administren conjuntos de datos de forma centralizada, para que tu organización pueda maximizar la reutilización y reducir la duplicación de datos. Tus equipos pueden buscar y descubrir los conjuntos de datos con Knowledge Catalog.
- Model Registry en Gemini Enterprise Agent Platform te permite almacenar, administrar e implementar tus modelos entrenados. Model Registry te permite reutilizar los modelos en canalizaciones posteriores o para la predicción en línea, lo que te ayuda a aprovechar los esfuerzos de entrenamiento anteriores.
- Los contenedores personalizados te permiten empaquetar el código de entrenamiento y las dependencias en contenedores y almacenarlos en Artifact Registry. Los contenedores personalizados te permiten proporcionar entornos de entrenamiento coherentes y reproducibles en diferentes canalizaciones y proyectos.
Usar los servicios de Google Cloud para la evaluación y el ajuste de modelos
Google Cloud ofrece un conjunto potente de herramientas y servicios para optimizar y automatizar la evaluación y el ajuste de modelos. Estas herramientas y servicios pueden ayudarte a reducir el tiempo de producción y los recursos necesarios para el entrenamiento y la supervisión continuos. Con estos servicios, tus equipos de IA y AA pueden mejorar el rendimiento de los modelos con menos iteraciones costosas, obtener resultados más rápido y minimizar el desperdicio de recursos de procesamiento.
Usa la evaluación y la experimentación de modelos con un uso eficiente de los recursos
Comienza un proyecto de IA con experimentos antes de escalar tu solución. En tus experimentos, haz un seguimiento de varios metadatos, como la versión del conjunto de datos, los parámetros del modelo y el tipo de modelo. Para mejorar la reproducibilidad y la comparación de los resultados, usa el seguimiento de metadatos además del control de versiones del código, de forma similar a las funciones de Git. Para evitar que falte información o que se implemente la versión incorrecta en producción, usa Experimentos en Agent Platform antes de implementar trabajos de entrenamiento o implementación a gran escala.
Los experimentos en Agent Platform te permiten hacer lo siguiente:
- Optimiza y automatiza el seguimiento y el descubrimiento de metadatos a través de una IU y una API fáciles de usar para cargas de trabajo listas para producción.
- Analiza las métricas de rendimiento del modelo y compara las métricas en varios modelos.
Después de entrenar el modelo, supervisa de forma continua el rendimiento y la desviación de los datos a lo largo del tiempo para los datos entrantes. Para optimizar este proceso, usa Model Monitoring en Gemini Enterprise Agent Platform para acceder directamente a los modelos creados en Model Registry. Model Monitoring en Agent Platform también automatiza la supervisión de datos y resultados a través de predicciones en línea y por lotes. Puedes exportar los resultados a BigQuery para realizar un análisis y un seguimiento más detallados.
Elegir estrategias óptimas para automatizar el entrenamiento
Para el ajuste de hiperparámetros, recomendamos los siguientes enfoques:
- Para automatizar el proceso de encontrar los hiperparámetros óptimos para tus modelos, usa el ajuste de hiperparámetros de Agent Platform. Agent Platform usa algoritmos avanzados para explorar el espacio de hiperparámetros y, luego, identificar la mejor configuración.
- Para un ajuste de hiperparámetros eficiente, considera usar técnicas de optimización bayesiana, en especial cuando trabajes con modelos complejos y conjuntos de datos grandes.
Para el entrenamiento distribuido, recomendamos los siguientes enfoques:
Para conjuntos de datos grandes y modelos complejos, usa la infraestructura de entrenamiento distribuido de Agent Platform. Este enfoque te permite entrenar tus modelos en varias máquinas, lo que ayuda a reducir de forma significativa el tiempo de entrenamiento y los costos asociados. Usa herramientas como las siguientes:
- Ajuste de Agent Platform para realizar un ajuste supervisado de Gemini, Imagen y otros modelos.
- Entrenamiento administrado de Agent Platform o Ray en Gemini Enterprise Agent Platform para el entrenamiento distribuido personalizado.
Elige frameworks de AA optimizados, como Keras y PyTorch, que admitan el entrenamiento distribuido y el uso eficiente de los recursos.
Usa la IA explicable
Es fundamental comprender por qué un modelo toma ciertas decisiones y, además, identificar posibles sesgos o áreas de mejora. Usa técnicas de explicabilidad para obtener estadísticas sobre las predicciones de tu modelo.
- Basadas en atributos: Para comprender qué atributos son más influyentes en las predicciones de tu modelo, analiza las atribuciones de atributos. Esta comprensión puede guiar los esfuerzos de ingeniería de atributos y mejorar la interpretabilidad del modelo.
- Basadas en ejemplos: Para mostrar una lista de los ejemplos (por lo general, del conjunto de entrenamiento) más similares a la entrada, usa la búsqueda de vecino más cercano. Debido a que las entradas similares suelen generar predicciones similares, puedes usar estas explicaciones para explorar y explicar el comportamiento de un modelo.
Usa servicios administrados y modelos entrenados previamente
Adopta un enfoque incremental para la selección y el desarrollo de modelos. Este enfoque te ayuda a evitar los costos excesivos asociados con comenzar de nuevo cada vez. Para controlar los costos, usa frameworks de AA, servicios administrados y modelos entrenados previamente.
Para obtener el máximo valor de los servicios administrados y los modelos entrenados previamente, ten en cuenta las siguientes recomendaciones.
Usa notebooks para la exploración y los experimentos
Los entornos de notebooks son fundamentales para la experimentación rentable con el AA. Un notebook proporciona un espacio interactivo y colaborativo para que los científicos de datos y los ingenieros exploren datos, desarrollen modelos, compartan conocimientos y realicen iteraciones de manera eficiente. La colaboración y el intercambio de conocimientos a través de notebooks aceleran significativamente el desarrollo, las revisiones de código y la transferencia de conocimientos. Los notebooks ayudan a optimizar los flujos de trabajo y reducir el trabajo duplicado.
En lugar de adquirir y administrar hardware costoso para tu entorno de desarrollo, puedes usar la infraestructura escalable y on demand de Agent Platform Workbench y Colab Enterprise.
Agent Platform Workbench es un entorno de desarrollo basado en notebooks de Jupyter para todo el flujo de trabajo de la ciencia de datos. Puedes interactuar con Agent Platform y otros servicios de Google Cloud desde el notebook de Jupyter de una instancia. Las integraciones y funciones de Agent Platform Workbench te ayudan a hacer lo siguiente:
- Acceder a los datos y explorarlos desde un notebook de Jupyter con las integraciones de BigQuery y Cloud Storage
- Automatizar las actualizaciones recurrentes de un modelo con ejecuciones programadas de código que se ejecuta en Agent Platform
- Procesa datos con rapidez ejecutando un notebook en un clúster de Managed Service para Apache Spark.
- Ejecutar un notebook como un paso en una canalización con Pipelines de Agent Platform
Colab Enterprise es un entorno de notebook colaborativo y administrado que tiene las capacidades de seguridad y cumplimiento de Google Cloud. Colab Enterprise es ideal si las prioridades de tu proyecto incluyen el desarrollo colaborativo y la reducción del esfuerzo para administrar la infraestructura. Colab Enterprise se integra en los servicios deGoogle Cloud y la asistencia potenciada por IA que usa Gemini. Colab Enterprise te permite hacer lo siguiente:
- Trabaja en notebooks sin necesidad de administrar infraestructura.
- Comparte un notebook con un solo usuario, un Grupo de Google o un dominio de Google Workspace. Puedes controlar el acceso a los notebooks a través de IAM.
- Interactuar con las funciones integradas en Agent Platform y BigQuery
Para hacer un seguimiento de los cambios y revertir a versiones anteriores cuando sea necesario, puedes integrar tus notebooks con herramientas de control de versión como Git.
Comienza con modelos existentes y entrenados previamente
Entrenar modelos complejos desde cero, en especial los de aprendizaje profundo, requiere recursos de procesamiento y tiempo significativos. Para acelerar el proceso de selección y desarrollo de modelos, comienza con modelos existentes y entrenados previamente. Estos modelos, que se entrenan con conjuntos de datos masivos, eliminan la necesidad de entrenar modelos desde cero y reducen de forma significativa el costo y el tiempo de desarrollo.
Reduce los costos de capacitación y desarrollo
Seleccionar un modelo o una API adecuados para cada tarea de AA y combinarlos para crear un proceso de desarrollo de AA de extremo a extremo
Model Garden ofrece una amplia colección de modelos entrenados previamente para tareas como la clasificación de imágenes, la detección de objetos y el procesamiento de lenguaje natural. Los modelos se agrupan en las siguientes categorías:
- Modelos de Google, como la familia de modelos de Gemini e Imagen para la generación de imágenes.
- Modelos abiertos, como Gemma y Llama
- Modelos de terceros de socios como Anthropic
Google Cloud proporciona APIs de IA y AA que permiten a los desarrolladores integrar potentes capacidades de IA en las aplicaciones sin la necesidad de crear modelos desde cero.
- La API de Cloud Vision te permite obtener estadísticas a partir de imágenes. Esta API es valiosa para aplicaciones como el análisis de imágenes, la moderación de contenido y la entrada de datos automatizada.
- La API de Cloud Natural Language te permite analizar texto para comprender su estructura y significado. Esta API es útil para tareas como el análisis de comentarios de clientes, la categorización de contenido y la comprensión de las tendencias de las redes sociales.
- La API de Speech-to-Text convierte audio en texto. Esta API admite una amplia variedad de idiomas y dialectos.
- La API de Document AI procesa documentos para extraer, clasificar y comprender datos. Esta API te ayuda a automatizar los flujos de trabajo de procesamiento de documentos.
- La API de Dialogflow permite crear interfaces conversacionales, como chatbots y asistentes de voz. Puedes usar esta API para crear bots de atención al cliente y asistentes virtuales.
- La API de Gemini proporciona acceso al modelo de IA más potente y de uso general de Google.
Reduce los costos de ajuste
Para reducir la necesidad de datos extensos y tiempo de cómputo, ajusta tus modelos entrenados previamente en conjuntos de datos específicos. Recomendamos los siguientes enfoques:
- Aprendizaje por transferencia: Usa el conocimiento de un modelo entrenado previamente para una tarea nueva, en lugar de empezar desde cero. Este enfoque requiere menos datos y tiempo de procesamiento, lo que ayuda a reducir los costos.
- Ajuste del adaptador (ajuste eficiente de parámetros): Adapta modelos a tareas o dominios nuevos sin un ajuste completo. Este enfoque requiere recursos de procesamiento significativamente más bajos y un conjunto de datos más pequeño.
- Ajuste supervisado: Adapta el comportamiento del modelo con un conjunto de datos etiquetado. Este enfoque simplifica la administración de la infraestructura subyacente y el esfuerzo de desarrollo que se requiere para un trabajo de entrenamiento personalizado.
Explorar y experimentar con Agent Studio en Gemini Enterprise Agent Platform
Agent Studio te permite probar, crear prototipos e implementar aplicaciones de IA generativa con rapidez.
- Integración en Model Garden: Proporciona acceso rápido a los modelos más recientes y te permite implementarlos de manera eficiente para ahorrar tiempo y costos.
- Acceso unificado a modelos especializados: Consolida el acceso a una amplia gama de modelos y APIs previamente entrenados, incluidos los de chat, texto, contenido multimedia, traducción y voz. Este acceso unificado puede ayudarte a reducir el tiempo que dedicas a buscar e integrar servicios individuales.
Usa servicios administrados para entrenar o entregar modelos
Los servicios administrados pueden ayudar a reducir el costo del entrenamiento de modelos y simplificar la administración de la infraestructura, lo que te permite enfocarte en el desarrollo y la optimización de modelos. Este enfoque puede generar importantes beneficios de costos y una mayor eficiencia.
Reduce la sobrecarga operativa
Para reducir la complejidad y el costo de la administración de la infraestructura, usa servicios administrados, como los siguientes:
- El entrenamiento administrado de Agent Platform proporciona un entorno completamente administrado para entrenar tus modelos a gran escala. Puedes elegir entre varios contenedores compilados previamente con frameworks de AA populares o usar tus propios contenedores personalizados. Google Cloud controla el aprovisionamiento, el escalamiento y el mantenimiento de la infraestructura, por lo que incurres en menos sobrecarga operativa.
- Agent Platform Inference controla el escalamiento de la infraestructura, el balanceo de cargas y el enrutamiento de solicitudes. Obtienes alta disponibilidad y rendimiento sin intervención manual.
- Ray en Gemini Enterprise Agent Platform proporciona un clúster de Ray completamente administrado. Puedes usar el clúster para ejecutar cargas de trabajo de IA personalizadas y complejas que realizan muchos cálculos (ajuste de hiperparámetros, ajuste de modelos, entrenamiento de modelos distribuidos y aprendizaje por refuerzo a partir de comentarios humanos) sin necesidad de administrar tu propia infraestructura.
Usa servicios administrados para optimizar el uso de recursos
Para obtener detalles sobre el uso eficiente de los recursos, consulta Optimiza la asignación de recursos.
Colaboradores
Autores:
- Isaac Lo | Gerente de Desarrollo Empresarial de IA
- Anastasia Prokaeva | Arquitecta de soluciones de campo, IA generativa
- Amy Southwood | Consultora de soluciones técnicas, análisis de datos y de IA
Otros colaboradores:
- Filipe Gracio, PhD | Ingeniero de Atención al cliente, especialista en IA y AA
- Autor: Kumar Dhanagopal | Desarrollador de soluciones entre productos
- Marwan Al Shawi | Ingeniero de Atención al Cliente para Socios
- Nicolas Pintaux | Ingeniero de Atención al cliente, especialista en modernización de aplicaciones