Perspectiva de la IA y el aprendizaje automático: seguridad

Este documento del marco de trabajo Well-Architected: perspectiva de IA y aprendizaje automático ofrece una descripción general de los principios y las recomendaciones para asegurarse de que las implementaciones de IA y aprendizaje automático cumplen los requisitos de seguridad y cumplimiento de su organización. Las recomendaciones de este documento se ajustan al pilar de seguridad del Google Cloud framework Well-Architected.

El despliegue seguro de cargas de trabajo de IA y aprendizaje automático es un requisito fundamental, sobre todo en entornos empresariales. Para cumplir este requisito, debes adoptar un enfoque de seguridad integral que empiece en la conceptualización inicial de tus soluciones de IA y aprendizaje automático, y que se extienda al desarrollo, la implementación y las operaciones continuas. Google Cloud ofrece herramientas y servicios sólidos diseñados para ayudarte a proteger tus cargas de trabajo de IA y aprendizaje automático.

Las recomendaciones de este documento se corresponden con los siguientes principios básicos:

Para obtener más información sobre la seguridad de la IA, también puedes consultar los siguientes recursos:

  • El Marco para la IA Segura (SAIF) deGoogle Cloud ofrece una guía completa para crear sistemas de IA seguros y responsables. En él se describen los principios clave y las prácticas recomendadas para abordar las consideraciones de seguridad y cumplimiento a lo largo del ciclo de vida de la IA.
  • Para obtener más información sobre el enfoque de Google Cloudcon respecto a la confianza en la IA, consulta nuestro Centro de recursos para el cumplimiento.

Define objetivos y requisitos claros

Una seguridad eficaz de la IA y del aprendizaje automático es un componente fundamental de tu estrategia empresarial general. Es más fácil integrar los controles de seguridad y cumplimiento necesarios al principio del proceso de diseño y desarrollo, en lugar de añadirlos después.

Desde el inicio del proceso de diseño y desarrollo, toma decisiones adecuadas para tu entorno de riesgo y tus prioridades empresariales específicos. Por ejemplo, las medidas de seguridad demasiado restrictivas pueden proteger los datos, pero también pueden impedir la innovación y ralentizar los ciclos de desarrollo. Sin embargo, la falta de seguridad puede provocar brechas de seguridad de datos, daños en la reputación y pérdidas económicas, lo que perjudica los objetivos empresariales.

Para definir objetivos y requisitos claros, tenga en cuenta las siguientes recomendaciones.

Alinear la seguridad de la IA y el aprendizaje automático con los objetivos de negocio

Para alinear tus esfuerzos de seguridad de la IA y el AA con tus objetivos de negocio, utiliza un enfoque estratégico que integre la seguridad en cada fase del ciclo de vida de la IA. Para seguir este enfoque, haz lo siguiente:

  1. Define objetivos de negocio y requisitos de seguridad claros:

    • Identifica los objetivos empresariales clave: define objetivos empresariales claros que tus iniciativas de IA y aprendizaje automático estén diseñadas para alcanzar. Por ejemplo, tus objetivos pueden ser mejorar la experiencia de los clientes, optimizar las operaciones o desarrollar nuevos productos.
    • Convierte los objetivos en requisitos de seguridad: cuando definas tus objetivos empresariales, establece requisitos de seguridad específicos para alcanzarlos. Por ejemplo, tu objetivo podría ser usar la IA para personalizar las recomendaciones a los clientes. Para alcanzar ese objetivo, es posible que tus requisitos de seguridad sean proteger la privacidad de los datos de los clientes y evitar el acceso no autorizado a los algoritmos de recomendación.

  2. Equilibra la seguridad con las necesidades empresariales:

    • Realizar evaluaciones de riesgos: identifica posibles amenazas y vulnerabilidades de seguridad en tus sistemas de IA.
    • Priorice las medidas de seguridad: base la prioridad de estas medidas de seguridad en su impacto potencial en sus objetivos de negocio.
    • Analiza los costes y las ventajas: asegúrate de invertir en las soluciones más eficaces. Ten en cuenta los costes y las ventajas de las diferentes medidas de seguridad.
    • Adopta un enfoque preventivo en materia de seguridad: implementa prácticas recomendadas de seguridad en las primeras fases del diseño y adapta tus medidas de seguridad a medida que cambien las necesidades de la empresa y surjan nuevas amenazas.

Identifica posibles vectores de ataque y riesgos

Ten en cuenta los posibles vectores de ataque que podrían afectar a tus sistemas de IA, como la contaminación de datos, la inversión de modelos o los ataques adversarios. Monitoriza y evalúa continuamente la superficie de ataque en evolución a medida que se desarrolla tu sistema de IA, y haz un seguimiento de las nuevas amenazas y vulnerabilidades. Recuerda que los cambios en tus sistemas de IA también pueden introducir cambios en su superficie de ataque.

Para mitigar los posibles riesgos legales y de reputación, también debe cumplir los requisitos relacionados con la privacidad de los datos, los sesgos algorítmicos y otras normativas pertinentes.

Para anticipar posibles amenazas y vulnerabilidades y tomar decisiones de diseño que mitiguen los riesgos, adopta un enfoque de seguridad desde el diseño.

Google Cloud ofrece un paquete completo de herramientas y servicios para ayudarte a implementar un enfoque de seguridad desde el diseño:

Para obtener más información, consulta los artículos Secure by Design at Google (Seguridad desde el diseño en Google) y Implement security by design (Implementar la seguridad desde el diseño).

Mantener los datos protegidos y evitar que se pierdan o se traten de forma inadecuada

Los datos son un recurso valioso y sensible que debe mantenerse protegido. La seguridad de los datos te ayuda a mantener la confianza de los usuarios, a alcanzar tus objetivos empresariales y a cumplir los requisitos.

Para proteger tus datos, ten en cuenta las siguientes recomendaciones.

Cumplir los principios de minimización de datos

Para proteger la privacidad de los datos, sigue el principio de minimización de datos. Para minimizar los datos, no recoja, conserve ni utilice datos que no sean estrictamente necesarios para alcanzar sus objetivos empresariales. Cuando sea posible, utilice datos sintéticos o totalmente anonimizados.

La recogida de datos puede ayudar a obtener estadísticas y analíticas empresariales, pero es fundamental actuar con discreción en el proceso de recogida de datos. Si recoges información personal identificable (IPI) sobre tus clientes, revelas información sensible o creas sesgos o controversias, es posible que crees modelos de aprendizaje automático sesgados.

Puedes usar las Google Cloud funciones para mejorar la minimización de datos y la privacidad de los datos en varios casos prácticos:

  • Para desidentificar tus datos y, al mismo tiempo, conservar su utilidad, aplica métodos de transformación como la seudonimización, la desidentificación y la generalización (por ejemplo, el agrupamiento). Para implementar estos métodos, puedes usar Protección de Datos Sensibles.
  • Para enriquecer los datos y mitigar posibles sesgos, puedes usar una tarea de etiquetado de datos de Vertex AI. El proceso de etiquetado de datos añade etiquetas informativas y significativas a los datos en bruto, lo que los transforma en datos de entrenamiento estructurados para los modelos de aprendizaje automático. El etiquetado de datos añade especificidad a los datos y reduce la ambigüedad.
  • Para proteger los recursos frente a accesos o manipulaciones prolongados, usa las funciones de Cloud Storage para controlar los ciclos de vida de los datos.

Para consultar las prácticas recomendadas sobre cómo implementar el cifrado de datos, consulta la sección Cifrado de datos en reposo y en tránsito del marco de trabajo Well-Architected.

Monitorizar la recogida, el almacenamiento y la transformación de datos

Los datos de entrenamiento de tu aplicación de IA son los que suponen los mayores riesgos de introducción de sesgos y de filtración de datos. Para cumplir las normativas y gestionar los datos de los distintos equipos, establece una capa de gobierno de datos que monitorice los flujos, las transformaciones y el acceso a los datos. Mantener registros de las actividades de acceso y manipulación de datos. Los registros te ayudan a auditar el acceso a los datos, detectar intentos de acceso no autorizados y evitar accesos no deseados.

Puedes usar las Google Cloud funciones para implementar estrategias de gobierno de datos:

  • Para establecer una plataforma de gobernanza de datos en toda la organización o en un departamento, usa Dataplex Universal Catalog. Una plataforma de gobierno de datos puede ayudarte a descubrir, gestionar, monitorizar y gobernar de forma centralizada los datos y los artefactos de IA en tus plataformas de datos. La plataforma de gestión de datos también proporciona acceso a usuarios de confianza. Con Dataplex Universal Catalog, puedes hacer lo siguiente:
    • Gestionar el linaje de datos. BigQuery también puede proporcionar linaje a nivel de columna.
    • Gestionar las comprobaciones de calidad de los datos y los perfiles de datos.
    • Gestionar el descubrimiento, la exploración y el tratamiento de datos en diferentes data marts.
    • Gestionar metadatos de funciones y artefactos de modelos.
    • Crea un glosario empresarial para gestionar los metadatos y establecer un vocabulario estandarizado.
    • Enriquece los metadatos con contexto mediante aspectos y tipos de aspectos.
    • Unifica la gobernanza de datos en tablas de BigLake y de formatos abiertos, como Iceberg y Delta.
    • Crea una malla de datos para descentralizar la propiedad de los datos entre los propietarios de datos de diferentes equipos o dominios. Esta práctica se ajusta a los principios de seguridad de los datos y puede ayudar a mejorar la accesibilidad de los datos y la eficiencia operativa.
    • Inspeccionar y enviar resultados de datos sensibles de BigQuery a Universal Catalog de Dataplex.
  • Para crear un lakehouse abierto y unificado que esté bien gestionado, integra tus data lakes y almacenes de datos con servicios de almacén de metadatos gestionados, como Dataproc Metastore y BigLake Metastore. Un lakehouse abierto usa formatos de tabla abiertos que son compatibles con diferentes motores de procesamiento de datos.
  • Para programar la monitorización de características y grupos de características, usa Vertex AI Feature Store.
  • Para analizar tus conjuntos de datos de Vertex AI a nivel de organización, carpeta o proyecto, usa Descubrimiento de datos sensibles para Vertex AI. También puedes analizar los perfiles de datos que se almacenan en BigQuery.
  • Para capturar registros en tiempo real y recoger métricas relacionadas con las canalizaciones de datos, usa Cloud Logging y Cloud Monitoring. Para recoger registros de auditoría de llamadas a la API, usa Registros de auditoría de Cloud. No registre IIP ni datos confidenciales en experimentos ni en diferentes servidores de registro.

Implementar controles de acceso basados en roles con principios de mínimos accesos

Implementa controles de acceso basados en roles (RBAC) para asignar diferentes niveles de acceso en función de los roles de los usuarios. Los usuarios solo deben tener los permisos mínimos necesarios para desempeñar las actividades de su rol. Asigna permisos según el principio de mínimos accesos para que los usuarios solo tengan el acceso que necesiten (por ejemplo, sin acceso, de solo lectura o de escritura).

El control de acceso basado en roles con el principio de privilegio mínimo es importante para la seguridad cuando tu organización usa datos sensibles que residen en lagos de datos, en almacenes de características o en hiperparámetros para el entrenamiento de modelos. Esta práctica te ayuda a evitar el robo de datos, mantener la integridad del modelo y limitar la superficie de ataque para evitar accidentes o ataques.

Para ayudarte a implementar estas estrategias de acceso, puedes usar las siguientesGoogle Cloud funciones:

  • Para implementar la granularidad del acceso, puede usar las siguientes opciones:

    • Asigna los roles de gestión de identidades y accesos de diferentes productos a un usuario, un grupo o una cuenta de servicio para permitir un acceso granular. Asigna estos roles en función de las necesidades de tu proyecto, los patrones de acceso o las etiquetas.
    • Define políticas de gestión de identidades y accesos con condiciones para gestionar el acceso granular a tus datos, modelos y configuraciones de modelos, como el código, los ajustes de recursos y los hiperparámetros.

    • Descubre el acceso granular a nivel de aplicación, que te ayuda a proteger los datos sensibles que auditas y compartes fuera de tu equipo.

  • Para limitar el acceso a determinados recursos, puedes usar políticas de límite de acceso de principales (PAB). También puedes usar Privileged Access Manager para controlar la elevación de privilegios temporal y puntual de determinados principales. Más adelante, podrá ver los registros de auditoría de esta actividad de Gestor de acceso privilegiado.

  • Para restringir el acceso a los recursos en función de la dirección IP y los atributos del dispositivo del usuario final, puedes ampliar las políticas de acceso de Identity-Aware Proxy (IAP).

  • Para crear patrones de acceso para diferentes grupos de usuarios, puedes usar el control de acceso de Vertex AI con IAM para combinar los roles predefinidos o personalizados.

  • Para proteger las instancias de Vertex AI Workbench mediante controles de acceso contextual, usa Access Context Manager y Chrome Enterprise Premium. Con este método, el acceso se evalúa cada vez que un usuario se autentica en la instancia.

Implementar medidas de seguridad para la transferencia de datos

Implementa perímetros seguros y otras medidas, como el cifrado y las restricciones en el movimiento de datos. Estas medidas te ayudan a evitar la filtración y la pérdida de datos, que pueden provocar pérdidas económicas, daños en la reputación, responsabilidades legales e interrupciones en las operaciones empresariales.

Para evitar la exfiltración y la pérdida de datos en Google Cloud, puedes usar una combinación de herramientas y servicios de seguridad.

Para implementar el cifrado, ten en cuenta lo siguiente:

  • Para tener más control sobre las claves de cifrado, usa claves de cifrado gestionadas por el cliente (CMEKs) en Cloud KMS. Cuando usas CMEKs, los siguientes servicios integrados con CMEK cifran los datos en reposo por ti:
  • Para proteger tus datos en Cloud Storage, usa el cifrado del lado del servidor para almacenar tus CMEKs. Si gestionas las CMEKs en tus propios servidores, el cifrado del lado del servidor puede ayudarte a protegerlas y los datos asociados, incluso si se vulnera tu sistema de almacenamiento de CMEKs.
  • Para cifrar los datos en tránsito, usa HTTPS en todas las llamadas a la API de los servicios de IA y aprendizaje automático. Para aplicar HTTPS en tus aplicaciones y APIs, usa balanceadores de carga HTTPS.

Para obtener más información sobre las prácticas recomendadas para encriptar datos, consulta el artículo Encriptar datos en reposo y en tránsito de la sección de seguridad del marco de trabajo Well-Architected.

Para implementar perímetros, ten en cuenta lo siguiente:

  • Para crear un límite de seguridad en torno a tus recursos de IA y aprendizaje automático, y evitar la filtración externa de datos de tu nube privada virtual (VPC), usa Controles de Servicio de VPC para definir un perímetro de servicio. Incluye tus recursos de IA y aprendizaje automático, así como los datos sensibles, en el perímetro. Para controlar el flujo de datos, configura reglas de entrada y salida para tu perímetro.
  • Para restringir el tráfico entrante y saliente a tus recursos de IA y aprendizaje automático, configura reglas de cortafuegos. Implementa políticas que denieguen todo el tráfico de forma predeterminada y que permitan explícitamente solo el tráfico que cumpla tus criterios. Para ver un ejemplo de política, consulta Ejemplo: denegar todas las conexiones externas excepto las que se realicen a puertos específicos.

Para implementar restricciones en el movimiento de datos, ten en cuenta lo siguiente:

  • Para compartir datos y ampliar la escala respetando los límites de privacidad en un entorno seguro, usa Compartir de BigQuery y salas blancas de datos de BigQuery, que proporcionan un marco de seguridad y privacidad sólido.
  • Para compartir datos directamente en destinos integrados desde los paneles de control de inteligencia empresarial, usa Action Hub de Looker, que proporciona un entorno de nube seguro.

Protegerse contra la contaminación de datos

El envenenamiento de datos es un tipo de ciberataque en el que los atacantes inyectan datos maliciosos en conjuntos de datos de entrenamiento para manipular el comportamiento de los modelos o degradar su rendimiento. Este ciberataque puede suponer una grave amenaza para los sistemas de entrenamiento de aprendizaje automático. Para proteger la validez y la calidad de los datos, mantén prácticas que protejan tus datos. Este enfoque es fundamental para que tu modelo sea fiable, coherente, imparcial e íntegro.

Para monitorizar comportamientos incoherentes, transformaciones o accesos inesperados a sus datos, configure una monitorización y alertas completas para las canalizaciones de datos y de aprendizaje automático.

Las funciones deGoogle Cloud pueden ayudarte a implementar más protecciones contra el envenenamiento de datos:

  • Para validar la integridad de los datos, ten en cuenta lo siguiente:

    • Implementa comprobaciones de validación de datos sólidas antes de usar los datos para el entrenamiento. Verifica los formatos, los intervalos y las distribuciones de los datos. Puedes usar las funciones de calidad de datos automáticas de Dataplex Universal Catalog.
    • Usa Protección de Datos Sensibles con Model Armor para aprovechar las funciones integrales de prevención de la pérdida de datos. Para obtener más información, consulta Conceptos clave de Model Armor. Protección de Datos Sensibles con Model Armor te permite descubrir, clasificar y proteger datos sensibles, como la propiedad intelectual. Estas funciones pueden ayudarte a evitar la exposición no autorizada de datos sensibles en las interacciones con LLMs.
    • Para detectar anomalías en los datos de entrenamiento que puedan indicar que se han envenenado los datos, usa la detección de anomalías en BigQuery con métodos estadísticos o modelos de aprendizaje automático.

  • Para prepararte para una formación sólida, haz lo siguiente:

    • Emplea métodos de conjunto para reducir el impacto de los puntos de datos envenenados. Entrena varios modelos con diferentes subconjuntos de datos mediante el ajuste de hiperparámetros.
    • Usa técnicas de aumento de datos para equilibrar la distribución de los datos en los conjuntos de datos. Este enfoque puede reducir el impacto de la contaminación de datos y te permite añadir ejemplos adversarios.

  • Para incorporar la revisión humana de los datos de entrenamiento o de las respuestas del modelo, haz lo siguiente:

    • Analiza las métricas de evaluación del modelo para detectar posibles sesgos, anomalías o comportamientos inesperados que puedan indicar envenenamiento de datos. Para obtener más información, consulta Evaluación de modelos en Vertex AI.
    • Aproveche los conocimientos especializados del dominio para evaluar el modelo o la aplicación e identificar patrones o puntos de datos sospechosos que los métodos automatizados podrían no detectar. Para obtener más información, consulta el resumen del servicio de evaluación de la IA generativa.

Para consultar las prácticas recomendadas sobre cómo crear plataformas de datos centradas en la infraestructura y la seguridad de los datos, consulta el principio Implementar la seguridad desde el diseño del framework Well-Architected.

Mantener protegidos los flujos de trabajo de IA y evitar que se manipulen

Tu código de IA y de aprendizaje automático, así como las canalizaciones definidas por código, son recursos fundamentales. El código que no está protegido se puede manipular, lo que puede provocar fugas de datos, incumplimiento de normativas e interrupciones de actividades empresariales críticas. Mantener seguro el código de IA y aprendizaje automático ayuda a garantizar la integridad y el valor de tus modelos y de los resultados que generan.

Para proteger el código y las canalizaciones de IA, ten en cuenta las siguientes recomendaciones.

Utilizar prácticas de codificación seguras

Para evitar vulnerabilidades, utiliza prácticas de codificación seguras al desarrollar tus modelos. Te recomendamos que implementes validaciones de entrada y salida específicas de la IA, que gestiones todas las dependencias de software y que incorpores de forma constante principios de programación segura en tu desarrollo. Integra la seguridad en todas las fases del ciclo de vida de la IA, desde el preprocesamiento de los datos hasta el código de la aplicación final.

Para implementar una validación rigurosa, ten en cuenta lo siguiente:

  • Para evitar la manipulación de modelos o las vulnerabilidades del sistema, valida y depura las entradas y salidas de tu código.

    • Usa Model Armor o LLMs ajustados para analizar automáticamente las peticiones y respuestas en busca de riesgos habituales.
    • Implementa la validación de datos en tus secuencias de comandos de ingestión y preprocesamiento de datos para los tipos, formatos e intervalos de datos. En el caso de Vertex AI Pipelines o BigQuery, puedes usar Python para implementar esta validación de datos.
    • Usa agentes LLMs de asistencia para la programación, como CodeMender, para mejorar la seguridad del código. Mantén a una persona al tanto para que valide los cambios propuestos.

  • Para gestionar y proteger los endpoints de la API de tu modelo de IA, usa Apigee, que incluye funciones configurables como la validación de solicitudes, el control del tráfico y la autenticación.

  • Para mitigar los riesgos a lo largo de todo el ciclo de vida de la IA, puedes usar AI Protection para hacer lo siguiente:

    • Descubre el inventario de IA en tu entorno.
    • Evalúa el inventario en busca de posibles vulnerabilidades.
    • Protege los recursos de IA con controles, políticas y protecciones.
    • Gestiona los sistemas de IA con funciones de detección, investigación y respuesta.

Para proteger las dependencias de código y artefactos de tu flujo de procesamiento de CI/CD, ten en cuenta lo siguiente:

  • Para abordar los riesgos que pueden suponer las dependencias de bibliotecas de código abierto para tu proyecto, usa Artifact Analysis con Artifact Registry para detectar vulnerabilidades conocidas. Usar y mantener las versiones aprobadas de las bibliotecas. Almacena tus paquetes de AA personalizados y dependencias verificadas en un repositorio privado de Artifact Registry.
  • Para insertar el análisis de dependencias en tus flujos de procesamiento de MLOps de Cloud Build, usa Autorización binaria. Aplica políticas que permitan las implementaciones solo si las imágenes de contenedor de tu código superan las comprobaciones de seguridad.
  • Para obtener información de seguridad sobre tu cadena de suministro de software, usa los paneles de control de la Google Cloud consola, que proporcionan detalles sobre las fuentes, las compilaciones, los artefactos, las implementaciones y los tiempos de ejecución. Esta información incluye vulnerabilidades en artefactos de compilación, procedencia de compilación y listas de dependencias de la lista de materiales de software (SBOM).
  • Para evaluar el nivel de madurez de la seguridad de tu cadena de suministro de software, utiliza el framework Niveles de la cadena de suministro para artefactos de software (SLSA).

Para incorporar de forma coherente los principios de codificación segura en todas las fases del desarrollo, ten en cuenta lo siguiente:

  • Para evitar que se expongan datos sensibles en las interacciones con el modelo, usa el registro con protección de datos sensibles. Cuando usas estos productos juntos, puedes controlar qué datos registran tus aplicaciones de IA y tus componentes de canalización, así como ocultar datos sensibles.
  • Para implementar el principio de mínimos accesos, asegúrate de que las cuentas de servicio que usas en tus trabajos personalizados, tus pipelines y tus modelos implementados de Vertex AI solo tengan los permisos de IAM mínimos necesarios. Para obtener más información, consulta Implementar controles de acceso basados en roles con principios de mínimos privilegios.
  • Para proteger tus pipelines y artefactos de compilación, debes conocer las configuraciones de seguridad (VPC y Controles de Servicio de VPC) del entorno en el que se ejecuta tu código.

Protege las canalizaciones y los artefactos de modelos frente a accesos no autorizados

Los artefactos y las canalizaciones de tu modelo son propiedad intelectual, y sus datos de entrenamiento también contienen información protegida. Para proteger los pesos de los modelos, los archivos y las configuraciones de implementación frente a manipulaciones y vulnerabilidades, almacena estos artefactos y accede a ellos con una seguridad mejorada. Implementa diferentes niveles de acceso para cada artefacto en función de los roles y las necesidades de los usuarios.

Para proteger los artefactos de tu modelo, ten en cuenta lo siguiente:

  • Para proteger los artefactos de modelos y otros archivos sensibles, encripta los datos con Cloud KMS. Este cifrado ayuda a proteger los datos en reposo y en tránsito, incluso si el almacenamiento subyacente se ve comprometido.
  • Para proteger el acceso a tus archivos, almacénalos en Cloud Storage y configura los controles de acceso.
  • Para monitorizar las configuraciones incorrectas o inadecuadas y las desviaciones de los estándares definidos, usa Security Command Center para configurar posturas de seguridad.
  • Para habilitar el control de acceso granular y el cifrado en reposo, almacena los artefactos de tu modelo en Vertex AI Model Registry. Para aumentar la seguridad, crea una firma digital para los paquetes y contenedores que se produzcan durante los procesos de compilación aprobados.
  • Para beneficiarte de la seguridad de nivel empresarial de Google Cloud, usa los modelos disponibles en Model Garden. Model Garden proporciona modelos propios de Google y ofrece modelos de terceros de partners destacados.

  • Para aplicar la gestión centralizada de todos los ciclos de vida de los usuarios y grupos, así como el principio de mínimos accesos, usa IAM.

    • Crea y usa cuentas de servicio específicas con los mínimos privilegios para tus flujos de trabajo de MLOps. Por ejemplo, la cuenta de servicio de una canalización de entrenamiento tiene permisos para leer datos de un segmento de Cloud Storage específico y para escribir artefactos de modelo en el registro de modelos.
    • Usa las condiciones de gestión de identidades y accesos para aplicar el control de acceso condicional basado en atributos. Por ejemplo, una condición permite que una cuenta de servicio active una canalización de Vertex AI solo si la solicitud procede de un activador de Cloud Build de confianza.

Para proteger tus pipelines de implementación, ten en cuenta lo siguiente:

  • Para gestionar las fases de MLOps en Google Cloud servicios y recursos, usa Vertex AI Pipelines, que se puede integrar con otros servicios y proporcionar un control de acceso de bajo nivel. Cuando vuelvas a ejecutar las pipelines, asegúrate de realizar comprobaciones de Vertex Explainable AI y de IA responsable antes de desplegar los artefactos del modelo. Estas comprobaciones pueden ayudarte a detectar o prevenir los siguientes problemas de seguridad:

    • Cambios no autorizados, que pueden indicar que se ha manipulado el modelo.
    • Cross-site scripting (XSS), que puede indicar que las imágenes o las dependencias de los contenedores se han visto comprometidas.
    • Puntos finales no seguros, que pueden indicar que la infraestructura de servicio no está configurada correctamente.

  • Para proteger las interacciones del modelo durante la inferencia, usa puntos finales privados basados en Private Service Connect con contenedores precompilados o contenedores personalizados. Crea firmas de modelos con un esquema de entrada y salida predefinido.

  • Para automatizar el seguimiento de los cambios en el código, usa Git para gestionar el código fuente e integra el control de versiones con flujos de procesamiento de CI/CD sólidos.

Para obtener más información, consulta Proteger la canalización de IA.

Aplicar linaje y seguimiento

Para ayudarte a cumplir los requisitos normativos que puedas tener, aplica el linaje y el seguimiento de tus recursos de IA y aprendizaje automático. El origen y el seguimiento de los datos proporcionan registros de cambios exhaustivos de los datos, los modelos y el código. La procedencia de los modelos proporciona transparencia y rendición de cuentas a lo largo del ciclo de vida de la IA y el aprendizaje automático.

Para aplicar de forma eficaz el linaje y el seguimiento en Google Cloud, te recomendamos que uses las siguientes herramientas y servicios:

  • Para hacer un seguimiento del linaje de los modelos, los conjuntos de datos y los artefactos que se cifran automáticamente en reposo, usa Vertex ML Metadata. Registra metadatos sobre fuentes de datos, transformaciones, parámetros de modelos y resultados de experimentos.
  • Para hacer un seguimiento del linaje de los artefactos de las canalizaciones de Vertex AI Pipelines y buscar recursos de modelos y conjuntos de datos, puedes usar Dataplex Universal Catalog. Haz un seguimiento de los artefactos de una canalización concreta cuando quieras depurar, solucionar problemas o analizar las causas. Para monitorizar toda la canalización de MLOps, incluido el linaje de los artefactos de la canalización, usa Vertex ML Metadata. Vertex ML Metadata también te permite analizar los recursos y las ejecuciones. Model Registry aplica y gestiona las versiones de cada modelo que almacenes.
  • Para monitorizar las llamadas a la API y las acciones administrativas, habilita los registros de auditoría de Vertex AI. Analiza los registros de auditoría con Log Analytics para saber quién ha accedido a los datos y modelos o los ha modificado, así como cuándo. También puedes enrutar los registros a destinos de terceros.

Implementar en sistemas seguros con herramientas y artefactos seguros

Asegúrate de que tu código y tus modelos se ejecuten en un entorno seguro. Este entorno debe tener un sistema de control de acceso sólido y ofrecer garantías de seguridad para las herramientas y los artefactos que implementes.

Para desplegar tu código en sistemas seguros, ten en cuenta las siguientes recomendaciones.

Entrenar y desplegar modelos en un entorno seguro

Para mantener la integridad, la confidencialidad y la disponibilidad del sistema de tus sistemas de IA y aprendizaje automático, implementa controles de acceso estrictos que impidan la manipulación no autorizada de los recursos. Esta defensa te ayuda a hacer lo siguiente:

  • Mitigar la manipulación de modelos que podría producir resultados inesperados o contradictorios.
  • Protege tus datos de entrenamiento frente a infracciones de la privacidad.
  • Mantener el tiempo de actividad del servicio.
  • Garantizar el cumplimiento normativo.
  • Generar confianza en los usuarios.

Para entrenar tus modelos de aprendizaje automático en un entorno con mayor seguridad, usa servicios gestionados en Google Cloud como Cloud Run, GKE y Dataproc. También puedes usar el entrenamiento sin servidor de Vertex AI.

En esta sección se ofrecen recomendaciones para ayudarte a proteger aún más tu entorno de entrenamiento e implementación.

Para proteger tu entorno y tus perímetros, ten en cuenta lo siguiente:

Para proteger tu implementación, ten en cuenta lo siguiente:

  • Cuando despliegues modelos, usa el registro de modelos. Si despliegas modelos en contenedores, usa GKE Sandbox y Container-Optimized OS para mejorar la seguridad y aislar las cargas de trabajo. Restringe el acceso a los modelos de Model Garden según los roles y las responsabilidades de los usuarios.
  • Para proteger las APIs de tus modelos, usa Apigee o API Gateway. Para evitar un uso inadecuado, implementa claves de API, autenticación, autorización y limitación de frecuencia. Para controlar el acceso a las APIs de modelos, usa claves de API y mecanismos de autenticación.
  • Para proteger el acceso a los modelos durante la predicción, usa Vertex AI Inference. Para evitar la filtración externa de datos, usa perímetros de Controles de Servicio de VPC para proteger los endpoints privados y controlar el acceso a los modelos subyacentes. Utiliza puntos finales privados para habilitar el acceso a los modelos en una red de VPC. IAM no se aplica directamente al punto final privado, pero el servicio de destino usa IAM para gestionar el acceso a los modelos. Para la predicción online, te recomendamos que uses Private Service Connect.
  • Para monitorizar las llamadas a la API relacionadas con el despliegue de modelos, habilita los registros de auditoría de Cloud para Vertex AI. Entre las llamadas a la API pertinentes se incluyen actividades como la creación de endpoints, la implementación de modelos y las actualizaciones de configuración.
  • Para ampliar la infraestructura a las ubicaciones perimetrales, considera las soluciones de Google Distributed Cloud. Google Cloud Para disfrutar de una solución totalmente desconectada, puedes usar Distributed Cloud air-gapped, que no requiere conectividad con Google Cloud.
  • Para estandarizar las implementaciones y asegurar el cumplimiento de los requisitos de seguridad y normativos, usa Assured Workloads.

Sigue las directrices de SLSA para los artefactos de IA

Sigue las directrices estándar de los niveles de la cadena de suministro para artefactos de software (SLSA) para tus artefactos específicos de IA, como modelos y paquetes de software.

SLSA es un framework de seguridad diseñado para ayudarte a mejorar la integridad de los artefactos de software y evitar la manipulación. Si sigues las directrices de SLSA, puedes mejorar la seguridad de tu flujo de trabajo de IA y aprendizaje automático, así como de los artefactos que produce. Cumplir los requisitos de SLSA puede ofrecer las siguientes ventajas:

  • Mayor confianza en tus artefactos de IA y aprendizaje automático: SLSA ayuda a asegurar que no se manipulen tus modelos ni tus paquetes de software. Los usuarios también pueden rastrear modelos y paquetes de software hasta su origen, lo que aumenta su confianza en la integridad y fiabilidad de los artefactos.
  • Riesgo reducido de ataques a la cadena de suministro: SLSA ayuda a mitigar el riesgo de ataques que aprovechan las vulnerabilidades de la cadena de suministro de software, como los ataques que inyectan código malicioso o que ponen en peligro los procesos de compilación.
  • Mejora de la postura de seguridad: SLSA te ayuda a reforzar la postura de seguridad general de tus sistemas de IA y aprendizaje automático. Esta implementación puede ayudar a reducir el riesgo de ataques y proteger tus recursos valiosos.

Para implementar SLSA en tus artefactos de IA y aprendizaje automático en Google Cloud, haz lo siguiente:

  1. Conocer los niveles de SLSA: familiarízate con los distintos niveles de SLSA y sus requisitos. A medida que aumentan los niveles, también lo hace la integridad que proporcionan.
  2. Evalúa tu nivel actual: compara tus prácticas actuales con el marco de SLSA para determinar tu nivel y las áreas de mejora.
  3. Define el nivel objetivo: determina el nivel de SLSA adecuado en función de tu tolerancia al riesgo, tus requisitos de seguridad y la importancia de tus sistemas de IA y aprendizaje automático.

  4. Implementar los requisitos de SLSA: para alcanzar el nivel de SLSA objetivo, implementa los controles y las prácticas necesarios, que podrían incluir lo siguiente:

    • Control de versiones: usa un sistema de control de versiones, como Git, para monitorizar los cambios en el código y las configuraciones.
    • Proceso de compilación: usa un servicio que te ayude a proteger tus compilaciones, como Cloud Build, y asegúrate de que tu proceso de compilación esté guionizado o automatizado.
    • Generación de procedencia: genera metadatos de procedencia que registran detalles sobre cómo se han creado tus artefactos, incluidos el proceso de compilación, el código fuente y las dependencias. Para obtener más información, consulta los artículos sobre cómo hacer un seguimiento de los metadatos de Vertex ML y hacer un seguimiento de las ejecuciones y los artefactos.
    • Firma de artefactos: firma tus artefactos para verificar su autenticidad e integridad.
    • Gestión de vulnerabilidades: analiza periódicamente tus artefactos y dependencias en busca de vulnerabilidades. Usa herramientas como Artifact Analysis.
    • Seguridad de la implementación: implementa prácticas de implementación que te ayuden a proteger tus sistemas, como las que se describen en este documento.

  5. Mejora continua: monitoriza y mejora tu implementación de SLSA para hacer frente a nuevas amenazas y vulnerabilidades, y aspira a alcanzar niveles de SLSA más altos.

Usar imágenes de contenedor prediseñadas validadas

Para evitar que se produzca un único punto de fallo en tus fases de MLOps, aísla las tareas que requieran una gestión de dependencias diferente en contenedores distintos. Por ejemplo, usa contenedores independientes para las tareas de ingeniería de funciones, entrenamiento o ajuste y de inferencia. Este enfoque también ofrece a los ingenieros de aprendizaje automático la flexibilidad de controlar y personalizar su entorno.

Para fomentar la coherencia de MLOps en toda tu organización, usa contenedores prediseñados. Mantén un repositorio central de imágenes de plataforma base verificadas y de confianza siguiendo estas prácticas recomendadas:

  • Mantener un equipo de plataforma centralizado en tu organización que cree y gestione contenedores base estandarizados.
  • Amplía las imágenes de contenedor precompiladas que Vertex AI proporciona específicamente para la IA y el aprendizaje automático. Gestionar las imágenes de contenedor en un repositorio central de tu organización.

Vertex AI ofrece una variedad de contenedores de aprendizaje profundo precompilados para el entrenamiento y la inferencia, y también te permite usar contenedores personalizados. En los modelos más pequeños, puedes reducir la latencia de la inferencia si cargas los modelos en contenedores.

Para mejorar la seguridad de la gestión de tus contenedores, ten en cuenta las siguientes recomendaciones:

  • Usa Artifact Registry para crear, almacenar y gestionar repositorios de imágenes de contenedor con diferentes formatos. Artifact Registry gestiona el control de acceso con la gestión de identidades y accesos, y tiene funciones integradas de observabilidad y evaluación de vulnerabilidades. Artifact Registry te permite habilitar funciones de seguridad de contenedores, analizar imágenes de contenedor e investigar vulnerabilidades.
  • Ejecuta pasos de integración continua y crea imágenes de contenedor con Cloud Build. En esta fase se pueden destacar los problemas de dependencia. Si quieres desplegar solo las imágenes creadas por Cloud Build, puedes usar Autorización binaria. Para evitar ataques a la cadena de suministro, despliegue las imágenes creadas por Cloud Build en Artifact Registry. Integra herramientas de pruebas automatizadas, como SonarQube, PyLint u OWASP ZAP.
  • Usa una plataforma de contenedores como GKE o Cloud Run, que están optimizadas para GPU o TPU en cargas de trabajo de IA y aprendizaje automático. Consulta las opciones de análisis de vulnerabilidades de los contenedores de los clústeres de GKE.

Considerar la computación confidencial para GPUs

Para proteger los datos en uso, puedes usar Confidential Computing. Las medidas de seguridad convencionales protegen los datos en reposo y en tránsito, pero la computación confidencial cifra los datos durante el procesamiento. Cuando usas Computación confidencial para GPUs, proteges los datos de entrenamiento y los parámetros del modelo sensibles frente a accesos no autorizados. También puedes ayudar a evitar el acceso no autorizado de usuarios de la nube con privilegios o de posibles atacantes que puedan obtener acceso a la infraestructura subyacente.

Para determinar si necesitas Confidential Computing para GPUs, ten en cuenta la sensibilidad de los datos, los requisitos normativos y los riesgos potenciales.

Si configura Computación confidencial, tenga en cuenta las siguientes opciones:

  • Para las cargas de trabajo de IA y aprendizaje automático de uso general, utiliza instancias de máquina virtual confidencial con GPUs NVIDIA T4. Estas instancias de VM ofrecen cifrado basado en hardware de los datos en uso.
  • En el caso de las cargas de trabajo en contenedores, usa nodos de Confidential GKE Node. Estos nodos proporcionan un entorno seguro y aislado para tus pods.
  • Para asegurarte de que tu carga de trabajo se ejecuta en un enclave auténtico y seguro, verifica los informes de certificación que proporciona la VM confidencial.
  • Para hacer un seguimiento del rendimiento, la utilización de recursos y los eventos de seguridad, monitoriza tus recursos de Confidential Computing y tus nodos de Confidential GKE mediante Monitoring y Logging.

Verificar y proteger las entradas

Trata todas las entradas de tus sistemas de IA como no fiables, independientemente de si proceden de usuarios finales o de otros sistemas automatizados. Para proteger tus sistemas de IA y asegurarte de que funcionan correctamente, debes detectar y eliminar los posibles vectores de ataque lo antes posible.

Para verificar y proteger tus entradas, ten en cuenta las siguientes recomendaciones.

Implementar prácticas que ayuden a proteger los sistemas de IA generativa

Trata las peticiones como un componente de aplicación fundamental que tiene la misma importancia para la seguridad que el código. Implementa una estrategia de defensa en profundidad que combine un diseño proactivo, una detección automatizada y una gestión del ciclo de vida disciplinada.

Para proteger tus peticiones de IA generativa, debes diseñarlas de forma segura, analizarlas antes de usarlas y gestionarlas durante todo su ciclo de vida.

Para mejorar la seguridad de tu diseño y tu ingeniería de peticiones, ten en cuenta las siguientes prácticas:

  • Estructura las peticiones para que sean claras: diseña y prueba todas tus peticiones con las funciones de gestión de peticiones de Vertex AI Studio. Las peticiones deben tener una estructura clara e inequívoca. Define un rol, incluye ejemplos de pocos disparos y da instrucciones específicas y acotadas. Estos métodos reducen el riesgo de que el modelo interprete de forma incorrecta la entrada de un usuario y cree una brecha de seguridad.

  • Prueba las entradas para comprobar su solidez y su fundamentación: prueba de forma proactiva todos tus sistemas con entradas inesperadas, incorrectas y maliciosas para evitar fallos o salidas no seguras. Usa pruebas de equipos rojos para simular ataques reales. Automatiza las pruebas de robustez como paso estándar en tus flujos de trabajo de Vertex AI Pipelines. Puedes usar las siguientes técnicas de prueba:

    • Pruebas fuzzing.
    • Prueba directamente con información personal identificable, entradas sensibles e inyecciones de SQL.
    • Analiza las entradas multimodales que pueden contener malware o infringir las políticas de las peticiones.

  • Implementa una defensa por capas: usa varias defensas y no confíes nunca en una sola medida defensiva. Por ejemplo, en una aplicación basada en la generación aumentada por recuperación (RAG), usa un LLM independiente para clasificar la intención de los usuarios y buscar patrones maliciosos. Después, ese LLM puede enviar la solicitud al LLM principal, que es más potente y genera la respuesta final.

  • Quita y valida las entradas: antes de incorporar entradas externas o proporcionadas por el usuario a una petición, filtra y valida todas las entradas en el código de tu aplicación. Esta validación es importante para ayudarte a evitar la inyección indirecta de peticiones.

Para automatizar la detección de peticiones y respuestas, ten en cuenta las siguientes prácticas:

  • Usa servicios de seguridad integrales: implementa un servicio de seguridad específico e independiente del modelo, como Model Armor, como capa de protección obligatoria para tus LLMs. Model Armor inspecciona las peticiones y las respuestas para detectar amenazas como la inyección de peticiones, intentos de jailbreak y contenido dañino. Para asegurarte de que tus modelos no filtren datos de entrenamiento sensibles ni propiedad intelectual en sus respuestas, usa la integración de Protección de Datos Sensibles con Model Armor. Para obtener más información, consulta Filtros de Model Armor.
  • Monitorizar y registrar interacciones: mantén registros detallados de todas las peticiones y respuestas de los endpoints de tu modelo. Usa registro para auditar estas interacciones, identificar patrones de uso inadecuado y detectar vectores de ataque que puedan surgir contra tus modelos implementados.

Para proteger la gestión del ciclo de vida de las peticiones, ten en cuenta las siguientes prácticas:

  • Implementa el control de versiones de las peticiones: trata todas tus peticiones de producción como si fueran código de aplicación. Usa un sistema de control de versiones como Git para crear un historial completo de los cambios, aplicar estándares de colaboración y permitir que se restauren versiones anteriores. Esta práctica fundamental de MLOps puede ayudarte a mantener sistemas de IA estables y seguros.
  • Centralizar la gestión de las peticiones: usa un repositorio central para almacenar, gestionar e implementar todas tus peticiones versionadas. Esta estrategia garantiza la coherencia en todos los entornos y permite realizar actualizaciones en tiempo de ejecución sin necesidad de volver a implementar la aplicación por completo.
  • Realiza auditorías periódicas y pruebas de equipo rojo: prueba continuamente las defensas de tu sistema frente a vulnerabilidades conocidas, como las que se indican en la lista de los 10 principales riesgos de OWASP para aplicaciones de LLMs. Como ingeniero de IA, debes ser proactivo y realizar pruebas de equipo rojo en tu propia aplicación para descubrir y corregir las vulnerabilidades antes de que un atacante pueda aprovecharlas.

Evitar consultas maliciosas a tus sistemas de IA

Además de la autenticación y la autorización, que se han tratado en este documento, puedes tomar medidas adicionales para proteger tus sistemas de IA frente a entradas maliciosas. Debes preparar tus sistemas de IA para los escenarios posteriores a la autenticación en los que los atacantes eluden los protocolos de autenticación y autorización, y luego intentan atacar el sistema internamente.

Para implementar una estrategia integral que pueda ayudar a proteger tu sistema de ataques posteriores a la autenticación, aplica los siguientes requisitos:

  • Protege las capas de red y de aplicación: establece una defensa multicapa para todos tus recursos de IA.

    • Para crear un perímetro de seguridad que evite la filtración de datos de modelos del registro de modelos o de datos sensibles de BigQuery, usa Controles de Servicio de VPC. Utiliza siempre el modo de prueba para validar el impacto de un perímetro antes de aplicarlo.
    • Para proteger las herramientas basadas en la Web, como los cuadernos, usa IAP.
    • Para proteger todos los endpoints de inferencia, usa Apigee para disfrutar de una seguridad y una gestión de nivel empresarial. También puedes usar API Gateway para una autenticación sencilla.

  • Detectar anomalías en los patrones de consulta: por ejemplo, un atacante que sondea un sistema en busca de vulnerabilidades puede enviar miles de consultas secuenciales ligeramente diferentes. Marca patrones de consulta anómalos que no reflejan el comportamiento normal de los usuarios.

  • Monitoriza el volumen de solicitudes: un aumento repentino del volumen de consultas indica claramente un ataque de denegación de servicio (DoS) o un ataque de robo de modelo, que es un intento de aplicar ingeniería inversa al modelo. Usa la limitación de frecuencia y la limitación de ancho de banda para controlar el volumen de solicitudes de una sola dirección IP o usuario.

  • Monitorizar y configurar alertas de anomalías geográficas y temporales: establecer una base de referencia para los patrones de acceso normales. Genera alertas por actividad repentina desde ubicaciones geográficas inusuales o a horas extrañas. Por ejemplo, un aumento masivo de inicios de sesión desde un nuevo país a las 3:00.

Monitorizar, evaluar y prepararse para responder a los resultados

Los sistemas de IA aportan valor porque producen resultados que aumentan, optimizan o automatizan la toma de decisiones humanas. Para mantener la integridad y la fiabilidad de tus sistemas y aplicaciones de IA, asegúrate de que los resultados sean seguros y estén dentro de los parámetros esperados. También necesitas un plan para responder a los incidentes.

Para mantener los resultados, ten en cuenta las siguientes recomendaciones.

Evaluar el rendimiento de los modelos con métricas y medidas de seguridad

Para asegurarte de que tus modelos de IA cumplen los estándares de rendimiento y los requisitos de seguridad, así como los estándares de equidad y cumplimiento, evalúalos a fondo. Realiza evaluaciones antes de la implementación y, después, sigue evaluando los modelos en producción de forma periódica. Para minimizar los riesgos y crear sistemas de IA fiables, implementa una estrategia de evaluación integral que combine métricas de rendimiento con evaluaciones de seguridad de la IA específicas.

Para evaluar la solidez y la postura de seguridad de un modelo, ten en cuenta las siguientes recomendaciones:

  • Implementa la firma y la verificación de modelos en tu flujo de trabajo de MLOps.

    • En el caso de los modelos en contenedores, usa Autorización binaria para verificar las firmas.
    • En el caso de los modelos que se despliegan directamente en los endpoints de Vertex AI, usa comprobaciones personalizadas en tus secuencias de comandos de despliegue para la verificación.
    • En cualquier modelo, usa Cloud Build para firmar el modelo.

  • Evalúa la resiliencia de tu modelo ante entradas inesperadas o adversarias.

    • En todos tus modelos, prueba si hay datos dañados y modificaciones de datos potencialmente maliciosas. Para orquestar estas pruebas, puedes usar Vertex AI Training o Vertex AI Pipelines.
    • En el caso de los modelos críticos para la seguridad, realiza simulaciones de ataques adversarios para conocer las posibles vulnerabilidades.
    • En el caso de los modelos que se despliegan en contenedores, usa Artifact Analysis en Artifact Registry para analizar las imágenes base en busca de vulnerabilidades.

  • Usa Vertex AI Model Monitoring para detectar la deriva y el sesgo de los modelos desplegados. Después, incorpora estas estadísticas a los ciclos de reevaluación o de reentrenamiento.

  • Usa las evaluaciones de modelos de Vertex AI como componente de un flujo de trabajo con Vertex AI Pipelines. Puedes ejecutar el componente de evaluación de modelos por sí solo o con otros componentes de la canalización. Compara las versiones del modelo con las métricas y los conjuntos de datos que hayas definido. Registra los resultados de la evaluación en Vertex ML Metadata para hacer un seguimiento y un registro del linaje.

  • Usa o desarrolla el servicio de evaluación de IA generativa para evaluar los modelos que elijas o implementar flujos de trabajo de evaluación humana personalizados.

Para evaluar la imparcialidad, el sesgo, la explicabilidad y la veracidad, ten en cuenta las siguientes recomendaciones:

  • Define medidas de equidad que se ajusten a tus casos prácticos y, a continuación, evalúa tus modelos para detectar posibles sesgos en diferentes segmentos de datos.
  • Entender qué características impulsan las predicciones del modelo para asegurarse de que las características y las predicciones resultantes se ajusten a los conocimientos del dominio y a las directrices éticas.
  • Usa Vertex Explainable AI para obtener atribuciones de funciones de tus modelos.
  • Usa el servicio de evaluación de IA generativa para calcular las métricas. Durante la fase de verificación de la fuente de las pruebas, la métrica de fundamentación del servicio comprueba la veracidad de la información en el texto de origen proporcionado.
  • Habilita la fundamentación para la salida de tu modelo con el fin de facilitar una segunda capa de verificación de fuentes a nivel de usuario.
  • Consulta nuestros principios para la IA y adáptalos a tus aplicaciones de IA.

Monitorizar los resultados de los modelos de IA y aprendizaje automático en producción

Monitoriza continuamente tus modelos de IA y aprendizaje automático, así como la infraestructura que los admite, en producción. Es importante identificar y diagnosticar rápidamente las degradaciones en la calidad o el rendimiento de los resultados del modelo, las vulnerabilidades de seguridad que surjan y las desviaciones de los mandatos de cumplimiento. Esta monitorización te ayuda a mantener la seguridad, la fiabilidad y la confianza del sistema.

Para monitorizar las salidas de los sistemas de IA en busca de anomalías, amenazas y degradación de la calidad, te recomendamos que sigas estas indicaciones:

  • Utiliza Monitorización de modelos para hacer un seguimiento de los resultados de tu modelo y detectar cambios inesperados en las distribuciones de las predicciones o picos en las predicciones del modelo con baja confianza. Monitoriza activamente los resultados de tu modelo de IA generativa para detectar contenido generado que sea no seguro, esté sesgado, no venga al caso o sea malicioso. También puedes usar Model Armor para revisar todas las respuestas del modelo.
  • Identificar patrones de error específicos, registrar indicadores de calidad o detectar resultados dañinos o que no cumplen los requisitos a nivel de aplicación. Para encontrar estos problemas, usa la monitorización personalizada en los paneles de control de Monitoring y las métricas basadas en registros de Logging.

Para monitorizar las salidas en busca de señales específicas de seguridad y cambios no autorizados, ten en cuenta las siguientes recomendaciones:

  • Identifica los intentos de acceso no autorizado a modelos de IA, conjuntos de datos en Cloud Storage o BigQuery, o componentes de la canalización de MLOps. En concreto, identifica cambios inesperados o no autorizados en los permisos de gestión de identidades y accesos de los recursos de IA. Para hacer un seguimiento de estas actividades y revisar si hay patrones sospechosos, usa los registros de auditoría de actividad de administrador y de acceso a datos de Registros de auditoría de Cloud. Integra los resultados de Security Command Center, que puede detectar errores de configuración de seguridad y posibles amenazas relevantes para tus recursos de IA.
  • Monitoriza los resultados para detectar volúmenes elevados de solicitudes o solicitudes de fuentes sospechosas, que podrían indicar intentos de aplicar ingeniería inversa a los modelos o de extraer datos. También puedes usar Protección de Datos Sensibles para monitorizar la filtración externa de datos potencialmente sensibles.
  • Integra los registros en tus operaciones de seguridad. Usa Google Security Operations para detectar, orquestar y responder a las ciberamenazas de tus sistemas de IA.

Para monitorizar el estado operativo y el rendimiento de la infraestructura que sirve tus modelos de IA, ten en cuenta las siguientes recomendaciones:

  • Identificar problemas operativos que puedan afectar a la prestación de servicios o al rendimiento del modelo.
  • Monitoriza los endpoints de Vertex AI para detectar latencia, tasas de error y patrones de tráfico.
  • Monitoriza las canalizaciones de MLOps para comprobar su estado de ejecución y los errores.
  • Usa Monitoring, que proporciona métricas predefinidas. También puedes crear paneles de control personalizados para identificar problemas como interrupciones de endpoints o fallos en las canalizaciones.

Implementar procedimientos de alertas y respuesta a incidentes

Cuando identifiques posibles problemas de rendimiento, seguridad o cumplimiento, es fundamental que respondas de forma eficaz. Para asegurarte de que los equipos adecuados reciban las notificaciones a tiempo, implementa mecanismos de alerta sólidos. Define y pon en práctica procedimientos de respuesta ante incidentes integrales y basados en IA para gestionar, contener y solucionar estos problemas de forma eficiente.

Para establecer mecanismos de alertas sólidos para los problemas de IA que identifiques, ten en cuenta las siguientes recomendaciones:

  • Configura alertas útiles para notificar a los equipos correspondientes en función de las actividades de monitorización de tu plataforma. Por ejemplo, configura alertas para que se activen cuando Monitorización de modelos detecte anomalías significativas en la deriva, el sesgo o las predicciones. También puedes configurar alertas para que se activen cuando Model Armor o las reglas de monitorización personalizadas detecten entradas maliciosas o salidas no seguras.
  • Define canales de notificación claros, que pueden incluir Slack, correo electrónico o SMS a través de integraciones de Pub/Sub. Personaliza los canales de notificación de las gravedades de las alertas y los equipos responsables.

Desarrollar y poner en práctica un plan de respuesta ante incidentes que tenga en cuenta la IA. Un plan de respuesta a incidentes estructurado es fundamental para minimizar cualquier impacto potencial y garantizar la recuperación. Personaliza este plan para abordar los riesgos específicos de la IA, como la manipulación de modelos, las predicciones incorrectas debido a la deriva, la inyección de peticiones o los resultados no seguros de los modelos generativos. Para crear un plan eficaz, incluye las siguientes fases clave:

  • Preparación: identifica los recursos y sus vulnerabilidades, desarrolla manuales de procedimientos y asegúrate de que tus equipos tengan los privilegios adecuados. Esta fase incluye las siguientes tareas:

    • Identifica los recursos de IA críticos, como modelos, conjuntos de datos y recursos específicos de Vertex AI, como endpoints o instancias de Vertex AI Feature Store.
    • Identifica los posibles modos de fallo o vectores de ataque de los recursos.

    • Desarrolla guías específicas de IA para incidentes que se ajusten al modelo de amenazas de tu organización. Por ejemplo, los manuales pueden incluir lo siguiente:

      • Una reversión de un modelo que usa el control de versiones en el registro de modelos.
      • Un flujo de procesamiento de reentrenamiento de emergencia en Vertex AI Training.
      • El aislamiento de una fuente de datos vulnerada en BigQuery o Cloud Storage.

    • Usa IAM para asegurarte de que los equipos de respuesta tengan el acceso con los mínimos privilegios necesarios a las herramientas que se requieren durante un incidente.

  • Identificación y clasificación: usa las alertas configuradas para detectar y validar posibles incidentes. Establece criterios y umbrales claros para que tu organización investigue o declare un incidente relacionado con la IA. Para llevar a cabo investigaciones detalladas y recoger pruebas, usa Logging para los registros de aplicaciones y de servicios, y Cloud Audit Logs para las actividades administrativas y los patrones de acceso a datos. Los equipos de seguridad pueden usar Google SecOps para analizar en profundidad la telemetría de seguridad.

  • Contención: aísla los sistemas o componentes de IA afectados para evitar que se produzcan más daños o filtraciones de datos. Esta fase puede incluir las siguientes tareas:

    • Inhabilita un endpoint de Vertex AI que dé problemas.
    • Revocar permisos de gestión de identidades y accesos específicos.
    • Actualiza las reglas de cortafuegos o las políticas de Cloud Armor.
    • Pausar un flujo de procesamiento de Vertex AI que no funciona correctamente.

  • Erradicación: identifica y elimina la causa principal del incidente. Esta fase puede incluir las siguientes tareas:

    • Parchea el código vulnerable en un contenedor de modelo personalizado.
    • Elimina las puertas traseras maliciosas identificadas de un modelo.
    • Sanea los datos envenenados antes de iniciar una tarea de reentrenamiento segura en Vertex AI Training.
    • Actualiza las configuraciones no seguras.
    • Refina la lógica de validación de entradas para bloquear técnicas específicas de inyección de peticiones.

  • Recuperación y nuevo despliegue seguro: restaura los sistemas de IA afectados a un estado operativo seguro y correcto conocido. Esta fase puede incluir las siguientes tareas:

    • Despliega una versión de modelo validada y de confianza previamente desde el registro de modelos.
    • Asegúrate de encontrar y aplicar todos los parches de seguridad para las vulnerabilidades que puedan estar presentes en tu código o sistema.
    • Restablece los permisos de gestión de identidades y accesos según el principio de mínimos accesos.

  • Actividad posterior al incidente y lecciones aprendidas: después de resolver los incidentes de IA significativos, lleva a cabo una revisión exhaustiva posterior al incidente. En esta revisión participan todos los equipos pertinentes, como los de IA y aprendizaje automático, MLOps, seguridad y ciencia de datos. Conocer todo el ciclo de vida del incidente. Usa estas estadísticas para perfeccionar el diseño del sistema de IA, actualizar los controles de seguridad, mejorar las configuraciones de monitorización y optimizar el plan y las guías de respuesta ante incidentes de IA.

Integra la respuesta a incidentes basada en IA con los marcos organizativos más amplios, como la gestión de incidentes de TI y de seguridad, para coordinar los esfuerzos. Para alinear tu respuesta a incidentes específicos de la IA con los marcos de tu organización, ten en cuenta lo siguiente:

  • Derivación: define rutas claras para derivar incidentes importantes relacionados con la IA al SOC central, al departamento de TI, al departamento jurídico o a las unidades de negocio pertinentes.
  • Comunicación: utiliza los canales de la organización establecidos para todos los informes y las novedades sobre incidentes internos y externos.
  • Herramientas y procesos: utiliza los sistemas de gestión de incidentes y de asistencia técnica de la empresa para los incidentes de IA, de modo que se puedan monitorizar y visualizar de forma coherente.
  • Colaboración: predefine protocolos de colaboración entre los equipos de IA y aprendizaje automático, MLOps, ciencia de datos, seguridad, legal y cumplimiento para responder de forma eficaz a los incidentes de IA.

Colaboradores

Autores:

  • Kamilla Kurta | Ingeniera de clientes especializada en GenAI y aprendizaje automático
  • Vidhi Jain | Ingeniera de Cloud, Analíticas e IA
  • Mohamed Fawzi | Responsable de Seguridad y Cumplimiento en Benelux
  • Filipe Gracio, doctor | Ingeniero de clientes y especialista en IA y aprendizaje automático

Otros colaboradores:

Anterior
Excelencia operativa
Siguiente
Fiabilidad