Controles de Cloud Storage para casos de uso de IA generativa

En este documento, se incluyen las prácticas recomendadas y los lineamientos para Cloud Storage cuando se ejecutan cargas de trabajo de IA generativa que usan Google Cloud. Usa Cloud Storage con Vertex AI para almacenar datos de entrenamiento, artefactos de modelos y datos de producción.

Considera los siguientes casos de uso de Cloud Storage con Vertex AI:

  • Almacenamiento de datos de entrenamiento: Vertex AI te permite almacenar tus conjuntos de datos de entrenamiento en buckets de Cloud Storage. Usar Cloud Storage ofrece varias ventajas:
    • Cloud Storage puede controlar conjuntos de datos de cualquier tamaño, lo que te permite entrenar modelos con grandes cantidades de datos sin limitaciones de almacenamiento.
    • Puedes configurar controles de acceso y encriptación detallados en tus buckets de Cloud Storage para garantizar que tus datos de entrenamiento sensibles estén protegidos.
    • Cloud Storage te permite hacer un seguimiento de los cambios y revertir a versiones anteriores de tus datos, lo que proporciona valiosas pistas de auditoría y facilita la reproducción de experimentos de entrenamiento.
    • Vertex AI se integra perfectamente en Cloud Storage, lo que te permite acceder a tus datos de entrenamiento dentro de la plataforma.
  • Almacena artefactos del modelo: Puedes almacenar artefactos del modelo entrenado, como archivos del modelo, configuraciones de hiperparámetros y registros de entrenamiento, en buckets de Cloud Storage. Con Cloud Storage, puedes hacer lo siguiente:
    • Mantén todos los artefactos de tu modelo en Cloud Storage como un repositorio centralizado para acceder a ellos y administrarlos de manera conveniente.
    • Realiza un seguimiento de las diferentes versiones de tus modelos y adminístralas, lo que facilita las comparaciones y las reversiones si es necesario.
    • Otorga a los miembros del equipo y a los colaboradores acceso a buckets específicos de Cloud Storage para compartir modelos de manera eficiente.
  • Almacena datos de producción: En el caso de los modelos que se usan en producción, Cloud Storage puede almacenar los datos que se ingresan en el modelo para la predicción. Por ejemplo, puedes usar Cloud Storage para realizar las siguientes acciones:
    • Almacena datos y las interacciones de los usuarios para ofrecer recomendaciones personalizadas en tiempo real.
    • Conservar imágenes para el procesamiento y la clasificación a pedido con tus modelos
    • Mantén los datos de las transacciones para la identificación de fraude en tiempo real con tus modelos.
  • Integración con otros servicios: Cloud Storage se integra a la perfección con otros servicios de Google Cloud que se usan en los flujos de trabajo de Vertex AI, como los siguientes:
    • Dataflow para optimizar las canalizaciones de transformación y procesamiento previo de datos
    • BigQuery para acceder a grandes conjuntos de datos almacenados en BigQuery para el entrenamiento y la inferencia de modelos
    • Funciones de Cloud Run para acciones basadas en predicciones del modelo o cambios de datos en buckets de Cloud Storage
  • Administra los costos: Cloud Storage ofrece un modelo de precios de pago por uso, lo que significa que solo pagas por el almacenamiento que usas. Esto proporciona eficiencia en los costos, en especial para los conjuntos de datos grandes.
  • Habilita la alta disponibilidad y durabilidad: Cloud Storage garantiza que tus datos estén altamente disponibles y protegidos contra fallas o interrupciones, lo que garantiza la confiabilidad y el acceso sólido a tus recursos de AA.
  • Habilita la compatibilidad con varias regiones: Almacena tus datos en varias regiones de Cloud Storage que estén geográficamente más cerca de tus usuarios o aplicaciones, lo que mejora el rendimiento y reduce la latencia para el acceso a los datos y las predicciones del modelo.

Controles obligatorios de Cloud Storage

Se recomienda encarecidamente usar los siguientes controles cuando se utiliza Cloud Storage.

Bloquea el acceso público a los buckets de Cloud Storage

ID de control de Google GCS-CO-4.1
Categoría Obligatorio
Descripción

La restricción booleana storage.publicAccessPrevention impide el acceso a los recursos existentes y futuros a través de Internet. Inhabilita y bloquea las listas de control de acceso (LCA) y los permisos de Identity and Access Management (IAM) que otorgan acceso a allUsers y allAuthenticatedUsers.
Productos aplicables
  • Servicio de políticas de la organización
  • Cloud Storage
Ruta constraints/storage.publicAccessPrevention
Operador ==
Valor
  • True
Tipo Booleano
Controles relacionados de NIST-800-53
  • AC-3
  • AC-17
  • AC-20
Controles relacionados del perfil de CRI
  • PR.AC-3.1
  • PR.AC-3.2
  • PR.AC-4.1
  • PR.AC-4.2
  • PR.AC-4.3
  • PR.AC-6.1
  • PR.PT-3.1
  • PR.PT-4.1
Información relacionada

Usar el acceso uniforme a nivel de bucket

ID de control de Google GCS-CO-4.2
Categoría Obligatorio
Descripción

La restricción booleana storage.uniformBucketLevelAccess requiere que los buckets usen el acceso uniforme a nivel de bucket. El acceso uniforme a nivel de bucket te permite usar solo permisos de Identity and Access Management (IAM) a nivel del bucket para otorgar acceso a tus recursos de Cloud Storage.
Productos aplicables
  • Servicio de políticas de la organización
  • Cloud Storage
Ruta constraints/storage.uniformBucketLevelAccess
Operador ==
Valor
  • True
Tipo Booleano
Controles relacionados de NIST-800-53
  • AC-3
  • AC-17
  • AC-20
Controles relacionados del perfil de CRI
  • PR.AC-3.1
  • PR.AC-3.2
  • PR.AC-4.1
  • PR.AC-4.2
  • PR.AC-4.3
  • PR.AC-6.1
  • PR.PT-3.1
  • PR.PT-4.1
Información relacionada

Protege las claves HMAC de las cuentas de servicio

ID de control de Google GCS-CO-6.9
Categoría Obligatorio
Descripción

Una clave HMAC es un tipo de credencial de larga duración que se asocia con una cuenta de servicio o una cuenta de usuario en Cloud Storage. Usa una clave HMAC para crear firmas que se incluyen en las solicitudes a Cloud Storage. Una firma demuestra que un usuario o una cuenta de servicio autorizaron una solicitud.

A diferencia de las credenciales de corta duración (como A diferencia de los tokens de OAuth 2.0, las claves HMAC no vencen automáticamente y siguen siendo válidas hasta que se revocan de forma manual. Las claves HMAC son credenciales de alto riesgo: si se ven comprometidas, proporcionan acceso persistente a tus recursos. Debes asegurarte de que existan mecanismos adecuados para protegerlos.
Productos aplicables
  • Cloud Storage
Ruta storage.projects.hmacKeys/id
Operador Exists
Valor
  • []
Tipo String
Controles relacionados de NIST-800-53
  • SC-12
  • SC-13
Controles relacionados del perfil de CRI
  • PR.DS-1.1
  • PR.DS-1.2
  • PR.DS-2.1
  • PR.DS-2.2
  • PR.DS-5.1
Información relacionada

Detecta la enumeración de buckets de Cloud Storage por parte de cuentas de servicio

ID de control de Google GCS-CO-7.2
Categoría Obligatorio
Descripción

Las cuentas de servicio son identidades no humanas diseñadas para aplicaciones, y su comportamiento es predecible y automatizado. Por lo general, las cuentas de servicio no necesitan detallar los buckets, ya que ya están asignados. Por lo tanto, si detectas que una cuenta de servicio intenta recuperar una lista de todos los buckets de Cloud Storage, investiga el caso de inmediato. La enumeración de reconocimiento suele ser utilizada como técnica de reconocimiento por un agente malicioso que obtuvo acceso a la cuenta de servicio.
Productos aplicables
  • Cloud Storage
  • Registros de auditoría de Cloud
Operador ==
Valor
  • storage.bucket.list
Tipo String
Controles relacionados de NIST-800-53
  • AU-2
  • AU-3
  • AU-8
  • AU-9
Controles relacionados del perfil de CRI
  • DM.ED-7.1
  • DM.ED-7.2
  • DM.ED-7.3
  • DM.ED-7.4
  • PR.IP-1.4
Información relacionada

Detecta las modificaciones de la política de Identity and Access Management (IAM) de los buckets de Cloud Storage por parte de las cuentas de servicio

ID de control de Google GCS-CO-7.3
Categoría Obligatorio
Descripción

Configura una alerta que detecte cuando se modifique la política de IAM de un bucket de Cloud Storage para otorgar acceso público. Esta alerta se activa cuando los principales allUsers o allAuthenticatedUsers se agregan a la política de IAM de un bucket. Esta alerta es un evento crítico de gravedad alta porque puede exponer todos los datos del bucket. Investiga esta alerta de inmediato para confirmar si el cambio se autorizó o si es un signo de una configuración incorrecta o de un actor malicioso.

En la alerta, establece el atributo JSON data.protoPayload.serviceData.policyData.bindingDeltas.member en allUsers o allAuthenticatedUsers, y la acción en ADD.
Productos aplicables
  • Cloud Storage
  • Registros de auditoría de Cloud
Controles relacionados de NIST-800-53
  • AU-2
  • AU-3
  • AU-8
  • AU-9
Controles relacionados del perfil de CRI
  • DM.ED-7.1
  • DM.ED-7.2
  • DM.ED-7.3
  • DM.ED-7.4
  • PR.IP-1.4
Información relacionada

Según tus casos de uso en torno a la IA generativa, te recomendamos que uses controles adicionales. Estos controles incluyen controles de retención de datos y otros controles basados en políticas que se basan en las políticas de tu empresa.

Asegúrate de que la política de retención del bucket de Cloud Storage use el bloqueo de bucket

ID de control de Google GCS-CO-6.1
Categoría Recomendado
Descripción

Según tus requisitos reglamentarios, asegúrate de que cada política de retención de bucket de Cloud Storage esté bloqueada. Establece el período de retención en un período que cumpla con tus requisitos.
Productos aplicables
  • Cloud Storage
Ruta storage.buckets/retentionPolicy.isLocked
Operador !=
Valor
  • True
Tipo Booleano
Controles relacionados de NIST-800-53
  • SI-12
Controles relacionados del perfil de CRI
  • PR.IP-2.1
  • PR.IP-2.2
  • PR.IP-2.3
Información relacionada

Establece reglas de ciclo de vida para la acción SetStorageClass

ID de control de Google GCS-CO-6.11
Categoría Recomendado
Descripción

Aplica reglas de ciclo de vida a cada bucket de Cloud Storage que tenga un tipo de acción SetStorageClass.
Productos aplicables
  • Cloud Storage
Ruta storage.buckets/lifecycle.rule.action.type
Operador ==
Valor
  • SetStorageClass
Tipo String
Controles relacionados de NIST-800-53
  • SI-12
Controles relacionados del perfil de CRI
  • PR.IP-2.1
  • PR.IP-2.2
  • PR.IP-2.3
Información relacionada

Cómo establecer las regiones permitidas para las clases de almacenamiento

ID de control de Google GCS-CO-6.12
Categoría Recomendado
Descripción
Asegúrate de que las clases de almacenamiento para la configuración del ciclo de vida no se encuentren dentro de las clasificaciones regionales permitidas.
Productos aplicables
  • Cloud Storage
Ruta storage.buckets/lifecycle.rule.action.storageClass
Operador nin
Valor
  • MULTI_REGIONAL
  • REGIONAL
Tipo String
Controles relacionados de NIST-800-53
  • SI-12
Controles relacionados del perfil de CRI
  • PR.IP-2.1
  • PR.IP-2.2
  • PR.IP-2.3
Información relacionada

Habilita la administración del ciclo de vida para los buckets de Cloud Storage

ID de control de Google GCS-CO-6.13
Categoría Recomendado
Descripción

Asegúrate de que la administración del ciclo de vida de Cloud Storage esté habilitada y configurada. El control del ciclo de vida contiene la configuración del ciclo de vida del almacenamiento. Verifica que las políticas de este parámetro de configuración coincidan con tus requisitos.
Productos aplicables
  • Cloud Storage
Ruta storage.buckets/lifecycle
Operador Exists
Valor
  • []
Tipo Objeto
Controles relacionados de NIST-800-53
  • SI-12
Controles relacionados del perfil de CRI
  • PR.IP-2.1
  • PR.IP-2.2
  • PR.IP-2.3
Información relacionada

Habilita las reglas de administración del ciclo de vida para los buckets de Cloud Storage

ID de control de Google GCS-CO-6.14
Categoría Recomendado
Descripción

Asegúrate de que las reglas de administración del ciclo de vida de Cloud Storage estén habilitadas y configuradas. El control de reglas contiene la configuración del ciclo de vida del almacenamiento. Verifica que las políticas de este parámetro de configuración coincidan con tus requisitos.
Productos aplicables
  • Cloud Storage
Ruta storage.buckets/lifecycle.rule
Operador Empty
Valor
  • []
Tipo Arreglo
Controles relacionados de NIST-800-53
  • SI-12
Controles relacionados del perfil de CRI
  • PR.IP-2.1
  • PR.IP-2.2
  • PR.IP-2.3
Información relacionada

Revisar y evaluar las conservaciones temporales en objetos activos

ID de control de Google GCS-CO-6.16
Categoría Recomendado
Descripción

Identifica todos los objetos en los que temporaryHold está establecido como TRUE y comienza un proceso de investigación y validación. Esta evaluación es adecuada para los siguientes casos de uso:

  • Conservación legal: Para cumplir con los requisitos legales de almacenamiento de datos, se puede usar la conservación temporal para evitar el borrado de datos sensibles que puedan ser relevantes para investigaciones o litigios en curso.
  • Prevención de pérdida de datos: Para evitar la eliminación accidental de datos importantes, la conservación temporal se puede usar como medida de seguridad para proteger la información comercial crítica.
  • Moderación de contenido: Para revisar el contenido potencialmente sensible o inapropiado antes de que sea accesible de forma pública, aplica una retención temporal al contenido subido a Cloud Storage para su posterior inspección y decisiones de moderación.
Productos aplicables
  • Cloud Storage
Ruta storage.objects/temporaryHold
Operador ==
Valor
  • TRUE
Tipo Booleano
Controles relacionados de NIST-800-53
  • SI-12
Controles relacionados del perfil de CRI
  • PR.IP-2.1
  • PR.IP-2.2
  • PR.IP-2.3
Información relacionada

Aplica políticas de retención en buckets de Cloud Storage

ID de control de Google GCS-CO-6.17
Categoría Recomendado
Descripción

Asegúrate de que todos los buckets de Cloud Storage tengan una política de retención.
Productos aplicables
  • Cloud Storage
Ruta storage.buckets/retentionPolicy.retentionPeriod
Operador agesmaller
Valor
  • [90,"DAY","AFTER","yyyy-MM-dd'T'HH:mm:ss'Z'"]
Tipo int64
Controles relacionados de NIST-800-53
  • SI-12
Controles relacionados del perfil de CRI
  • PR.IP-2.1
  • PR.IP-2.2
  • PR.IP-2.3
Información relacionada

Aplica etiquetas de clasificación para los buckets de Cloud Storage

ID de control de Google GCS-CO-6.18
Categoría Recomendado
Descripción

La clasificación de datos es un componente fundamental de cualquier programa de administración y seguridad de datos. Es fundamental aplicar una etiqueta de clasificación con valores como público, interno, confidencial o restringido a cada bucket.

Confirma que google_storage_bucket.labels tenga una expresión para la clasificación y crea un incumplimiento si no la tiene.
Productos aplicables
  • Cloud Storage
Ruta storage.buckets/labels.classification
Operador notexists
Valor
  • []
Tipo Extendido
Controles relacionados de NIST-800-53
  • SI-12
Controles relacionados del perfil de CRI
  • PR.IP-2.1
  • PR.IP-2.2
  • PR.IP-2.3
Información relacionada

Aplica buckets de registros para los buckets de Cloud Storage

ID de control de Google GCS-CO-6.3
Categoría Recomendado
Descripción

Asegúrate de que cada bucket de Cloud Storage incluya un bucket de registros.
Productos aplicables
  • Cloud Storage
Ruta storage.buckets/logging.logBucket
Operador notexists
Valor
  • []
Tipo String
Controles relacionados de NIST-800-53
  • AU-2
  • AU-3
  • AU-8
  • AU-9
Controles relacionados del perfil de CRI
  • DM.ED-7.1
  • DM.ED-7.2
  • DM.ED-7.3
  • DM.ED-7.4
  • PR.IP-1.4
Información relacionada

Configura reglas de eliminación para buckets de Cloud Storage

ID de control de Google GCS-CO-6.5
Categoría Recomendado
Descripción

En Cloud Storage, storage.buckets/lifecycle.rule.action.type hace referencia al tipo de acción que se debe realizar en un objeto específico según una regla del ciclo de vida dentro de un bucket. Esta configuración ayuda a automatizar la administración y el ciclo de vida de los datos almacenados en la nube.

Configura storage.buckets/lifecycle.rule.action.type para garantizar que los objetos se borren de forma permanente del bucket.
Productos aplicables
  • Cloud Storage
Ruta storage.buckets/lifecycle.rule.action.type
Operador ==
Valor
  • Delete
Tipo String
Controles relacionados de NIST-800-53
  • SI-12
Controles relacionados del perfil de CRI
  • PR.IP-2.1
  • PR.IP-2.2
  • PR.IP-2.3
Información relacionada

Asegúrate de que la condición isLive sea falsa para las reglas de eliminación

ID de control de Google GCS-CO-6.6
Categoría Recomendado
Descripción

En el caso de las reglas de eliminación, asegúrate de que la condición isLive de la regla esté establecida en false.

En Cloud Storage, storage.buckets/lifecycle.rule.condition.isLive es una condición booleana que se usa en las reglas de ciclo de vida para determinar si un objeto se considera activo. Este filtro ayuda a garantizar que las acciones dentro de una regla del ciclo de vida se apliquen solo a los objetos deseados según su estado en vivo.

Casos de uso:

  • Archiva versiones históricas: Archiva solo las versiones no actuales de los objetos para ahorrar costos de almacenamiento y mantener la versión más reciente fácilmente accesible.
  • Limpieza de objetos borrados: Automatiza la eliminación permanente de los objetos que borraron los usuarios, lo que libera espacio en el bucket.
  • Protege los datos activos: Asegúrate de que las acciones, como establecer conservaciones temporales, se apliquen solo a los objetos activos, lo que evita la modificación accidental de las versiones archivadas o borradas.
Productos aplicables
  • Cloud Storage
Ruta storage.buckets/lifecycle.rule.condition.isLive
Operador ==
Valor
  • False
Tipo Booleano
Controles relacionados de NIST-800-53
  • SI-12
Controles relacionados del perfil de CRI
  • PR.IP-2.1
  • PR.IP-2.2
  • PR.IP-2.3
Información relacionada

Aplica el control de versiones para los buckets de Cloud Storage

ID de control de Google GCS-CO-6.7
Categoría Recomendado
Descripción

Asegúrate de que todos los buckets de Cloud Storage tengan habilitado el control de versiones. Los casos de uso incluyen lo siguiente:

  • Protección y recuperación de datos: Protege contra la pérdida accidental de datos evitando el reemplazo y permitiendo la recuperación de datos borrados o modificados.
  • Cumplimiento y auditoría: Mantén un historial de todas las ediciones de objetos para fines de cumplimiento normativo o auditoría interna.
  • Control de versiones: Realiza un seguimiento de los cambios en los archivos y los conjuntos de datos, lo que permite la colaboración y la reversión a versiones anteriores si es necesario.
Productos aplicables
  • Cloud Storage
Ruta storage.buckets/versioning.enabled
Operador !=
Valor
  • True
Tipo Booleano
Controles relacionados de NIST-800-53
  • SI-12
Controles relacionados del perfil de CRI
  • PR.IP-2.1
  • PR.IP-2.2
  • PR.IP-2.3
Información relacionada

Aplica propietarios para los buckets de Cloud Storage

ID de control de Google GCS-CO-6.8
Categoría Recomendado
Descripción

Asegúrate de que google_storage_bucket.labels tenga una expresión para un propietario.
Productos aplicables
  • Cloud Storage
Ruta storage.buckets/labels.owner
Operador notexists
Valor
  • []
Tipo Extendido
Controles relacionados de NIST-800-53
  • SI-12
Controles relacionados del perfil de CRI
  • PR.IP-2.1
  • PR.IP-2.2
  • PR.IP-2.3
Información relacionada

Habilita el registro de las actividades clave de Cloud Storage

ID de control de Google GCS-CO-7.4
Categoría Recomendado
Descripción

Habilita el registro adicional en torno a objetos de almacenamiento particulares según su caso de uso. Por ejemplo, registra el acceso a los buckets de datos sensibles para que puedas rastrear quién obtuvo acceso y cuándo. Cuando habilites el registro adicional, ten en cuenta el volumen de registros que podrías generar.
Productos aplicables
  • Cloud Storage
Controles relacionados de NIST-800-53
  • AU-2
  • AU-3
  • AU-8
  • AU-9
Controles relacionados del perfil de CRI
  • DM.ED-7.1
  • DM.ED-7.2
  • DM.ED-7.3
  • DM.ED-7.4
  • PR.IP-1.4
Información relacionada

¿Qué sigue?