Controles do Cloud Storage para casos de uso de IA generativa

Este documento inclui as práticas recomendadas e diretrizes para o Cloud Storage ao executar cargas de trabalho de IA generativa que usam Google Cloud. Use o Cloud Storage com a Vertex AI para armazenar dados de treinamento, artefatos de modelo e dados de produção.

Considere os seguintes casos de uso do Cloud Storage com a Vertex AI:

  • Armazenar dados de treinamento: a Vertex AI permite armazenar seus conjuntos de dados de treinamento em buckets do Cloud Storage. Usar o Cloud Storage oferece várias vantagens:
    • O Cloud Storage pode processar conjuntos de dados de qualquer tamanho, permitindo treinar modelos com grandes quantidades de dados sem limitações de armazenamento.
    • É possível definir controles de acesso e criptografia granulares nos buckets do Cloud Storage para garantir a proteção dos dados de treinamento sensíveis.
    • O Cloud Storage permite rastrear mudanças e reverter para versões anteriores dos dados, fornecendo trilhas de auditoria valiosas e facilitando experimentos de treinamento reproduzíveis.
    • A Vertex AI se integra perfeitamente ao Cloud Storage, permitindo que você acesse seus dados de treinamento na plataforma.
  • Armazenar artefatos de modelo: é possível armazenar artefatos de modelo treinado, como arquivos de modelo, configurações de hiperparâmetros e registros de treinamento, em buckets do Cloud Storage. Com o Cloud Storage, é possível fazer o seguinte:
    • Mantenha todos os artefatos do modelo no Cloud Storage como um repositório centralizado para acessar e gerenciar com facilidade.
    • Rastreie e gerencie diferentes versões dos seus modelos, facilitando comparações e rollbacks, se necessário.
    • Conceda acesso a colegas de equipe e colaboradores a buckets específicos do Cloud Storage para compartilhar modelos com eficiência.
  • Armazenar dados de produção: para modelos usados em produção, o Cloud Storage pode armazenar os dados que estão sendo enviados ao modelo para previsão. Por exemplo, você pode usar o Cloud Storage para fazer o seguinte:
    • Armazenar dados e interações do usuário para recomendações personalizadas em tempo real.
    • Mantenha as imagens para processamento e classificação on demand usando seus modelos.
    • Mantenha os dados de transação para identificação de fraude em tempo real usando seus modelos.
  • Integração com outros serviços: o Cloud Storage se integra perfeitamente a outros serviços do Google Cloud usados em fluxos de trabalho da Vertex AI, como:
    • Dataflow para simplificar pipelines de pré-processamento e transformação de dados.
    • BigQuery para acesso a grandes conjuntos de dados armazenados no BigQuery para treinamento de modelo e inferência.
    • Funções do Cloud Run para ações com base em previsões de modelo ou mudanças de dados em buckets do Cloud Storage.
  • Gerenciar custos: o Cloud Storage oferece um modelo de preços de pagamento por uso, ou seja, você paga apenas pelo armazenamento que usa. Isso oferece eficiência de custos, especialmente para grandes conjuntos de dados.
  • Ativar alta disponibilidade e durabilidade: o Cloud Storage garante que seus dados estejam altamente disponíveis e protegidos contra falhas ou interrupções, garantindo confiabilidade e acesso robusto aos seus recursos de ML.
  • Ative o suporte multirregional: armazene seus dados em várias regiões do Cloud Storage geograficamente mais próximas dos usuários ou aplicativos, melhorando o desempenho e reduzindo a latência para acesso aos dados e previsões de modelos.

Controles obrigatórios do Cloud Storage

Recomendamos fortemente os seguintes controles ao usar o Cloud Storage.

Bloquear o acesso público aos buckets do Cloud Storage

ID de controle do Google GCS-CO-4.1
Categoria Obrigatório
Descrição

A restrição booleana storage.publicAccessPrevention impede o acesso a recursos atuais e futuros pela Internet. Ele desativa e bloqueia as listas de controle de acesso (ACLs) e as permissões do Identity and Access Management (IAM) que concedem acesso a allUsers e allAuthenticatedUsers.
Produtos aplicáveis
  • Serviço de política da organização
  • Cloud Storage
Caminho constraints/storage.publicAccessPrevention
Operador ==
Valor
  • True
Tipo Booleano
Controles relacionados do NIST-800-53
  • AC-3
  • AC-17
  • AC-20
Controles relacionados ao perfil de CRI
  • PR.AC-3.1
  • PR.AC-3.2
  • PR.AC-4.1
  • PR.AC-4.2
  • PR.AC-4.3
  • PR.AC-6.1
  • PR.PT-3.1
  • PR.PT-4.1
Informações relacionadas

Usar o acesso uniforme no bucket

ID de controle do Google GCS-CO-4.2
Categoria Obrigatório
Descrição

A restrição booleana storage.uniformBucketLevelAccess exige que os buckets usem o acesso uniforme no nível do bucket. Com o acesso uniforme no nível do bucket, você só usa permissões do Identity and Access Management (IAM) no nível do bucket para conceder acesso aos recursos do Cloud Storage.
Produtos aplicáveis
  • Serviço de política da organização
  • Cloud Storage
Caminho constraints/storage.uniformBucketLevelAccess
Operador ==
Valor
  • True
Tipo Booleano
Controles relacionados do NIST-800-53
  • AC-3
  • AC-17
  • AC-20
Controles relacionados ao perfil de CRI
  • PR.AC-3.1
  • PR.AC-3.2
  • PR.AC-4.1
  • PR.AC-4.2
  • PR.AC-4.3
  • PR.AC-6.1
  • PR.PT-3.1
  • PR.PT-4.1
Informações relacionadas

Proteger chaves HMAC para contas de serviço

ID de controle do Google GCS-CO-6.9
Categoria Obrigatório
Descrição

Uma chave HMAC é um tipo de credencial de longa duração associada a uma conta de serviço ou de usuário no Cloud Storage. Use uma chave HMAC para criar assinaturas que são incluídas em solicitações ao Cloud Storage. Uma assinatura prova que um usuário ou uma conta de serviço autorizou uma solicitação.

Ao contrário das credenciais de curta duração (como. Os tokens OAuth 2.0), as chaves HMAC não expiram automaticamente e permanecem válidas até serem revogadas manualmente. As chaves HMAC são credenciais de alto risco. Se forem comprometidas, elas vão fornecer acesso persistente aos seus recursos. É preciso garantir que mecanismos adequados estejam em vigor para ajudar a protegê-los.
Produtos aplicáveis
  • Cloud Storage
Caminho storage.projects.hmacKeys/id
Operador Exists
Valor
  • []
Tipo String
Controles relacionados do NIST-800-53
  • SC-12
  • SC-13
Controles relacionados ao perfil de CRI
  • PR.DS-1.1
  • PR.DS-1.2
  • PR.DS-2.1
  • PR.DS-2.2
  • PR.DS-5.1
Informações relacionadas

Detectar a enumeração de buckets do Cloud Storage por contas de serviço

ID de controle do Google GCS-CO-7.2
Categoria Obrigatório
Descrição

As contas de serviço são identidades não humanas projetadas para aplicativos, e o comportamento delas é previsível e automatizado. Normalmente, as contas de serviço não precisam detalhar os intervalos, porque já estão mapeados. Portanto, se você detectar uma conta de serviço tentando recuperar uma lista de todos os buckets do Cloud Storage, investigue imediatamente. A enumeração de reconhecimento é usada com frequência como uma técnica de reconhecimento por um agente mal-intencionado que teve acesso à conta de serviço.
Produtos aplicáveis
  • Cloud Storage
  • Registros de auditoria do Cloud
Operador ==
Valor
  • storage.bucket.list
Tipo String
Controles relacionados do NIST-800-53
  • AU-2
  • AU-3
  • AU-8
  • AU-9
Controles relacionados ao perfil de CRI
  • DM.ED-7.1
  • DM.ED-7.2
  • DM.ED-7.3
  • DM.ED-7.4
  • PR.IP-1.4
Informações relacionadas

Detectar modificações na política do Identity and Access Management (IAM) dos buckets do Cloud Storage por contas de serviço

ID de controle do Google GCS-CO-7.3
Categoria Obrigatório
Descrição

Configure um alerta que detecte quando a política do IAM de um bucket do Cloud Storage for modificada para conceder acesso público. Esse alerta é acionado quando os principais allUsers ou allAuthenticatedUsers são adicionados à política do IAM de um bucket. Esse alerta é um evento crítico de alta gravidade porque pode expor todos os dados no bucket. Investigue esse alerta imediatamente para confirmar se a mudança foi autorizada ou se é um sinal de configuração incorreta ou de um ator mal-intencionado.

No alerta, defina o atributo JSON data.protoPayload.serviceData.policyData.bindingDeltas.member como allUsers ou allAuthenticatedUsers e a ação como ADD.
Produtos aplicáveis
  • Cloud Storage
  • Registros de auditoria do Cloud
Controles relacionados do NIST-800-53
  • AU-2
  • AU-3
  • AU-8
  • AU-9
Controles relacionados ao perfil de CRI
  • DM.ED-7.1
  • DM.ED-7.2
  • DM.ED-7.3
  • DM.ED-7.4
  • PR.IP-1.4
Informações relacionadas

Dependendo dos seus casos de uso de IA generativa, recomendamos que você use controles adicionais. Esses controles incluem retenção de dados e outros controles orientados por políticas com base nas políticas da sua empresa.

Verificar se a política de retenção do bucket do Cloud Storage usa o bloqueio de bucket

ID de controle do Google GCS-CO-6.1
Categoria Recomendado
Descrição

Dependendo dos seus requisitos regulamentares, verifique se cada política de retenção de bucket do Cloud Storage está bloqueada. Defina o período de armazenamento para um intervalo de tempo que atenda aos seus requisitos.
Produtos aplicáveis
  • Cloud Storage
Caminho storage.buckets/retentionPolicy.isLocked
Operador !=
Valor
  • True
Tipo Booleano
Controles relacionados do NIST-800-53
  • SI-12
Controles relacionados ao perfil de CRI
  • PR.IP-2.1
  • PR.IP-2.2
  • PR.IP-2.3
Informações relacionadas

Definir regras de ciclo de vida para a ação SetStorageClass

ID de controle do Google GCS-CO-6.11
Categoria Recomendado
Descrição

Aplique regras de ciclo de vida a cada bucket do Cloud Storage que tenha um tipo de ação SetStorageClass.
Produtos aplicáveis
  • Cloud Storage
Caminho storage.buckets/lifecycle.rule.action.type
Operador ==
Valor
  • SetStorageClass
Tipo String
Controles relacionados do NIST-800-53
  • SI-12
Controles relacionados ao perfil de CRI
  • PR.IP-2.1
  • PR.IP-2.2
  • PR.IP-2.3
Informações relacionadas

Definir regiões permitidas para classes de armazenamento

ID de controle do Google GCS-CO-6.12
Categoria Recomendado
Descrição
Verifique se as classes de armazenamento da configuração do ciclo de vida não estão dentro das classificações regionais permitidas.
Produtos aplicáveis
  • Cloud Storage
Caminho storage.buckets/lifecycle.rule.action.storageClass
Operador nin
Valor
  • MULTI_REGIONAL
  • REGIONAL
Tipo String
Controles relacionados do NIST-800-53
  • SI-12
Controles relacionados ao perfil de CRI
  • PR.IP-2.1
  • PR.IP-2.2
  • PR.IP-2.3
Informações relacionadas

Ativar o gerenciamento do ciclo de vida para buckets do Cloud Storage

ID de controle do Google GCS-CO-6.13
Categoria Recomendado
Descrição

Verifique se o gerenciamento do ciclo de vida do Cloud Storage está ativado e configurado. O controle do ciclo de vida contém a configuração do ciclo de vida do armazenamento. Verifique se as políticas nessa configuração atendem aos seus requisitos.
Produtos aplicáveis
  • Cloud Storage
Caminho storage.buckets/lifecycle
Operador Exists
Valor
  • []
Tipo Objeto
Controles relacionados do NIST-800-53
  • SI-12
Controles relacionados ao perfil de CRI
  • PR.IP-2.1
  • PR.IP-2.2
  • PR.IP-2.3
Informações relacionadas

Ativar regras de gerenciamento do ciclo de vida para buckets do Cloud Storage

ID de controle do Google GCS-CO-6.14
Categoria Recomendado
Descrição

Verifique se as regras de gerenciamento do ciclo de vida do Cloud Storage estão ativadas e configuradas. O controle de regras contém a configuração do ciclo de vida do armazenamento. Verifique se as políticas nessa configuração atendem aos seus requisitos.
Produtos aplicáveis
  • Cloud Storage
Caminho storage.buckets/lifecycle.rule
Operador Empty
Valor
  • []
Tipo Matriz
Controles relacionados do NIST-800-53
  • SI-12
Controles relacionados ao perfil de CRI
  • PR.IP-2.1
  • PR.IP-2.2
  • PR.IP-2.3
Informações relacionadas

Revisar e avaliar retenções temporárias em objetos ativos

ID de controle do Google GCS-CO-6.16
Categoria Recomendado
Descrição

Identifique todos os objetos em que "temporaryHold" está definido como "TRUE" e inicie um processo de investigação e validação. Essa avaliação é adequada para os seguintes casos de uso:

  • Guarda de documentos:para obedecer aos requisitos legais de armazenamento de dados, uma retenção temporária pode ser usada para evitar a exclusão de dados sensíveis que podem ser relevantes para investigações ou litígios em andamento.
  • Prevenção contra perda de dados:para evitar a exclusão acidental de dados importantes, a retenção temporária pode ser usada como uma medida de segurança para proteger informações comerciais críticas.
  • Moderação de conteúdo: para revisar conteúdo potencialmente sensível ou inadequado antes que ele se torne acessível ao público, aplique uma retenção temporária ao conteúdo enviado para o Cloud Storage para inspeção e decisões de moderação.
Produtos aplicáveis
  • Cloud Storage
Caminho storage.objects/temporaryHold
Operador ==
Valor
  • TRUE
Tipo Booleano
Controles relacionados do NIST-800-53
  • SI-12
Controles relacionados ao perfil de CRI
  • PR.IP-2.1
  • PR.IP-2.2
  • PR.IP-2.3
Informações relacionadas

Aplicar políticas de retenção em buckets do Cloud Storage

ID de controle do Google GCS-CO-6.17
Categoria Recomendado
Descrição

Verifique se todos os buckets do Cloud Storage têm uma política de retenção.
Produtos aplicáveis
  • Cloud Storage
Caminho storage.buckets/retentionPolicy.retentionPeriod
Operador agesmaller
Valor
  • [90,"DAY","AFTER","yyyy-MM-dd'T'HH:mm:ss'Z'"]
Tipo int64
Controles relacionados do NIST-800-53
  • SI-12
Controles relacionados ao perfil de CRI
  • PR.IP-2.1
  • PR.IP-2.2
  • PR.IP-2.3
Informações relacionadas

Aplicar tags de classificação para buckets do Cloud Storage

ID de controle do Google GCS-CO-6.18
Categoria Recomendado
Descrição

A classificação de dados é um componente fundamental de qualquer programa de governança de dados e segurança. É essencial aplicar um rótulo de classificação com valores como público, interno, confidencial ou restrito a cada bucket.

Confirme se google_storage_bucket.labels tem uma expressão para classificação e crie uma violação se não tiver.
Produtos aplicáveis
  • Cloud Storage
Caminho storage.buckets/labels.classification
Operador notexists
Valor
  • []
Tipo Estendido
Controles relacionados do NIST-800-53
  • SI-12
Controles relacionados ao perfil de CRI
  • PR.IP-2.1
  • PR.IP-2.2
  • PR.IP-2.3
Informações relacionadas

Aplicar buckets de registros para buckets do Cloud Storage

ID de controle do Google GCS-CO-6.3
Categoria Recomendado
Descrição

Verifique se cada bucket do Cloud Storage inclui um bucket de registros.
Produtos aplicáveis
  • Cloud Storage
Caminho storage.buckets/logging.logBucket
Operador notexists
Valor
  • []
Tipo String
Controles relacionados do NIST-800-53
  • AU-2
  • AU-3
  • AU-8
  • AU-9
Controles relacionados ao perfil de CRI
  • DM.ED-7.1
  • DM.ED-7.2
  • DM.ED-7.3
  • DM.ED-7.4
  • PR.IP-1.4
Informações relacionadas

Configurar regras de exclusão para buckets do Cloud Storage

ID de controle do Google GCS-CO-6.5
Categoria Recomendado
Descrição

No Cloud Storage, storage.buckets/lifecycle.rule.action.type se refere ao tipo de ação a ser realizada em um objeto específico com base em uma regra de ciclo de vida em um bucket. Essa configuração ajuda a automatizar o gerenciamento e o ciclo de vida dos dados armazenados na nuvem.

Configure o storage.buckets/lifecycle.rule.action.type para garantir que os objetos sejam excluídos permanentemente do bucket.
Produtos aplicáveis
  • Cloud Storage
Caminho storage.buckets/lifecycle.rule.action.type
Operador ==
Valor
  • Delete
Tipo String
Controles relacionados do NIST-800-53
  • SI-12
Controles relacionados ao perfil de CRI
  • PR.IP-2.1
  • PR.IP-2.2
  • PR.IP-2.3
Informações relacionadas

Verifique se a condição "isLive" é "False" para regras de exclusão

ID de controle do Google GCS-CO-6.6
Categoria Recomendado
Descrição

Para regras de exclusão, verifique se a condição isLive da regra está definida como false.

No Cloud Storage, storage.buckets/lifecycle.rule.condition.isLive é uma condição booleana usada em regras de ciclo de vida para determinar se um objeto é considerado ativo. Esse filtro ajuda a garantir que as ações em uma regra de ciclo de vida sejam aplicadas apenas aos objetos desejados com base no status ativo deles.

Casos de uso:

  • Arquivar versões históricas:arquive apenas versões não atuais de objetos para economizar custos de armazenamento e manter a versão mais recente facilmente acessível.
  • Limpar objetos excluídos:automatize a exclusão permanente de objetos que foram excluídos pelos usuários, liberando espaço no bucket.
  • Proteja dados ativos:garanta que ações como a definição de retenções temporárias sejam aplicadas apenas a objetos ativos, evitando a modificação acidental de versões arquivadas ou excluídas.
Produtos aplicáveis
  • Cloud Storage
Caminho storage.buckets/lifecycle.rule.condition.isLive
Operador ==
Valor
  • False
Tipo Booleano
Controles relacionados do NIST-800-53
  • SI-12
Controles relacionados ao perfil de CRI
  • PR.IP-2.1
  • PR.IP-2.2
  • PR.IP-2.3
Informações relacionadas

Aplicar o controle de versões para buckets do Cloud Storage

ID de controle do Google GCS-CO-6.7
Categoria Recomendado
Descrição

Verifique se todos os buckets do Cloud Storage têm o controle de versão ativado. Os casos de uso incluem o seguinte:

  • Proteção e recuperação de dados:proteja-se contra a perda acidental de dados evitando substituições e permitindo a recuperação de dados excluídos ou modificados.
  • Compliance e auditoria:mantenha um histórico de todas as edições de objetos para fins de compliance regulatório ou auditoria interna.
  • Controle de versões:rastreie mudanças em arquivos e conjuntos de dados, permitindo a colaboração e a reversão para versões anteriores, se necessário.
Produtos aplicáveis
  • Cloud Storage
Caminho storage.buckets/versioning.enabled
Operador !=
Valor
  • True
Tipo Booleano
Controles relacionados do NIST-800-53
  • SI-12
Controles relacionados ao perfil de CRI
  • PR.IP-2.1
  • PR.IP-2.2
  • PR.IP-2.3
Informações relacionadas

Aplicar proprietários para buckets do Cloud Storage

ID de controle do Google GCS-CO-6.8
Categoria Recomendado
Descrição

Verifique se google_storage_bucket.labels tem uma expressão para um proprietário.
Produtos aplicáveis
  • Cloud Storage
Caminho storage.buckets/labels.owner
Operador notexists
Valor
  • []
Tipo Estendido
Controles relacionados do NIST-800-53
  • SI-12
Controles relacionados ao perfil de CRI
  • PR.IP-2.1
  • PR.IP-2.2
  • PR.IP-2.3
Informações relacionadas

Ativar o registro das principais atividades do Cloud Storage

ID de controle do Google GCS-CO-7.4
Categoria Recomendado
Descrição

Ative o registro adicional em torno de objetos de armazenamento específicos com base no caso de uso deles. Por exemplo, registre o acesso a buckets de dados sensíveis para rastrear quem teve acesso e quando. Ao ativar o registro em log adicional, considere o volume de registros que você pode gerar.
Produtos aplicáveis
  • Cloud Storage
Controles relacionados do NIST-800-53
  • AU-2
  • AU-3
  • AU-8
  • AU-9
Controles relacionados ao perfil de CRI
  • DM.ED-7.1
  • DM.ED-7.2
  • DM.ED-7.3
  • DM.ED-7.4
  • PR.IP-1.4
Informações relacionadas

A seguir