Controlos do armazenamento na nuvem para exemplos de utilização da IA generativa

Este documento inclui as práticas recomendadas e as diretrizes para o Cloud Storage quando executa cargas de trabalho de IA generativa que usam Google Cloud. Use o Cloud Storage com a Vertex AI para armazenar dados de preparação, artefactos de modelos e dados de produção.

Considere os seguintes exemplos de utilização do Cloud Storage com o Vertex AI:

Armazenamento de dados de preparação: o Vertex AI permite-lhe armazenar os seus conjuntos de dados de preparação em contentores do Cloud Storage. A utilização do Cloud Storage oferece várias vantagens:
- O Cloud Storage pode processar conjuntos de dados de qualquer tamanho, o que lhe permite formar modelos com grandes quantidades de dados sem limitações de armazenamento.
- Pode definir controlos de acesso detalhados e encriptação nos seus contentores do Cloud Storage para garantir que os seus dados de preparação confidenciais estão protegidos.
- O Cloud Storage permite-lhe acompanhar as alterações e reverter para versões anteriores dos seus dados, fornecendo pistas de auditoria valiosas e facilitando as experiências de preparação reproduzíveis.
- O Vertex AI integra-se perfeitamente com o Cloud Storage, o que lhe permite aceder aos seus dados de preparação na plataforma.
Armazene artefactos do modelo: pode armazenar artefactos do modelo preparado, como ficheiros do modelo, configurações de hiperparâmetros e registos de preparação, em contentores do Cloud Storage. A utilização do Cloud Storage permite-lhe fazer o seguinte:
- Mantenha todos os seus artefactos do modelo no Cloud Storage como um repositório centralizado para aceder e geri-los facilmente.
- Acompanhe e faça a gestão de diferentes versões dos seus modelos, facilitando as comparações e as reversões, se necessário.
- Conceda aos colegas e colaboradores acesso a contentores do Cloud Storage específicos para partilhar modelos de forma eficiente.
Armazenar dados de produção: para modelos usados em produção, o Cloud Storage pode armazenar os dados que estão a ser introduzidos no modelo para previsão. Por exemplo, pode usar o Cloud Storage para fazer o seguinte:
- Armazenar dados e interações dos utilizadores para recomendações personalizadas em tempo real.
- Mantenha as imagens para processamento e classificação a pedido através dos seus modelos.
- Mantenha os dados de transações para a identificação de fraudes em tempo real através dos seus modelos.
Integração com outros serviços: o Cloud Storage integra-se perfeitamente com outros serviços usados em fluxos de trabalho do Vertex AI, como os seguintes:
- Dataflow para simplificar os pipelines de pré-processamento e transformação de dados.
- BigQuery para aceder a grandes conjuntos de dados armazenados no BigQuery para preparação e inferência de modelos.
- Funções do Cloud Run para ações baseadas em previsões de modelos ou alterações de dados em contentores do Cloud Storage.
Faça a gestão dos custos: o Cloud Storage oferece um modelo de preços de pagamento mediante utilização, o que significa que só paga pelo armazenamento que usa. Isto oferece rentabilidade, especialmente para conjuntos de dados grandes.
Ative a alta disponibilidade e a durabilidade: o Cloud Storage garante que os seus dados estão altamente disponíveis e protegidos contra falhas ou interrupções, garantindo a fiabilidade e o acesso robusto aos seus recursos de ML.
Ative o suporte multirregião: armazene os seus dados em várias regiões do Cloud Storage que estejam geograficamente mais próximas dos seus utilizadores ou aplicações, melhorando o desempenho e reduzindo a latência para o acesso aos dados e as previsões dos modelos.

Controlos do Cloud Storage necessários

Os seguintes controlos são vivamente recomendados quando usar o Cloud Storage.

Bloqueie o acesso público a contentores do Cloud Storage

ID de controlo da Google	GCS-CO-4.1
Categoria	Obrigatória
Descrição	A restrição booleana `storage.publicAccessPrevention` impede o acesso a recursos existentes e futuros através da Internet. Desativa e bloqueia as listas de controlo de acesso (ACLs) e as autorizações de gestão de identidade e de acesso (IAM) que concedem acesso ao `allUsers` e ao `allAuthenticatedUsers`.
Produtos aplicáveis	Serviço de políticas da organização Cloud Storage
Caminho	`constraints/storage.publicAccessPrevention`
Operador	`==`
Valor	`True`
Tipo	Booleano
Controlos NIST-800-53 relacionados	AC-3 AC-17 AC-20
Controlos do perfil de CRI relacionados	PR.AC-3.1 PR.AC-3.2 PR.AC-4.1 PR.AC-4.2 PR.AC-4.3 PR.AC-6.1 PR.PT-3.1 PR.PT-4.1
Informações relacionadas	Prevenção de acesso público

Use o acesso uniforme ao nível do contentor

ID de controlo da Google	GCS-CO-4.2
Categoria	Obrigatória
Descrição	A restrição booleana `storage.uniformBucketLevelAccess` requer que os contentores usem o acesso uniforme ao nível do contentor. O acesso uniforme ao nível do contentor permite-lhe usar apenas autorizações da gestão de identidade e de acesso (IAM) ao nível do contentor para conceder acesso aos seus recursos do Cloud Storage.
Produtos aplicáveis	Serviço de políticas da organização Cloud Storage
Caminho	`constraints/storage.uniformBucketLevelAccess`
Operador	`==`
Valor	`True`
Tipo	Booleano
Controlos NIST-800-53 relacionados	AC-3 AC-17 AC-20
Controlos do perfil de CRI relacionados	PR.AC-3.1 PR.AC-3.2 PR.AC-4.1 PR.AC-4.2 PR.AC-4.3 PR.AC-6.1 PR.PT-3.1 PR.PT-4.1
Informações relacionadas	Exija o acesso uniforme ao nível do contentor

Proteja as chaves HMAC para contas de serviço

ID de controlo da Google	GCS-CO-6.9
Categoria	Obrigatória
Descrição	Uma chave HMAC é um tipo de credencial de longa duração associado a uma conta de serviço ou a uma conta de utilizador no Cloud Storage. Use uma chave HMAC para criar assinaturas que são incluídas em pedidos ao Cloud Storage. Uma assinatura prova que um utilizador ou uma conta de serviço autorizou um pedido. Ao contrário das credenciais de curta duração (como Ao contrário dos tokens OAuth 2.0, as chaves HMAC não expiram automaticamente e permanecem válidas até serem revogadas manualmente. As chaves de HMAC são credenciais de alto risco: se forem comprometidas, fornecem acesso persistente aos seus recursos. Tem de garantir que existem mecanismos adequados para ajudar a protegê-los.
Produtos aplicáveis	Cloud Storage
Caminho	`storage.projects.hmacKeys/id`
Operador	`Exists`
Valor	`[]`
Tipo	String
Controlos NIST-800-53 relacionados	SC-12 SC-13
Controlos do perfil de CRI relacionados	PR.DS-1.1 PR.DS-1.2 PR.DS-2.1 PR.DS-2.2 PR.DS-5.1
Informações relacionadas	Faça a gestão das chaves HMAC para contas de serviço

Detete a enumeração de contentores do Cloud Storage por contas de serviço

ID de controlo da Google	GCS-CO-7.2
Categoria	Obrigatória
Descrição	As contas de serviço são identidades não humanas concebidas para aplicações, e o respetivo comportamento é previsível e automatizado. Normalmente, as contas de serviço não precisam de detalhar os contentores, uma vez que já estão mapeados. Por conseguinte, se detetar uma conta de serviço a tentar obter uma lista de todos os contentores do Cloud Storage, investigue-a imediatamente. A enumeração de reconhecimento é frequentemente usada como uma técnica de reconhecimento por um interveniente malicioso que obteve acesso à conta de serviço.
Produtos aplicáveis	Cloud Storage Cloud Audit Logs
Operador	`==`
Valor	`storage.bucket.list`
Tipo	String
Controlos NIST-800-53 relacionados	AU-2 AU-3 AU-8 AU-9
Controlos do perfil de CRI relacionados	DM.ED-7.1 DM.ED-7.2 DM.ED-7.3 DM.ED-7.4 PR.IP-1.4
Informações relacionadas	Registos de auditoria do Cloud com o Cloud Storage

Detete modificações de políticas de gestão de identidade e de acesso (IAM) de contentores do Cloud Storage por contas de serviço

ID de controlo da Google	GCS-CO-7.3
Categoria	Obrigatória
Descrição	Configure um alerta que deteta quando a política de IAM de um contentor do Cloud Storage é modificada para conceder acesso público. Este alerta é acionado quando os principais `allUsers` ou `allAuthenticatedUsers` são adicionados à política de IAM de um contentor. Este alerta é um evento crítico de gravidade elevada porque pode expor todos os dados no contentor. Investigue este alerta imediatamente para confirmar se a alteração foi autorizada ou se é um sinal de uma configuração incorreta ou de um ator malicioso. No alerta, defina o atributo JSON `data.protoPayload.serviceData.policyData.bindingDeltas.member` como `allUsers` ou `allAuthenticatedUsers` e a ação como `ADD`.
Produtos aplicáveis	Cloud Storage Cloud Audit Logs
Controlos NIST-800-53 relacionados	AU-2 AU-3 AU-8 AU-9
Controlos do perfil de CRI relacionados	DM.ED-7.1 DM.ED-7.2 DM.ED-7.3 DM.ED-7.4 PR.IP-1.4
Informações relacionadas	Registos de auditoria do Cloud com o Cloud Storage

Controlos recomendados com base no exemplo de utilização da IA generativa

Consoante os seus exemplos de utilização relacionados com a IA generativa, recomendamos que use controlos adicionais. Estes controlos incluem controlos de retenção de dados e outros controlos orientados por políticas que se baseiam nas políticas da sua empresa.

Certifique-se de que a Política de Retenção do contentor do Cloud Storage usa o bloqueio de contentores

ID de controlo da Google	GCS-CO-6.1
Categoria	Recomendado
Descrição	Consoante os seus requisitos regulamentares, certifique-se de que cada política de retenção de contentores do Cloud Storage está bloqueada. Defina o período de retenção para um período que cumpra os seus requisitos.
Produtos aplicáveis	Cloud Storage
Caminho	`storage.buckets/retentionPolicy.isLocked`
Operador	`!=`
Valor	`True`
Tipo	Booleano
Controlos NIST-800-53 relacionados	SI-12
Controlos do perfil de CRI relacionados	PR.IP-2.1 PR.IP-2.2 PR.IP-2.3
Informações relacionadas	Use e bloqueie políticas de retenção

Defina regras de ciclo de vida para a ação SetStorageClass

ID de controlo da Google	GCS-CO-6.11
Categoria	Recomendado
Descrição	Aplique regras de ciclo de vida a cada contentor do Cloud Storage que tenha um `SetStorageClass` tipo de ação.
Produtos aplicáveis	Cloud Storage
Caminho	`storage.buckets/lifecycle.rule.action.type`
Operador	`==`
Valor	`SetStorageClass`
Tipo	String
Controlos NIST-800-53 relacionados	SI-12
Controlos do perfil de CRI relacionados	PR.IP-2.1 PR.IP-2.2 PR.IP-2.3
Informações relacionadas	Gestão do ciclo de vida de objetos

Defina regiões permitidas para classes de armazenamento

ID de controlo da Google	GCS-CO-6.12
Categoria	Recomendado
Descrição	Certifique-se de que as classes de armazenamento da configuração do ciclo de vida não estão dentro das classificações regionais permitidas.
Produtos aplicáveis	Cloud Storage
Caminho	`storage.buckets/lifecycle.rule.action.storageClass`
Operador	`nin`
Valor	`MULTI_REGIONAL` `REGIONAL`
Tipo	String
Controlos NIST-800-53 relacionados	SI-12
Controlos do perfil de CRI relacionados	PR.IP-2.1 PR.IP-2.2 PR.IP-2.3
Informações relacionadas	Localizações dos contentores Gestão do ciclo de vida de objetos

Ative a gestão do ciclo de vida para contentores do Cloud Storage

ID de controlo da Google	GCS-CO-6.13
Categoria	Recomendado
Descrição	Certifique-se de que a gestão do ciclo de vida do Cloud Storage está ativada e configurada. O controlo do ciclo de vida contém a configuração do ciclo de vida do armazenamento. Verifique se as políticas nesta definição correspondem aos seus requisitos.
Produtos aplicáveis	Cloud Storage
Caminho	`storage.buckets/lifecycle`
Operador	`Exists`
Valor	`[]`
Tipo	Objeto
Controlos NIST-800-53 relacionados	SI-12
Controlos do perfil de CRI relacionados	PR.IP-2.1 PR.IP-2.2 PR.IP-2.3
Informações relacionadas	Gestão do ciclo de vida de objetos

Ative as regras de gestão do ciclo de vida para contentores do Cloud Storage

ID de controlo da Google	GCS-CO-6.14
Categoria	Recomendado
Descrição	Certifique-se de que as regras de gestão do ciclo de vida do Cloud Storage estão ativadas e configuradas. O controlo de regras contém a configuração do ciclo de vida do armazenamento. Verifique se as políticas nesta definição correspondem aos seus requisitos.
Produtos aplicáveis	Cloud Storage
Caminho	`storage.buckets/lifecycle.rule`
Operador	`Empty`
Valor	`[]`
Tipo	Matriz
Controlos NIST-800-53 relacionados	SI-12
Controlos do perfil de CRI relacionados	PR.IP-2.1 PR.IP-2.2 PR.IP-2.3
Informações relacionadas	Gestão do ciclo de vida de objetos

Reveja e avalie retenções temporárias em objetos ativos

ID de controlo da Google	GCS-CO-6.16
Categoria	Recomendado
Descrição	Identifique todos os objetos em que temporaryHold está definido como TRUE e inicie um processo de investigação e validação. Esta avaliação é adequada para os seguintes exemplos de utilização: Retenção legal: para agir em conformidade com os requisitos legais de armazenamento de dados, pode usar a retenção temporária para impedir a eliminação de dados sensíveis que possam ser relevantes para investigações ou litígios em curso. Prevenção contra a perda de dados: para evitar a eliminação acidental de dados importantes, a retenção temporária pode ser usada como uma medida de segurança para proteger informações empresariais críticas. Moderação de conteúdo: para rever conteúdo potencialmente sensível ou impróprio antes de ficar acessível publicamente, aplique uma suspensão temporária ao conteúdo carregado para o Cloud Storage para inspeção adicional e decisões de moderação.
Produtos aplicáveis	Cloud Storage
Caminho	`storage.objects/temporaryHold`
Operador	`==`
Valor	`TRUE`
Tipo	Booleano
Controlos NIST-800-53 relacionados	SI-12
Controlos do perfil de CRI relacionados	PR.IP-2.1 PR.IP-2.2 PR.IP-2.3
Informações relacionadas	Retenções de objetos

Aplique políticas de retenção em contentores do Cloud Storage

ID de controlo da Google	GCS-CO-6.17
Categoria	Recomendado
Descrição	Certifique-se de que todos os contentores do Cloud Storage têm uma política de retenção.
Produtos aplicáveis	Cloud Storage
Caminho	`storage.buckets/retentionPolicy.retentionPeriod`
Operador	`agesmaller`
Valor	`[90,"DAY","AFTER","yyyy-MM-dd'T'HH:mm:ss'Z'"]`
Tipo	int64
Controlos NIST-800-53 relacionados	SI-12
Controlos do perfil de CRI relacionados	PR.IP-2.1 PR.IP-2.2 PR.IP-2.3
Informações relacionadas	Bloqueio de segmentos

Aplique etiquetas de classificação para contentores do Cloud Storage

ID de controlo da Google	GCS-CO-6.18
Categoria	Recomendado
Descrição	A classificação de dados é um componente fundamental de qualquer programa de gestão e segurança de dados. É essencial aplicar uma etiqueta de classificação com valores como público, interno, confidencial ou restrito a cada contentor. Confirme se `google_storage_bucket.labels` tem uma expressão para classificação e crie uma violação se não tiver.
Produtos aplicáveis	Cloud Storage
Caminho	`storage.buckets/labels.classification`
Operador	`notexists`
Valor	`[]`
Tipo	Vista expandida
Controlos NIST-800-53 relacionados	SI-12
Controlos do perfil de CRI relacionados	PR.IP-2.1 PR.IP-2.2 PR.IP-2.3
Informações relacionadas	Etiquetas

Aplique contentores de registos para contentores do Cloud Storage

ID de controlo da Google	GCS-CO-6.3
Categoria	Recomendado
Descrição	Certifique-se de que todos os contentores do Cloud Storage incluem um contentor de registos.
Produtos aplicáveis	Cloud Storage
Caminho	`storage.buckets/logging.logBucket`
Operador	`notexists`
Valor	`[]`
Tipo	String
Controlos NIST-800-53 relacionados	AU-2 AU-3 AU-8 AU-9
Controlos do perfil de CRI relacionados	DM.ED-7.1 DM.ED-7.2 DM.ED-7.3 DM.ED-7.4 PR.IP-1.4
Informações relacionadas	Configure contentores de registos

Configure regras de eliminação para contentores do Cloud Storage

ID de controlo da Google	GCS-CO-6.5
Categoria	Recomendado
Descrição	No Cloud Storage, `storage.buckets/lifecycle.rule.action.type` refere-se ao tipo de ação a tomar num objeto específico com base numa regra do ciclo de vida num contentor. Esta configuração ajuda a automatizar a gestão e o ciclo de vida dos seus dados armazenados na nuvem. Configure a `storage.buckets/lifecycle.rule.action.type` para garantir que os objetos são eliminados permanentemente do contentor.
Produtos aplicáveis	Cloud Storage
Caminho	`storage.buckets/lifecycle.rule.action.type`
Operador	`==`
Valor	`Delete`
Tipo	String
Controlos NIST-800-53 relacionados	SI-12
Controlos do perfil de CRI relacionados	PR.IP-2.1 PR.IP-2.2 PR.IP-2.3
Informações relacionadas	Faça a gestão dos ciclos de vida dos objetos

Certifique-se de que a condição isLive é False para as regras de eliminação

ID de controlo da Google	GCS-CO-6.6
Categoria	Recomendado
Descrição	Para regras de eliminação, certifique-se de que a condição `isLive` da regra está definida como `false`. No Cloud Storage, `storage.buckets/lifecycle.rule.condition.isLive` é uma condição booleana que é usada nas regras do ciclo de vida para determinar se um objeto é considerado publicado. Este filtro ajuda a garantir que as ações numa regra de ciclo de vida são aplicadas apenas aos objetos pretendidos com base no respetivo estado ativo. Exemplos de utilização: Arquivar versões históricas: arquive apenas versões não atuais de objetos para poupar custos de armazenamento, mantendo a versão mais recente facilmente acessível. Limpar objetos eliminados: automatize a eliminação permanente de objetos que foram eliminados pelos utilizadores, libertando espaço no contentor. Proteja dados em direto: certifique-se de que as ações, como a definição de retenções temporárias, são aplicadas apenas a objetos em direto, o que impede a modificação acidental de versões arquivadas ou eliminadas
Produtos aplicáveis	Cloud Storage
Caminho	`storage.buckets/lifecycle.rule.condition.isLive`
Operador	`==`
Valor	`False`
Tipo	Booleano
Controlos NIST-800-53 relacionados	SI-12
Controlos do perfil de CRI relacionados	PR.IP-2.1 PR.IP-2.2 PR.IP-2.3
Informações relacionadas	isLive

Aplique o controlo de versões para contentores do Cloud Storage

ID de controlo da Google	GCS-CO-6.7
Categoria	Recomendado
Descrição	Certifique-se de que todos os contentores do Cloud Storage têm a gestão de versões ativada. Seguem-se alguns exemplos de utilização: Proteção e recuperação de dados: proteja-se contra a perda acidental de dados, impedindo a substituição e permitindo a recuperação de dados eliminados ou modificados. Conformidade e auditoria: mantenha um histórico de todas as edições de objetos para fins de conformidade regulamentar ou auditoria interna. Controlo de versões: acompanhe as alterações aos ficheiros e conjuntos de dados, o que permite a colaboração e a reversão para versões anteriores, se necessário.
Produtos aplicáveis	Cloud Storage
Caminho	`storage.buckets/versioning.enabled`
Operador	`!=`
Valor	`True`
Tipo	Booleano
Controlos NIST-800-53 relacionados	SI-12
Controlos do perfil de CRI relacionados	PR.IP-2.1 PR.IP-2.2 PR.IP-2.3
Informações relacionadas	Controlo de versões de objetos

Aplique proprietários para contentores do Cloud Storage

ID de controlo da Google	GCS-CO-6.8
Categoria	Recomendado
Descrição	Certifique-se de que `google_storage_bucket.labels` tem uma expressão para um proprietário.
Produtos aplicáveis	Cloud Storage
Caminho	`storage.buckets/labels.owner`
Operador	`notexists`
Valor	`[]`
Tipo	Vista expandida
Controlos NIST-800-53 relacionados	SI-12
Controlos do perfil de CRI relacionados	PR.IP-2.1 PR.IP-2.2 PR.IP-2.3
Informações relacionadas	Usar etiquetas de contentores

Ative o registo das principais atividades do Cloud Storage

ID de controlo da Google	GCS-CO-7.4
Categoria	Recomendado
Descrição	Ativar o registo adicional em torno de objetos de armazenamento específicos com base no respetivo exemplo de utilização. Por exemplo, registe o acesso a contentores de dados confidenciais para poder saber quem obteve acesso e quando. Quando ativa o registo adicional, considere o volume de registos que pode gerar.
Produtos aplicáveis	Cloud Storage
Controlos NIST-800-53 relacionados	AU-2 AU-3 AU-8 AU-9
Controlos do perfil de CRI relacionados	DM.ED-7.1 DM.ED-7.2 DM.ED-7.3 DM.ED-7.4 PR.IP-1.4
Informações relacionadas	Registos de auditoria do Cloud com o Cloud Storage

O que se segue?

Reveja os controlos do fluxo de dados.
Veja mais Google Cloud práticas recomendadas de segurança e diretrizes para cargas de trabalho de IA generativa.

Controlos do armazenamento na nuvem para exemplos de utilização da IA generativa Mantenha tudo organizado com as coleções Salve e categorize o conteúdo com base nas suas preferências.