Nesta página, descrevemos e comparamos dois serviços de Proteção de Dados Sensíveis que ajudam a entender seus dados e ativar fluxos de trabalho de governança de dados: o serviço de descoberta e o serviço de inspeção.
Descoberta de dados sensíveis
O serviço de descoberta monitora dados em toda a organização. Esse serviço é executado continuamente e descobre, classifica e cria perfis de dados automaticamente. A descoberta pode ajudar você a entender o local e a natureza dos dados que está armazenando, incluindo recursos de dados que você talvez não conheça. Os dados desconhecidos (às vezes chamados de dados de sombra) normalmente não passam pelo mesmo nível de governança de dados e gerenciamento de riscos que os dados conhecidos.
Você configura a descoberta em vários escopos. É possível definir programações de criação de perfil diferentes para subconjuntos distintos dos dados. Também é possível excluir subconjuntos de dados que não precisam de criação de perfil.
Saída da verificação de descoberta: perfis de dados
A saída de uma verificação de descoberta é um conjunto de perfis de dados para cada recurso de dados no escopo. Por exemplo, uma verificação de descoberta de dados do BigQuery ou do Cloud SQL gera perfis de dados nos níveis de projeto, tabela e coluna.
Um perfil de dados contém métricas e insights sobre o recurso analisado. Ele inclui as classificações de dados (ou infoTypes), níveis de sensibilidade, níveis de risco de dados, tamanho dos dados, formato dos dados e outros elementos que descrevem a natureza dos dados e a postura de segurança de dados (o nível de segurança dos dados). É possível usar perfis de dados para tomar decisões fundamentadas sobre como proteger seus dados, por exemplo, definindo políticas de acesso na tabela.
Considere uma coluna do BigQuery chamada ccn, em que cada linha contém um
número de cartão de crédito exclusivo e não há valores nulos. O perfil de dados gerado no nível da coluna terá os seguintes detalhes:
| Nome de exibição | Valor |
|---|---|
Field ID |
ccn |
Data risk |
High |
Sensitivity |
High |
Data type |
TYPE_STRING |
Policy tags |
No |
Free text score |
0 |
Estimated uniqueness |
High |
Estimated null proportion |
Very low |
Last profile generated |
DATE_TIME |
Predicted infoType |
CREDIT_CARD_NUMBER |
Além disso, esse perfil no nível da coluna faz parte de um perfil no nível da tabela, que fornece insights como o local de dados, o status de criptografia e se a tabela é compartilhada publicamente. No console do Google Cloud , também é possível ver as entradas de registro do Cloud Logging para a tabela e os principais do IAM com papéis para a tabela.
Para ver uma lista completa de métricas e insights disponíveis em perfis de dados, consulte Referência de métricas.
Quando usar a descoberta
Ao planejar sua abordagem de gerenciamento de riscos de dados, recomendamos que você comece com a descoberta. O serviço de descoberta ajuda você a ter uma visão ampla dos seus dados e ativar alertas, relatórios e correção de problemas.
Veja alguns casos de uso comuns:
- Tenha ampla visibilidade em ambientes de nuvem: verifique e crie perfis de todos os recursos de dados em uma organização, pasta ou projeto continuamente, sem criar jobs de verificação individuais.
- Descubra dados ocultos e repositórios não gerenciados: detecte tabelas e buckets recém-criados ou não classificados que não têm governança ou controles de acesso adequados.
- Priorizar iniciativas de segurança com pontuação de riscos: concentre os recursos de correção e proteção em repositórios de dados identificados com alta sensibilidade e altas pontuações de risco de dados.
- Identificar candidatos para inspeção profunda: identifique tabelas e buckets de armazenamento com altas pontuações de texto livre que contenham comentários ou avaliações não estruturados que exijam verificação granular.
Inspeção de dados sensíveis
O serviço de inspeção realiza uma verificação exaustiva de um único recurso para localizar cada instância individual de dados sensíveis. Uma inspeção produz uma descoberta para cada instância detectada.
Os jobs de inspeção oferecem um conjunto avançado de opções de configuração para ajudar você a identificar os dados que quer inspecionar. Por exemplo, é possível ativar a amostragem para limitar os dados a serem inspecionados a um determinado número de linhas (para dados do BigQuery) ou a determinados tipos de arquivo (para dados do Cloud Storage). Também é possível segmentar um período específico em que os dados foram criados ou modificados.
Ao contrário da descoberta, que monitora continuamente seus dados, uma inspeção é uma operação sob demanda. No entanto, é possível programar jobs de inspeção recorrentes chamados de gatilhos de job.
Resultado da verificação de inspeção: descobertas
Cada descoberta inclui detalhes como o local da instância detectada, o infoType em potencial e a certeza (também chamada de probabilidade) de que a descoberta corresponde ao infoType. Dependendo das suas configurações, também é possível receber a string real a que a descoberta se refere. Essa string é chamada de citação na Proteção de Dados Sensíveis.
Para uma lista completa de detalhes incluídos em uma descoberta de inspeção, consulte
Finding.
Quando usar a inspeção
Veja alguns casos de uso comuns:
- Verificar texto não estruturado e campos de formato livre: localize cada instância específica de informações de identificação pessoal (PII) em comentários de clientes, formulários de feedback, tíquetes de suporte e repositórios de documentos.
- Realizar auditorias de conformidade pontuais em um único recurso: gere um relatório detalhado de descobertas que registre os locais exatos de bytes e linhas de todos os itens sensíveis em uma tabela ou um bucket de destino.
- Inspecionar fluxos de dados híbridos e multicloud: transmita payloads diretamente de servidores locais, pipelines de ETL ou nuvens externas para gerar relatórios de descobertas centralizados no Google Cloud.
- Acionar fluxos de trabalho automatizados de quarentena e alerta: publique as descobertas detectadas no Pub/Sub ou salve-as diretamente em tabelas do BigQuery para impulsionar a correção orientada por eventos.
Quando não usar a inspeção
Inspecionar um recurso não é útil se as duas condições a seguir se aplicarem. Uma verificação de descoberta pode ajudar você a decidir se uma verificação de inspeção é necessária.
- Você tem apenas dados estruturados no recurso. Ou seja, não há colunas de dados de formato livre, como comentários ou avaliações de usuários.
- Você já conhece os infoTypes armazenados nesse recurso.
Por exemplo, suponha que os perfis de dados de uma verificação de descoberta indiquem que uma
determinada tabela do BigQuery não tem colunas com dados não estruturados,
mas tem uma coluna de números de cartão de crédito exclusivos. Nesse caso, inspecionar
números de cartão de crédito na tabela não é útil. Uma inspeção produzirá uma
descoberta para cada item na coluna. Se você tiver 1 milhão de linhas e cada linha
contiver 1 número de cartão de crédito, um job de inspeção produzirá 1 milhão de descobertas
para o infoType CREDIT_CARD_NUMBER. Neste exemplo, a inspeção não é
necessária porque a verificação de descoberta já indica que a
coluna contém números de cartão de crédito exclusivos.
Residência, processamento e armazenamento de dados
A descoberta e a inspeção são compatíveis com os requisitos de residência de dados:
- O serviço de descoberta processa os dados onde eles estão e armazena os perfis de dados gerados na mesma região ou multirregião dos dados analisados. Para mais informações, consulte Considerações sobre residência de dados.
- Ao inspecionar dados em um sistema de armazenamento do Google Cloud , o
serviço de inspeção processa os dados na mesma região em que eles
estão armazenados e salva o job de inspeção nessa região. Ao inspecionar
dados por um job híbrido ou por um
método
content, o serviço de inspeção permite especificar onde ele deve processar seus dados. Para mais informações, consulte Como os dados são armazenados.
Resumo da comparação: serviços de descoberta e inspeção
| Discovery | Inspeção | |
|---|---|---|
| Vantagens |
|
|
| Custo |
10 TB custam aproximadamente US$300 por mês no modo de consumo. |
10 TB custam aproximadamente US$10.000 por verificação. |
| Fontes de dados compatíveis | BigLake BigQuery Variáveis de ambiente do Cloud Run functions Variáveis de ambiente de revisão do serviço do Cloud Run Cloud SQL Cloud Storage Vertex AI Amazon S3 Armazenamento de Blobs do Azure |
BigQuery Cloud Storage Datastore Híbrido (qualquer origem)1 |
| Escopos compatíveis |
|
Uma única tabela do BigQuery, um bucket do Cloud Storage ou um tipo do Datastore. |
| Modelos de inspeção integrada | Sim | Sim |
| InfoTypes integrados e personalizados | Sim | Sim |
| Resultado da verificação | Visão geral de alto nível (perfis de dados) de todos os dados compatíveis. | Descobertas concretas de dados sensíveis no recurso inspecionado. |
| Salvar resultados no BigQuery | Sim | Sim |
| Enviar como aspectos para o Knowledge Catalog | Sim | Não |
| Publicar resultados no Security Command Center | Sim | Sim |
| Publicar descobertas no Google Security Operations | Sim para descoberta no nível da organização e da pasta | Não |
| Publicar no Pub/Sub | Sim | Sim |
| Suporte à residência de dados | Sim | Sim |
1 A inspeção híbrida tem um modelo de preços diferente. Para mais informações, consulte Inspeção de dados de qualquer origem .
A seguir
- Conheça as estratégias recomendadas para mitigar riscos de dados (próximo documento desta série)