Jobs e acionadores de jobs

Um job é uma ação que a Proteção de Dados Sensíveis executa para verificar se há dados sensíveis no conteúdo ou calcular o risco de reidentificação. A Proteção de Dados Sensíveis cria e executa um recurso de job sempre que você pede para inspecionar os dados.

No momento, há dois tipos de jobs de Proteção de Dados Sensíveis:

  • Jobs de inspeção inspecionam o conteúdo de dados confidenciais de acordo com os critérios e geram relatórios resumidos de onde e de que tipo para dados confidenciais atuais.
  • Jobs de análise de risco analisam dados desidentificados e retornam métricas sobre a probabilidade de reidentificação dos dados.

É possível programar quando a Proteção de Dados Sensíveis executa jobs criando gatilhos de job. Um gatilho de job é um evento que automatiza a criação de jobs da Proteção de Dados Sensíveis para verificar repositórios de armazenamento do Google Cloud , incluindo buckets do Cloud Storage, tabelas do BigQuery e tipos do Datastore.

Os gatilhos de jobs permitem programar jobs de verificação definindo intervalos em que cada gatilho é desativado. Eles podem ser configurados para procurar novas descobertas desde a última verificação para ajudar a monitorar alterações ou adições ao conteúdo ou para gerar relatórios de descobertas atualizados. Os gatilhos programados são executados em um intervalo definido por você, de 1 a 60 dias.

Quando usar gatilhos de jobs

Veja alguns casos de uso comuns:

  • Automatizar verificações de conformidade recorrentes: programe verificações de inspeção regulares em buckets do Cloud Storage e tabelas do BigQuery para manter visibilidade contínua dos dados sensíveis recém-armazenados.
  • Otimizar os custos de inspeção no armazenamento dinâmico: configure regras de período em gatilhos de jobs para verificar apenas o conteúdo que foi adicionado ou modificado desde o ciclo de verificação anterior.
  • Monitorar o desvio de dados em andamento em bancos de dados de produção: acompanhe as mudanças na exposição de dados sensíveis ao longo do tempo gerando resumos periódicos de descobertas para revisões de postura de risco.
  • Coordenação com pipelines de dados orientados por eventos: acione jobs de inspeção em resposta a eventos de upload do Cloud Storage ou marcos de pipeline de ETL automatizados.

Próximas etapas

Encontre mais informações sobre como criar, editar e executar jobs e gatilhos de job nos seguintes tópicos:

Além disso, o seguinte guia de início rápido está disponível:

O objeto JobTrigger

Um gatilho de job é representado na API DLP pelo objeto JobTrigger.

Campos de configuração do gatilho de job

Cada JobTrigger contém vários campos de configuração, incluindo:

  • o nome do gatilho, o nome de exibição e uma descrição;
  • uma coleção de objetos Trigger, cada um contendo um objeto Schedule, que define a recorrência da verificação em segundos.
  • Um objeto InspectJobConfig, que contém as informações de configuração do job acionado.
  • Uma enumeração de Status, que indica se o gatilho está ativo no momento;
  • campos de carimbo de data/hora que representam as datas de criação, atualização e última execução;
  • uma coleção de objetos Error, se alguma tiver sido encontrada quando o gatilho foi ativado.

Métodos de gatilhos de jobs

Cada objeto JobTrigger também inclui vários métodos integrados. Com esses métodos, é possível:

Latência do job

Não há objetivos de nível de serviço (SLO) garantidos para jobs e gatilhos de job. A latência é afetada por vários fatores, incluindo a quantidade de dados a serem verificados, o repositório de armazenamento que está sendo verificado, o tipo e o número de infoTypes que você está procurando, a região em que o job é processado e os recursos de computação disponíveis nessa região. Portanto, a latência dos jobs de inspeção não pode ser determinada com antecedência.

Para ajudar a reduzir a latência do job, tente o seguinte:

  • Se a amostragem estiver disponível para o job ou gatilho de jobs, ative-a.

  • Evite ativar infoTypes desnecessários. Embora os infoTypes a seguir sejam úteis em determinados cenários, eles podem fazer com que as solicitações sejam executadas de maneira muito mais lenta do que as solicitações que não os incluem:

    • PERSON_NAME
    • FEMALE_NAME
    • MALE_NAME
    • FIRST_NAME
    • LAST_NAME
    • DATE_OF_BIRTH
    • LOCATION
    • STREET_ADDRESS
    • ORGANIZATION_NAME

  • Sempre especifique explicitamente os infoTypes. Não use uma lista de infoTypes vazias.

  • Se possível, use uma região de processamento diferente.

Se você ainda tiver problemas de latência com jobs depois de tentar essas técnicas, use solicitações content.inspect ou content.deidentify em vez de jobs. Esses métodos estão cobertos pelo Contrato de Nível de Serviço. Para mais informações, consulte o Contrato de nível de serviço da Proteção de Dados Sensíveis.

Limitar as verificações apenas a conteúdo novo

É possível configurar o gatilho de job para definir automaticamente a data do período para arquivos armazenados no Cloud Storage ou no BigQuery. Quando você define o objeto TimespanConfig para preenchimento automático, a Proteção de Dados Sensíveis verifica apenas os dados que foram adicionados ou modificados desde a última execução do gatilho:

...
  timespan_config {
        enable_auto_population_of_timespan_config: true
      }
...

Na inspeção do BigQuery, são incluídas apenas as linhas com mais de três horas. Consulte o problema conhecido relacionado a essa operação.

Acionar jobs ao carregar arquivos

Além do suporte para gatilhos de jobs, que é integrado à Proteção de Dados Sensíveis, oGoogle Cloud também tem vários outros componentes que podem ser usados para integrar ou acionar jobs da Proteção de Dados Sensíveis. Por exemplo, é possível usar as funções do Cloud Run para acionar uma verificação da Proteção de Dados Sensíveis sempre que um arquivo for enviado para o Cloud Storage.

Para saber como configurar essa operação, consulte Como automatizar a classificação de dados enviados para o Cloud Storage.