Jobs e acionadores de jobs

Um job é uma ação executada pela Proteção de dados sensíveis para verificar o conteúdo de dados sensíveis ou calcular o risco de reidentificação. A Proteção de Dados Sensíveis cria e executa um recurso de job sempre que você pede para ele inspecionar os dados.

Atualmente, há dois tipos de jobs da Proteção de Dados Sensíveis:

  • Jobs de inspeção inspecionam o conteúdo de dados sensíveis de acordo com os critérios e geram relatórios resumidos de onde e de que tipo de dados sensíveis existem.
  • Jobs de análise de risco analisam dados desidentificados e retornam métricas sobre a probabilidade de reidentificação dos dados.

Programe quando a Proteção de Dados Sensíveis executa jobs criando gatilhos de jobs. Um gatilho de job é um evento que automatiza a criação de jobs da proteção de dados sensíveis para verificar repositórios de armazenamento Google Cloud , incluindo buckets do Cloud Storage, tabelas do BigQuery e tipos do Datastore.

Os gatilhos de jobs permitem programar jobs de verificação definindo intervalos em que cada gatilho é desativado. Eles podem ser configurados para procurar novas descobertas desde a última verificação para ajudar a monitorar alterações ou adições ao conteúdo ou para gerar relatórios de descobertas atualizados. Os gatilhos programados são executados em um intervalo definido por você, de 1 a 60 dias.

Quando usar gatilhos de jobs

Veja alguns casos de uso comuns:

  • Automatize verificações de conformidade recorrentes: programe verificações de inspeção regulares em buckets do Cloud Storage e tabelas do BigQuery para manter a visibilidade contínua dos dados sensíveis recém-armazenados.
  • Otimizar custos de inspeção no armazenamento dinâmico: configure regras de período em gatilhos de jobs para verificar apenas o conteúdo adicionado ou modificado desde o ciclo de verificação anterior.
  • Monitore o desvio de dados contínuo em bancos de dados de produção: acompanhe as mudanças na exposição de dados sensíveis ao longo do tempo gerando resumos periódicos de descobertas para análises de postura de risco.
  • Coordenação com pipelines de dados orientados por eventos: acione jobs de inspeção em resposta a eventos de upload do Cloud Storage ou marcos de pipeline ETL automatizados.

Próximas etapas

Saiba como criar, editar e executar jobs e acionadores de jobs nos seguintes tópicos:

Além disso, o seguinte guia de início rápido está disponível:

O objeto JobTrigger

Um gatilho de job é representado na API DLP pelo objeto JobTrigger.

Campos de configuração do gatilho de job

Cada JobTrigger contém vários campos de configuração, incluindo:

  • o nome do gatilho, o nome de exibição e uma descrição;
  • uma coleção de objetos Trigger, cada um contendo um objeto Schedule, que define a recorrência da verificação em segundos.
  • Um objeto InspectJobConfig, que contém as informações de configuração do job acionado.
  • Uma enumeração de Status, que indica se o gatilho está ativo no momento;
  • campos de carimbo de data/hora que representam as datas de criação, atualização e última execução;
  • uma coleção de objetos Error, se alguma tiver sido encontrada quando o gatilho foi ativado.

Métodos de gatilhos de jobs

Cada objeto JobTrigger também inclui vários métodos integrados. É possível fazer o seguinte com esses métodos:

Latência do job

Não há objetivos de nível de serviço (SLOs) garantidos para jobs e gatilhos de jobs. A latência é afetada por vários fatores, incluindo a quantidade de dados a serem verificados, o repositório de armazenamento que está sendo verificado, o tipo e o número de infoTypes que você está procurando, a região em que o trabalho é processado e os recursos de computação disponíveis nessa região. Portanto, a latência dos jobs de inspeção não pode ser determinada com antecedência.

Para ajudar a reduzir a latência do job, tente o seguinte:

  • Se a amostragem estiver disponível para seu job ou gatilho de jobs, ative-a.

  • Evite ativar infoTypes desnecessários. Embora os seguintes sejam úteis em determinados cenários, esses infoTypes podem fazer com que as solicitações sejam executadas muito mais lentamente do que as que não os incluem:

    • PERSON_NAME
    • FEMALE_NAME
    • MALE_NAME
    • FIRST_NAME
    • LAST_NAME
    • DATE_OF_BIRTH
    • LOCATION
    • STREET_ADDRESS
    • ORGANIZATION_NAME

  • Sempre especifique explicitamente os infoTypes. Não use uma lista de infoTypes vazias.

  • Se possível, use outra região de processamento.

Se você ainda tiver problemas de latência com jobs depois de tentar essas técnicas, use solicitações content.inspect ou content.deidentify em vez de jobs. Esses métodos estão cobertos pelo contrato de nível de serviço. Para mais informações, consulte o Contrato de nível de serviço da Proteção de Dados Sensíveis.

Limitar as verificações apenas a conteúdo novo

É possível configurar o gatilho de jobs para definir automaticamente a data do período dos arquivos armazenados no Cloud Storage ou no BigQuery. Quando você define o objeto TimespanConfig para preenchimento automático, a Proteção de dados sensíveis só verifica os dados adicionados ou modificados desde a última execução do gatilho:

...
  timespan_config {
        enable_auto_population_of_timespan_config: true
      }
...

Na inspeção do BigQuery, são incluídas apenas as linhas com mais de três horas. Consulte o problema conhecido relacionado a essa operação.

Acionar jobs ao carregar arquivos

Além do suporte a acionadores de jobs, que é integrado à Proteção de dados sensíveis, oGoogle Cloud também tem vários outros componentes que podem ser usados para integrar ou acionar jobs da Proteção de dados sensíveis. Por exemplo, é possível usar as funções do Cloud Run para acionar uma verificação da proteção de dados sensíveis sempre que um arquivo for carregado no Cloud Storage.

Para informações sobre como configurar essa operação, consulte Como automatizar a classificação de dados enviados para o Cloud Storage.