Job e trigger di job

Un job è un'azione eseguita da Sensitive Data Protection per scansionare i contenuti alla ricerca di dati sensibili o calcolare il rischio di reidentificazione. Sensitive Data Protection crea ed esegue una risorsa job ogni volta che richiedi l'ispezione dei tuoi dati.

Al momento esistono due tipi di job di Sensitive Data Protection:

  • I job di ispezione esaminano i tuoi contenuti alla ricerca di dati sensibili in base ai tuoi criteri e generano report di riepilogo su dove e che tipo di dati sensibili esistono.
  • I job di analisi dei rischi analizzano i dati anonimizzati e restituiscono metriche sulla probabilità che i dati possano essere reidentificati.

Puoi pianificare l'esecuzione dei job di Sensitive Data Protection creando trigger di job. Un trigger di job è un evento che automatizza la creazione di job di Sensitive Data Protection per scansionare i repository di archiviazione Google Cloud , inclusi i bucket Cloud Storage, le tabelle BigQuery e i tipi di Datastore.

I trigger dei job consentono di pianificare i job di scansione impostando gli intervalli di attivazione di ogni trigger. Possono essere configurati per cercare nuovi risultati dall'ultima esecuzione della scansione per monitorare le modifiche o le aggiunte ai contenuti o per generare report sui risultati aggiornati. I trigger pianificati vengono eseguiti in un intervallo che imposti, da 1 a 60 giorni.

Quando utilizzare i trigger di job

Ecco alcuni casi d'uso comuni:

  • Automatizza le scansioni di conformità ricorrenti: pianifica scansioni di ispezione regolari nei bucket Cloud Storage e nelle tabelle BigQuery per mantenere una visibilità continua sui dati sensibili appena archiviati.
  • Ottimizza i costi di ispezione dello spazio di archiviazione dinamico: configura le regole del periodo di tempo sui trigger dei job per analizzare solo i contenuti aggiunti o modificati dal ciclo di scansione precedente.
  • Monitora la deviazione dei dati in corso nei database di produzione: monitora i cambiamenti nell'esposizione dei dati sensibili nel tempo generando riepiloghi periodici dei risultati per le revisioni della postura di rischio.
  • Coordinamento con pipeline di dati basate su eventi: attiva i job di ispezione in risposta agli eventi di caricamento di Cloud Storage o ai milestone delle pipeline ETL automatizzate.

Passaggi successivi

Per saperne di più su come creare, modificare ed eseguire job e trigger di job, consulta i seguenti argomenti:

Inoltre, è disponibile la seguente guida rapida:

L'oggetto JobTrigger

Un trigger di job è rappresentato nell'API DLP dall'oggetto JobTrigger.

Campi di configurazione del trigger di job

Ogni JobTrigger contiene diversi campi di configurazione, tra cui:

  • Il nome e il nome visualizzato del trigger, nonché una descrizione.
  • Una raccolta di oggetti Trigger, ognuno dei quali contiene un oggetto Schedule, che definisce la ricorrenza della scansione in secondi.
  • Un oggetto InspectJobConfig, che contiene le informazioni di configurazione per il job attivato.
  • Un'enumerazione Status, che indica se l'attivatore è attualmente attivo.
  • Campi timestamp che rappresentano i tempi di creazione, aggiornamento e ultima esecuzione.
  • Una raccolta di oggetti Error, se ne sono stati rilevati quando è stato attivato il trigger.

Metodi di attivazione dei job

Ogni oggetto JobTrigger include anche diversi metodi integrati. Utilizzando questi metodi, puoi:

Latenza del job

Non sono previsti obiettivi del livello di servizio (SLO) garantiti per i job e i trigger dei job. La latenza è influenzata da diversi fattori, tra cui la quantità di dati da scansionare, il repository di archiviazione sottoposto a scansione, il tipo e il numero di infoType che stai scansionando, la regione in cui viene elaborato il job e le risorse di computing disponibili in quella regione. Pertanto, la latenza dei job di ispezione non può essere determinata in anticipo.

Per ridurre la latenza dei job, puoi provare a:

  • Se il campionamento è disponibile per il job o il trigger di job, attivalo.

  • Evita di attivare infoType non necessari. Sebbene i seguenti infoType siano utili in determinati scenari, possono rendere l'esecuzione delle richieste molto più lenta rispetto alle richieste che non li includono:

    • PERSON_NAME
    • FEMALE_NAME
    • MALE_NAME
    • FIRST_NAME
    • LAST_NAME
    • DATE_OF_BIRTH
    • LOCATION
    • STREET_ADDRESS
    • ORGANIZATION_NAME

  • Specifica sempre gli infoType in modo esplicito. Non utilizzare un elenco di infoType vuoto.

  • Se possibile, utilizza una regione di elaborazione diversa.

Se i problemi di latenza con i job persistono dopo aver provato queste tecniche, valuta la possibilità di utilizzare richieste content.inspect o content.deidentify anziché i job. Questi metodi sono coperti dall'accordo sul livello del servizio. Per ulteriori informazioni, consulta l'Accordo sul livello del servizio di Sensitive Data Protection.

Limita le scansioni ai nuovi contenuti

Puoi configurare il trigger del job in modo che imposti automaticamente la data del periodo di tempo per i file archiviati in Cloud Storage o BigQuery. Quando imposti l'oggetto TimespanConfig per la compilazione automatica, Sensitive Data Protection analizza solo i dati aggiunti o modificati dall'ultima esecuzione del trigger:

...
  timespan_config {
        enable_auto_population_of_timespan_config: true
      }
...

Per l'ispezione di BigQuery, nell'analisi vengono incluse solo le righe risalenti ad almeno tre ore prima. Consulta il problema noto relativo a questa operazione.

Attiva i job al caricamento dei file

Oltre al supporto per i trigger di job, integrato in Sensitive Data Protection,Google Cloud include anche una serie di altri componenti che puoi utilizzare per integrare o attivare i job di Sensitive Data Protection. Ad esempio, puoi utilizzare Cloud Run Functions per attivare una scansione di Sensitive Data Protection ogni volta che un file viene caricato su Cloud Storage.

Per informazioni su come configurare questa operazione, consulta Automazione della classificazione dei dati caricati su Cloud Storage.