Job ibridi e trigger di job comprendono un insieme di metodi API asincroni che ti consentono di analizzare i payload di dati inviati da praticamente qualsiasi origine per rilevare informazioni sensibili e quindi archiviare i risultati in Google Cloud. I job ibridi ti consentono di scrivere i tuoi crawler di dati che si comportano e forniscono dati in modo simile ai metodi di ispezione dell'archiviazione di Sensitive Data Protection.
Utilizzando i job ibridi, puoi trasmettere dati da qualsiasi origine a Sensitive Data Protection. Sensitive Data Protection esamina i dati alla ricerca di informazioni sensibili o PII, quindi salva i risultati dell'analisi in una risorsa di job Sensitive Data Protection. Puoi esaminare i risultati della scansione nell'API o nella UI della console di Sensitive Data Protection oppure puoi specificare le azioni da eseguire dopo la scansione, ad esempio salvare i dati dei risultati dell'ispezione in una tabella BigQuery o inviare una notifica Pub/Sub.
Il flusso di lavoro dei job ibridi è riassunto nel seguente diagramma:
Questo argomento concettuale descrive i job ibridi e i trigger di job e il loro funzionamento. Per scoprire come implementare job ibridi e trigger di job, vedi Ispezione dei dati esterni mediante job ibridi.
Quando utilizzare i job ibridi
Ecco alcuni casi d'uso comuni:
- Ispeziona i dati in ambienti ibridi e multi-cloud: trasmetti i dati in streaming da database on-premise, macchine virtuali o altri fornitori di servizi cloud a Sensitive Data Protection durante l'archiviazione dei risultati in Google Cloud.
- Centralizzare i report di conformità multiorigine: aggrega i risultati dell'ispezione di crawler personalizzati e microservizi distribuiti in un'unica tabella BigQuery per una governance unificata dei rischi.
- Sanitizza i dati durante le migrazioni al cloud: ispeziona, convalida e monitora i contenuti sensibili durante la migrazione dei set di dati dai sistemi legacy a Google Cloud.
Informazioni sugli ambienti ibridi
Gli ambienti "ibridi" sono comuni nelle organizzazioni. Molte organizzazioni archiviano ed elaborano dati sensibili utilizzando una combinazione dei seguenti elementi:
- Altri cloud provider
- Server on-premise o altri repository di dati
- Sistemi di archiviazione non nativi, ad esempio sistemi in esecuzione all'interno di una macchina virtuale
- App web e per dispositivi mobili
- Soluzioni basate suGoogle Cloud
Utilizzando i job ibridi, Sensitive Data Protection può ispezionare i dati inviati da una qualsiasi di queste origini. Di seguito sono riportati alcuni scenari di esempio:
- Esamina i dati archiviati in Amazon Relational Database Service (RDS), MySQL in esecuzione all'interno di una macchina virtuale o in un database on-premise.
- Esamina e tokenizza i dati durante la migrazione da on-premise al cloud o tra produzione, sviluppo e analisi.
- Ispeziona e oscurizza le transazioni da un'applicazione web o mobile prima di archiviare i dati a riposo.
Opzioni di ispezione
Come descritto in dettaglio in Tipi di metodi, quando vuoi ispezionare i contenuti per individuare dati sensibili, Sensitive Data Protection fornisce tre opzioni predefinite:
- Ispezione dei metodi di contenuti: utilizzando l'ispezione dei contenuti, trasmetti piccoli payload di dati a Sensitive Data Protection insieme alle istruzioni su cosa ispezionare. Sensitive Data Protection esamina i dati alla ricerca di contenuti sensibili e PII, quindi ti restituisce i risultati della scansione.
- Ispezione dei metodi di archiviazione: utilizzando l'ispezione dell'archiviazione, Sensitive Data Protection ispeziona un repository di archiviazione basato su Google Cloud, ad esempio un database BigQuery, un bucket Cloud Storage o un tipo Datastore. Specifichi a Sensitive Data Protection cosa ispezionare e cosa cercare, poi Sensitive Data Protection esegue un job che esegue la scansione del repository. Al termine della scansione, Sensitive Data Protection salva un riepilogo dei risultati della scansione nel job. Puoi anche specificare che i risultati vengano inviati a un altro Google Cloud prodotto per l'analisi, ad esempio una tabella BigQuery separata.
- Ispezione dei job ibridi: i job ibridi offrono i vantaggi di entrambi i due metodi precedenti. Ti consentono di trasmettere dati in streaming come faresti con i metodi di contenuti, ottenendo al contempo l'archiviazione, la visualizzazione e le azioni dei job di ispezione dell'archiviazione. Tutta la configurazione dell'ispezione viene gestita all'interno di Sensitive Data Protection, senza richiedere configurazioni aggiuntive sul lato client. I job ibridi possono essere utili per analizzare sistemi di archiviazione non nativi come un database in esecuzione in una macchina virtuale (VM), on-premise o su un altro cloud. I metodi ibridi possono essere utili anche per ispezionare i sistemi di elaborazione, come i carichi di lavoro di migrazione, o anche per il proxy della comunicazione da servizio a servizio. Sebbene anche i metodi dei contenuti possano farlo, i metodi ibridi forniscono il backend di archiviazione dei risultati che può aggregare i dati in più chiamate API, così non devi farlo tu.
Informazioni sui job ibridi e sui trigger di job
Un job ibrido è effettivamente un ibrido di metodi di contenuti e metodi di archiviazione. Il flusso di lavoro di base per l'utilizzo di job ibridi e trigger di job è il seguente:
- Scrivi uno script o crea un flusso di lavoro che invia i dati a Sensitive Data Protection per l'ispezione insieme ad alcuni metadati.
- Configura e crea una risorsa o un trigger di job ibrido e attivalo in modo che si attivi quando riceve dati.
- Lo script o il flusso di lavoro viene eseguito lato client e invia i dati a
Sensitive Data Protection sotto forma di richiesta
hybridInspect. I dati includono un messaggio di attivazione e l'identificatore del job o del trigger del job che attiva l'ispezione. - Sensitive Data Protection ispeziona i dati in base ai criteri impostati nel job o nel trigger ibrido.
- Sensitive Data Protection salva i risultati della scansione nella risorsa del job ibrido, insieme ai metadati che fornisci. Puoi esaminare i risultati utilizzando l'interfaccia utente di Sensitive Data Protection nella console Google Cloud .
- Se vuoi, Sensitive Data Protection può eseguire azioni post-scansione, ad esempio salvare i dati dei risultati dell'ispezione in una tabella BigQuery o inviarti una notifica via email o Pub/Sub.
Un trigger di job ibrido ti consente di creare, attivare e interrompere i job in modo da poter attivare le azioni ogni volta che ne hai bisogno. Se il tuo script o codice invia dati che includono l'identificatore del trigger del job ibrido, non devi aggiornarlo ogni volta che viene avviato un nuovo job.
Scenari tipici di job ibridi
I job ibridi sono adatti a obiettivi come i seguenti:
- Esegui una scansione una tantum di un database al di fuori di Google Cloud come parte di un controllo a campione trimestrale dei database.
- Monitora tutti i nuovi contenuti aggiunti quotidianamente a un database che Sensitive Data Protection non supporta in modo nativo.
- Scansiona i dati in entrata in un database, controllando al contempo la modalità di partizionamento dei dati.
- Monitora il traffico in una rete utilizzando Sensitive Data Protection Filter for Envoy (un filtro HTTP WebAssembly per i proxy sidecar Envoy) per identificare il movimento problematico di dati sensibili.
Per informazioni su come affrontare questi scenari, consulta Scenari tipici di ispezione ibrida.
Tipi di metadati che puoi fornire
Questa sezione descrive i tipi di metadati che puoi allegare ai dati esterni che vuoi esaminare o ai risultati.
Puoi impostare i metadati ai seguenti livelli:
Metadati in un job ibrido o in un trigger di job ibrido
Questa sezione descrive i tipi di metadati che puoi collegare a un job ibrido o a un trigger di job ibrido.
Etichette obbligatorie
Nel job ibrido o nel trigger del job ibrido, puoi specificare un elenco di etichette obbligatorie che devono essere incluse in tutte le richieste di ispezione ibrida che invii.
Tutte le richieste per quel job ibrido o trigger di job ibrido che non includono queste
etichette obbligatorie vengono rifiutate. Per maggiori informazioni, consulta la sezione Richiedere etichette dalle richieste
hybridInspect.
Etichette facoltative
Puoi specificare le coppie chiave-valore da allegare a tutti i risultati
di un job ibrido o di un trigger di job ibrido. Ad esempio, se vuoi che tutti i risultati di un
job ibrido abbiano l'etichetta "env"="prod", specifica questa
coppia chiave-valore quando crei il job ibrido.
Opzioni per i dati tabulari
Puoi specificare le colonne che sono identificatori di riga (chiavi primarie) per gli oggetti tabella nei tuoi dati. Se le colonne specificate sono presenti nella tabella, i valori
delle colonne indicate vengono inclusi insieme a ciascun risultato, in modo da poter risalire
alla riga da cui proviene il risultato. Queste opzioni tabellari si applicano solo alle richieste
che inviano dati tabellari come un formato item.table o
byteItem
come CSV.
Se conosci le chiavi primarie in anticipo, puoi impostarle come campi identificativi quando crei il job ibrido o il trigger del job ibrido. Puoi elencare fino a tre nomi di colonne nel campo hybridOptions.tableOptions.identifyingFields.
Metadati in una richiesta hybridInspect
Questa sezione descrive i tipi di metadati che puoi allegare a una
richiesta hybridInspect. I metadati che invii in una richiesta hybridInspect vengono
applicati solo a quella richiesta.
Dettagli container
Ogni richiesta che invii a un job ibrido o a un trigger di job ibrido
può specificare i dettagli sull'origine dati,
inclusi elementi come fullPath, rootPath, relativePath, type,
version e altri. Ad esempio, se stai analizzando le tabelle di un database,
potresti impostare i campi nel seguente modo:
{
"hybridItem": {
"item": {...},
"findingDetails": {
"containerDetails": {
"fullPath": "10.0.0.20/database1/table1",
"relativePath": "table1",
"rootPath": "10.0.0.20/database1",
"type": "postgres",
"version": "9.6"
},
"labels": {...}
}
}
}
Non puoi impostare i dettagli del container a livello di job ibrido o trigger di job ibrido.
Etichette obbligatorie
Se imposti etichette obbligatorie durante la creazione di un job ibrido o di un trigger di job ibrido,
qualsiasi richiesta hybridInspect che invii a quel job ibrido o a quel trigger di job ibrido
deve includere queste etichette obbligatorie. Per saperne di più, vedi Richiedere
etichette dalle richieste
di hybridInspect.
Etichette facoltative
In ogni richiesta hybridInspect, puoi specificare le coppie chiave-valore da allegare
a eventuali risultati della richiesta. Questo metodo consente di allegare etichette diverse
a ogni richiesta hybridInspect.
Opzioni per i dati tabulari
Puoi specificare le colonne che sono identificatori di riga (chiavi primarie) per gli oggetti tabella nei tuoi dati. Se le colonne specificate sono presenti nella tabella, i valori
delle colonne indicate vengono inclusi insieme a ciascun risultato, in modo da poter risalire
alla riga da cui proviene il risultato. Queste opzioni tabellari si applicano solo alle richieste
che inviano dati tabellari come un formato item.table o
byteItem
come CSV.
Se non conosci le chiavi primarie in anticipo, non devi impostarle a livello di job ibrido o trigger di job ibrido. Puoi impostarli nella richiesta
hybridInspect insieme ai dati tabulari da esaminare. I campi
che elenchi a livello di job ibrido o trigger di job ibrido vengono combinati con quelli
che elenchi nella richiesta hybridInspect.
Azioni supportate
Come altri job di Sensitive Data Protection, i job ibridi supportano le azioni. Non tutte le azioni si applicano ai lavori ibridi. Di seguito sono riportate le azioni attualmente supportate, insieme a informazioni sul loro funzionamento. Tieni presente che con le azioni Pub/Sub, email e Cloud Monitoring, i risultati vengono resi disponibili al termine del job.
- Salva i risultati in Sensitive Data Protection e Salva i risultati in BigQuery: i risultati vengono salvati in una risorsa Sensitive Data Protection o in una tabella BigQuery, rispettivamente. Queste azioni funzionano con i job ibridi in modo simile a come funzionano con altri tipi di job, con una differenza importante: con i job ibridi, i risultati vengono resi disponibili durante l'esecuzione del job; con altri tipi di job, i risultati vengono resi disponibili al termine del job.
Invia Pub/Sub: al termine di un job, verrà emesso un messaggio Pub/Sub.
Invia email: al termine di un job, verrà inviato un messaggio email.
Pubblica su Cloud Monitoring: al termine di un job, i relativi risultati vengono pubblicati su Monitoring.
Riepilogo
Di seguito sono riportate alcune funzionalità e vantaggi chiave dell'utilizzo di job ibridi e trigger di job:
- I job ibridi ti consentono di trasmettere dati in streaming a Sensitive Data Protection da praticamente qualsiasi origine, on-premise o sul cloud.
- I trigger di job ibridi si attivano quando Sensitive Data Protection riceve un flusso di dati che include un messaggio di attivazione e l'identificatore del trigger di job.
- Puoi attendere il completamento della scansione di ispezione oppure interrompere il job manualmente. I risultati dell'ispezione vengono salvati in Sensitive Data Protection o in BigQuery, indipendentemente dal fatto che tu consenta al job di terminare o lo interrompa in anticipo.
- I risultati della scansione per l'ispezione di Sensitive Data Protection da un trigger di job ibrido vengono salvati in una risorsa di job ibrido all'interno di Sensitive Data Protection.
- Puoi esaminare i risultati della scansione di ispezione visualizzando la risorsa del trigger del job all'interno di Sensitive Data Protection.
- Puoi anche chiedere a Sensitive Data Protection di inviare, utilizzando un'azione, i risultati del job ibrido a un database BigQuery e di inviarti una notifica via email o Pub/Sub.
Passaggi successivi
- Per scoprire come utilizzare i job ibridi e i trigger di job per ricevere i dati da ispezionare, consulta Invio di dati esterni a Sensitive Data Protection utilizzando i job ibridi.