Inviare i risultati dell'ispezione della protezione dei dati sensibili a Data Catalog

Questa guida mostra come utilizzare Sensitive Data Protection per ispezionare una tabella BigQuery e inviare i risultati dell'ispezione a Data Catalog.

Puoi anche eseguire la profilazione dei dati, che è diversa da un'operazione di ispezione. Puoi anche inviare i profili dei dati a Knowledge Catalog. Per saperne di più, consulta Aggiungere tag alle tabelle in Knowledge Catalog in base agli insight dei profili dei dati.

Data Catalog è un servizio di gestione dei metadati scalabile che consente di scoprire, gestire e comprendere rapidamente tutti i dati in Google Cloud.

Sensitive Data Protection è integrato in Data Catalog. Quando utilizzi un'azione di Sensitive Data Protection action per ispezionare le tabelle BigQuery alla ricerca di dati sensibili, puoi inviare i risultati direttamente a Data Catalog sotto forma di modello di tag.

Completando i passaggi descritti in questa guida, potrai:

  • Attivare Data Catalog e Sensitive Data Protection.
  • Configurare Sensitive Data Protection per ispezionare una tabella BigQuery.
  • Configurare un'ispezione di Sensitive Data Protection per inviare i risultati dell'ispezione a Data Catalog.

Per saperne di più su Data Catalog, consulta la documentazione di Data Catalog.

Se vuoi inviare i risultati delle operazioni di profilazione dei dati, non i job di ispezione, a Knowledge Catalog, consulta la documentazione relativa alla profilazione di un'organizzazione, una cartella o unprogetto invece.

Costi

In questo documento vengono utilizzati i seguenti componenti fatturabili di Google Cloud:

  • Sensitive Data Protection
  • BigQuery

Per generare una stima dei costi in base all'utilizzo previsto, utilizza il calcolatore prezzi.

I nuovi Google Cloud utenti potrebbero avere diritto a una prova senza costi.

Prima di iniziare

Prima di poter inviare i risultati dell'ispezione di Sensitive Data Protection a Data Catalog, procedi come segue:

  • Passaggio 1: configura la fatturazione.
  • Passaggio 2: crea un nuovo progetto e popola una nuova tabella BigQuery. (Facoltativo)
  • Passaggio 3: attiva Data Catalog.
  • Passaggio 4: attiva Sensitive Data Protection.

Le seguenti sottosezioni trattano ogni passaggio in dettaglio.

Passaggio 1: configura la fatturazione

Se non ne hai già uno, devi prima configurare un account di fatturazione.

Scopri come attivare la fatturazione

Passaggio 2: crea un nuovo progetto e popola una nuova tabella BigQuery (facoltativo)

Se stai configurando questa funzionalità per il lavoro di produzione o hai già una tabella BigQuery che vuoi ispezionare, apri il Google Cloud progetto che contiene la tabella e vai al passaggio 3.

Se stai provando questa funzionalità e vuoi ispezionare i dati di test, crea un nuovo progetto. Per completare questo passaggio, devi disporre del ruolo IAM Project Creator. Scopri di più sui ruoli IAM.

  1. Vai alla pagina Nuovo progetto nella Google Cloud console.

    Nuovo progetto

  2. Nell'elenco a discesa Account di fatturazione, seleziona l'account di fatturazione a cui deve essere addebitato il progetto.
  3. Nell'elenco a discesa Organizzazione, seleziona l'organizzazione in cui vuoi creare il progetto.
  4. Nell'elenco a discesa Località, seleziona l'organizzazione o la cartella in cui vuoi creare il progetto.
  5. Fai clic su Crea per creare il progetto.

Poi scarica e archivia i dati di esempio:

  1. Vai al repository dei tutorial sulle funzioni Cloud Run su GitHub.
  2. Seleziona uno dei file CSV contenenti dati di esempio e scarica il file.
  3. Poi vai a BigQuery nella Google Cloud console.
  4. Seleziona il progetto.
  5. Fai clic su Crea set di dati.
  6. Fai clic su Crea tabella.
  7. Fai clic su Carica e seleziona il file da caricare.
  8. Assegna un nome alla tabella e fai clic su Crea tabella.

Passaggio 3: attiva Data Catalog

Poi attiva Data Catalog per il progetto che contiene la tabella BigQuery che vuoi ispezionare utilizzando Sensitive Data Protection.

Per attivare Data Catalog utilizzando la Google Cloud console:

  1. Registra la tua applicazione per Data Catalog.

    Registra la tua applicazione per Data Catalog

  2. Nella pagina di registrazione, dall'elenco a discesa Crea un progetto, seleziona il progetto che vuoi utilizzare con Data Catalog.
  3. Dopo aver selezionato il progetto, fai clic su Continua.

Data Catalog è ora attivo per il tuo progetto.

Passaggio 4: attiva Sensitive Data Protection

Attiva Sensitive Data Protection per lo stesso progetto per cui hai attivato Data Catalog.

Per attivare Sensitive Data Protection utilizzando la Google Cloud console:

  1. Registra la tua applicazione per Sensitive Data Protection.

    Registra la tua applicazione per Sensitive Data Protection

  2. Nella pagina di registrazione, seleziona lo stesso progetto scelto nel passaggio precedente dall'elenco a discesa Crea un progetto.
  3. Dopo aver selezionato il progetto, fai clic su Continua.

Sensitive Data Protection è ora attivo per il tuo progetto.

Configurare ed eseguire un job di ispezione di Sensitive Data Protection

Puoi configurare ed eseguire un job di ispezione di Sensitive Data Protection utilizzando la Google Cloud console o l'API DLP.

I modelli di tag di Data Catalog vengono archiviati nello stesso progetto e nella stessa regione della tabella BigQuery. Se stai ispezionando una tabella di un altro progetto, devi concedere il ruolo Proprietario di TagTemplate di Data Catalog (roles/datacatalog.tagTemplateOwner) all'agente di servizio di Sensitive Data Protection nel progetto in cui esiste la tabella BigQuery.

Google Cloud Console

Per configurare un job di ispezione di una tabella BigQuery utilizzando Sensitive Data Protection:

  1. Nella sezione Sensitive Data Protection della Google Cloud console, vai alla pagina Crea job o trigger di job.

    Vai a Crea job o trigger di job

  2. Inserisci le informazioni sul job di Sensitive Data Protection e fai clic su Continua per completare ogni passaggio:

    • Per Passaggio 1: scegli i dati di input, assegna un nome al job inserendo un valore nel campo Nome. In Località, scegli BigQuery dal menu Tipo di archiviazione, quindi inserisci le informazioni per la tabella da ispezionare. La sezione Campionamento è preconfigurata per eseguire un'ispezione di esempio sui tuoi dati. Puoi modificare i campi Limita righe per e Numero massimo di righe per salvare le risorse se hai una grande quantità di dati. Per maggiori dettagli, consulta Scegliere i dati di input.

    • (Facoltativo) In Passaggio 2: configura il rilevamento, configura i tipi di dati da cercare, chiamati "infoTypes." Ai fini di questa procedura dettagliata, mantieni selezionati gli infoType predefiniti. Per maggiori dettagli, consulta Configurare il rilevamento.

    • Per Passaggio 3: aggiungi azioni, attiva Salva in Data Catalog.

    • (Facoltativo) Per Passaggio 4: pianifica, ai fini di questa procedura dettagliata, lascia il menu impostato su Nessuno in modo che l'ispezione venga eseguita una sola volta. Per scoprire di più sulla pianificazione dei job di ispezione ripetuti, consulta Pianificare.

  3. Fai clic su Crea. Il job viene eseguito immediatamente.

API DLP

In questa sezione configurerai ed eseguirai un job di ispezione di Sensitive Data Protection.

Il job di ispezione che configuri qui indica a Sensitive Data Protection di ispezionare i dati BigQuery di esempio descritti nel passaggio 2 sopra o i tuoi dati BigQuery. La configurazione del job che specifichi è anche il punto in cui indichi a Sensitive Data Protection di salvare i risultati dell'ispezione in Data Catalog.

Passaggio 1: annota l'identificatore del progetto

  1. Vai alla Google Cloud console.

    Vai alla Google Cloud console

  2. Fai clic su Seleziona.

  3. Nell'elenco a discesa Seleziona da, seleziona l'organizzazione per cui hai attivato Data Catalog.

  4. In ID, copia l'ID progetto del progetto che contiene i dati che vuoi ispezionare. Questo è il progetto descritto nel passaggio Impostare i repository di archiviazione in precedenza in questa pagina.

  5. In Nome, fai clic sul progetto per selezionarlo.

Passaggio 2: apri Explorer API e configura il job

  1. Vai a Explorer API nella pagina di riferimento per il metodo dlpJobs.create. Per mantenere disponibili queste istruzioni, fai clic con il tasto destro del mouse sul seguente link e aprilo in una nuova scheda o finestra:

    Apri Explorer API

  2. Nella casella parent, inserisci quanto segue, dove project-id è l'ID progetto annotato in precedenza nel passaggio precedente: 

    projects/project-id

    Poi copia il seguente JSON. Seleziona i contenuti del campo Corpo della richiesta in Explorer API, quindi incolla il JSON per sostituire i contenuti. Assicurati di sostituire i segnaposto project-id, bigquery-dataset-name e bigquery-table-name con l'ID progetto effettivo e i nomi del set di dati e della tabella BigQuery, rispettivamente.

    {
  "inspectJob":
  {
    "storageConfig":
    {
      "bigQueryOptions":
      {
        "tableReference":
        {
          "projectId": "project-id",
          "datasetId": "bigquery-dataset-name",
          "tableId": "bigquery-table-name"
        }
      }
    },
    "inspectConfig":
    {
      "infoTypes":
      [
        {
          "name": "EMAIL_ADDRESS"
        },
        {
          "name": "PERSON_NAME"
        },
        {
          "name": "US_SOCIAL_SECURITY_NUMBER"
        },
        {
          "name": "PHONE_NUMBER"
        }
      ],
      "includeQuote": true,
      "minLikelihood": "UNLIKELY",
      "limits":
      {
        "maxFindingsPerRequest": 100
      }
    },
    "actions":
    [
      {
        "publishFindingsToCloudDataCatalog": {}
      }
    ]
  }
}

Per scoprire di più sulle opzioni di ispezione disponibili, consulta Ispezione dello spazio di archiviazione e dei database per l'individuazione di dati sensibili. Per un elenco completo dei tipi di informazioni che Sensitive Data Protection può ispezionare, consulta la documentazione di riferimento di infoType.

Passaggio 3: esegui la richiesta per avviare il job di ispezione

Dopo aver configurato il job seguendo i passaggi precedenti, fai clic su Esegui per inviare la richiesta. Se la richiesta riesce, viene visualizzata una risposta con un codice di riuscita e un oggetto JSON che indica lo stato del job di Sensitive Data Protection appena creato.

La risposta alla richiesta di ispezione include l'ID job del job di ispezione come chiave "name" e lo stato attuale del job di ispezione come chiave "state". Poiché hai appena inviato la richiesta, lo stato del job in quel momento è "PENDING".

Controllare lo stato del job di ispezione di Sensitive Data Protection

Dopo aver inviato la richiesta di ispezione, il job di ispezione inizia immediatamente.

Google Cloud Console

Per controllare lo stato del job di ispezione:

  1. Nella Google Cloud console, apri Sensitive Data Protection.

    Vai a Sensitive Data Protection

  2. Fai clic sulla scheda Job e trigger di job, quindi su Tutti i job.

Il job appena eseguito sarà probabilmente in cima all'elenco. Controlla la colonna Stato per assicurarti che lo stato sia Completato.

Puoi fare clic sull'ID job del job per visualizzarne i risultati. Ogni rilevatore di infoType elencato nella pagina dei dettagli del job è seguito dal numero di corrispondenze trovate nei contenuti.

API DLP

Per controllare lo stato del job di ispezione:

  1. Vai a Explorer API nella pagina di riferimento per il metodo dlpJobs.get facendo clic sul pulsante seguente:

    Apri Explorer API

  2. Nella casella name, digita il nome del job dalla risposta JSON alla richiesta di ispezione nel seguente formato: 

    projects/project-id/dlpJobs/job-id
     L'ID job è nel formato i-1234567890123456789.

  3. Per inviare la richiesta, fai clic su Esegui.

Se la chiave "state" dell'oggetto JSON della risposta indica che il job è "DONE", il job di ispezione è terminato.

Per visualizzare il resto del JSON della risposta, scorri verso il basso la pagina. In "result" > "infoTypeStats", ogni tipo di informazioni elencato deve avere un "count" corrispondente. In caso contrario, assicurati di aver inserito correttamente il JSON e che il percorso o la località dei dati sia corretto.

Al termine del job di ispezione, puoi passare alla sezione successiva di questa guida per visualizzare i risultati dell'ispezione in Security Command Center.

Visualizzare i risultati dell'ispezione di Sensitive Data Protection in Data Catalog

Poiché hai indicato a Sensitive Data Protection di inviare i risultati del job di ispezione a Data Catalog, ora puoi visualizzare i tag e il modello di tag creati automaticamente nell'UI di Data Catalog:

  1. Vai alla pagina Data Catalog nella Google Cloud console.

    Vai a Data Catalog

  2. Cerca la tabella che hai ispezionato.
  3. Fai clic sui risultati che corrispondono alla tua tabella per visualizzare i metadati della tabella.

Lo screenshot seguente mostra la visualizzazione dei metadati di Data Catalog di una tabella di esempio:

Risultati di Sensitive Data Protection in Data Catalog.

Riepilogo dell'ispezione

I risultati di Sensitive Data Protection sono inclusi in forma di riepilogo per la tabella che hai ispezionato. Questo riepilogo include i conteggi totali di infoType, nonché i dati di riepilogo sul job di ispezione, tra cui date e ID risorsa del job.

Vengono elencati tutti gli infoTypes ispezionati. Quelli con risultati mostrano un conteggio maggiore di zero.

Pulizia

Per evitare che al tuo Google Cloud account vengano addebitati costi relativi alle risorse utilizzate in questo argomento, procedi in uno dei seguenti modi, a seconda che tu abbia utilizzato dati di esempio o i tuoi dati:

Elimina il progetto

Il modo più semplice per eliminare la fatturazione è eliminare il progetto che hai creato seguendo le istruzioni fornite in questo argomento.

Per eliminare il progetto:

  1. Nella Google Cloud console, vai alla pagina Progetti.

    Vai alla pagina Progetti

  2. Nell'elenco dei progetti, seleziona quello che vuoi eliminare e fai clic su Elimina progetto. Dopo aver selezionato la casella di controllo accanto al nome del progetto, fai clic su Elimina progetto
  3. Nella finestra di dialogo, digita l'ID progetto, quindi fai clic su Chiudi per eliminare il progetto.

Quando elimini il progetto utilizzando questo metodo, vengono eliminati anche il job di Sensitive Data Protection e il bucket Cloud Storage che hai creato. Non è necessario seguire le istruzioni nelle sezioni seguenti.

Eliminare il job o il trigger di job di Sensitive Data Protection

Se hai ispezionato i tuoi dati, elimina il job di ispezione o il trigger di job appena creato.

Google Cloud Console

  1. Nella Google Cloud console, apri Sensitive Data Protection.

    Vai a Sensitive Data Protection

  2. Fai clic sulla scheda Job e trigger di job, quindi sulla scheda Trigger di job.

  3. Nella colonna Azioni relativa al trigger di job da eliminare, fai clic sul menu Altre azioni (visualizzato come tre puntini disposti in verticale) , quindi fai clic su Elimina.

Se vuoi, puoi anche eliminare i dettagli del job per il job che hai eseguito. Fai clic sulla scheda Tutti i job, quindi nella colonna Azioni relativa al job da eliminare, fai clic sul menu Altre azioni (visualizzato come tre puntini disposti in verticale) , quindi su Elimina.

API DLP

  1. Vai a Explorer API nella pagina di riferimento per il metodo dlpJobs.delete facendo clic sul pulsante seguente:

    Apri Explorer API

  2. Nella casella name, digita il nome del job dalla risposta JSON alla richiesta di ispezione, che ha il seguente formato: 

    projects/project-id/dlpJobs/job-id
     L'ID job è nel formato i-1234567890123456789.

Se hai creato altri job di ispezione o se vuoi assicurarti di aver eliminato correttamente il job, puoi elencare tutti i job esistenti:

  1. Vai a Explorer API nella pagina di riferimento per il metodo dlpJobs.list facendo clic sul pulsante seguente:

    Apri Explorer API

  2. Nella casella parent, digita l'identificatore del progetto nel seguente formato, dove project-id è l'identificatore del progetto: 

    projects/project-id

  3. Fai clic su Esegui.

Se nella risposta non sono elencati job, significa che li hai eliminati tutti. Se nella risposta sono elencati job, ripeti la procedura di eliminazione sopra descritta per questi job.

Passaggi successivi