Gestire i prodotti di dati

Questo documento è destinato ai proprietari di prodotti di dati che vogliono aggiornare, eliminare e concedere l'accesso ai prodotti di dati in Knowledge Catalog (precedentemente Dataplex Universal Catalog).

Per saperne di più sull'architettura e sui concetti chiave dei prodotti di dati, consulta Informazioni sui prodotti di dati.

Prima di iniziare

  1. Abilita le API Dataplex e BigQuery.

    Ruoli richiesti per abilitare le API

    Per abilitare le API, devi disporre del ruolo IAM Amministratore utilizzo dei servizi (roles/serviceusage.serviceUsageAdmin), che include l'autorizzazione serviceusage.services.enable. Scopri come concedere i ruoli.

    Abilita le API

Ruoli obbligatori

Per ottenere le autorizzazioni necessarie per gestire i prodotti di dati, chiedi all'amministratore di concederti i seguenti ruoli IAM nel progetto:

Per saperne di più sulla concessione dei ruoli, consulta Gestisci l'accesso a progetti, cartelle e organizzazioni.

Questi ruoli predefiniti contengono le autorizzazioni necessarie per gestire i prodotti di dati. Per vedere quali sono esattamente le autorizzazioni richieste, espandi la sezione Autorizzazioni obbligatorie:

Autorizzazioni obbligatorie

Per gestire i prodotti di dati sono necessarie le seguenti autorizzazioni:

  • Modifica il tipo di aspetto di sistema overview: dataplex.entryGroups.useOverviewAspect
  • Modifica il tipo di aspetto di sistema refresh cadence: dataplex.entryGroups.useRefreshCadenceAspect
  • Approva la richiesta di accesso per un prodotto di dati: dataplex.dataProducts.approve

Potresti anche ottenere queste autorizzazioni con ruoli personalizzati o altri ruoli predefiniti.

Controllo dell'accesso per i modelli BigQuery

L'accesso ai modelli BigQuery all'interno di un prodotto di dati viene gestito tramite le condizioni IAM applicate al criterio IAM del set di dati padre.

Se elimini e poi ricrei un modello BigQuery utilizzando lo stesso nome, Knowledge Catalog ripristina le autorizzazioni precedentemente concesse a gruppi Google o service account tramite il prodotto di dati.

Impostare le autorizzazioni per rendere rilevabile il prodotto di dati

Per consentire ai potenziali consumatori di cercare, visualizzare e richiedere l'accesso a un prodotto di dati, i proprietari del prodotto di dati devono assicurarsi che il prodotto sia rilevabile concedendo i ruoli IAM appropriati alla risorsa del prodotto di dati:

  • Cerca, visualizza e richiedi l'accesso ai prodotti di dati: Dataplex Data Product Consumer (dataplex.dataProductsConsumer)

  • Visualizza le definizioni e i metadati dei prodotti di dati (accesso di sola lettura): Dataplex Data Product Viewer (dataplex.dataProductsViewer)

Gestisci le richieste di accesso ai prodotti di dati

Quando un consumatore di prodotti di dati richiede l'accesso, il proprietario del prodotto di dati riceve una notifica via email. I proprietari possono esaminare, approvare o rifiutare queste richieste utilizzando la console Google Cloud o l'API.

Console

Esaminare le richieste di accesso per un prodotto di dati specifico

  1. Nella console Google Cloud , vai alla pagina Prodotti di dati di Knowledge Catalog.

    Vai a Prodotti di dati

  2. Fai clic sul prodotto dati per il quale vuoi esaminare le richieste di accesso.

  3. Fai clic sulla scheda Gestione delle richieste di accesso.

  4. Seleziona il richiedente la cui richiesta vuoi esaminare.

  5. Fai clic su Azioni e poi su Approva o Rifiuta.

  6. Fai clic su Salva.

Esaminare le richieste di accesso in più prodotti di dati

  1. Nella console Google Cloud , vai alla pagina Workflow di governance del Knowledge Catalog.

    Vai a Workflow di governance

  2. Fai clic sulla scheda Approvazioni in attesa.

  3. (Facoltativo) Filtra l'elenco in base al nome del prodotto dati specifico per isolare le relative richieste.

  4. Seleziona la richiesta di destinazione e fai clic su Approva o Rifiuta.

  5. Fai clic su Salva.

Comportamento post-approvazione

  • Richieste utente: i consumer che hanno richiesto l'accesso per la propria identità utente vengono aggiunti automaticamente come membri al gruppo Google mappato al gruppo di accesso.

  • Richieste di service account: ai consumer che hanno richiesto l'accesso per un service account vengono concesse le autorizzazioni per impersonare il service account del producer di dati mappato al gruppo di accesso.

Una volta elaborata, lo stato della richiesta si aggiorna automaticamente e la voce viene spostata nella scheda Log approvazioni.

REST

Elenca tutte le richieste di accesso in attesa

Per elencare tutte le richieste di accesso in attesa di revisione in un progetto e una località specifici, invia una richiesta GET utilizzando il metodo di raccolta personalizzato :listReviewable:

curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
"https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/changeRequests:listReviewable"

Sostituisci quanto segue:

  • PROJECT_ID: l'ID del tuo progetto Google Cloud

  • LOCATION: la regione in cui esiste il prodotto dati (ad esempio us-central1)

Approvare una richiesta di accesso

I proprietari dei prodotti di dati con l'autorizzazione dataplex.dataProducts.approve possono approvare una richiesta in attesa inviando una richiesta POST al metodo personalizzato :approve:

curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
"https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/changeRequests/CHANGE_REQUEST_ID:approve"

Sostituisci quanto segue:

  • PROJECT_ID: l'ID del tuo progetto Google Cloud

  • LOCATION: la regione in cui esiste il prodotto dati (ad esempio us-central1)

  • CHANGE_REQUEST_ID: l'ID univoco della richiesta di accesso che vuoi approvare

A differenza delle approvazioni basate sulla console, l'approvazione di una richiesta di modifica tramite l'API REST non modifica automaticamente le iscrizioni ai gruppi Google né configura l'impersonificazione del token dell'account di servizio. Devi completare manualmente questi passaggi di gestione dell'accesso downstream:

  • Per le richieste di accesso all'identità utente: aggiungi il consumer del prodotto di dati al gruppo Google mappato. Per maggiori informazioni, vedi Aggiungere un abbonamento a un gruppo Google.

  • Per le richieste di accesso all'account di servizio: concedi il ruolo IAM Creatore token account di servizio (roles/iam.serviceAccountTokenCreator) all'account di servizio del consumer del prodotto di dati sulla risorsa eseguendo il seguente comando:

    gcloud iam service-accounts add-iam-policy-binding PRODUCER_SERVICE_ACCOUNT \
  --member="serviceAccount:CONSUMER_SERVICE_ACCOUNT" \
  --role="roles/iam.serviceAccountTokenCreator"

    Sostituisci quanto segue:

    • PRODUCER_SERVICE_ACCOUNT: l'indirizzo email completo delaccount di serviziot mappato al gruppo di accesso del prodotto di dati

    • CONSUMER_SERVICE_ACCOUNT: l'indirizzo email completo del account di servizio appartenente al consumatore che richiede l'accesso

Rifiutare una richiesta di accesso

I proprietari dei prodotti di dati con l'autorizzazione dataplex.dataProducts.approve possono rifiutare una richiesta in attesa inviando una richiesta POST al metodo personalizzato :reject insieme a un payload di giustificazione:

curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-d '{
  "comment": "REJECTION_REASON"
}' \
"https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/changeRequests/CHANGE_REQUEST_ID:reject"

Sostituisci quanto segue:

  • PROJECT_ID: l'ID del tuo progetto Google Cloud

  • LOCATION: la regione in cui esiste il prodotto dati (ad esempio us-central1)

  • CHANGE_REQUEST_ID: l'ID univoco della richiesta di accesso che vuoi rifiutare

Aggiorna un prodotto di dati

Puoi aggiornare i dettagli di base (ad esempio, nome, descrizione e dettagli del proprietario del prodotto di dati), gli asset, i gruppi di accesso, le autorizzazioni, il contratto, gli aspetti e la documentazione aggiuntiva per un prodotto di dati esistente.

Aggiornare i dettagli di base di un prodotto di dati

Console

  1. Nella console Google Cloud , vai alla pagina Prodotti di dati di Knowledge Catalog.

    Vai a Prodotti di dati

  2. Fai clic sul prodotto di dati da aggiornare.

  3. Fai clic su Modifica.

  4. Aggiorna Nome del prodotto di dati, Icona del prodotto di dati, Descrizione, Indirizzo email dei proprietari del prodotto di dati, Indirizzo email degli approvatori del prodotto di dati e Etichette in base alle esigenze.

  5. Fai clic su Salva.

REST

Per aggiornare i dettagli di base di un prodotto di dati, utilizza il metodo dataProducts.patch.

Ad esempio, per aggiornare la descrizione di un prodotto di dati, invia la seguente richiesta PATCH:

curl -X PATCH \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-d '{"description": "NEW_DESCRIPTION"}' \
https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/ LOCATION/dataProducts/DATA_PRODUCT_ID?update_mask="description"

Sostituisci quanto segue:

  • NEW_DESCRIPTION: una nuova descrizione per il prodotto dati
  • PROJECT_ID: l'ID del tuo progetto Google Cloud
  • LOCATION: la regione in cui esiste il prodotto di dati
  • DATA_PRODUCT_ID: l'ID del tuo prodotto di dati

Aggiorna gli asset di un prodotto di dati

Console

  1. Nella console Google Cloud , vai alla pagina Prodotti di dati di Knowledge Catalog.

    Vai a Prodotti di dati

  2. Fai clic sul prodotto di dati per cui vuoi aggiornare gli asset.

  3. Fai clic sulla scheda Asset.

  4. Per aggiungere un nuovo asset:

    1. Fai clic su +Aggiungi.

    2. Cerca e seleziona gli asset che vuoi aggiungere al tuo prodotto di dati. Gli asset selezionati devono trovarsi nella stessa regione del prodotto di dati.

      Se disponi delle autorizzazioni necessarie, puoi visualizzare i metadati degli asset facendo clic sull'asset.

    3. Per perfezionare i risultati di ricerca, utilizza i filtri.

    4. Dopo aver selezionato gli asset, fai clic su Aggiungi.

  5. Per rimuovere un asset dal prodotto dati:

    1. Per l'asset che vuoi rimuovere, fai clic su > Rimuovi.

    2. Per confermare l'azione, fai clic su Rimuovi.

REST

Per aggiungere un nuovo asset di dati al prodotto di dati, utilizza il metodo dataAssets.create. Per un esempio di codice, vedi (Facoltativo) Aggiungere asset.

Per eliminare un asset di dati dal prodotto di dati, utilizza il metodo dataAssets.delete. Ad esempio, invia la seguente richiesta DELETE:

curl -X DELETE \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
"https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/dataProducts/DATA_PRODUCT_ID/dataAssets/DATA_ASSET_ID"

Sostituisci quanto segue:

  • PROJECT_ID: l'ID del tuo progetto Google Cloud
  • LOCATION: la regione in cui vuoi creare il prodotto di dati
  • DATA_PRODUCT_ID: un ID univoco per il tuo prodotto di dati
  • DATA_ASSET_ID: l'ID dell'asset di dati che vuoi rimuovere dal prodotto di dati

Aggiornare i gruppi di accesso e le autorizzazioni per gli asset

Console

  1. Nella console Google Cloud , vai alla pagina Prodotti di dati di Knowledge Catalog.

    Vai a Prodotti di dati

  2. Fai clic sul prodotto di dati per cui vuoi aggiornare i gruppi di accesso e le autorizzazioni.

  3. Fai clic sulla scheda Gruppi di accesso e autorizzazioni.

  4. Per aggiornare un gruppo di accesso:

    1. Fai clic su Modifica.

    2. Aggiorna il nome, la descrizione e l'identificatore del gruppo di accesso in base alle esigenze.

    3. Per aggiungere un nuovo gruppo di accesso, fai clic su Aggiungi gruppo di accesso e segui questi passaggi:

      1. Nel campo Nome gruppo di accesso, inserisci un nome per il nuovo gruppo di accesso. Ad esempio, Analyst.

      2. Nel campo Descrizione gruppo di accesso, inserisci una descrizione per il gruppo di accesso.

      3. Nel campo Identificatore gruppo di accesso, inserisci l'indirizzo email di un gruppo Google o di un account di servizio o di entrambi che vuoi assegnare a questo gruppo di accesso:

        • Gruppo Google: i consumer del prodotto di dati che richiedono l'accesso per se stessi vengono aggiunti come membri al gruppo Google mappato.

        • Service account: ai consumatori di prodotti di dati che richiedono l'accesso per i propri service account viene concesso il ruolo IAM Creatore token service account (roles/iam.serviceAccountTokenCreator) per rappresentare il account di servizio del produttore di dati mappato al gruppo di accesso.

    4. Fai clic su Aggiungi.

  5. Per rimuovere un gruppo di accesso:

    1. Per il gruppo di accesso che vuoi rimuovere, fai clic su > Rimuovi.

    2. Per confermare l'azione, fai clic su Rimuovi.

  6. Se non sono configurati gruppi di accesso per il prodotto dati selezionato, puoi aggiungere un nuovo gruppo di accesso facendo clic su Aggiungi gruppo di accesso.

  7. Per aggiornare le autorizzazioni degli asset:

    1. Per l'asset per cui vuoi aggiornare le autorizzazioni, fai clic su > Autorizzazioni.

    2. Aggiorna i gruppi di accesso e i ruoli IAM richiesti.

    3. Fai clic su Configura.

REST

Per aggiornare i gruppi di accesso associati a un prodotto di dati, utilizza il metodo dataProducts.patch. Per un esempio di codice, vedi Configurare i gruppi di accesso.

Per aggiornare le autorizzazioni dell'asset, utilizza il metodo dataAssets.patch. Per un esempio di codice, consulta Configurare le autorizzazioni degli asset.

Aggiorna il contratto del prodotto di dati

Console

  1. Nella console Google Cloud , vai alla pagina Prodotti di dati di Knowledge Catalog.

    Vai a Prodotti di dati

  2. Fai clic sul prodotto di dati per cui vuoi aggiornare il contratto.

  3. Fai clic sulla scheda Contratto.

  4. Per aggiornare il contratto esistente:

    1. Fai clic su Modifica.

    2. Aggiorna i campi necessari.

    3. Fai clic su Salva.

  5. Se al prodotto di dati selezionato non è allegato alcun contratto, puoi aggiungerne uno facendo clic su Aggiungi contratto.

REST

Per aggiornare un contratto, utilizza il metodo entries.patch. Per un esempio di codice, vedi Aggiungi un contratto.

Aggiornare gli aspetti di un prodotto di dati

Console

  1. Nella console Google Cloud , vai alla pagina Prodotti di dati di Knowledge Catalog.

    Vai a Prodotti di dati

  2. Fai clic sul prodotto di dati per cui vuoi aggiornare gli aspetti.

  3. Fai clic sulla scheda Aspetti.

  4. Per aggiornare un aspetto:

    1. Fai clic sull'aspetto che vuoi aggiornare.

    2. Fai clic su Modifica.

    3. Aggiorna Tipo di aspetto, Paese e Regione in base alle esigenze.

    4. Fai clic su Salva.

  5. Per aggiungere un nuovo aspetto al prodotto di dati:

    1. Fai clic su + Aggiungi aspetto.

    2. Nel campo Seleziona tipo di aspetto, cerca e seleziona un tipo di aspetto dall'elenco. Ad esempio, Geo context.

    3. Nel campo Paese, seleziona il paese a cui appartiene l'asset.

    4. Nel campo Regione, seleziona la regione aziendale a cui appartiene l'asset.

    5. Fai clic su Salva.

  6. Per eliminare un aspetto:

    1. Fai clic sull'aspetto che vuoi eliminare.

    2. Fai clic su Elimina.

    3. Per confermare l'azione, fai clic su Conferma.

REST

Per aggiornare qualsiasi aspetto della voce del prodotto di dati, utilizza il metodo entries.patch.

Aggiorna la documentazione del prodotto di dati

Console

  1. Nella console Google Cloud , vai alla pagina Prodotti di dati di Knowledge Catalog.

    Vai a Prodotti di dati

  2. Fai clic sul prodotto di dati per cui vuoi aggiornare la documentazione.

  3. Fai clic sulla scheda Panoramica.

  4. Fai clic su Modifica accanto a Documentazione.

  5. Aggiorna la guida dell'utente, le query di esempio e altra documentazione in base alle esigenze.

  6. Fai clic su Salva.

REST

La documentazione fa parte dell'aspetto overview. Per aggiornare la documentazione del prodotto dati, utilizza il metodo entries.patch.

Eliminare un prodotto di dati

Per eliminare un prodotto di dati, devi prima rimuovere tutte le risorse dal prodotto di dati.

Console

  1. Nella console Google Cloud , vai alla pagina Prodotti di dati di Knowledge Catalog.

    Vai a Prodotti di dati

  2. Fai clic sul prodotto di dati che vuoi eliminare.

  3. Fai clic sulla scheda Asset.

  4. Per ogni asset elencato, fai clic su > Rimuovi. Conferma l'azione facendo clic su Rimuovi.

  5. Dopo aver rimosso tutti gli asset, elimina il prodotto di dati facendo clic su Elimina.

  6. Nella finestra di dialogo di conferma, inserisci delete e fai clic su Elimina.

REST

Per eliminare un prodotto di dati, utilizza il metodo dataProducts.delete.

Ad esempio, invia la seguente richiesta DELETE:

curl -X DELETE \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/ LOCATION/dataProducts/DATA_PRODUCT_ID

Sostituisci quanto segue:

  • PROJECT_ID: l'ID del tuo progetto Google Cloud
  • LOCATION: la regione in cui esiste il prodotto di dati
  • DATA_PRODUCT_ID: l'ID del prodotto di dati che vuoi eliminare

Conservazione dei dati ed eliminazione del progetto

Quando elimini un progetto Google Cloud che contiene prodotti di dati, le risorse associate seguono il ciclo di vita di eliminazione Google Cloud standard, noto anche come cancellazione. Per una panoramica dettagliata dei processi tecnici e delle tempistiche che regolano questo comportamento, consulta Eliminazione dei dati su Google Cloud.

Ciclo di vita delle risorse durante l'eliminazione del progetto

Il ciclo di vita dei tuoi prodotti per i dati e asset di dati viene gestito in due fasi principali in seguito a una richiesta di eliminazione del progetto:

  • Eliminazione temporanea (stato Hidden): immediatamente dopo l'avvio dell'eliminazione del progetto, tutti i prodotti e gli asset di dati all'interno del progetto vengono contrassegnati come Hidden. Durante questo periodo di tolleranza di 30 giorni, i metadati vengono conservati, ma non sono più accessibili tramite le API Dataplex o la console Google Cloud . Puoi ripristinare il progetto e le relative risorse in qualsiasi momento durante questo periodo.

  • Eliminazione definitiva (stato Purged): dopo la scadenza del periodo di tolleranza di 30 giorni, il progetto e tutti i relativi metadati di Knowledge Catalog vengono eliminati definitivamente. Knowledge Catalog utilizza una politica di cancellazione delle righe interna per eliminare in modo verificabile questi record dallo spazio di archiviazione.

Comportamento dei criteri IAM sulle risorse tra progetti

Esiste una distinzione operativa fondamentale tra i metadati di Knowledge Catalog e le norme IAM applicate ai dati fisici sottostanti (come i set di dati BigQuery o i bucket Cloud Storage).

Sebbene i metadati di Knowledge Catalog all'interno del progetto vengano eliminati automaticamente, le associazioni IAM applicate alle risorse di dati che si trovano in un progetto diverso (progetto B) non vengono revocate automaticamente quando viene eliminato il progetto proprietario del prodotto di dati (progetto A).

  • Associazioni orfane: poiché le risorse fisiche nel progetto di destinazione rimangono attive, il sistema IAM non rimuove automaticamente gli identificatori dei principal associati al progetto eliminato.

  • Evita le autorizzazioni zombie: per garantire la disattivazione completa dell'accesso ai dati, elimina manualmente gli asset di dati dai tuoi prodotti di dati o rimuovi esplicitamente i binding IAM associati dalle risorse tra progetti prima di avviare l'eliminazione di un progetto.

Ripristino del progetto (annullamento dell'eliminazione)

Se ripristini un progetto eliminato entro il periodo di tolleranza di 30 giorni, Knowledge Catalog tenta di ripristinare le risorse e la loro visibilità nel catalogo. Per gli asset tra progetti, poiché i binding IAM sottostanti non sono stati revocati automaticamente durante il processo di eliminazione, l'accesso ai dati in genere riprende immediatamente per il progetto ripristinato.

Passaggi successivi