Questa pagina spiega come aggiungere, eseguire l'upgrade e rimuovere bucket Cloud Storage e set di dati BigQuery come asset nelle zone Dataplex Universal Catalog esistenti.
Panoramica
Un asset viene mappato ai dati archiviati in Cloud Storage o BigQuery. Puoi mappare i dati archiviati in progetti Google Cloud separati come asset in una singola zona all'interno di un lake. Puoi collegare bucket Cloud Storage o set di dati BigQuery esistenti da gestire all'interno del lake.
Prima di iniziare
Se non l'hai ancora fatto, crea un lake e una zona in quel lake.
La maggior parte dei comandi
gcloud lakesrichiede una posizione. Puoi specificare la posizione utilizzando il flag--location.
Ruoli e autorizzazioni richiesti
Per gestire gli asset in Dataplex Universal Catalog, sono necessarie autorizzazioni per gli utenti per eseguire azioni di gestione e per l'account di servizio Dataplex Universal Catalog per accedere alle risorse sottostanti.
Per aggiungere o rimuovere asset, agli utenti devono essere concessi ruoli IAM che contengano
le autorizzazioni necessarie (ad esempio dataplex.assets.create e
dataplex.assets.delete). I ruoli predefiniti Amministratore Dataplex
(roles/dataplex.admin) ed Editor Dataplex (roles/dataplex.editor),
o i ruoli legacy Proprietario (roles/owner) ed Editor
(roles/editor), includono queste autorizzazioni.
Quando colleghi una risorsa (bucket Cloud Storage o set di dati BigQuery) a un lake, Dataplex Universal Catalog utilizza il relativo service account per interagire con la risorsa.
- Se la risorsa si trova nello stesso progetto del lake, le autorizzazioni vengono concesse implicitamente al account di servizio.
- Se la risorsa si trova in un progetto diverso dal lake, devi concedere esplicitamente all'account di servizio le autorizzazioni per accedere a quella risorsa, come descritto nelle sezioni seguenti.
Per saperne di più, consulta IAM e controllo dell'accesso di Dataplex Universal Catalog.
Concedere ruoli per i bucket Cloud Storage
Per collegare un bucket Cloud Storage da un altro progetto, concedi le autorizzazioni all'account di servizio Dataplex Universal Catalog (service-PROJECT_NUMBER@gcp-sa-dataplex.iam.gserviceaccount.com) in uno dei seguenti modi:
Autorizzazioni a livello di progetto: concedi il ruolo
roles/dataplex.serviceAgental account di servizio nel progetto che contiene il bucket. In questo modo, Dataplex Universal Catalog dispone delle autorizzazioni di amministratore su tutti i bucket del progetto, il che gli consente di gestire le autorizzazioni sui bucket collegati.Autorizzazioni a livello di bucket: per un controllo più granulare, utilizza il comando
gcloud dataplex lakes authorizeper concedere al account di servizio le autorizzazioni necessarie solo per un bucket specifico.
Concedi ruoli per i set di dati BigQuery
Per collegare un set di dati BigQuery da un altro progetto,
concedi all'account di servizio del Catalogo universale Dataplex
il ruolo Amministratore BigQuery (roles/bigquery.admin) nel set di dati.
Considerazioni sui Controlli di servizio VPC
Dataplex Universal Catalog non viola i perimetri dei Controlli di servizio VPC. Prima di aggiungere un asset al lake, assicurati che il bucket o il set di dati sottostante si trovi nella stessa rete di Controlli di servizio VPC del lake.
Per saperne di più, consulta Controlli di servizio VPC con Dataplex Universal Catalog.
Aggiungi un asset
Se non esiste una sovrapposizione tra la regione del lake Dataplex Universal Catalog e una delle regioni dei bucket Cloud Storage, non puoi aggiungere il bucket a una zona del lake.
Per saperne di più sulla posizione della regione di un asset Cloud Storage e su come Dataplex Universal Catalog gestisce la posizione di un bucket durante la creazione del set di dati di pubblicazione, consulta Risorse regionali.
Per aggiungere un asset:
Console
Nella console Google Cloud , vai alla pagina Lake di Dataplex Universal Catalog.
Fai clic sul lake a cui vuoi aggiungere un bucket Cloud Storage o un set di dati BigQuery. Si apre la pagina del lago.
Nella scheda Zone, fai clic sul nome della zona di dati a cui vuoi aggiungere l'asset. Viene visualizzata la pagina Zona di dati per quella zona di dati.
Nella scheda Asset, fai clic su + Aggiungi asset. Viene visualizzata la pagina Aggiungi asset.
Fai clic su Aggiungi un asset.
Nel campo Tipo, seleziona Set di dati BigQuery o Bucket Cloud Storage.
Nel campo Nome visualizzato, inserisci un nome per la nuova risorsa.
Nel campo ID, inserisci un ID univoco per l'asset.
Facoltativo: inserisci una descrizione.
Nel campo Set di dati o Bucket (a seconda del tipo di asset), fai clic su Sfoglia per trovare e selezionare il bucket Cloud Storage o il set di dati BigQuery.
(Facoltativo) Se il tipo di asset è Bucket Cloud Storage e vuoi che Dataplex Universal Catalog gestisca l'asset, seleziona la casella di controllo Esegui l'upgrade a Gestito. Se scegli questa opzione, non devi eseguire l'upgrade dell'asset separatamente. Questa opzione non è disponibile per i set di dati BigQuery.
Fai clic su Continua.
Scegli gli altri valori dei parametri. Per ulteriori informazioni sulle impostazioni di sicurezza, consulta Sicurezza del lake.
Fai clic su Invia.
Verifica di essere tornato alla pagina della zona dei dati e che il nuovo asset venga visualizzato nell'elenco degli asset.
REST
Per aggiungere una risorsa, utilizza il metodo lakes.zones.assets.create.
Quando l'aggiunta va a buon fine, la zona dati entra automaticamente nello stato attivo. In caso di errore, la zona di dati viene ripristinata allo stato precedente integro.
Eseguire l'upgrade di un asset bucket Cloud Storage
Quando aggiungi un asset di tipo bucket Cloud Storage, Dataplex Universal Catalog pubblica automaticamente le tabelle esterne di BigQuery per le tabelle ospitate nell'asset.
Quando esegui l'upgrade di un asset bucket Cloud Storage, Dataplex Universal Catalog rimuove le tabelle esterne collegate e crea tabelle BigLake. Le tabelle BigLake supportano una sicurezza più granulare, inclusi il mascheramento dinamico dei dati a livello di riga e di colonna.
Per eseguire l'upgrade di un asset bucket Cloud Storage:
Console
Nella console Google Cloud , vai alla pagina Lake di Dataplex Universal Catalog.
Fai clic sul nome del lago. Si apre la pagina del lago.
Nella scheda Zone, fai clic sul nome della zona di dati. Si apre la pagina della zona di dati.
Nella scheda Asset, fai clic sul nome dell'asset che vuoi aggiornare.
Fai clic su Esegui l'upgrade a Managed.
REST
Per eseguire l'upgrade di un asset bucket, utilizza il metodo lakes.zones.assets.patch.
Eseguire il downgrade di un asset bucket Cloud Storage
Quando esegui il downgrade di un asset bucket Cloud Storage, Dataplex Universal Catalog rimuove le tabelle BigLake collegate e crea tabelle esterne.
Console
Nella console Google Cloud , vai alla pagina Lake di Dataplex Universal Catalog.
Fai clic sul nome del lago. Si apre la pagina del lago.
Nella scheda Zone, fai clic sul nome della zona di dati. Si apre la pagina della zona di dati.
Nella scheda Asset, fai clic sul nome dell'asset che vuoi aggiornare.
Fai clic su Esegui il downgrade dalla modalità gestita.
REST
Per eseguire il downgrade di un asset bucket, utilizza il metodo
lakes.zones.assets.patch. Assicurati di impostare il campo readAccessMode su DIRECT in
ResourceSpec.
Rimuovere un asset
Rimuovi l'asset dalla zona o dal lake di dati prima di collegarlo a un'altra.
Per rimuovere un asset:
Console
Nella console Google Cloud , vai alla pagina Lake di Dataplex Universal Catalog.
Fai clic sul lake da cui vuoi rimuovere un bucket Cloud Storage o un set di dati BigQuery. Si apre la pagina del lake.
Nella scheda Zone, fai clic sul nome della zona di dati da cui vuoi rimuovere il bucket Cloud Storage o il set di dati BigQuery. Si apre la pagina della zona di dati relativa a quella zona.
Nella scheda Asset, seleziona l'asset selezionando la casella a sinistra del nome dell'asset.
Fai clic su Elimina asset.
Nella finestra di dialogo di conferma, fai clic su Elimina.
REST
Per rimuovere un bucket, utilizza il metodo lakes.zones,assets.delete.
Passaggi successivi
- Scopri di più sull'individuazione dei dati.
- Scopri come creare un lago.
- Scopri di più su Cloud Audit Logs.