Guida rapida: crea e configura un lake

Guida rapida: crea e configura un lake

Questa guida rapida ti mostra come iniziare a utilizzare Knowledge Catalog (in precedenza Dataplex Universal Catalog) nella Google Cloud console guidandoti attraverso la creazione di un lake, l'aggiunta di una zona, e l'associazione di un asset.

Prima di iniziare

Nota: per i casi d'uso di Knowledge Catalog, non creare o utilizzare un lake con l' ID goog-dataproc-default-lake perché funge da lake predefinito destinato esclusivamente agli spazi di lavoro di Managed Service per Apache Spark.

Accedi al tuo Google Cloud account. Se non conosci Google Cloud, crea un account per valutare le prestazioni dei nostri prodotti in scenari reali. I nuovi clienti ricevono anche 300 $di crediti senza costi per l'esecuzione, il test e il deployment dei workload.
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
Roles required to select or create a project
• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.
Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.
Go to project selector
Verify that billing is enabled for your Google Cloud project.
Enable the Dataplex, Managed Service for Apache Spark, Dataproc Metastore, BigQuery, and Cloud Storage APIs.
Roles required to enable APIs
To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.
Enable the APIs
Make sure that you have the following role or roles on the project: roles/dataplex.admin, roles/dataplex.editor
Check for the roles
1. In the Google Cloud console, go to the IAM page.

   Go to IAM
2. Select the project.

3. In the Principal column, find all rows that identify you or a group that you're included in. To learn which groups you're included in, contact your administrator.

4. For all rows that specify or include you, check the Role column to see whether the list of roles includes the required roles.
Grant the roles
1. In the Google Cloud console, go to the IAM page.

   Go to IAM
2. Select the project.
3. Click Grant access.

4. In the New principals field, enter your user identifier. This is typically the email address for a Google Account.

5. Click Select a role, then search for the role.
6. To grant additional roles, click Add another role and add each additional role.
7. Click Save.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the Dataplex, Managed Service for Apache Spark, Dataproc Metastore, BigQuery, and Cloud Storage APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

Make sure that you have the following role or roles on the project: roles/dataplex.admin, roles/dataplex.editor

Check for the roles

1. In the Google Cloud console, go to the IAM page.

   Go to IAM
2. Select the project.

3. In the Principal column, find all rows that identify you or a group that you're included in. To learn which groups you're included in, contact your administrator.

4. For all rows that specify or include you, check the Role column to see whether the list of roles includes the required roles.

Grant the roles

1. In the Google Cloud console, go to the IAM page.

   Go to IAM
2. Select the project.
3. Click Grant access.

4. In the New principals field, enter your user identifier. This is typically the email address for a Google Account.

5. Click Select a role, then search for the role.
6. To grant additional roles, click Add another role and add each additional role.
7. Click Save.
Crea un bucket Cloud Storage:
1. Nella Google Cloud console, vai alla pagina Bucket in Cloud Storage.

   Vai a Bucket

2. Fai clic su Crea.
3. Nella pagina Crea un bucket, inserisci le informazioni del bucket. Per passare al passaggio successivo, fai clic su Continua.
   1. In Assegna un nome al bucket, inserisci un nome univoco per il bucket. Non includere informazioni sensibili nel nome del bucket, poiché lo spazio dei nomi dei bucket è globale e visibile pubblicamente.
   2. Nella sezione Scegli dove archiviare i tuoi dati, segui questi passaggi:
      1. Seleziona un tipo di località.
      2. Scegli una località in cui i dati del bucket vengono archiviati in modo permanente dal menu a discesa Tipo di località.
         • Se selezioni il tipo di località a due regioni, puoi anche scegliere di abilitare la replica turbo utilizzando la casella di controllo pertinente.
      3. Per configurare la replica tra bucket, seleziona Aggiungi una replica tra bucket mediante Storage Transfer Service e segui questi passaggi:

         Configura la replica tra bucket

         1. Nel menu Bucket, seleziona un bucket.

         2. Nella sezione Impostazioni di replica , fai clic su Configura per configurare le impostazioni del job di replica.

            Viene visualizzato il riquadro Configura replica tra bucket.

            • Per filtrare gli oggetti da replicare in base al prefisso del nome dell'oggetto, inserisci un prefisso da includere o escludere gli oggetti, quindi fai clic su Aggiungi un prefisso.
            • Per impostare una classe di archiviazione per gli oggetti replicati, seleziona una classe di archiviazione dal menu Classe di archiviazione. Se salti questo passaggio, gli oggetti replicati utilizzeranno per impostazione predefinita la classe di archiviazione del bucket di destinazione.
            • Fai clic su Fine.
   3. Nella sezione Scegli come archiviare i tuoi dati, segui questi passaggi:
      1. Nella sezione Imposta una classe predefinita, seleziona Standard.
      2. Per abilitare lo spazio dei nomi gerarchico, nella sezione Ottimizza l'archiviazione per i workload con uso intensivo dei dati, seleziona Abilita uno spazio dei nomi gerarchico in questo bucket.
         Nota: non puoi abilitare lo spazio dei nomi gerarchico nei bucket esistenti.
   4. Nella sezione Scegli come controllare l'accesso agli oggetti, seleziona se il bucket applica o meno la prevenzione dell'accesso pubblico, e seleziona un metodo di controllo dell'accesso per gli oggetti del bucket.
      Nota: non puoi modificare l'impostazione Impedisci l'accesso pubblico se questa impostazione è applicata a un criterio dell'organizzazione.
   5. Nella sezione Scegli come proteggere i dati degli oggetti, segui questi passaggi:
      • Seleziona una delle opzioni in Protezione dei dati che vuoi impostare per il bucket.
        • Per abilitare l'eliminazione temporanea, fai clic sulla casella di controllo Policy di eliminazione temporanea (per il recupero dati) e specifica il numero di giorni per cui vuoi conservare gli oggetti dopo l'eliminazione.
        • Per impostare il controllo delle versioni degli oggetti, fai clic sulla casella di controllo Controllo delle versioni degli oggetti (per il controllo delle versioni) e specifica il numero massimo di versioni per oggetto e il numero di giorni dopo i quali le versioni non correnti scadono.
        • Per abilitare la policy di conservazione su oggetti e bucket, fai clic sulla casella di controllo Conservazione (per la conformità) e poi:
          • Per abilitare il blocco della conservazione degli oggetti, fai clic sulla casella di controllo Abilita conservazione degli oggetti.
          • Per abilitare il blocco del bucket, fai clic sulla casella di controllo Imposta policy di conservazione del bucket e scegli un'unità di tempo e una durata per il periodo di conservazione.
      • Per scegliere come verranno criptati i dati degli oggetti, espandi la la sezione Criptaggio dei dati () e seleziona un metodo di criptaggio dei dati.
4. Fai clic su Crea.

Crea un lake

Un lake è un costrutto logico che rappresenta un dominio dati o un'unità aziendale. Ad esempio, se devi organizzare i dati in base all'utilizzo del gruppo, devi creare un lake per ogni reparto (ad esempio, vendita al dettaglio, vendite e finanza).

I passaggi seguenti mostrano come creare un lake utilizzando la Google Cloud console.

1. Nella Google Cloud console, vai alla pagina Lake di Knowledge Catalog.

   Vai a Lake

2. Fai clic su Crea.

3. Inserisci un Nome visualizzato.

4. L'ID del lake viene generato automaticamente.

5. Specifica la Regione in cui creare il lake.

   Per i lake creati in una determinata regione (ad esempio us-central1), è possibile associare i dati sia a singola regione (us-central1) che a più regioni (us multi-region) a seconda delle impostazioni della zona.

6. Fai clic su Crea.

Aggiungi una zona al lake

Dopo averlo creato, puoi aggiungere zone al lake. Le zone sono raggruppamenti logici all'interno di un lake, utili per classificare i dati strutturati e non strutturati.

1. Nella visualizzazione Gestisci, fai clic sul nome del lake a cui vuoi aggiungere una zona.

2. Fai clic su Aggiungi zona.

3. Inserisci un Nome visualizzato per la zona.

   Nota: l'ID della zona viene generato automaticamente. Se necessario, puoi fornire il tuo ID.

4. Fai clic sul menu a discesa Tipo. Scegli Zona non elaborata o Zona organizzata. Scopri di più sui tipi di zone.

5. In Località dei dati , seleziona Regionale o Multiregionale. La scelta non può essere modificata in un secondo momento. Non è possibile combinare dati a livello di una singola regione e di più regioni nella stessa zona.

   Nota: il rilevamento è abilitato per impostazione predefinita. Fai clic per espandere Impostazioni di rilevamento e verificare che l'opzione Attiva rilevamento metadati sia selezionata. Scopri di più sul rilevamento.

6. Fai clic su Crea.

La creazione della zona può richiedere alcuni minuti.

Associa un asset

I dati possono essere archiviati nei bucket Cloud Storage o nei set di dati BigQuery e possono essere associati come asset alle zone dati all'interno di un lake Knowledge Catalog.

Per associare il bucket Cloud Storage come asset:

1. Nella visualizzazione Gestisci, fai clic sul nome del lake a cui vuoi associare un bucket Cloud Storage.

2. Nella scheda Zone, fai clic sulla zona a cui aggiungere l'asset.

3. Nella scheda Asset, fai clic su Aggiungi asset.

4. Fai clic su Aggiungi un asset.

5. In Tipo, seleziona Bucket di archiviazione.

6. In Nome visualizzato, inserisci un nome per l'asset.

   Nota: l'ID risorsa viene generato automaticamente. Se necessario, puoi fornire il tuo ID.

7. Nel campo Bucket, fai clic su Sfoglia. Se hai un bucket Cloud Storage, trovalo e fai clic su Seleziona. Se non hai un bucket Cloud Storage, puoi crearne uno facendo clic sul pulsante .

   1. Inserisci un nome univoco per il bucket. Fai clic su Continua.

   2. Scegli un Tipo di località. Fai clic su Continua.

   3. Scegli una classe di archiviazione predefinita per i tuoi dati. Fai clic su Continua.

   4. Scegli un livello di controllo dell'accesso. Fai clic su Continua.

   5. Scegli un'opzione di protezione dei dati o Nessuna. Fai clic su Continua.

   6. Fai clic su Crea.

   7. Fai clic su Seleziona.

8. Fai clic su Fine.

9. Fai clic su Continua.

10. In Impostazioni di rilevamento, seleziona Eredita per ereditare le impostazioni di rilevamento dal livello di zona.

11. Fai clic su Continua.

12. In Aggiungi asset, fai clic su Invia.

Attendi il completamento della creazione dell'asset.

Per utilizzare il lake, consulta la sezione Passaggi successivi. In caso contrario, elimina le risorse che hai creato seguendo i passaggi per liberare spazio.

Libera spazio

Per evitare che al tuo Google Cloud account vengano addebitati costi relativi alle risorse utilizzate in questa pagina, segui questi passaggi.

Attenzione: l'eliminazione di un progetto ha i seguenti effetti:

• L'intero contenuto del progetto viene eliminato. Se hai utilizzato un progetto esistente per, le attività descritte in questo documento, eliminerai anche tutto il lavoro che hai svolto nel progetto.
• Gli ID progetto personalizzati non sono più disponibili. Quando hai creato questo progetto, potresti aver creato un ID progetto personalizzato che vuoi utilizzare in futuro. Per conservare gli URL che utilizzano l'ID progetto, ad esempio un URL appspot.com, elimina le risorse selezionate all'interno del progetto anziché eliminare l'intero progetto.

Se intendi esplorare più architetture, tutorial o guide rapide, puoi riutilizzare i progetti ed evitare così di superare i limiti di quota.

1. Nella Google Cloud console, vai alla pagina Gestisci risorse.

   Vai a Gestisci risorse

2. Se il progetto che intendi eliminare è collegato a un'organizzazione, espandi l'elenco Organizzazione nella colonna Nome.
3. Nell'elenco dei progetti, seleziona il progetto che vuoi eliminare, quindi fai clic su Elimina.
4. Nella finestra di dialogo, digita l'ID progetto e fai clic su Chiudi per eliminare il progetto.

In alternativa, puoi eliminare le risorse utilizzate in questo tutorial. Un lake non viene eliminato finché non elimini tutte le risorse della zona dati. Allo stesso modo, una zona dati non viene eliminata a meno che non elimini tutte le risorse degli asset.

Scollega il bucket di archiviazione

Per scollegare l'asset Knowledge Catalog che hai creato:

1. Nella Google Cloud console, vai alla pagina Lake di Knowledge Catalog.

   Vai a Lake

2. Fai clic sul nome del lake che hai creato.

3. Nella scheda Zone, fai clic sul nome della zona che hai creato.

4. Nella scheda Asset, seleziona l'asset da scollegare selezionando la casella a sinistra del nome del bucket.

5. Fai clic su Elimina asset.

6. Fai clic su Elimina per confermare lo scollegamento.

Elimina la zona

Per eliminare la zona Knowledge Catalog che hai creato:

1. Nella Google Cloud console, vai alla pagina Lake di Knowledge Catalog.

   Vai a Lake

2. Fai clic sul lake che hai creato.

3. Nella scheda Zone, seleziona la zona da eliminare selezionando la casella a sinistra del nome della zona dati.

4. Fai clic su Elimina zona.

5. Fai clic su Elimina per confermare l'eliminazione.

Elimina il lake

I passaggi seguenti mostrano come eliminare il lake Knowledge Catalog che hai creato.

1. Nella Google Cloud console, vai alla pagina Lake di Knowledge Catalog.

   Vai a Lake

2. Fai clic sul lake che hai creato.

3. Nella parte superiore della pagina, fai clic su Elimina.

4. Conferma l'eliminazione digitando "delete" nel campo.

5. Fai clic su Elimina lake per confermare l'eliminazione.

Passaggi successivi

• Organizza i dati in lake e zone.
• Proteggi il tuo lake.
• Visualizza i metadati rilevati utilizzando la Google Cloud console.
• Visualizza i metadati rilevati utilizzando l'API.