Gestire le risorse utilizzando Data Catalog

Questa pagina spiega come cercare e gestire le risorse Spanner utilizzando Data Catalog.

Attenzione:Data Catalog è ritirato a favore di Dataplex Universal Catalog. Dataplex Universal Catalog è integrato anche con Spanner, che offre funzionalità simili. Puoi utilizzare Dataplex Universal Catalog per arricchire i tuoi dati con aspetti, che sono l'equivalente dei tag Data Catalog. Per saperne di più, consulta Gestire gli aspetti e arricchire i metadati.

Data Catalog è un servizio di gestione dei metadati completamente gestito e scalabile all'interno di Dataplex Universal Catalog. Cataloga automaticamente i seguenti metadati relativi a istanze, database, tabelle, colonne e viste Spanner:

• Nome e nome completo
• Località (regione)
• Data di creazione e data dell'ultima modifica
• Schema (per tabelle e viste)
• Descrizione

I metadati di Spanner vengono sincronizzati automaticamente con Data Catalog a intervalli regolari, in genere ogni poche ore. Puoi utilizzare Data Catalog per scoprire e comprendere i metadati di Spanner. Utilizza Data Catalog per facilitare le seguenti attività:

• Analisi, incluse le dipendenze e l'idoneità per un caso d'uso
• Gestione dei cambiamenti
• Spostamento dei dati (pipeline)
• Evoluzione dello schema

Con Data Catalog puoi curare i metadati collegando tag alle voci di metadati di Spanner. Ogni tag può avere più campi di metadati e può essere basato su un modello di tag predefinito o personalizzato.

Ad esempio, puoi allegare il seguente tag a una colonna che contiene un numero di previdenza sociale, che è un'informazione che consente l'identificazione personale (PII):

pii:true
pii_type:SSN

Quando sposti un'istanza che utilizza i tag, questi non vengono spostati automaticamente nell'istanza di destinazione. Devi invece esportare i tag dall'istanza di origine prima di spostare l'istanza e importare i tag nell'istanza di destinazione. Per saperne di più, consulta Esportare e importare tag.

Per scoprire di più su Data Catalog, consulta Che cos'è Data Catalog.

Nota: Data Catalog si riferisce alle risorse in Spanner e in altri servizi Google Cloud come asset. In questa pagina, le risorse Spanner (istanze, database, tabelle e viste) sono chiamate asset Spanner. Utilizziamo anche il termine asset per fare riferimento sia alle risorse sia ai metadati di Data Catalog per le risorse.

Prima di iniziare

Accedi al tuo account Google Cloud . Se non conosci Google Cloud, crea un account per valutare le prestazioni dei nostri prodotti in scenari reali. I nuovi clienti ricevono anche 300 $di crediti senza costi per l'esecuzione, il test e il deployment dei workload.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

1. Abilita l'API Data Catalog per il progetto.

   Abilita l'API Data Catalog

2. Controlla le autorizzazioni.

   Per cercare e collegare tag agli asset Spanner, devi disporre di determinati ruoli e autorizzazioni Identity and Access Management (IAM). Per maggiori dettagli, vedi Ruoli e autorizzazioni IAM richiesti per Data Catalog.

Creare modelli di tag

I modelli di tag sono strutture riutilizzabili per creare rapidamente nuovi tag. I modelli ti aiutano a evitare la duplicazione del lavoro e i tag incompleti. Crea tutti i modelli di tag che ti servono.

Per saperne di più, consulta Tag e modelli di tag.

Associa tag agli asset Spanner

Il collegamento di tag agli asset Spanner ti consente di:

• Aggiungi i metadati aziendali agli asset.
• Cerca risorse in base ai metadati aziendali e ad altri metadati personalizzati.

Per saperne di più, consulta Tag e modelli di tag.

Cercare asset Spanner

Utilizza la pagina di ricerca di Dataplex Universal Catalog nella console Google Cloud per cercare gli asset Spanner.

1. Vai alla pagina di ricerca di Dataplex Universal Catalog.

   Vai a Cerca

2. Nel pannello Filtri, in Sistemi, seleziona Spanner.

   Dataplex Universal Catalog mostra tutti gli asset Spanner noti.

3. (Facoltativo) Esegui una delle seguenti operazioni per restringere la ricerca:

   • Utilizza la ricerca per sfaccettature nella pagina Cerca. Seleziona le caselle di controllo in Tipi di dati, Progetti e Tag.

   • Nel campo di ricerca, aggiungi un parametro di ricerca dopo system=cloud_spanner. Separa i parametri con spazi.

   Ad esempio, per visualizzare solo i database, inserisci il seguente testo nel campo di ricerca e poi premi Enter.

    system=cloud_spanner type=database
   

   Nota: per cercare istanze Spanner, utilizza type=service. Per cercare una configurazione dell'istanza, utilizza instance_config=configuration-name.

   Puoi anche utilizzare le parentesi e gli operatori logici and e or per espressioni complesse. Per saperne di più sulle espressioni che puoi utilizzare nel campo di ricerca, consulta Sintassi di ricerca di Data Catalog.

4. Nella tabella dei risultati, fai clic sul nome di una risorsa per visualizzare i metadati della risorsa.

5. (Facoltativo) Esegui una delle seguenti operazioni:

   • Fai clic su AGGIUNGI PANORAMICA per aggiungere una descrizione in formato RTF dell'asset.
   • Fai clic su ALLEGA TAG per aggiungere un tag all'asset.
   • Per una tabella, fai clic sulla scheda SCHEMA per visualizzare le colonne della tabella.
   • Per un'istanza (SERVICE), per visualizzare i database dei membri, fai clic sulla scheda ELENCO VOCI, quindi su VISUALIZZA VOCI SECONDARIE NELLA RICERCA. (Se la scheda ELENCO VOCI non viene visualizzata, l'istanza non ha database.)

Workflow di esempio: visualizzare in dettaglio dall'istanza alle colonne

In questo flusso di lavoro di esempio, inizi cercando un'istanza Spanner, poi visualizzi un database membro, poi una tabella in quel database e infine le colonne della tabella.

1. Vai alla pagina di ricerca di Dataplex Universal Catalog.

   Vai a Cerca

2. Nel pannello Filtri, in Sistemi, seleziona Spanner.

3. Per visualizzare tutte le istanze Spanner in Data Catalog, seleziona la casella di controllo Servizio in Tipi di dati oppure inserisci il seguente testo nel campo di ricerca e premi Enter.

   system=cloud_spanner type=service
   

4. Seleziona un nome istanza.

5. Nella pagina Dettagli servizio Spanner, fai clic sulla scheda ELENCO ENTRATE e poi su VISUALIZZA LE ENTRIES SECONDARIE NELLA RICERCA.

   Dataplex Universal Catalog mostra i database nell'istanza.

   Nota: se non è presente la scheda ELENCO VOCI, torna alla pagina Ricerca e scegli un'altra istanza.

6. Nella pagina Dettagli database Spanner, fai clic sulla scheda ELENCO ENTRATE, quindi su VISUALIZZA LE ENTRIES SECONDARIE NELLA RICERCA.

   Dataplex Universal Catalog mostra le tabelle nel database.

7. Seleziona un nome di tabella, quindi nella pagina Dettagli tabella Spanner fai clic su SCHEMA per visualizzare le colonne della tabella.

8. (Facoltativo) Per aggiungere un tag a una colonna, fai clic sul segno più in Tag colonna.

Nota: questo workflow mostra il drill-down da un'istanza a una tabella. Puoi andare direttamente a un elenco di tabelle utilizzando il riquadro Filtri o inserendo system=cloud_spanner,type=table nel campo di ricerca.

Esportare e importare i tag

Quando sposti un'istanza Spanner, il processo di spostamento elimina i tag dell'istanza che hai creato in Data Catalog. Per conservare i tag, devi:

• Esegui una query sui tag associati all'istanza.
• Copia i dettagli dei tag.
• Crea i tag sull'istanza spostata.

Sincronizza i dati di Spanner ogni 6 ore. L'applicazione di eventuali modifiche ai metadati apportate agli asset Spanner come istanze, database, tabelle, viste o colonne potrebbe richiedere circa 6 ore per la propagazione a Data Catalog.

Esporta i tag dalla configurazione dell'istanza di origine

Per elencare i tag per un'istanza (voce o gruppo di voci), utilizza il comando Google Cloud CLI gcloud data-catalog tags list come segue:

curl \
'https://datacatalog.googleapis.com/v1/projects/PROJECT/locations/LOCATION/entryGroups/ENTRY_GROUP/tags?key=API_KEY' \
  --header 'Authorization: Bearer ACCESS_TOKEN' \
  --header 'Accept: application/json' \
  --compressed

Sostituisci quanto segue:

• PROJECT: il progetto che contiene i tag.
• LOCATION: la posizione dei tag.
• API_KEY: una stringa univoca che consente di accedere a un'API.
• ACCESS_TOKEN: il token di accesso utilizzato dall'applicazione per autenticarsi al servizio.

Importa i tag nella configurazione della destinazione

Prima di completare questa procedura, esegui le seguenti operazioni:

• Sposta l'istanza.
• Aggiorna Data Catalog con i metadati.

Per copiare un tag, crea i tag nell'istanza spostata utilizzando il comando gcloud data-catalog tags create come segue:

curl --request POST \
'https://datacatalog.googleapis.com/v1/entries:lookup?fullyQualifiedName=FQN&location=LOCATION&project=PROJECT&key=API_KEY' \
  --header 'Authorization: Bearer ACCESS_TOKEN' \
  --header 'Accept: application/json' \
  --header 'Content-Type: application/json' \
  --data '{"column":"myColumnName","name":"myTagName","template":"myTemplateName","fields":{"myDoubleField":{"doubleValue":0}}}' \
  --compressed

Sostituisci quanto segue:

• FQN: il nome completo della risorsa. I FQN hanno due forme:

  Per le risorse non regionalizzate: {SYSTEM}:{PROJECT}.{PATH_TO_RESOURCE_SEPARATED_WITH_DOTS}

  Per le risorse regionalizzate: {SYSTEM}:{PROJECT}.{LOCATION_ID}.{PATH_TO_RESOURCE_SEPARATED_WITH_DOTS}

  Esempio per una tabella DPMS:

  dataproc_metastore:{PROJECT_ID}.{LOCATION_ID}.{INSTANCE_ID}.{DATABASE_ID}.{TABLE_ID}

• LOCATION: la località in cui viene eseguita la ricerca.

• PROJECT: il progetto in cui viene eseguita la ricerca.

• API_KEY: una stringa univoca che consente di accedere a un'API.

• ACCESS_TOKEN: il token di accesso utilizzato dall'applicazione per autenticarsi al servizio.

Ruoli e autorizzazioni IAM richiesti per Data Catalog

La tabella seguente mostra i ruoli e le autorizzazioni IAM richiesti per le varie operazioni di Data Catalog.

Nota: Data Catalog non supporta il controllo dell'accesso granular di Spanner.

Operazione Data Catalog	Risorsa Spanner	Ruoli o autorizzazioni richiesti
crea un modello di tag	N/D	roles/datacatalog.tagTemplateCreator
Cercare risorse Spanner	Istanza	spanner.instances.get
	Database	spanner.databases.get
	Tabella	spanner.databases.get
	Visualizzazioni	spanner.databases.get
Visualizzare i tag pubblici	Istanza	spanner.instances.get
	Database	spanner.databases.get
	Tabella	spanner.databases.get
	Visualizzazioni	spanner.databases.get
Visualizzare i tag privati	Istanze	datacatalog.tagTemplates.getTag + spanner.instances.get
	Database	datacatalog.tagTemplates.getTag + spanner.databases.get
	Tabelle	datacatalog.tagTemplates.getTag + spanner.databases.get
	Visualizzazioni	datacatalog.tagTemplates.getTag + spanner.databases.get
Collega un tag a una risorsa Spanner utilizzando un modello di tag	Istanze	datacatalog.tagTemplates.use + spanner.instances.updateTag
	Database	datacatalog.tagTemplates.use + spanner.databases.updateTag
	Tabelle	datacatalog.tagTemplates.use + spanner.databases.updateTag
	Visualizzazioni	datacatalog.tagTemplates.use + spanner.databases.updateTag

L'autorizzazione spanner.instances.UpdateTag è inclusa nel seguente ruolo:

• roles/spanner.admin

L'autorizzazione spanner.databases.UpdateTag è inclusa nei seguenti ruoli:

• roles/spanner.admin
• roles/spanner.databaseAdmin
• roles/spanner.databaseUser

Per saperne di più, consulta Ruoli predefiniti.

Passaggi successivi

• Che cos'è Data Catalog
• Ruoli per la ricerca di risorse Google Cloud
• Informazioni sul controllo dell'accesso granulare