Gestire le risorse Datastream utilizzando Knowledge Catalog

Anteprima

Questa funzionalità è soggetta ai "Termini dell'offerta pre-GA" nella sezione dei Termini di servizio generali dei Termini specifici dei servizi. Le funzionalità pre-GA sono disponibili "così come sono" e potrebbero avere un supporto limitato. Per ulteriori informazioni, consulta le descrizioni della fase di lancio.

Puoi cercare e gestire le risorse Datastream utilizzando Knowledge Catalog, una piattaforma per archiviare, gestire e accedere ai metadati. Utilizza Knowledge Catalog per:

• Scoprire, analizzare e comprendere i metadati di Datastream.
• Sfogliare le risorse Datastream, come stream, profili di connessione e configurazioni di connettività.
• Migliorare la visibilità operativa per la risoluzione dei problemi e la gestione delle pipeline di dati.
• Stabilire meccanismi quasi in tempo reale e periodici per l'importazione coerente dei metadati con la sincronizzazione live e batch. Per saperne di più, vedi Modalità di sincronizzazione.

Modellazione di Knowledge Catalog

Le risorse Datastream vengono modellate in Knowledge Catalog in un gruppo di voci riservato e di proprietà di Knowledge Catalog e in tipi di voci specifici.

Entità di Knowledge Catalog	Identificatore risorsa
Gruppo di voci	@datastream
Tipo di voce	datastream-stream
Tipo di voce	datastream-connection-profile
Tipo di voce	datastream-private-connection

Tipi di rilevamento dei metadati

Il rilevamento dei metadati di Knowledge Catalog è un processo automatizzato che analizza le origini dati connesse, come Datastream, per identificare gli asset di dati ed estrarre i relativi metadati tecnici in Knowledge Catalog.

Questo processo utilizza la sincronizzazione in tempo reale e periodica per mantenere il catalogo coerente con il sistema di origine. Per Datastream, i metadati di tutti gli stream, i profili di connessione e le configurazioni di connettività privata vengono rilevati per impostazione predefinita:

Tipo di risorsa	Metadati recuperati
Stream	Nome Località Stato (ad esempio, RUNNING, PAUSED, FAILED) Strategia di backfill Nomi dei profili di connessione di origine e destinazione Configurazioni di origine e destinazione
Profili di connessione	Nome Località Tipo (ad esempio, MYSQL, ORACLE, BIGQUERY) Opzione di connettività Nome host, porta e nome database
Configurazioni di connettività privata	Nome Stato Metodo di connettività (ad esempio, Private Service Connect o peering VPC) Dettagli della rete VPC e della subnet

Nota: Knowledge Catalog si riferisce alle risorse in Datastream e in altri Google Cloud servizi come asset.

Modalità di sincronizzazione

Datastream utilizza le seguenti modalità di sincronizzazione per mantenere Knowledge Catalog coerente con il sistema di origine.

• Sincronizzazione live: in questa modalità, Datastream pubblica gli eventi negli argomenti Pub/Sub quando si verificano modifiche ai metadati. In questo modo, Knowledge Catalog può ricevere aggiornamenti quasi in tempo reale sottoscrivendo questi argomenti.
• Sincronizzazione batch: in questa modalità, Datastream pubblica periodicamente le esportazioni complete dei metadati (checkpoint) nei bucket Cloud Storage designati, da cui Knowledge Catalog importa i dati.

Ricerca per parola chiave e in linguaggio naturale

Knowledge Catalog supporta le ricerche per parola chiave e in linguaggio naturale.

• La ricerca per parola chiave consente di trovare le risorse utilizzando parole chiave, filtri e una sintassi definiti. Ad esempio, puoi inserire system=Datastream AND type=Stream per visualizzare tutti gli stream di Datastream.
• La ricerca in linguaggio naturale (anteprima) utilizza l'AI per comprendere le query semantiche. Consente di trovare le risorse utilizzando un linguaggio naturale, eliminando la necessità di una sintassi complessa. Ad esempio, puoi inserire query come List all Datastream streams with BigQuery destination.

Per saperne di più, vedi Sintassi di ricerca per Knowledge Catalog.

Prima di iniziare

Accedi al tuo Google Cloud account. Se non conosci Google Cloud, crea un account per valutare le prestazioni dei nostri prodotti in scenari reali. I nuovi clienti ricevono anche 300 $di crediti senza costi per l'esecuzione, il test e il deployment dei workload.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

1. Abilita l'API Dataplex per il progetto.

   Abilita l'API Dataplex

2. Verifica di disporre delle autorizzazioni necessarie.

Ruoli IAM richiesti

Questa sezione descrive i ruoli e le autorizzazioni necessari per cercare le risorse e accedere ai risultati di ricerca.

Ruoli richiesti per l'accesso ai risultati di ricerca

Per cercare e visualizzare i metadati di Datastream in Knowledge Catalog, le entità devono disporre delle autorizzazioni per visualizzare le risorse Datastream, inclusa l'autorizzazione dataplex.projects.search.

Per concedere queste autorizzazioni alle entità, come utenti, gruppi o account di servizio, assegna loro il ruolo IAM Visualizzatore Datastream (roles/datastream.viewer) nel progetto che contiene le risorse Datastream.

Operazione di Knowledge Catalog	Risorsa Datastream	Ruoli o autorizzazioni richiesti
Cerca le risorse Datastream	Stream	datastream.streams.get
	Profili di connessione	datastream.connectionProfiles.get
	Configurazioni di connettività privata	datastream.privateConnections.get

Per saperne di più sulla concessione dei ruoli, consulta Gestisci l'accesso. Per saperne di più sui ruoli IAM di Datastream, consulta Ruoli e autorizzazioni IAM per Datastream.

Ruoli richiesti per la ricerca delle voci

Per cercare le voci, devi disporre di almeno uno dei seguenti ruoli IAM per il progetto usato per la ricerca:

• Amministratore di Dataplex Catalog (roles/dataplex.catalogAdmin)
• Editor di Dataplex Catalog (roles/dataplex.catalogEditor)
• Visualizzatore di Dataplex Catalog (roles/dataplex.catalogViewer)

Le autorizzazioni sui risultati di ricerca vengono verificate indipendentemente dal progetto selezionato. Per saperne di più, vedi Cercare asset di dati con Knowledge Catalog.

Cercare asset Datastream

Utilizza la pagina di ricerca di Knowledge Catalog nella Google Cloud console per cercare gli asset Datastream.

1. Vai alla pagina Cerca di Knowledge Catalog.

   Vai a Cerca

2. In Scegli la piattaforma di ricerca, seleziona Knowledge Catalog.

3. Nel riquadro Filtri , fai clic su Sistemi e seleziona Datastream.

4. (Facoltativo) In Alias di tipo, puoi filtrare i risultati di ricerca in base a un tipo specifico di asset Datastream selezionando uno o più dei seguenti alias di tipo:

   • Stream di dati: per cercare gli stream di Datastream.
   • Profilo di connessione: per cercare i profili di connessione di Datastream.
   • Connessione: per cercare le configurazioni di connettività privata di Datastream.

Utilizzare le query per eseguire la ricerca per parola chiave

Puoi utilizzare il campo di ricerca in Knowledge Catalog per eseguire query di ricerca per parola chiave. Ad esempio, puoi inserire system=Datastream AND type=Stream per visualizzare tutti gli stream di Datastream.

Per saperne di più, vedi Sintassi di ricerca per Knowledge Catalog.

Per visualizzare tutti gli asset Datastream, inserisci system=Datastream.

Poi puoi inserire parole chiave specifiche. Ad esempio, per visualizzare tutti gli stream di Datastream:

system=Datastream AND type=Stream

Per visualizzare tutti i profili di connessione, inserisci la seguente query:

system=Datastream AND type=ConnectionProfile

Puoi anche utilizzare le parentesi e gli operatori logici AND e OR per espressioni complesse. Per saperne di più sulle espressioni che puoi utilizzare nel campo di ricerca, consulta Sintassi di ricerca per Knowledge Catalog.

Puoi inserire direttamente le query di ricerca per asset Datastream specifici nel campo di ricerca. Il formato della stringa di query è il seguente:

type="projects/dataplex-types/locations/global/entryTypes/QUERY_STRING"

Sostituisci quanto segue:

• QUERY_STRING: utilizza il seguente elenco per identificare una stringa di query in base al tipo di asset Datastream su cui vuoi eseguire la query:

  • datastream-stream
  • datastream-connection-profile
  • datastream-private-connection

Una query di esempio potrebbe essere simile alla seguente:

type="projects/dataplex-types/locations/global/entryTypes/datastream-stream"

Prezzi

Non sono previsti costi per l'archiviazione dei metadati tecnici di Datastream in Knowledge Catalog. Per le chiamate API e l'arricchimento dei metadati aziendali aggiuntivi si applicano i prezzi standard di Knowledge Catalog. Per saperne di più, consulta la pagina dei prezzi di Knowledge Catalog.

Passaggi successivi

• Scopri di più sulla gestione dei metadati in Knowledge Catalog.
• Scopri di più sui ru0oli di Identity and Access Management di Knowledge Catalog.