Importare metadati da PostgreSQL

Questo documento descrive come importare i metadati da PostgreSQL in Knowledge Catalog (in precedenza Dataplex Universal Catalog) utilizzando un connettore Knowledge Catalog.

Questo connettore supporta le istanze PostgreSQL ospitate on-premise, in Cloud SQL o in altri ambienti cloud.

Prima di iniziare

Prima di poter importare i metadati da PostgreSQL, completa le seguenti attività:

  1. Concedi i ruoli e le autorizzazioni richiesti.
  2. Abilita le API Knowledge Catalog e BigQuery Data Transfer Service.
  3. Soddisfa i prerequisiti di PostgreSQL.
  4. Soddisfare i prerequisiti di rete.

Ruoli e autorizzazioni IAM

Per creare e gestire un job del connettore Knowledge Catalog, devi disporre dei ruoli Identity and Access Management (IAM) che concedono le autorizzazioni per Knowledge Catalog e BigQuery Data Transfer Service.

Per ottenere le autorizzazioni necessarie per configurare un connettore PostgreSQL, chiedi all'amministratore di concederti i seguenti ruoli IAM:

Inoltre, devi concedere all'agente di servizio BigQuery Data Transfer Service (service-PROJECT_NUMBER@gcp-sa-bigquerydatatransfer.iam.gserviceaccount.com) l'autorizzazione dataplex.entryGroups.import o il ruolo Importatore gruppi di voci Dataplex (roles/dataplex.entryGroupImporter). Puoi concedere questo ruolo a livello di progetto o di gruppo di voci.

Per saperne di più sulla concessione dei ruoli, consulta Gestisci l'accesso.

Abilita API

Abilita le API Knowledge Catalog e BigQuery Data Transfer Service.

Abilita le API

Prerequisiti di PostgreSQL

Assicurati di soddisfare i prerequisiti per i trasferimenti PostgreSQL. Per maggiori dettagli, consulta la sezione Prerequisiti di PostgreSQL nella documentazione di BigQuery Data Transfer Service.

Oltre ai prerequisiti di BigQuery Data Transfer Service, il tuo database PostgreSQL deve soddisfare i seguenti requisiti per l'estrazione dei metadati:

  • Versione minima:PostgreSQL versione 15 o successive.
  • Autorizzazioni minime richieste:lo strumento di estrazione richiede autorizzazioni specifiche per raccogliere correttamente i metadati.

Per concedere queste autorizzazioni, esegui le seguenti istruzioni SQL:

  1. Concedi la connessione al database:

    GRANT CONNECT ON DATABASE DATABASE_NAME TO USERNAME;

  2. Concedi l'utilizzo dello schema:

    GRANT USAGE ON SCHEMA SCHEMA_NAME TO USERNAME;

  3. Concedi all'utente i ruoli di lettura richiesti:

    GRANT pg_read_all_data TO USERNAME;
GRANT pg_read_all_settings TO USERNAME;
GRANT pg_read_all_stats TO USERNAME;

Sostituisci quanto segue:

  • DATABASE_NAME: il nome del database PostgreSQL a cui vuoi accedere.
  • USERNAME: l'utente del database che vuoi configurare.
  • SCHEMA_NAME: il nome dello schema a cui vuoi accedere.

Prerequisiti di networking

Per la connessione tramite Private Service Connect è necessario un collegamento di rete quando ci si connette in modo sicuro a database esterni o origini dati cloud di terze parti con un indirizzo IP privato all'interno di una rete privata, per consentire a BigQuery Data Transfer Service di accedere al tuo database.

Se ti connetti a un ambiente on-premise o a un'istanza ospitata sul cloud utilizzando un indirizzo IP pubblico, non è necessario un collegamento di rete.

Configura un connettore PostgreSQL

Configura un connettore PostgreSQL utilizzando la console Google Cloud o l'API.

Console

  1. Nella console Google Cloud , vai alla pagina Knowledge Catalog.

    Vai a Knowledge Catalog

  1. Nel menu di navigazione, nella sezione Gestisci, fai clic su Connettori.
  2. Fai clic su Aggiungi connessione.
  3. Nell'elenco Connettori, seleziona la scheda PostgreSQL.
  4. Nella sezione Dettagli origine dati, fornisci i dettagli di connessione per la tua istanza PostgreSQL:
    • Per Collegamento di rete, seleziona un collegamento di rete esistente, se necessario, o creane uno.
    • Inserisci Host, Porta, Nome database, Nome utente e Password.
    • Se utilizzi TLS, seleziona una modalità TLS e fornisci un certificato PEM attendibile.
    • Per Oggetti di metadati PostgreSQL da importare, fai clic su Sfoglia per selezionare gli oggetti.
  5. Nella sezione Impostazioni destinazione:
    • Fai clic su Sfoglia e seleziona un gruppo di voci di Knowledge Catalog esistente in cui archiviare i metadati importati oppure fai clic su Crea nuovo gruppo di voci.
    • Scegli se impostare le autorizzazioni per il gruppo di voci ora o in un secondo momento. Ti consigliamo di impostare le autorizzazioni in modo che gli utenti possano visualizzare i metadati importati. Se non hai concesso il ruolo Importatore gruppi di voci Dataplex (roles/dataplex.entryGroupImporter) o l'autorizzazione dataplex.entryGroups.import all'agente di servizio BigQuery Data Transfer Service (service-PROJECT_NUMBER@gcp-sa-bigquerydatatransfer.iam.gserviceaccount.com) a livello di progetto, devi concederlo a livello di gruppo di voci.
  6. Nella sezione Nome configurazione connettore, per Nome visualizzato, inserisci un nome per il job di importazione dei metadati.
  7. Nella sezione Opzioni di pianificazione, configura la frequenza per il job di importazione dei metadati. Se selezioni On demand, il job viene eseguito solo quando lo attivi manualmente.
  8. (Facoltativo) Nella sezione Opzioni di notifica, configura le notifiche via email o Pub/Sub per gli errori dei job.
  9. (Facoltativo) Nella sezione Opzioni avanzate, configura le impostazioni di crittografia. Se selezioni una chiave di crittografia gestita dal cliente (CMEK), tieni presente che la chiave viene utilizzata per criptare tutti i dati temporanei preparati prima di avviare i job di importazione dei metadati di Knowledge Catalog. Non viene utilizzato per criptare i metadati nel gruppo di voci Knowledge Catalog di destinazione.
  10. Fai clic su Salva.

REST

Utilizza il metodo projects.locations.transferConfigs.create. Nella risorsa TransferConfig, configura i seguenti campi:

  • Imposta il campo dataSourceId su "postgresql".
  • Nel campo metadataDestination, compila l'oggetto dataplexConfiguration con il percorso della risorsa del gruppo di voci di Knowledge Catalog di destinazione: projects/<var>PROJECT_ID</var>/locations/<var>LOCATION</var>/entryGroups/<var>ENTRY_GROUP_ID</var>

Dopo aver creato il job, Knowledge Catalog pianifica la prima esecuzione in base alla configurazione oppure puoi avviarla manualmente.

Cercare e visualizzare i metadati PostgreSQL

  1. Nella console Google Cloud , vai alla pagina Knowledge Catalog Search.

    Vai a Cerca

  2. Nel riquadro Filtri, puoi filtrare gli asset PostgreSQL utilizzando le sezioni Progetto, Sistema e Alias di tipo. Nella sezione System (Sistema), seleziona Imported Context (Contesto importato). Se selezioni questo filtro, si apre una sottosezione Connettori gestiti. Seleziona PostgreSQL per filtrare tutti i metadati PostgreSQL.

  3. Puoi utilizzare il campo di ricerca per eseguire query di ricerca. Puoi eseguire una ricerca per parola chiave o in linguaggio naturale. Ad esempio, per visualizzare tutte le tabelle PostgreSQL tramite la ricerca per parola chiave, inserisci system=POSTGRESQL AND type=TABLE.

    Per saperne di più sulla ricerca delle risorse, consulta Cercare risorse in Knowledge Catalog. Per scoprire di più sulle espressioni che puoi utilizzare nel campo di ricerca, consulta Sintassi di ricerca per Knowledge Catalog.

  4. Puoi anche utilizzare l'API LookupContext per recuperare il contesto del modello linguistico di grandi dimensioni per risorse PostgreSQL specifiche.

Passaggi successivi