Esegui la migrazione dei metadati dai cataloghi di dati esterni alle tabelle del catalogo REST di Lakehouse per Apache Iceberg

Anteprima

Questa funzionalità è soggetta ai "Termini dell'offerta pre-GA" nella sezione dei Termini di servizio generali dei Termini specifici dei servizi. Le funzionalità pre-GA sono disponibili "così come sono" e potrebbero avere un supporto limitato. Per ulteriori informazioni, consulta le descrizioni della fase di lancio.

Nota: per ricevere assistenza o fornire un feedback su questa funzionalità, contatta [e-mail].

Questo documento mostra come eseguire la migrazione dei metadati da cataloghi di dati esterni alle tabelle del catalogo REST Lakehouse per Apache Iceberg. BigQuery Migration Service supporta la migrazione dei metadati dai seguenti metastore esterni:

• Apache Hive Metastore
• Cataloghi REST Apache Iceberg

Limitazioni

Avviso: la modifica dei dati nelle tabelle di origine e di destinazione dopo una migrazione può causare la perdita di dati.

• Le migrazioni dei metadati dai cataloghi di dati esterni alle tabelle del catalogo REST di Lakehouse per Apache Iceberg sono una sincronizzazione una tantum. Questa funzionalità non supporta le sincronizzazioni continue o periodiche, pertanto le scritture effettuate dopo la migrazione non sono visibili finché non esegui nuovamente la migrazione.
• Gli spazi dei nomi nidificati non sono supportati.
• Il catalogo REST Iceberg supporta solo i file di dati Parquet.
• Lakehouse senza confini non supporta le tabelle Apache Iceberg V3.
• Le migrazioni dei metadati dai cataloghi di dati esterni alle tabelle del catalogo REST di Lakehouse per Apache Iceberg supportano solo migrazioni di un massimo di 10.000 tabelle. Se il tuo workload richiede l'elaborazione di più di 10.000 tabelle, ti consigliamo di suddividerlo in più migrazioni.
• Le migrazioni dei metadati dai cataloghi di dati esterni alle tabelle del catalogo REST Lakehouse per Apache Iceberg non supportano l'utilizzo delle policy dell'organizzazione per applicare la condivisione limitata per dominio.

Prima di iniziare

Prima di poter eseguire la migrazione dei metadati dai cataloghi di dati esterni, devi completare i passaggi descritti nelle sezioni seguenti.

Abilita API

Abilita le API BigLake, BigQuery Data Transfer, BigQuery Migration, Secret Manager e Storage Transfer, se non sono già abilitate.

Ruoli richiesti per abilitare le API

Per abilitare le API, devi disporre dell'autorizzazione serviceusage.services.enable. Se hai creato il progetto, probabilmente disponi già di questa autorizzazione tramite il ruolo Proprietario (roles/owner). In caso contrario, puoi ottenere questa autorizzazione tramite il ruolo Amministratore Service Usage (roles/serviceusage.serviceUsageAdmin). Scopri come concedere i ruoli.

Abilita le API

Quando abiliti l'API Data Transfer, viene creato un agente di servizio.

Configura autorizzazioni

1. All'utente o al account di servizio che crea il trasferimento deve essere concesso il ruolo Amministratore BigQuery (roles/bigquery.admin). Se utilizzi un account di servizio, questo viene utilizzato solo per creare il trasferimento.

2. Quando abiliti l'API Data Transfer, viene creato un agente di servizio (P4SA).

   Per assicurarti che l'agente di servizio disponga delle autorizzazioni necessarie per eseguire un trasferimento di Hive Metastore, chiedi all'amministratore di concedere all'agente di servizio i seguenti ruoli IAM sul progetto:

   Importante: devi concedere questi ruoli all'agente di servizio, non al tuo account utente. La mancata concessione dei ruoli all'entità corretta potrebbe comportare errori di autorizzazione.
   • Storage Transfer Admin (roles/storagetransfer.admin)
   • Service Usage Consumer (roles/serviceusage.serviceUsageConsumer)
   • Storage Admin (roles/storage.admin)
   • Per eseguire la migrazione dei metadati al catalogo di runtime Lakehouse (catalogo REST Iceberg o catalogo Hive): Amministratore BigLake (roles/biglake.admin)

   Per saperne di più sulla concessione dei ruoli, consulta Gestisci l'accesso a progetti, cartelle e organizzazioni.

   L'amministratore potrebbe anche essere in grado di concedere all'agente di servizio le autorizzazioni richieste tramite ruoli personalizzati o altri ruoli predefiniti.

3. Se utilizzi un account di servizio, concedi all'agente di servizio il ruolo roles/iam.serviceAccountTokenCreator con il seguente comando:

   gcloud iam service-accounts add-iam-policy-binding
   SERVICE_ACCOUNT --member
   serviceAccount:[e-mail] --role
   roles/iam.serviceAccountTokenCreator

4. Concedi all'agente di servizio Storage Transfer Service ([e-mail]) i seguenti ruoli nel progetto:

   • roles/storage.admin
   • Se esegui la migrazione da on-prem/HDFS, devi concedere anche il ruolo roles/storagetransfer.serviceAgent.

   Puoi anche configurare autorizzazioni più granulari. Per saperne di più, consulta la seguente guida:

   • Autorizzazioni HDFS
   • Autorizzazioni di Amazon S3 e Microsoft Azure

Ruoli e autorizzazioni utente richiesti

Per assicurarti che l'agente di servizio disponga delle autorizzazioni necessarie per creare, modificare ed eseguire tabelle del catalogo REST Lakehouse per la migrazione di Apache Iceberg, chiedi all'amministratore di concedere i seguenti ruoli IAM all'agente di servizio sull'utente:

Importante: devi concedere questi ruoli all'agente di servizio, non al tuo account utente. La mancata concessione dei ruoli all'entità corretta potrebbe comportare errori di autorizzazione.

• Utente Service Account (roles/iam.serviceAccountUser)
• Migration Management Editor (roles/bigquerymigration.migrationEditor)

Per saperne di più sulla concessione dei ruoli, consulta Gestisci l'accesso a progetti, cartelle e organizzazioni.

L'amministratore potrebbe anche essere in grado di concedere all'agente di servizio le autorizzazioni richieste tramite ruoli personalizzati o altri ruoli predefiniti.

Ruoli e autorizzazioni richiesti per i account di servizio

Per assicurarti che il account di servizio fornito dal cliente disponga delle autorizzazioni necessarie per creare, modificare ed eseguire tabelle del catalogo REST Lakehouse per la migrazione di Apache Iceberg, chiedi all'amministratore di concedere i seguenti ruoli IAM al account di servizio fornito dal cliente:

Importante: devi concedere questi ruoli al account di servizio fornito dal cliente, non al tuo account utente. La mancata concessione dei ruoli all'entità corretta potrebbe comportare errori di autorizzazione.

• Accesso al collegamento di rete: Compute Network Admin (roles/compute.networkAdmin) sul account di servizio
• Accesso a BigQuery Data Transfer Service: Amministratore BigQuery (roles/bigquery.admin) nell'account di servizio
• Accesso alle risorse Lakehouse: BigLake Editor (roles/biglake.editor) nel account di servizio
• Accesso ai secret: Secret Manager Secret Accessor (roles/secretmanager.secretAccessor) sul secret fornito dal cliente

Per saperne di più sulla concessione dei ruoli, consulta Gestisci l'accesso a progetti, cartelle e organizzazioni.

L'amministratore potrebbe anche essere in grado di concedere al account di servizio fornito dal cliente le autorizzazioni richieste tramite ruoli personalizzati o altri ruoli predefiniti.

Devi anche creare un'identità di servizio per BigQuery Migration Service e concederle il ruolo roles/iam.serviceAccountTokenCreator.

Per creare l'identità di servizio, esegui questo comando:

gcloud beta services identity create --service=bigquerymigration.googleapis.com --project=PROJECT_ID

Per concedere il ruolo all'agente di servizio, esegui questo comando:

gcloud iam service-accounts add-iam-policy-binding SERVICE_ACCOUNT --member serviceAccount:[e-mail] --role roles/iam.serviceAccountTokenCreator --project PROJECT_ID

Sostituisci quanto segue:

• SERVICE_ACCOUNT: l'ID del account di servizio fornito dal cliente
• PROJECT_ID: l'ID progetto
• PROJECT_NUMBER: il numero del progetto

Configura il secret

Se esegui la migrazione a un catalogo REST Apache Iceberg, devi creare un secret per autorizzare la migrazione. Il secret deve essere formattato nel seguente formato:

{
  "client_id": "CLIENT_ID",
  "client_secret": "CLIENT_SECRET",
  "polaris_realm": "POLARIS_REALM",
  "scope": "SCOPE"
}

Sostituisci quanto segue:

• CLIENT_ID: l'ID client OAuth 2.0
• CLIENT_SECRET: il client secret OAuth 2.0
• POLARIS_REALM: il realm per il catalogo Polaris. Questo campo è obbligatorio solo per Apache Polaris. Ad esempio, FINANCE.
• SCOPE: (facoltativo) l'ambito OAuth 2.0. Il valore predefinito è PRINCIPAL_ROLE:ALL.

Crea un catalogo Lakehouse

Crea un catalogo Lakehouse. I metadati di cui è stata eseguita la migrazione vengono archiviati nel bucket Cloud Storage che hai specificato durante la creazione del catalogo.

Esegui la migrazione dei metadati

Per avviare una migrazione dei metadati alle tabelle del catalogo REST Iceberg di Lakehouse, segui questi passaggi:

1. Nella console Google Cloud , vai alla pagina Migrazione > Servizi.

   Vai ai servizi di migrazione

2. In Registra o migra la lakehouse aperta, fai clic su Crea migrazione.

3. In Configurazione della migrazione, segui questi passaggi:

   1. Per il tipo di catalogo, seleziona un catalogo esterno.

   2. In Regione, seleziona una regione. La regione selezionata determina dove vengono eseguite l'orchestrazione della migrazione e il trasferimento dei dati. Determina inoltre dove il servizio di migrazione utilizza o crea risorse, come collegamenti di rete o secret.

      Sono supportati solo i secret regionali. La regione del secret deve corrispondere a quella in questo campo.

   3. In Nome visualizzato migrazione, inserisci un nome per questa migrazione.

4. In Configurazione del sistema di origine, segui questi passaggi:

   1. In URL, inserisci l'URL dell'endpoint di base che funge da punto di ingresso per il metastore Apache Iceberg o Apache Hive.
   2. In Service account, seleziona un account di servizio dall'elenco. Se non specificato, questa migrazione viene eseguita utilizzando le credenziali utente.
   3. (Facoltativo) Per Collegamento di rete, seleziona un collegamento di rete.

5. Fai clic su Continua.

Al termine della migrazione dei metadati, i metadati dei tuoi cataloghi esterni vengono archiviati nel bucket Cloud Storage specificato al momento della creazione del catalogo Lakehouse.

Prezzi

Il trasferimento dei metadati alle tabelle del catalogo REST Iceberg di Lakehouse non comporta costi. Una volta trasferiti i metadati, si applicano i prezzi di Lakehouse.