Autorizzare gli account per il trasferimento di dati

Questo documento fornisce una panoramica di come BigQuery Data Transfer Service interagisce con i diversi tipi di account, dei tipi di autorizzazione dell'account che devi eseguire per le attività di trasferimento generali e dei passaggi per la risoluzione dei problemi relativi agli errori di autorizzazione comuni.

Per iniziare a utilizzare BigQuery Data Transfer Service, assicurati che gli account associati al tuo progetto, sia gli account utente sia i service account, siano autenticati e autorizzati con le autorizzazioni corrette per soddisfare le tue esigenze di trasferimento. Per informazioni sulle autorizzazioni specifiche dell'origine dati, consulta la guida al trasferimento per ogni origine dati.

Concetti fondamentali

BigQuery Data Transfer Service automatizza i trasferimenti di dati da varie origini dati a BigQuery. Il modello di autenticazione e autorizzazione opera in due fasi diverse, il control plane e il piano dati, e per due tipi di utenti, un creatore del trasferimento o un proprietario del trasferimento.

Control plane

Il control plane rappresenta la fase del processo di autorizzazione in cui un utente autenticato è in grado di controllare e gestire le configurazioni e le esecuzioni dei trasferimenti. Un utente nel control plane deve disporre delle autorizzazioni Identity and Access Management (IAM) appropriate per controllare e gestire le configurazioni e le esecuzioni dei trasferimenti:

• L'autorizzazione bigquery.transfers.update, che consente agli utenti di:
  • Configurare le configurazioni di trasferimento dei dati.
  • Amministrare i trasferimenti esistenti, ad esempio aggiornando, disattivando o eliminando un trasferimento.
• L'autorizzazione bigquery.transfers.get, che consente agli utenti di monitorare le esecuzioni dei trasferimenti, ad esempio controllando lo stato di esecuzione del trasferimento o visualizzando la cronologia e i log delle esecuzioni dei trasferimenti.

Se utilizzi la Google Cloud consoleo lo strumento a riga di comando bq per creare un trasferimento, devi disporre anche dell'bigquery.transfers.getautorizzazione.

L'autorizzazione bigquery.transfers.update non è necessaria per configurare una query pianificata. Per ulteriori informazioni, consulta le autorizzazioni richieste per le query pianificate.

Piano dati

Il piano dati rappresenta la fase al di fuori del controllo diretto di un utente. Nel piano dati, BigQuery Data Transfer Service è in grado di eseguire i trasferimenti di dati in modalità offline e può attivare automaticamente le esecuzioni dei trasferimenti in base a una pianificazione specificata dall'utente. Nel piano dati, le credenziali del proprietario del trasferimento vengono utilizzate per accedere ai dati di origine e (a seconda dell'origine dati) le credenziali del proprietario del trasferimento o il service agent di BigQuery Data Transfer Service vengono utilizzate per avviare i job BigQuery e scrivere i dati nel set di dati di destinazione.

Per ulteriori dettagli sulle autorizzazioni richieste, consulta le seguenti sezioni di questa guida:

• Autorizzazione di accesso in lettura per le origini dati esterne
• Autorizzazione per avviare i job BigQuery
• Autorizzazione per eseguire i job BigQuery e scrivere i dati nel set di dati di destinazione

Creatore del trasferimento rispetto al proprietario del trasferimento

Un creatore del trasferimento si riferisce all'identità utente che ha creato e configurato la configurazione del trasferimento. Un utente di BigQuery Data Transfer Service e un creatore del trasferimento possono essere un account utente o un service account.

Un proprietario del trasferimento si riferisce all'identità utente utilizzata da BigQuery Data Transfer Service per autorizzare il trasferimento di dati, in particolare per l'estrazione dei dati di origine. Per le origini dati che supportano i service account, il proprietario del trasferimento può essere un account utente o un account di servizio. Per altre origini dati, il proprietario del trasferimento deve essere un account utente.

Il proprietario del trasferimento e il creatore del trasferimento possono avere la stessa identità utente, ma non è un requisito. Esistono diversi modi per impostare il proprietario del trasferimento come un utente diverso dal creatore del trasferimento:

• Quando crei un trasferimento, puoi impostare il proprietario su un account di servizio se l'origine dati supporta i service account.
• Una volta creato un trasferimento, puoi trasferire la proprietà a un nuovo account utente (o a un account di servizio se l'origine dati supporta i service account) che disponga delle autorizzazioni bigquery.transfers.update e bigquery.transfers.get. Quando aggiorni le credenziali, devi aver eseguito l'accesso al nuovo account.

Autorizzazione di accesso in lettura per le origini dati esterne

Le autorizzazioni richieste per leggere i dati di origine possono variare da un'origine dati all'altra. Ad esempio, l'accesso a Google Ads richiede autorizzazioni di accesso in lettura all'ID cliente Google Ads. Allo stesso modo, Google Play richiede l'accesso ai report in Google Play Console. Per ulteriori informazioni sulle autorizzazioni specifiche di un'origine dati, consulta le guide al trasferimento per ogni origine dati.

A seconda del tipo di identità del proprietario del trasferimento, è necessario un metodo di autorizzazione diverso per recuperare il token di accesso ai dati di origine.

Proprietario del trasferimento come account di servizio

Quando un account di servizio viene utilizzato come proprietario del trasferimento, le autorizzazioni necessarie vengono concesse automaticamente quando l'API BigQuery Data Transfer Service è abilitata per il tuo progetto. BigQuery Data Transfer Service utilizza un service agent per ottenere il token di accesso per il account di servizio fornito dall'utente (proprietario del trasferimento).

Quando abiliti l'API BigQuery Data Transfer Service, viene creato un service agent per il tuo progetto. Il sistema concede inoltre al service agent il ruolo Service Agent BigQuery Data Transfer Service (roles/bigquerydatatransfer.serviceAgent), che include l'autorizzazione iam.serviceAccounts.getAccessToken. Questa autorizzazione consente al service agent di BigQuery Data Transfer Service di rappresentare il account di servizio del proprietario del trasferimento per recuperare il token di accesso.

Per ulteriori informazioni sul service agent di BigQuery Data Transfer Service, consulta Service agent. Per ulteriori informazioni sull'utilizzo dei service account e sull'elenco aggiornato delle origini dati che supportano i account di servizio, consulta Utilizza i service account.

Avviso: non rimuovere il ruolo predefinito dal service agent. Il ruolo Service Agent BigQuery Data Transfer Service è necessario per il funzionamento di BigQuery Data Transfer Service.

Proprietario del trasferimento come account utente

Se il proprietario del trasferimento che crea la configurazione del trasferimento è un account utente (non un account di servizio), devi concedere manualmente l'autorizzazione a BigQuery Data Transfer Service per ottenere il token di accesso per l'account utente e accedere ai dati di origine per conto del proprietario del trasferimento. Puoi concedere l'approvazione manuale con l'interfaccia della finestra di dialogo OAuth.

Devi concedere l'autorizzazione a BigQuery Data Transfer Service solo la prima volta che crei un trasferimento per una determinata origine dati. Devi concedere di nuovo l'autorizzazione quando crei il primo trasferimento per una regione appena utilizzata, anche se utilizzi la stessa origine dati. I trasferimenti di dati dai canali YouTube sono l'eccezione: devi concedere manualmente l'approvazione delle autorizzazioni ogni volta che crei un trasferimento di dati del canale YouTube.

La modifica del proprietario del trasferimento tramite l'aggiornamento delle credenziali richiede anche l'approvazione manuale se il nuovo proprietario non ha mai creato un trasferimento per l'origine dati nella regione in questione.

Lo screenshot seguente mostra l'interfaccia della finestra di dialogo OAuth quando crei un trasferimento di Google Ads. La finestra di dialogo mostra le autorizzazioni specifiche dell'origine dati da concedere:

Nota: BigQuery Data Transfer Service non supporta più il authorization_code parametro per i trasferimenti di dati del canale YouTube. Puoi utilizzare il parametro version_info per fornire il risultato dell'autorizzazione al trasferimento in modo che possa ottenere le credenziali. Il parametro version_info è obbligatorio solo nelle chiamate API o CLI bq.

Per revocare le autorizzazioni concesse:

1. Vai alla pagina Account Google.
2. Fai clic su BigQuery Data Transfer Service.
3. Per revocare le autorizzazioni, fai clic su Rimuovi accesso.

Avviso: la revoca delle autorizzazioni di accesso impedisce qualsiasi esecuzione futura dei trasferimenti per le configurazioni di trasferimento di proprietà di questo account in tutte le regioni.

Autorizzazione per avviare i job BigQuery

Quando esegui la migrazione dalla maggior parte delle origini dati, tranne quando esegui la migrazione utilizzando query pianificate o copie di set di dati, il BigQuery Data Transfer Service si basa sui service agent per avviare i job BigQuery per il tuo progetto. L'autorizzazione richiesta bigquery.job.create viene concessa automaticamente al service agent quando abiliti l'API BigQuery Data Transfer Service per il tuo progetto. Per ulteriori informazioni, consulta Abilitare BigQuery Data Transfer Service.

Quando esegui la migrazione utilizzando query pianificate o copie di set di dati, BigQuery Data Transfer Service utilizza le credenziali del proprietario del trasferimento per avviare i job BigQuery.

Avviso: non rimuovere il ruolo predefinito dal service agent. Il ruolo del service agent è necessario per il funzionamento di BigQuery Data Transfer Service.

Autorizzazione per eseguire i job BigQuery e scrivere i dati nel set di dati di destinazione

Quando esegui la migrazione dalla maggior parte delle origini dati, tranne quando esegui la migrazione utilizzando query pianificate o copie di set di dati, BigQuery Data Transfer Service si basa sul service agent per scrivere i dati nel set di dati di destinazione BigQuery. L'autorizzazione richiesta, roles/bigquery.dataEditor, viene concessa al service agent da BigQuery Data Transfer Service quando crei il trasferimento. Per concedere correttamente l'autorizzazione, devi disporre dell'autorizzazione bigquery.datasets.update per il set di dati di destinazione.

Quando esegui la migrazione utilizzando query pianificate o copie di set di dati, BigQuery Data Transfer Service utilizza le credenziali del proprietario del trasferimento per eseguire i job BigQuery e scrivere i dati nel set di dati di destinazione BigQuery.

Nota: Il ruolo roles/bigquery.dataEditor concesso al service agent di BigQuery Data Transfer Service è limitato solo al set di dati di destinazione che viene utilizzato in una configurazione di trasferimento. Gli altri set di dati BigQuery nello stesso progetto non sono interessati.

Avviso: non rimuovere il ruolo roles/bigquery.dataEditor del service agent dal set di dati di destinazione. Il ruolo roles/bigquery.dataEditor è necessario per il funzionamento di BigQuery Data Transfer Service.

Considerazioni sull'autorizzazione per i trasferimenti del canale YouTube

In un trasferimento di dati del canale YouTube, il connettore del canale YouTube può trasferire dati solo dal canale YouTube associato alle credenziali utente che crea il trasferimento di dati. Per trasferire dati da canali YouTube diversi, devi creare un trasferimento di dati per ogni canale e, per ogni trasferimento di dati creato, devi utilizzare le credenziali utente associate a quel canale YouTube.

Risolvere i problemi relativi agli errori di autorizzazione

Se riscontri problemi relativi all'autorizzazione o alle autorizzazioni per il tuo trasferimento, consulta Problemi di autorizzazione e autorizzazione.