Introduzione a BigQuery sharing

BigQuery sharing (precedentemente Analytics Hub) è una piattaforma di scambio di dati che ti consente di condividere, scoprire e accedere ai dati in modo sicuro oltre i confini dell'organizzazione senza replicare i dati.

Puoi utilizzare BigQuery sharing per scoprire set di dati di terze parti e di Google selezionati e combinarli con i tuoi dati interni per migliorare le iniziative di dati e analisi e machine learning.

I ruoli di Identity and Access Management (IAM) per la condivisione di BigQuery ti consentono di eseguire le seguenti attività di condivisione di BigQuery:

  • Publisher Analytics Hub (roles/analyticshub.publisher): condividi i dati con la tua rete di partner o all'interno della tua organizzazione in tempo reale. Le schede ti consentono di condividere i dati senza replicarli e puoi monetizzarle su Google Cloud Marketplace o tramite i tuoi canali. Puoi creare un catalogo di origini dati pronte per l'analisi con autorizzazioni granulari che ti consentono di fornire dati agli abbonati autorizzati. Puoi anche gestire gli abbonamenti e visualizzare le metriche di utilizzo per le tue schede.

  • Sottoscrittore Analytics Hub (roles/analyticshub.subscriber): scopri i dati, combina i dati condivisi con i tuoi dati esistenti e utilizza le funzionalità integrate di BigQuery. Quando ti iscrivi a una scheda, nel tuo progetto Google Cloud viene creato un set di dati collegato o una sottoscrizione Pub/Sub collegata. Per gestire le tue sottoscrizioni, utilizza la risorsa Subscription, che memorizza le informazioni sul sottoscrittore e rappresenta la connessione tra publisher e sottoscrittore.

  • Visualizzatore Analytics Hub (roles/analyticshub.viewer): sfoglia gli scambi di dati e gli elenchi che puoi visualizzare nella condivisione di BigQuery. Se non disponi delle autorizzazioni di abbonamento alle schede, puoi richiedere al publisher l'autorizzazione per accedere ai dati condivisi. Puoi scoprire le schede commerciali integrate con Cloud Marketplace sia nella condivisione di BigQuery sia in Cloud Marketplace.

  • Amministratore Analytics Hub (roles/analyticshub.admin): crea scambi di dati che consentono ai publisher di condividere i dati e concedere le autorizzazioni ai publisher e agli abbonati ai dati per accedere a questi scambi di dati.

Per saperne di più, consulta Configura i ruoli di Analytics Hub.

Architettura

La condivisione di BigQuery si basa su un modello di pubblicazione e sottoscrizione delle risorse di datiGoogle Cloud , che ti consente di condividere i dati in loco senza replicarli. La condivisione di BigQuery supporta le seguenti risorse:

  • Set di dati di BigQuery
  • Argomenti Pub/Sub

Workflow del publisher

Nel flusso di lavoro del publisher, crei risorse condivise nel tuo progetto, le organizzi in schede all'interno di uno scambio di dati e concedi l'accesso agli abbonati:

Il flusso di lavoro per il ruolo Publisher di Analytics Hub, che include risorse condivise, scambi di dati e schede.

Le sezioni seguenti descrivono i componenti del flusso di lavoro del publisher.

Set di dati condivisi

Un set di dati condiviso è un set di dati BigQuery che funge da unità di condivisione dei dati nella condivisione di BigQuery. La separazione di computing e archiviazione nell'architettura di BigQuery consente ai publisher di dati di condividere i set di dati con più sottoscrittori senza replicare i dati. In qualità di publisher, crei o utilizzi un set di dati BigQuery esistente nel tuo progetto con i seguenti oggetti supportati:

I set di dati condivisi supportano la sicurezza a livello di colonna e la sicurezza a livello di riga.

Argomenti condivisi

Un argomento condiviso è un argomento Pub/Sub, ovvero l'unità di condivisione dei dati in streaming in BigQuery. In qualità di publisher, crei o utilizzi un argomento Pub/Sub esistente nel tuo progetto e lo distribuisci ai tuoi sottoscrittori.

Data Exchange

Un data exchange è un container che consente ai publisher di condividere elenchi di dati e agli abbonati di sfogliare e richiedere l'accesso direttamente. Contiene schede che fanno riferimento a risorse condivise. I publisher e gli amministratori possono concedere l'accesso agli abbonati a livello di exchange e di scheda, evitando di concedere esplicitamente l'accesso alle risorse condivise sottostanti. Quando crei uno scambio di dati, puoi assegnare un indirizzo email di contatto principale in modo che gli abbonati possano contattare il proprietario dello scambio di dati.

Un data exchange può essere di uno dei seguenti tipi:

Il ruolo Amministratore Analytics Hub ti consente di creare più exchange di dati e gestire i membri del team che eseguono attività di BigQuery sharing.

Schede

Una scheda è un riferimento a una risorsa condivisa che un publisher elenca in uno scambio di dati. In qualità di publisher, puoi creare una scheda e specificare la descrizione della risorsa, le query di esempio, i dati dei messaggi di esempio, i link alla documentazione e le istruzioni pertinenti per i sottoscrittori. Quando crei una scheda, puoi assegnare un indirizzo email di contatto principale, i dettagli del provider e i dettagli dell'editore. Per saperne di più, consulta Gestisci le schede.

Una scheda può essere di uno dei seguenti tipi, in base alla policy IAM impostata per la scheda e per il relativo data exchange principale:

  • Scheda privata: per impostazione predefinita, una scheda è privata e condivisa direttamente con utenti o gruppi specifici. Ad esempio, una scheda privata può fare riferimento a set di dati di metriche interne che condividi con team specifici all'interno della tua organizzazione.
  • Scheda pubblica: condivisa con tutti gli utenti Google Cloud (allAuthenticatedUsers). Le schede in uno scambio di dati pubblico sono schede pubbliche. Queste schede possono fare riferimento a risorse pubbliche senza costi o a risorse commerciali. Se la scheda è per una risorsa commerciale, gli abbonati possono richiedere l'accesso direttamente al provider di dati o acquistare schede commerciali integrate con Cloud Marketplace.

Opzioni di traffico in uscita dei dati

Per i set di dati condivisi di BigQuery, le opzioni per il traffico in uscita dai dati consentono ai publisher di impedire agli abbonati di esportare i dati dai set di dati collegati.

I publisher possono attivare le limitazioni per l'esportazione dei dati su una scheda, sui risultati delle query o su entrambi. Quando l'uscita dei dati è limitata, si applicano le seguenti limitazioni:

  • Le API di copia, clonazione, esportazione e snapshot non sono disponibili.
  • Le opzioni di copia, clonazione, esportazione e snapshot non sono disponibili nella console Google Cloud .
  • BigQuery Data Transfer Service non è disponibile per il set di dati limitato.
  • Le istruzioni CREATE TABLE AS SELECT e la scrittura in una tabella di destinazione non sono disponibili.
  • Le istruzioni CREATE VIEW AS SELECT e la scrittura in una vista di destinazione non sono disponibili.

Quando crei una scheda, puoi impostare le opzioni di uscita dei dati appropriate.

Workflow del sottoscrittore

Nel flusso di lavoro del sottoscrittore, sfogli gli scambi di dati per scoprire le schede, ti iscrivi alle schede ed esegui query sulle risorse collegate nel tuo progetto:

Il flusso di lavoro per il ruolo Analytics Hub Subscriber, che include risorse condivise, scambi di dati, schede e risorse collegate.

Le sezioni seguenti descrivono i componenti del flusso di lavoro del sottoscrittore.

Set di dati collegati

Un set di dati collegato è un set di dati BigQuery di sola lettura che funge da puntatore o riferimento a un set di dati condiviso. La sottoscrizione a una scheda crea un set di dati collegato nel tuo progetto senza replicare i dati. Gli abbonati possono eseguire query su tabelle e viste standard in tempo reale, ma non possono aggiungere o aggiornare oggetti nel set di dati.

I set di dati collegati sono autorizzati ad accedere a tabelle e viste in un set di dati condiviso senza richiedere un'autorizzazione IAM aggiuntiva sul set di dati di origine sottostante. Oltre alle tabelle e alle viste standard, i set di dati collegati supportano le seguenti risorse autorizzate:

Per ulteriori informazioni sui set di dati collegati, consulta Visualizza e sottoscrivi schede e scambi di dati.

Sottoscrizioni Pub/Sub collegate

La sottoscrizione a una scheda con un argomento condiviso crea una sottoscrizione Pub/Sub collegata nel progetto del sottoscrittore senza duplicare l'argomento condiviso o i dati dei messaggi. I sottoscrittori della sottoscrizione Pub/Sub collegata possono accedere ai messaggi pubblicati nell'argomento condiviso senza un'ulteriore autorizzazione IAM per l'argomento di origine. I publisher possono gestire le sottoscrizioni direttamente in Pub/Sub o tramite la gestione delle sottoscrizioni di BigQuery sharing.

Per saperne di più sulle sottoscrizioni Pub/Sub collegate, consulta Condivisione di stream con Pub/Sub.

Esempi di casi d'uso

Questa sezione fornisce esempi di come utilizzare BigQuery sharing per la collaborazione con i partner e la monetizzazione dei dati.

Collaborazione con i partner

Supponiamo che tu sia un retailer e che la tua organizzazione gestisca i dati di previsione della domanda in tempo reale in un progetto Google Cloud denominato Forecasting. Vuoi condividere questi dati di previsione della domanda con centinaia di fornitori nella tua rete della catena di fornitura. Le sezioni seguenti descrivono come condividere i dati tra i ruoli.

Amministratori

In qualità di proprietario del progetto Forecasting, abiliti l'API Analytics Hub e concedi il ruolo Analytics Hub Admin (roles/analyticshub.admin) a un membro del team che amministra lo scambio di dati. Le entità con questo ruolo sono amministratori della condivisione di BigQuery.

Un amministratore della condivisione di BigQuery può eseguire le seguenti attività:

  • Creare, aggiornare, eliminare e condividere lo scambio di dati nel progetto Forecasting della tua organizzazione.
  • Gestire altri amministratori di BigQuery sharing con il ruolo Amministratore di Analytics Hub.
  • Gestisci i publisher di BigQuery sharing concedendo il ruolo Analytics Hub Publisher (roles/analyticshub.publisher) ai dipendenti. Se i dipendenti devono solo aggiornare, eliminare e condividere le schede senza crearle, concedi il ruolo Amministratore schede Analytics Hub (roles/analyticshub.listingAdmin).
  • Gestisci i sottoscrittori di BigQuery sharing concedendo il ruolo Analytics Hub Subscriber (roles/analyticshub.subscriber) a un gruppo Google composto da tutti i fornitori. Se i fornitori devono solo visualizzare gli exchange e i set di dati disponibili senza sottoscrivere un abbonamento, concedi il ruolo Analytics Hub Viewer (roles/analyticshub.viewer).

Per saperne di più, consulta Ruoli IAM di BigQuery sharing e Gestisci gli scambi di dati.

Publisher

In questo scenario, i publisher di dati raggruppano i set di dati della catena di fornitura in schede separate per soddisfare le esigenze dei fornitori. I publisher creano le seguenti schede nel progetto Forecasting:

  • Scheda A: set di dati di previsione della domanda 1
  • Scheda B: set di dati di previsione della domanda 2
  • Scheda C: set di dati di previsione della domanda 3

I publisher possono monitorare le metriche di utilizzo per i set di dati condivisi, inclusi i seguenti dettagli:

  • Job eseguiti sul set di dati condiviso.
  • Dettagli sul consumo in base ai progetti e alle organizzazioni degli abbonati.
  • Righe e byte totali elaborati.

Per saperne di più, consulta Gestisci le schede.

Iscritti

Gli abbonati sfogliano le schede a cui hanno accesso negli scambi di dati. I vendor si iscrivono a questi elenchi per aggiungere set di dati ai loro progetti come set di dati collegati. I fornitori possono quindi eseguire query su questi set di dati collegati e recuperare i risultati delle previsioni in tempo reale.

Per saperne di più, consulta Visualizza e sottoscrivi schede e scambi di dati.

Monetizzazione dei dati

Supponiamo che tu sia un fornitore di dati finanziari con set di dati storici curati sui prezzi delle azioni in un progetto Google Cloud denominato MarketDataSource. Vuoi monetizzare questi dati offrendoli a istituti finanziari e trader esterni. Le sezioni seguenti descrivono come monetizzare i dati tramite la condivisione di BigQuery.

Amministratori

In qualità di proprietario del progetto MarketDataSource, abiliti l'API Analytics Hub e l'API Cloud Marketplace, quindi concedi il ruolo Amministratore Analytics Hub (roles/analyticshub.admin) al team che gestisce lo scambio commerciale. Le entità con questo ruolo sono amministratori della condivisione di BigQuery.

Un amministratore della condivisione di BigQuery può eseguire le seguenti attività:

  • Crea un data exchange pubblico e integralo con Cloud Marketplace.
  • Gestisci i publisher di condivisione di BigQuery concedendo il ruolo Analytics Hub Publisher (roles/analyticshub.publisher) ai data engineer responsabili della creazione di schede commerciali. Se i dipendenti devono solo aggiornare, eliminare e condividere le schede senza crearle, concedi il ruolo Analytics Hub Listing Admin (roles/analyticshub.listingAdmin).
  • Gestire i termini commerciali e i modelli di prezzo in Cloud Marketplace.

Per saperne di più, consulta Gestisci gli scambi di dati e Schede commerciali integrate con Cloud Marketplace.

Publisher

In questo scenario, i publisher pacchettizzano i prodotti di dati finanziari in schede suddivise in livelli in base ai modelli di abbonamento. I publisher creano le seguenti schede:

  • Scheda A: Prezzi delle azioni globali (abbonamento mensile)
  • Scheda B: Indicatori di mercato in tempo reale (abbonamento annuale)
  • Scheda C: Historical Economic Indicators (Free Trial)

I publisher possono monitorare le metriche di utilizzo per i set di dati condivisi, inclusi i seguenti dettagli:

  • Job eseguiti sul set di dati condiviso.
  • Dettagli sul consumo in base ai progetti e alle organizzazioni degli abbonati.
  • Righe e byte totali elaborati.

Per saperne di più, consulta Gestisci le schede.

Iscritti

Gli iscritti sfogliano le schede nella condivisione di BigQuery o direttamente in Cloud Marketplace. Dopo aver acquistato un abbonamento, gli abbonati creano un set di dati collegato nel loro progetto Google Cloud ed eseguono query sui dati storici insieme ai modelli di trading proprietari senza acquisizione manuale dei dati o replica dei file.

Per saperne di più, consulta Visualizza e sottoscrivi schede e scambi di dati.

Prezzi

Non sono previsti costi aggiuntivi per la gestione degli scambi di dati o delle schede nella condivisione di BigQuery.

La tabella seguente riassume i modelli di prezzi per le risorse supportate:

Risorsa Costi del publisher Costi per gli abbonati Ulteriori informazioni
Set di dati BigQuery Archiviazione dei dati Query eseguite sui dati condivisi (prezzi on demand o di capacità) Prezzi di BigQuery
Argomenti Pub/Sub Dati scritti (throughput di pubblicazione) e traffico in uscita dalla rete (se applicabile) Lettura dei dati (velocità effettiva di sottoscrizione) e traffico in uscita dalla rete (se applicabile) Prezzi di Pub/Sub

Aree geografiche supportate

La condivisione di BigQuery è supportata nelle seguenti regioni e multiregioni:

Regioni

La tabella seguente elenca le regioni delle Americhe in cui è disponibile la condivisione.
Descrizione della regione Nome regione Dettagli
Columbus, Ohio us-east5
Dallas us-south1 icona foglia Bassi livelli di CO2
Iowa us-central1 icona foglia Bassi livelli di CO2
Las Vegas us-west4
Los Angeles us-west2
Messico northamerica-south1
Montréal northamerica-northeast1 icona foglia Bassi livelli di CO2
Virginia del Nord us-east4
Oklahoma us-central2 icona foglia Bassi livelli di CO2
Oregon us-west1 icona foglia Bassi livelli di CO2
Salt Lake City us-west3
San Paolo southamerica-east1 icona foglia Bassi livelli di CO2
Santiago southamerica-west1
Carolina del Sud us-east1
Toronto northamerica-northeast2
La tabella seguente elenca le regioni dell'Asia Pacifico in cui è disponibile la condivisione.
Descrizione della regione Nome regione Dettagli
Delhi asia-south2
Hong Kong asia-east2
Giacarta asia-southeast2
Melbourne australia-southeast2
Mumbai asia-south1
Osaka asia-northeast2
Seul asia-northeast3
Singapore asia-southeast1
Sydney australia-southeast1
Taiwan asia-east1
Tokyo asia-northeast1
La tabella seguente elenca le regioni in Europa in cui è disponibile la condivisione.
Descrizione della regione Nome regione Dettagli
Belgio europe-west1 icona foglia Bassi livelli di CO2
Berlino europe-west10
Finlandia europe-north1 icona foglia Bassi livelli di CO2
Francoforte europe-west3
Londra europe-west2 icona foglia Bassi livelli di CO2
Madrid europe-southwest1 icona foglia Bassi livelli di CO2
Milano europe-west8 icona foglia Bassi livelli di CO2
Paesi Bassi europe-west4 icona foglia Bassi livelli di CO2
Parigi europe-west9 icona foglia Bassi livelli di CO2
Torino europe-west12 icona foglia Bassi livelli di CO2
Varsavia europe-central2 icona foglia Bassi livelli di CO2
Zurigo europe-west6 icona foglia Bassi livelli di CO2
La tabella seguente elenca le regioni del Medio Oriente in cui è disponibile la condivisione.
Descrizione della regione Nome della regione Dettagli
Dammam me-central2
Doha me-central1
Tel Aviv me-west1
La tabella seguente elenca le regioni dell'Africa in cui è disponibile la condivisione.
Descrizione della regione Nome della regione Dettagli
Johannesburg africa-south1

Multi-regioni

La tabella seguente elenca le località multi-regione in cui è disponibile la condivisione.
Descrizione multiregionale Nome della multi-regione
Data center negli stati membri dell'Unione Europea1 EU
Data center negli Stati Uniti US

1 I dati che si trovano nella località multiregionale EU non vengono archiviati nei data center europe-west2 (Londra) o europe-west6 (Zurigo).

Regioni Omni

La tabella seguente elenca i modelli Omni in cui è disponibile la condivisione.
Descrizione della regione Omni Nome della regione omnicanale
AWS
AWS - Stati Uniti, costa orientale (Virginia del Nord) aws-us-east-1
AWS - Stati Uniti occidentali (Oregon) aws-us-west-2
AWS - Asia Pacifico (Seul) aws-ap-northeast-2
AWS - Asia Pacifico (Sydney) aws-ap-southeast-2
AWS - Europa (Irlanda) aws-eu-west-1
AWS - Europa (Francoforte) aws-eu-central-1
Azure
Azure - Stati Uniti orientali 2 azure-eastus2

Quote

Per informazioni su quote e limiti delle risorse di condivisione di BigQuery, consulta Quote e limiti.

Conformità

BigQuery sharing, in quanto parte di BigQuery, è conforme ai seguenti programmi di conformità:

Limitazioni

Le sezioni seguenti descrivono le limitazioni operative e di interoperabilità per la condivisione di BigQuery.

Limitazioni generali delle risorse

Alla condivisione di BigQuery si applicano le seguenti limitazioni generali delle risorse:

  • Un set di dati condiviso può avere un massimo di 1000 set di dati collegati.
  • Un argomento condiviso può avere un massimo di 10.000 sottoscrizioni Pub/Sub. Questo limite include le sottoscrizioni Pub/Sub collegate e quelle create direttamente in Pub/Sub.
  • Un set di dati con risorse non supportate non può essere selezionato come set di dati condiviso. Per gli oggetti supportati, consulta Set di dati condivisi.
  • Non puoi impostare ruoli IAM o policy IAM su singole tabelle all'interno di un set di dati collegato. Applicali invece a livello di set di dati collegato.
  • Non puoi collegare tag IAM alle tabelle all'interno di un set di dati collegato. Applicale invece a livello di set di dati collegato.
  • I set di dati collegati creati prima del 25 luglio 2023 non vengono sottoposti a backfill dalla risorsa Subscription. Solo gli abbonamenti creati dopo il 25 luglio 2023 funzionano con i metodi API.

Limitazioni per i publisher

Se sei un publisher, si applicano le seguenti limitazioni di interoperabilità di BigQuery:

  • Per eseguire query sulle viste all'interno dei set di dati collegati, devi concedere agli iscritti autorizzazioni esplicite per leggere il set di dati di origine. Come best practice, crea viste autorizzate per concedere agli iscritti l'accesso per visualizzare i dati senza concedere l'accesso ai dati di origine sottostanti.
  • Il piano di query rivela le definizioni delle query della vista condivisa e della routine, inclusi gli ID progetto e altri set di dati coinvolti nelle viste autorizzate. Non includere informazioni sensibili, come le chiavi di crittografia, nella vista condivisa o nella query di routine.
  • I set di dati condivisi sono indicizzati in Knowledge Catalog. Gli aggiornamenti dello schema su un set di dati condiviso diventano immediatamente disponibili per gli iscritti. Tuttavia, se un set di dati condiviso contiene più di 100 iscritti o tabelle, l'indicizzazione degli aggiornamenti potrebbe richiedere fino a 18 ore. A causa del ritardo nell'indicizzazione, gli abbonati non possono cercare immediatamente le risorse aggiornate nella console Google Cloud .
  • Gli argomenti condivisi sono indicizzati in Knowledge Catalog, ma non puoi filtrare in modo specifico per il tipo di risorsa.
  • Se configuri policy di sicurezza a livello di riga o di mascheramento dei dati sulle tabelle elencate, gli abbonati devono utilizzare una versione Enterprise o Enterprise Plus per eseguire job di query sul set di dati collegato. Per informazioni sulle versioni, consulta Introduzione alle versioni di BigQuery.

Limitazioni per gli abbonati

Se sei un sottoscrittore, si applicano le seguenti limitazioni di interoperabilità di BigQuery:

Limitazioni delle schede multiregionali

Alle schede che coprono più regioni si applicano le seguenti limitazioni:

  • Le schede per più regioni sono supportate solo per i set di dati condivisi e le repliche dei set di dati collegati. Le schede per più regioni non sono supportate per le sottoscrizioni o gli argomenti Pub/Sub condivisi.
  • Le schede per più regioni non sono supportate nelle data clean room.
  • Le schede per più regioni non sono supportate nelle regioni BigQuery Omni.

Limitazioni delle metriche di utilizzo

Alle metriche di utilizzo si applicano le seguenti limitazioni:

  • Non puoi ottenere metriche di utilizzo per le schede sottoscritte prima del 20 luglio 2023.
  • Le metriche di utilizzo della tabella esterna per i campi num_rows_processed e total_bytes_processed potrebbero contenere dati imprecisi.

  • Le metriche di utilizzo del consumo sono supportate solo per l'utilizzo con i job BigQuery. Le seguenti risorse non supportano le metriche di consumo:

  • Le metriche di utilizzo per le visualizzazioni vengono compilate solo per le query successive al 22 aprile 2024.

  • Le metriche di utilizzo non vengono acquisite per le sottoscrizioni Pub/Sub collegate in BigQuery. Puoi visualizzare l'utilizzo direttamente in Pub/Sub.

  • Le stored procedure SQL non sono disponibili nella dashboard delle metriche di utilizzo della condivisione di BigQuery. Puoi visualizzare i dettagli nella visualizzazione INFORMATION_SCHEMA.ROUTINES, ma non nella visualizzazione INFORMATION_SCHEMA.SHARED_DATASET_USAGE. Per saperne di più, consulta Utilizza le visualizzazioni INFORMATION_SCHEMA.

Limitazioni dei Controlli di servizio VPC e di Salesforce Data 360

Le seguenti limitazioni si applicano ai Controlli di servizio VPC e a Salesforce Data 360:

Passaggi successivi