Introduzione a BigQuery sharing

La condivisione di BigQuery (precedentemente Analytics Hub) è una piattaforma di scambio di dati che consente di condividere, scoprire e accedere in modo sicuro ai dati tra i confini organizzativi senza replicarli.

Puoi utilizzare BigQuery sharing per scoprire set di dati curati di terze parti e di Google e combinarli con i tuoi dati interni per migliorare le iniziative di dati e analisi e machine learning.

I ruoli Identity and Access Management (IAM) di condivisione di BigQuery ti consentono di eseguire le seguenti attività di condivisione di BigQuery:

  • Publisher di Analytics Hub (roles/analyticshub.publisher): condividi i dati con la tua rete di partner o all'interno della tua organizzazione in tempo reale. Le schede ti consentono di condividere i dati senza replicarli e puoi monetizzarle su Google Cloud Marketplace o tramite i tuoi canali. Puoi creare un catalogo di origini dati pronte per l'analisi con autorizzazioni granulari che ti consentono di fornire dati agli abbonati autorizzati. Puoi anche gestire gli abbonamenti e visualizzare le metriche di utilizzo per le tue schede.

  • Abbonato all'hub Analytics (roles/analyticshub.subscriber): scopri i dati, combina i dati condivisi con i tuoi dati esistenti e utilizza le funzionalità integrate di BigQuery. Quando ti abboni a una scheda, nel tuo progetto Google Cloud viene creato un set di dati collegato o una sottoscrizione Pub/Sub collegata. Per gestire gli abbonamenti, utilizza la risorsa Abbonamento, che memorizza le informazioni sull'abbonato e rappresenta la connessione tra editore e abbonato.

  • Visualizzatore Analytics Hub (roles/analyticshub.viewer): sfoglia gli exchange di dati e gli elenchi a cui hai accesso per la visualizzazione in BigQuery sharing. Se non disponi delle autorizzazioni di abbonamento per le schede, puoi richiedere l'autorizzazione all'editore per accedere ai dati condivisi. Puoi scoprire le schede commerciali integrate in Cloud Marketplace sia nella condivisione BigQuery sia in Cloud Marketplace.

  • Amministratore di Analytics Hub (roles/analyticshub.admin): crea scambi di dati che consentono agli editori di condividere i dati e concedere autorizzazioni agli editori e agli abbonati per accedere a questi scambi di dati.

Per saperne di più, consulta Configurare i ruoli di Analytics Hub.

Architettura

La condivisione di BigQuery si basa su un modello di pubblicazione e sottoscrizione di Google Cloud risorse di dati, che ti consente di condividere i dati sul posto senza replicarli. BigQuery sharing supporta le seguenti risorse:

  • Set di dati di BigQuery
  • Argomenti Pub/Sub

Workflow del publisher

Nel flusso di lavoro del publisher, crei risorse condivise nel tuo progetto, le organizzi in schede all'interno di uno scambio di dati e concedi l'accesso agli abbonati:

Il flusso di lavoro per il ruolo di Publisher di Analytics Hub, che include risorse condivise, scambi di dati e schede.

Le sezioni seguenti descrivono i componenti del flusso di lavoro del publisher.

Set di dati condivisi

Un set di dati condiviso è un set di dati BigQuery che funge da unità di condivisione dei dati nella condivisione di BigQuery. La separazione di calcolo e archiviazione nell'architettura BigQuery consente ai publisher di dati di condividere i set di dati con più abbonati senza replicare i dati. In qualità di publisher, crei o utilizzi un set di dati BigQuery esistente nel tuo progetto con i seguenti oggetti supportati:

I set di dati condivisi supportano la sicurezza a livello di colonna e la sicurezza a livello di riga.

Argomenti condivisi

Un argomento condiviso è un argomento Pub/Sub, che è l'unità di condivisione dei dati in streaming in BigQuery. In qualità di publisher, crei o utilizzi un argomento Pub/Sub esistente nel tuo progetto e lo distribuisci ai tuoi abbonati.

Scambi di dati

Un exchange di dati è un contenitore che consente ai publisher di condividere le schede di dati e agli abbonati di sfogliarle e richiedere l'accesso direttamente. Contiene schede che fanno riferimento a risorse condivise. Publisher e amministratori possono concedere l'accesso agli abbonati a livello di exchange e scheda, il che evita di concedere esplicitamente l'accesso alle risorse condivise sottostanti. Quando crei uno scambio di dati, puoi assegnare un indirizzo email di contatto principale in modo che gli abbonati possano contattare il proprietario dello scambio di dati.

Uno scambio di dati può essere di uno dei seguenti tipi:

Il ruolo Amministratore Analytics Hub ti consente di creare più exchange di dati e gestire i membri del team che eseguono attività di condivisione di BigQuery.

Schede

Una scheda è un riferimento a una risorsa condivisa che un publisher elenca in uno scambio di dati. In qualità di editore, puoi creare una scheda e specificare la descrizione della risorsa, query di esempio, dati dei messaggi di esempio, link alla documentazione e istruzioni pertinenti per gli abbonati. Quando crei una scheda, puoi assegnare un indirizzo email di contatto principale, i dettagli del fornitore e i dettagli dell'editore. Per saperne di più, vedi Gestire le schede.

Un listing può essere di uno dei seguenti tipi, in base al set di criteri IAM per il listing e il relativo scambio di dati principale:

  • Scheda privata: per impostazione predefinita, una scheda è privata e condivisa direttamente con utenti o gruppi specifici. Ad esempio, una scheda privata può fare riferimento a set di dati di metriche interne che condividi con team specifici all'interno della tua organizzazione.
  • Scheda pubblica: condivisa con tutti gli utentiGoogle Cloud (allAuthenticatedUsers). Le schede in uno scambio di dati pubblico sono schede pubbliche. Queste schede possono fare riferimento a risorse pubbliche senza costi o a risorse commerciali. Se la scheda riguarda una risorsa commerciale, gli abbonati possono richiedere l'accesso direttamente al fornitore di dati o acquistare schede commerciali integrate in Cloud Marketplace.

Opzioni di uscita dei dati

Per i set di dati condivisi BigQuery, le opzioni per il traffico in uscita dai dati consentono agli editori di impedire agli abbonati di esportare i dati dai set di dati collegati.

I publisher possono attivare le limitazioni all'uscita dei dati per una scheda, i risultati delle query o entrambi. Quando l'uscita dei dati è limitata, si applicano le seguenti limitazioni:

Quando crei una scheda, puoi impostare le opzioni di uscita dei dati appropriate.

Workflow per gli iscritti

Nel flusso di lavoro del subscriber, sfogli gli scambi di dati per scoprire gli elenchi, ti abboni agli elenchi ed esegui query sulle risorse collegate nel tuo progetto:

Il flusso di lavoro per il ruolo Abbonato di Analytics Hub, che include risorse condivise, scambi di dati, schede e risorse collegate.

Le sezioni seguenti descrivono i componenti del flusso di lavoro dell'abbonato.

Set di dati collegati

Un set di dati collegato è un set di dati BigQuery di sola lettura che funge da puntatore o riferimento a un set di dati condiviso. La sottoscrizione a una scheda crea un set di dati collegato nel tuo progetto senza replicare i dati. Gli abbonati possono eseguire query su tabelle e viste standard in tempo reale, ma non possono aggiungere o aggiornare oggetti nel set di dati.

I set di dati collegati sono autorizzati ad accedere a tabelle e viste in un set di dati condiviso senza richiedere un'autorizzazione IAM aggiuntiva sul set di dati di origine sottostante. Oltre a tabelle e viste standard, i set di dati collegati supportano le seguenti risorse autorizzate:

Per saperne di più sui set di dati collegati, vedi Visualizzare e abbonarsi a schede e scambi di dati.

Sottoscrizioni Pub/Sub collegate

La sottoscrizione a una scheda con un argomento condiviso crea una sottoscrizione Pub/Sub collegata nel progetto del sottoscrittore senza duplicare l'argomento condiviso o i dati dei messaggi. Gli abbonati alla sottoscrizione Pub/Sub collegata possono accedere ai messaggi pubblicati nell'argomento condiviso senza ulteriori autorizzazioni IAM per l'argomento di origine. I publisher possono gestire gli abbonamenti direttamente in Pub/Sub o tramite la gestione degli abbonamenti di condivisione di BigQuery.

Per ulteriori informazioni sulle sottoscrizioni Pub/Sub collegate, consulta Condivisione di stream con Pub/Sub.

Esempi di casi d'uso

Questa sezione fornisce esempi di come utilizzare BigQuery sharing per la collaborazione con i partner e la monetizzazione dei dati.

Collaborazione con i partner

Supponiamo che tu sia un rivenditore e che la tua organizzazione mantenga i dati di previsione della domanda in tempo reale in un progetto Google Cloud denominato Forecasting. Vuoi condividere questi dati di previsione della domanda con centinaia di fornitori nella tua rete della supply chain. Le sezioni seguenti descrivono come condividere i dati tra i ruoli.

Amministratori

In qualità di proprietario del progetto Forecasting, devi abilitare l'API Analytics Hub e concedere il ruolo Amministratore Analytics Hub (roles/analyticshub.admin) a un membro del team che amministra lo scambio di dati. I principal con questo ruolo sono amministratori della condivisione BigQuery.

Un amministratore della condivisione di BigQuery può svolgere le seguenti attività:

  • Crea, aggiorna, elimina e condividi lo scambio di dati nel progetto Forecasting della tua organizzazione.
  • Gestisci altri amministratori di BigQuery sharing con il ruolo Amministratore di Analytics Hub.
  • Gestisci gli editori di BigQuery sharing concedendo il ruolo Editore di Analytics Hub (roles/analyticshub.publisher) ai dipendenti. Se i dipendenti devono solo aggiornare, eliminare e condividere le schede senza crearle, concedi il ruolo Amministratore schede di Analytics Hub (roles/analyticshub.listingAdmin).
  • Gestisci gli abbonati alla condivisione BigQuery concedendo il ruolo Abbonato Analytics Hub (roles/analyticshub.subscriber) a un gruppo Google composto da tutti i fornitori. Se i fornitori devono solo visualizzare gli scambi e le schede disponibili senza abbonarsi, concedi il ruolo Analytics Hub Viewer (roles/analyticshub.viewer).

Per saperne di più, vedi Ruoli IAM di BigQuery Sharing e Gestire gli scambi di dati.

Publisher

In questo scenario, i publisher di dati raggruppano i set di dati della supply chain in schede separate per soddisfare le esigenze dei fornitori. I publisher creano i seguenti elenchi nel progetto Forecasting:

  • Elenco A: Set di dati di previsione della domanda 1
  • Scheda B: Demand Forecast Dataset 2
  • Scheda C: set di dati 3 di previsione della domanda

I publisher possono monitorare le metriche di utilizzo per i set di dati condivisi, inclusi i seguenti dettagli:

  • Job eseguiti sul set di dati condiviso.
  • Dettagli sul consumo per progetti e organizzazioni degli abbonati.
  • Righe e byte totali elaborati.

Per saperne di più, vedi Gestire le schede.

Iscritti

Gli abbonati sfogliano le schede a cui hanno accesso negli scambi di dati. I fornitori si abbonano a queste schede per aggiungere set di dati ai loro progetti come set di dati collegati. I fornitori possono quindi eseguire query su questi set di dati collegati e recuperare i risultati delle previsioni in tempo reale.

Per saperne di più, vedi Visualizzare e abbonarsi a schede e scambi di dati.

Monetizzazione dei dati

Supponiamo che tu sia un fornitore di dati finanziari con set di dati storici curati sui prezzi delle azioni in un progetto Google Cloud denominato MarketDataSource. Vuoi monetizzare questi dati offrendoli a istituti finanziari e trader esterni. Le sezioni seguenti descrivono come monetizzare i dati tramite la condivisione di BigQuery.

Amministratori

In qualità di proprietario del progetto MarketDataSource, devi abilitare l'API Analytics Hub e l'API Cloud Marketplace, quindi concedere il ruolo Amministratore Analytics Hub (roles/analyticshub.admin) al team che gestisce lo scambio commerciale. I principal con questo ruolo sono amministratori della condivisione BigQuery.

Un amministratore della condivisione di BigQuery può svolgere le seguenti attività:

  • Crea un exchange di dati pubblici e integralo con Cloud Marketplace.
  • Gestisci i publisher di BigQuery sharing concedendo il ruolo Publisher di Analytics Hub (roles/analyticshub.publisher) agli ingegneri dei dati responsabili della creazione di schede commerciali. Se i dipendenti devono solo aggiornare, eliminare e condividere le schede senza crearle, concedi il ruolo Amministratore scheda Analytics Hub (roles/analyticshub.listingAdmin).
  • Gestisci i termini commerciali e i modelli di prezzi in Cloud Marketplace.

Per ulteriori informazioni, vedi Gestire gli scambi di dati e Schede commerciali integrate in Cloud Marketplace.

Publisher

In questo scenario, gli editori raggruppano i prodotti di dati finanziari in schede a più livelli in base ai modelli di abbonamento. Gli editori creano le seguenti schede:

  • Scheda A: prezzi delle azioni globali (abbonamento mensile)
  • Scheda B: Indicatori di mercato in tempo reale (abbonamento annuale)
  • Scheda C: indicatori economici storici (prova senza costi)

I publisher possono monitorare le metriche di utilizzo per i set di dati condivisi, inclusi i seguenti dettagli:

  • Job eseguiti sul set di dati condiviso.
  • Dettagli sul consumo per progetti e organizzazioni degli abbonati.
  • Righe e byte totali elaborati.

Per saperne di più, vedi Gestire le schede.

Iscritti

Gli abbonati sfogliano le schede nella condivisione di BigQuery o direttamente in Cloud Marketplace. Dopo aver acquistato un abbonamento, gli abbonati creano un set di dati collegato nel loro progetto Google Cloud ed eseguono query sui dati storici insieme a modelli di trading proprietari senza importazione manuale dei dati o replica dei file.

Per saperne di più, vedi Visualizzare e abbonarsi a schede e scambi di dati.

Prezzi

Non sono previsti costi aggiuntivi per la gestione degli exchange di dati o delle schede in BigQuery sharing.

La tabella seguente riepiloga i modelli di prezzo per le risorse supportate:

Risorsa Costi per i publisher Costi per gli iscritti Ulteriori informazioni
Set di dati BigQuery Archiviazione dei dati Query eseguite sui dati condivisi (prezzi on demand o della capacità) Prezzi di BigQuery
Argomenti Pub/Sub Dati scritti (throughput di pubblicazione) e traffico in uscita dalla rete (se applicabile) Lettura dei dati (throughput di iscrizione) e uscita dalla rete (se applicabile) Prezzi di Pub/Sub

Aree geografiche supportate

La condivisione di BigQuery è supportata nelle seguenti regioni e multiregioni:

Regioni

La tabella seguente elenca le regioni delle Americhe in cui è disponibile la condivisione.
Descrizione della regione Nome regione Dettagli
Columbus, Ohio us-east5
Dallas us-south1 icona foglia Bassi livelli di CO2
Iowa us-central1 icona foglia Bassi livelli di CO2
Las Vegas us-west4
Los Angeles us-west2
Messico northamerica-south1
Montréal northamerica-northeast1 icona foglia Bassi livelli di CO2
Virginia del Nord us-east4
Oklahoma us-central2 icona foglia Bassi livelli di CO2
Oregon us-west1 icona foglia Bassi livelli di CO2
Salt Lake City us-west3
San Paolo southamerica-east1 icona foglia Bassi livelli di CO2
Santiago southamerica-west1
Carolina del Sud us-east1
Toronto northamerica-northeast2
La seguente tabella elenca le regioni dell'Asia Pacifico in cui è disponibile la condivisione.
Descrizione della regione Nome regione Dettagli
Delhi asia-south2
Hong Kong asia-east2
Giacarta asia-southeast2
Melbourne australia-southeast2
Mumbai asia-south1
Osaka asia-northeast2
Seul asia-northeast3
Singapore asia-southeast1
Sydney australia-southeast1
Taiwan asia-east1
Tokyo asia-northeast1
La tabella seguente elenca le regioni d'Europa in cui è disponibile la condivisione.
Descrizione della regione Nome regione Dettagli
Belgio europe-west1 icona foglia Bassi livelli di CO2
Berlino europe-west10
Finlandia europe-north1 icona foglia Bassi livelli di CO2
Francoforte europe-west3
Londra europe-west2 icona foglia Bassi livelli di CO2
Madrid europe-southwest1 icona foglia Bassi livelli di CO2
Milano europe-west8
Paesi Bassi europe-west4 icona foglia Bassi livelli di CO2
Parigi europe-west9 icona foglia Bassi livelli di CO2
Torino europe-west12
Varsavia europe-central2
Zurigo europe-west6 icona foglia Bassi livelli di CO2
La seguente tabella elenca le regioni del Medio Oriente in cui è disponibile la condivisione.
Descrizione della regione Nome regione Dettagli
Dammam me-central2
Doha me-central1
Tel Aviv me-west1
La seguente tabella elenca le regioni dell'Africa in cui è disponibile la condivisione.
Descrizione della regione Nome regione Dettagli
Johannesburg africa-south1

Più regioni

La tabella seguente elenca le multiregioni in cui è disponibile la condivisione.
Descrizione multiregionale Nome multi-regione
Data center all'interno degli stati membri dell'Unione Europea1 EU
Data center negli Stati Uniti US

1 I dati che si trovano nella multi-regione EU non sono archiviati nei data center europe-west2 (Londra) o europe-west6 (Zurigo).

Regioni Omni

La tabella seguente elenca gli Omni in cui è disponibile la condivisione.
Descrizione della regione Omni Nome della regione Omni
AWS
AWS - Stati Uniti orientali (Virginia del Nord) aws-us-east-1
AWS - US West (Oregon) aws-us-west-2
AWS - Asia Pacifico (Seul) aws-ap-northeast-2
AWS - Asia Pacifico (Sydney) aws-ap-southeast-2
AWS - Europe (Ireland) aws-eu-west-1
AWS - Europe (Frankfurt) aws-eu-central-1
Azure
Azure - Stati Uniti orientali 2 azure-eastus2

Quote

Per informazioni su quote e limiti delle risorse di condivisione di BigQuery, consulta la sezione Quote e limiti.

Conformità

BigQuery sharing, in quanto parte di BigQuery, è conforme ai seguenti programmi di conformità:

Limitazioni

Le seguenti sezioni descrivono le limitazioni operative e di interoperabilità per la condivisione di BigQuery.

Limitazioni generali delle risorse

Si applicano le seguenti limitazioni generali delle risorse alla condivisione di BigQuery:

  • Un set di dati condiviso può avere un massimo di 1000 set di dati collegati.
  • Un argomento condiviso può avere un massimo di 10.000 sottoscrizioni Pub/Sub. Questo limite include le sottoscrizioni Pub/Sub collegate e le sottoscrizioni create direttamente in Pub/Sub.
  • Un set di dati con risorse non supportate non può essere selezionato come set di dati condiviso. Per gli oggetti supportati, vedi Dataset condivisi.
  • Non puoi impostare ruoli IAM o norme IAM su singole tabelle all'interno di un set di dati collegato. Applica i filtri a livello di set di dati collegato.
  • Non puoi allegare tag IAM alle tabelle all'interno di un set di dati collegato. Applica invece i filtri a livello del set di dati collegato.
  • I set di dati collegati creati prima del 25 luglio 2023 non vengono compilati a posteriori dalla risorsa Abbonamento. Solo gli abbonamenti creati dopo il 25 luglio 2023 funzionano con i metodi API.

Limitazioni per i publisher

Se sei un publisher, si applicano le seguenti limitazioni di interoperabilità di BigQuery:

  • Devi concedere agli abbonati autorizzazioni esplicite per leggere il set di dati di origine per eseguire query sulle viste all'interno dei set di dati collegati. Come best practice, crea viste autorizzate per concedere agli abbonati l'accesso alla visualizzazione dei dati senza concedere l'accesso ai dati di origine sottostanti.
  • Il piano di query mostra le definizioni di query di routine e di query di visualizzazione condivise, inclusi gli ID progetto e altri set di dati coinvolti nelle visualizzazioni autorizzate. Non includere informazioni sensibili, come le chiavi di crittografia, nella visualizzazione condivisa o nella query di routine.
  • I set di dati condivisi vengono indicizzati in Data Catalog (deprecato) e Knowledge Catalog. Gli aggiornamenti dello schema di un set di dati condiviso diventano immediatamente disponibili per gli abbonati. Tuttavia, quando in un set di dati condiviso sono presenti più di 100 iscritti o tabelle, l'indicizzazione degli aggiornamenti potrebbe richiedere fino a 18 ore. A causa del ritardo di indicizzazione, gli abbonati non possono cercare immediatamente le risorse aggiornate nella console Google Cloud .
  • Gli argomenti condivisi vengono indicizzati in Data Catalog (ritirato) e Knowledge Catalog, ma non puoi filtrare in modo specifico in base al tipo di risorsa.
  • Se configuri criteri di sicurezza a livello di riga o di mascheramento dei dati sulle tabelle elencate, gli abbonati devono utilizzare una versione Enterprise o Enterprise Plus per eseguire job di query sul set di dati collegato. Per informazioni sulle versioni, vedi Introduzione alle versioni di BigQuery.

Limitazioni per gli iscritti

Se sei un abbonato, si applicano le seguenti limitazioni di interoperabilità di BigQuery:

  • Le viste materializzate che fanno riferimento a tabelle nel set di dati collegato non sono supportate.
  • L'acquisizione di snapshot delle tabelle del set di dati collegato non è supportata.
  • Le query con set di dati collegati e istruzioni JOIN che superano 1 TB (spazio di archiviazione fisico) potrebbero non riuscire. Se riscontri questo problema, contatta l'assistenza.
  • Non puoi utilizzare qualificatori di regione con le visualizzazioni INFORMATION_SCHEMA per visualizzare i metadati del set di dati collegato.

Limitazioni delle schede multiregionali

Ai listing che si estendono su più regioni si applicano le seguenti limitazioni:

  • Le schede per più regioni sono supportate solo per i set di dati condivisi e le repliche dei set di dati collegati. Le schede per più regioni non sono supportate per argomenti o abbonamenti Pub/Sub condivisi.
  • Le schede per più regioni non sono supportate nelle data clean room.
  • Gli elenchi per più regioni non sono supportati nelle regioni BigQuery Omni.

Limitazioni delle metriche di utilizzo

Alle metriche di utilizzo si applicano le seguenti limitazioni:

  • Non puoi ottenere metriche di utilizzo per le schede a cui è stato eseguito l'abbonamento prima del 20 luglio 2023.
  • Le metriche di utilizzo della tabella esterna per i campi num_rows_processed e total_bytes_processed potrebbero contenere dati imprecisi.

  • Le metriche di utilizzo del consumo sono supportate solo per l'utilizzo con i job BigQuery. Le seguenti risorse non supportano le metriche di consumo:

  • Le metriche di utilizzo per le visualizzazioni vengono compilate solo per le query successive al 22 aprile 2024.

  • Le metriche di utilizzo non vengono acquisite per le sottoscrizioni Pub/Sub collegate in BigQuery. Puoi visualizzare l'utilizzo direttamente in Pub/Sub.

  • Le stored procedure SQL non sono disponibili nella dashboard delle metriche di utilizzo della condivisione di BigQuery. Puoi visualizzare i dettagli nella visualizzazione INFORMATION_SCHEMA.ROUTINES, ma non nella visualizzazione INFORMATION_SCHEMA.SHARED_DATASET_USAGE. Per saperne di più, consulta Utilizzare le visualizzazioni INFORMATION_SCHEMA.

Limitazioni dei Controlli di servizio VPC e di Salesforce Data 360

I seguenti limiti si applicano ai Controlli di servizio VPC e a Salesforce Data 360:

  • Non pubblicare dati condivisi o ospitare scambi di dati in progetti all'interno dei perimetri dei Controlli di servizio VPC, a meno che tu non configuri regole in entrata e in uscita appropriate per i progetti publisher, i progetti di scambio e i progetti abbonati. Per saperne di più, consulta Condivisione delle regole dei Controlli di servizio VPC.
  • I dati di Data 360 vengono condivisi come viste. In qualità di abbonato, non puoi accedere alle tabelle sottostanti a cui fanno riferimento le viste.

Passaggi successivi