Introdução ao BigQuery Sharing

O BigQuery Sharing (antigo Analytics Hub) é uma plataforma de troca de dados que permite compartilhar, descobrir e acessar dados com segurança entre limites organizacionais sem replicar dados.

Use o compartilhamento do BigQuery para descobrir conjuntos de dados selecionados do Google e de terceiros e combiná-los com seus dados internos para aumentar as iniciativas de análise e machine learning.

Com os papéis do Identity and Access Management (IAM) de compartilhamento do BigQuery, é possível realizar as seguintes tarefas de compartilhamento do BigQuery:

  • Editor do Analytics Hub (roles/analyticshub.publisher): compartilhe dados com sua rede de parceiros ou dentro da sua organização em tempo real. Com as listagens, é possível compartilhar dados sem replicá-los e gerar receita com elas no Google Cloud Marketplace ou nos seus próprios canais. É possível criar um catálogo de fontes de dados prontas para análise com permissões granulares que permitem entregar dados aos assinantes autorizados. Você também pode gerenciar assinaturas e conferir as métricas de uso das suas listagens.

  • Assinante do Analytics Hub (roles/analyticshub.subscriber): descubra dados, combine dados pessoais compartilhados com os dados atuais e use os recursos integrados do BigQuery. Quando você se inscreve em uma listagem, um conjunto de dados vinculado ou uma assinatura do Pub/Sub vinculada será criada no seu projeto do Google Cloud . Para gerenciar suas assinaturas, use o recurso de assinatura, que armazena informações sobre o assinante e representa a conexão entre o editor e o assinante.

  • Leitor do Analytics Hub (roles/analyticshub.viewer): navegue pelas trocas de dados e listagens que você tem acesso para visualizar no BigQuery Sharing. Se você não tiver permissões de assinatura para listagens, poderá solicitar permissão ao editor para acessar os dados compartilhados. É possível descobrir listagens comerciais integradas ao Cloud Marketplace no BigQuery Sharing e no Cloud Marketplace.

  • Administrador do Analytics Hub (roles/analyticshub.admin): cria trocas de dados que permitem aos editores compartilhar dados e conceder permissões aos editores e assinantes para acessar essas trocas de dados.

Para mais informações, consulte Configurar papéis do Analytics Hub.

Arquitetura

O compartilhamento do BigQuery é baseado em um modelo de publicação e inscrição de recursos de dadosGoogle Cloud , que permite compartilhar dados no local sem replicação. O BigQuery Sharing é compatível com os seguintes recursos:

  • Conjuntos de dados do BigQuery
  • Tópicos do Pub/Sub

Fluxo de trabalho do editor

No fluxo de trabalho do editor, você cria recursos compartilhados no seu projeto, organiza-os em listagens em uma troca de dados e concede acesso aos assinantes:

O fluxo de trabalho da função de publisher do Analytics Hub, que inclui recursos compartilhados, trocas de dados e listagens.

As seções a seguir descrevem os componentes no fluxo de trabalho do editor.

Conjuntos de dados compartilhados

Um conjunto de dados compartilhado é um conjunto de dados do BigQuery que serve como a unidade de compartilhamento de dados no BigQuery. A separação de computação e armazenamento na arquitetura do BigQuery permite que os editores de dados compartilhem conjuntos de dados com vários assinantes sem replicar os dados. Como editor, você cria ou usa um conjunto de dados existente do BigQuery no seu projeto com os seguintes objetos compatíveis:

Os conjuntos de dados compartilhados são compatíveis com as seguranças no nível da coluna e no nível da linha.

Temas compartilhados

Um tópico compartilhado é um tópico do Pub/Sub, que é a unidade do compartilhamento de dados de streaming no BigQuery. Como editor, você cria ou usa um tópico do Pub/Sub no seu projeto e o distribui para os assinantes.

Trocas de dados

Uma troca de dados é um contêiner que permite que os editores compartilhem listagens de dados e que os assinantes naveguem e solicitem acesso diretamente. Ela contém listagens que referenciam conjuntos de dados compartilhados. Os editores e administradores podem conceder acesso aos assinantes nos níveis da troca e da listagem, o que evita a concessão explícita de acesso aos recursos compartilhados. Ao criar uma troca de dados, é possível atribuir um endereço de e-mail para contato principal para que os assinantes possam entrar em contato com o proprietário da troca de dados.

Uma troca de dados pode ser de um dos seguintes tipos:

O papel de administrador do Analytics Hub permite criar várias trocas de dados e gerenciar os membros da equipe que realizam tarefas de BigQuery Sharing.

Listagens

Uma listagem é uma referência a um recurso compartilhado que um editor lista em uma troca de dados. Como editor, você pode criar informações do produto e especificar a descrição do recurso, exemplos de consultas, exemplos de dados de mensagens, links do documento e instruções relevantes para assinantes. Ao criar uma página de detalhes, você pode atribuir um endereço de e-mail para contato principal, detalhes do provedor e detalhes do editor. Para mais informações, consulte Gerenciar listagens.

Uma listagem pode ser de um dos seguintes tipos, com base na política do IAM definida para a listagem e a troca de dados principal:

  • Listagem particular: por padrão, uma listagem é particular e compartilhada diretamente com usuários ou grupos específicos. Por exemplo, uma listagem particular pode fazer referência a conjuntos de dados de métricas internas que você compartilha com equipes específicas da sua organização.
  • Listagem pública: compartilhada com todos os usuários doGoogle Cloud (allAuthenticatedUsers). As listagens em uma troca de dados pública são públicas. Essas listagens podem fazer referência a recursos públicos sem custo financeiro ou comerciais. Se a listagem for de um recurso comercial, os assinantes poderão solicitar acesso diretamente ao provedor de dados ou comprar listagens comerciais integradas ao Cloud Marketplace.

Opções de saída de dados

Para BigQuery Sharing, as opções de saída de dados permitem que os publishers restrinjam a exportação de dados de conjuntos de dados vinculados pelos assinantes.

Os publishers podem ativar as restrições de saída de dados em uma listagem, nos resultados de uma consulta ou em ambos. Quando a saída de dados é restrita, as seguintes restrições são aplicadas:

Ao criar uma listagem, é possível definir as opções de saída de dados adequadas.

Fluxo de trabalho dos assinantes

No fluxo de trabalho do assinante, você navega pelas trocas de dados para descobrir listagens, se inscreve nelas e consulta os recursos vinculados no seu projeto:

O fluxo de trabalho da função de assinante do Analytics Hub, que inclui recursos compartilhados, trocas de dados, listagens e recursos vinculados.

As seções a seguir descrevem os componentes no fluxo de trabalho do assinante.

Conjuntos de dados vinculados

Um conjunto de dados vinculado é um conjunto de dados somente leitura do BigQuery que serve como um ponteiro ou uma referência para um conjunto de dados compartilhado. A inscrição em uma listagem cria um conjunto de dados vinculado no seu projeto sem replicar dados. Os assinantes podem consultar tabelas e visualizações padrão em tempo real, mas não podem adicionar nem atualizar objetos no conjunto de dados.

Os conjuntos de dados vinculados estão autorizados a acessar tabelas e visualizações em um conjunto de dados compartilhado sem exigir autorização adicional do IAM no conjunto de dados de origem subjacente. Além das tabelas e visualizações padrão, os conjuntos de dados vinculados são compatíveis com os seguintes recursos autorizados:

Para mais informações sobre conjuntos de dados vinculados, consulte Ver e assinar listagens e trocas de dados.

Assinaturas do Pub/Sub vinculadas

A inscrição em uma listagem com um tópico compartilhado cria uma assinatura do Pub/Sub vinculada no projeto do assinante sem duplicar o tópico compartilhado ou os dados da mensagem. Os assinantes da assinatura do Pub/Sub vinculada podem acessar as mensagens publicadas no tópico compartilhado sem autorização adicional do IAM no tópico de origem. Os editores podem gerenciar assinaturas diretamente no Pub/Sub ou pelo gerenciamento de assinaturas do BigQuery Sharing.

Para mais informações sobre assinaturas vinculadas do Pub/Sub, consulte Compartilhamento de stream com o Pub/Sub.

Exemplos de casos de uso

Nesta seção, apresentamos exemplos de como usar o compartilhamento do BigQuery para colaboração com parceiros e monetização de dados.

Colaboração com parceiros

Suponha que você seja um varejista e sua organização mantenha dados de previsão de demanda em tempo real em um projeto do Google Cloud chamado Forecasting. Você quer compartilhar esses dados de previsão de demanda com centenas de fornecedores na rede da cadeia de suprimentos. As seções a seguir descrevem como compartilhar dados entre papéis.

Administradores

Como proprietário do projeto Forecasting, você ativa a API Analytics Hub e concede o papel de administrador do Analytics Hub (roles/analyticshub.admin) a um membro da equipe que administra a troca de dados. Os principais com esse papel são administradores de compartilhamento do BigQuery.

Um administrador de BigQuery Sharing pode realizar as seguintes tarefas:

  • Crie, atualize, exclua e compartilhe a troca de dados no projeto Forecasting da sua organização.
  • Gerenciar outros administradores do BigQuery Sharing com o papel de administrador do Analytics Hub.
  • Gerencie os editores do BigQuery Sharing concedendo o papel de editor do Analytics Hub (roles/analyticshub.publisher) aos funcionários. Se os funcionários só precisarem atualizar, excluir e compartilhar listagens sem criar, conceda o papel de administrador de listagens do Analytics Hub (roles/analyticshub.listingAdmin).
  • Gerencie os assinantes do BigQuery Sharing concedendo o papel de assinante do Analytics Hub (roles/analyticshub.subscriber) a um grupo do Google que consiste em todos os fornecedores. Se os fornecedores só precisarem ver as trocas e listagens disponíveis sem se inscrever, conceda o papel de leitor do Analytics Hub (roles/analyticshub.viewer).

Para mais informações, consulte Papéis do IAM do BigQuery Sharing e Gerenciar trocas de dados.

Editores

Nesse cenário, os editores de dados empacotam conjuntos de dados da cadeia de suprimentos em listagens separadas para atender às necessidades dos fornecedores. Os editores criam as seguintes listagens no projeto Forecasting:

  • Listagem A: conjunto de dados 1 da previsão de demanda
  • Listagem B: conjunto de dados 2 da previsão de demanda
  • Listagem C: conjunto de dados 3 da previsão de demanda

Os editores podem rastrear métricas de uso dos conjuntos de dados compartilhados, incluindo os seguintes detalhes:

  • Jobs que são executados no conjunto de dados compartilhado.
  • Detalhes de consumo por projetos e organizações de assinantes.
  • Total de linhas e bytes processados.

Para mais informações, consulte Gerenciar listagens.

Assinantes

Os assinantes navegam pelas listagens a que têm acesso nas trocas de dados. Os fornecedores se inscrevem nessas listagens para adicionar conjuntos de dados aos projetos como conjuntos de dados vinculados. Os fornecedores podem executar consultas nesses conjuntos de dados vinculados e recuperar os resultados de previsão em tempo real.

Para mais informações, consulte Visualizar e assinar listagens e trocas de dados.

Monetização de dados

Suponha que você seja um provedor de dados financeiros com conjuntos de dados selecionados de preços históricos de ações em um projeto Google Cloud chamado MarketDataSource. Você quer monetizar esses dados oferecendo-os a instituições financeiras e traders externos. As seções a seguir descrevem como gerar receita com dados por meio do BigQuery Sharing.

Administradores

Como proprietário do projeto MarketDataSource, você ativa a API Analytics Hub e a API Marketplace do Cloud e concede o papel de administrador do Analytics Hub (roles/analyticshub.admin) à equipe que gerencia a troca comercial. Os principais com esse papel são administradores de BigQuery Sharing.

Um administrador de BigQuery Sharing pode realizar as seguintes tarefas:

  • Crie uma troca de dados pública e integre-a ao Cloud Marketplace.
  • Gerencie os editores de BigQuery Sharing concedendo o papel de editor do Analytics Hub (roles/analyticshub.publisher) aos engenheiros de dados responsáveis por criar listagens comerciais. Se os funcionários só precisarem atualizar, excluir e compartilhar listagens sem criá-las, conceda o papel de Administrador de listagens do Analytics Hub (roles/analyticshub.listingAdmin).
  • Gerenciar termos comerciais e modelos de preços no Cloud Marketplace.

Para mais informações, consulte Gerenciar trocas de dados e Listagens comerciais integradas ao Cloud Marketplace.

Editores

Nesse cenário, os editores agrupam produtos de dados financeiros em listas em níveis com base em modelos de assinatura. Os publishers criam as seguintes listagens:

  • Lista A: preços de ações globais (assinatura mensal)
  • Listagem B: indicadores do mercado em tempo real (assinatura anual)
  • Listagem C: indicadores econômicos históricos (teste sem custo financeiro)

Os editores podem rastrear métricas de uso dos conjuntos de dados compartilhados, incluindo os seguintes detalhes:

  • Jobs que são executados no conjunto de dados compartilhado.
  • Detalhes de consumo por projetos e organizações de assinantes.
  • Total de linhas e bytes processados.

Para mais informações, consulte Gerenciar listagens.

Assinantes

Os assinantes navegam pelas listagens no BigQuery Sharing ou diretamente no Cloud Marketplace. Depois de comprar uma assinatura, os assinantes criam um conjunto de dados vinculado no projeto do Google Cloud e consultam dados históricos com modelos de negociação proprietários sem ingestão manual de dados ou replicação de arquivos.

Para mais informações, consulte Visualizar e assinar listagens e trocas de dados.

Preços

Não há custo adicional para gerenciar trocas ou listagens de dados no BigQuery Sharing.

A tabela a seguir resume os modelos de preços para recursos compatíveis:

Recurso Custos do editor Custos de assinante Mais informações
Conjuntos de dados do BigQuery Armazenamento de dados Consultas executadas nos dados pessoais compartilhados (preços on demand ou relativos à capacidade) Preços do BigQuery
Tópicos do Pub/Sub Dados gravados (capacidade de publicação) e saída de rede (se aplicável) Leitura de dados (capacidade de assinatura) e saída de rede (se aplicável) Preços do Pub/Sub

Regiões compatíveis

O BigQuery Sharing é compatível com as seguintes regiões e multirregiões:

Regiões

A tabela a seguir lista as regiões nas Américas em que o compartilhamento está disponível.
Descrição da região Nome da região Detalhes
Columbus, Ohio us-east5
Dallas us-south1 Ícone de folha Baixo CO2
Iowa us-central1 Ícone de folha CO2 baixo
Las Vegas us-west4
Los Angeles us-west2
México northamerica-south1
Montreal northamerica-northeast1 Ícone de folha CO2 baixo
Norte da Virgínia us-east4
Oklahoma us-central2 ícone de folha Baixo CO2
Oregon us-west1 Ícone de folha CO2 baixo
Salt Lake City us-west3
São Paulo southamerica-east1 Ícone de folha Baixo CO2
Santiago southamerica-west1
Carolina do Sul us-east1
Toronto northamerica-northeast2
A tabela a seguir lista as regiões da Ásia-Pacífico em que o compartilhamento está disponível.
Descrição da região Nome da região Detalhes
Délhi asia-south2
Hong Kong asia-east2
Jacarta asia-southeast2
Melbourne australia-southeast2
Mumbai asia-south1
Osaka asia-northeast2
Seul asia-northeast3
Singapura asia-southeast1
Sydney australia-southeast1
Taiwan asia-east1
Tóquio asia-northeast1
A tabela a seguir lista as regiões da Europa em que o compartilhamento está disponível.
Descrição da região Nome da região Detalhes
Bélgica europe-west1 Ícone de folha Baixo CO2
Berlim europe-west10
Finlândia europe-north1 Ícone de folha CO2 baixo
Frankfurt europe-west3
Londres europe-west2 ícone de folha Baixo CO2
Madri europe-southwest1 Ícone de folha Baixo CO2
Milão europe-west8 ícone de folha Baixo CO2
Países Baixos europe-west4 Ícone de folha Baixo CO2
Paris europe-west9 Ícone de folha Baixo CO2
Turim europe-west12 ícone de folha Baixo CO2
Varsóvia europe-central2 ícone de folha Baixo CO2
Zurique europe-west6 Ícone de folha Baixo CO2
A tabela a seguir lista as regiões do Oriente Médio em que o compartilhamento está disponível.
Descrição da região Nome da região Detalhes
Damã me-central2
Doha me-central1
Tel Aviv me-west1
A tabela a seguir lista as regiões da África em que o compartilhamento está disponível.
Descrição da região Nome da região Detalhes
Johannesburgo africa-south1

Locais multirregionais

A tabela a seguir lista as multirregiões em que o compartilhamento está disponível.
Descrição multirregional Nome multirregional
Data centers dentro de estados membro da União Europeia1 EU
Data centers nos Estados Unidos US

1 Os dados localizados na multirregião EU não são armazenados nos data centers europe-west2 (Londres) ou europe-west6 (Zurique).

Regiões Omni

A tabela a seguir lista o Omni em que o compartilhamento está disponível.
Descrição da região Omni Nome da região Omni
AWS
AWS - US East (N. Virginia) aws-us-east-1
AWS - Oeste dos EUA (Oregon) aws-us-west-2
AWS – Ásia-Pacífico (Seul) aws-ap-northeast-2
AWS: Ásia-Pacífico (Sydney) aws-ap-southeast-2
AWS - Europa (Irlanda) aws-eu-west-1
AWS: Europa (Frankfurt) aws-eu-central-1
Azure
Azure - East US 2 azure-eastus2

Cotas

Para informações sobre cotas e limites de recursos de compartilhamento do BigQuery, consulte Cotas e limites.

Compliance

O BigQuery Sharing, como parte do BigQuery, obedece aos seguintes programas de compliance:

Limitações

As seções a seguir descrevem as limitações operacionais e de interoperabilidade para o BigQuery Sharing.

Limitações gerais de recursos

As seguintes limitações gerais de recursos se aplicam ao BigQuery Sharing:

  • Um conjunto de dados compartilhado pode ter no máximo 1.000 conjuntos de dados vinculados.
  • Um tópico compartilhado pode ter um máximo de 10 mil assinaturas do Pub/Sub. Esse limite inclui assinaturas vinculadas do Pub/Sub e assinaturas criadas diretamente no Pub/Sub.
  • Um conjunto de dados com recursos não compatíveis não pode ser selecionado como um conjunto de dados compartilhado. Para objetos compatíveis, consulte Conjuntos de dados compartilhados.
  • Não é possível definir papéis do IAM ou políticas do IAM em tabelas individuais em um conjunto de dados vinculado. Em vez disso, aplique-as no nível do conjunto de dados vinculado.
  • Não é possível anexar tags do IAM a tabelas em um conjunto de dados vinculado. Em vez disso, aplique-as no nível do conjunto de dados vinculado.
  • Os conjuntos de dados vinculados criados antes de 25 de julho de 2023 não são preenchidos pelo recurso de assinatura. Apenas assinaturas criadas após 25 de julho de 2023 vão funcionar com os métodos da API.

Limitações do editor

Se você é um publisher, as seguintes limitações de interoperabilidade do BigQuery se aplicam:

  • É preciso conceder aos assinantes permissões explícitas para ler o conjunto de dados de origem e consultar visualizações em conjuntos de dados vinculados. Como prática recomendada, crie visualizações autorizadas para conceder aos assinantes acesso aos dados de visualização sem conceder acesso aos dados de origem subjacentes.
  • O plano de consulta revela as definições de consulta de visualização compartilhada e de rotina, incluindo IDs do projeto e outros conjuntos de dados envolvidos nas visualizações autorizadas. Não inclua informações sensíveis, como chaves de criptografia, na visualização compartilhada ou na consulta de rotina.
  • Os conjuntos de dados compartilhados são indexados no Knowledge Catalog. As atualizações de esquema em um conjunto de dados compartilhado ficam disponíveis para os assinantes imediatamente. No entanto, quando há mais de 100 assinantes ou tabelas em um conjunto de dados compartilhado, as atualizações podem levar até 18 horas para serem indexadas. Devido ao atraso na indexação, os assinantes não podem pesquisar recursos atualizados no console Google Cloud imediatamente.
  • Os tópicos compartilhados são indexados no Knowledge Catalog, mas não é possível filtrar especificamente pelo tipo de recurso.
  • Se você configurar políticas de segurança na linha ou máscara de dados nas tabelas listadas, os assinantes precisarão usar uma edição Enterprise ou Enterprise Plus para executar jobs de consulta no conjunto de dados vinculado. Para informações sobre edições, consulte Introdução às edições do BigQuery.

Limitações de assinantes

Se você é assinante, as seguintes limitações de interoperabilidade do BigQuery são aplicáveis:

Limitações de listagem multirregional

As seguintes limitações se aplicam a listagens que abrangem várias regiões:

  • As listagens de várias regiões são compatíveis apenas com conjuntos de dados compartilhados e réplicas de conjuntos de dados vinculados. Não é possível usar várias regiões em anúncios de tópicos ou assinaturas compartilhados do Pub/Sub.
  • As listagens de várias regiões não são compatíveis com data clean rooms.
  • As listagens para várias regiões não são compatíveis com as regiões do BigQuery Omni.

Limitações das métricas de uso

As seguintes limitações se aplicam às métricas de uso:

  • Não é possível conferir as métricas de uso de listagens assinadas antes de 20 de julho de 2023.
  • As métricas de uso da tabela externa para os campos num_rows_processed e total_bytes_processed podem conter dados imprecisos.

  • As métricas de uso de consumo são compatíveis apenas com o uso de jobs do BigQuery. Os recursos a seguir não são compatíveis com métricas de consumo:

  • As métricas de uso para visualizações só são preenchidas para consultas após 22 de abril de 2024.

  • As métricas de uso não são capturadas para assinaturas vinculadas do Pub/Sub no BigQuery. É possível ver o uso diretamente no Pub/Sub.

  • Os procedimentos armazenados em SQL não estão disponíveis no painel de métricas de uso do BigQuery Sharing. É possível ver detalhes na visualização INFORMATION_SCHEMA.ROUTINES, mas não na visualização INFORMATION_SCHEMA.SHARED_DATASET_USAGE. Para mais informações, consulte Usar visualizações do INFORMATION_SCHEMA.

Limitações do VPC Service Controls e do Salesforce Data 360

As seguintes limitações se aplicam ao VPC Service Controls e ao Salesforce Data 360:

  • Não publique dados pessoais compartilhados nem hospede trocas de dados em projetos dentro de perímetros do VPC Service Controls, a menos que você configure as regras de entrada e saída adequadas para projetos de editor, de troca e de assinante. Para mais informações, consulte Como compartilhar regras do VPC Service Controls.
  • Os dados do Data 360 são compartilhados como visualizações. Como assinante, não é possível acessar as tabelas subjacentes às quais as visualizações fazem referência.

A seguir