Introdução ao BigQuery Sharing

O BigQuery Sharing (antigo Analytics Hub) é uma plataforma de troca de dados que permite compartilhar, descobrir e acessar dados de maneira segura entre limites organizacionais sem replicar dados.

Você pode usar o compartilhamento do BigQuery para descobrir conjuntos de dados selecionados de terceiros e do Google e combiná-los com seus dados internos para aumentar as iniciativas de análise e machine learning.

Com os papéis do Identity and Access Management (IAM) de compartilhamento do BigQuery, é possível realizar as seguintes tarefas de compartilhamento do BigQuery:

  • Editor do Analytics Hub (roles/analyticshub.publisher): compartilhe dados com sua rede de parceiros ou dentro da sua organização em tempo real. Com os itens, é possível compartilhar dados sem replicá-los e gerar receita com eles no Google Cloud Marketplace ou nos seus próprios canais. É possível criar um catálogo de fontes de dados prontas para análise com permissões granulares que permitem entregar dados aos assinantes autorizados. Você também pode gerenciar assinaturas e conferir as métricas de uso das suas listagens.

  • Assinante do Analytics Hub (roles/analyticshub.subscriber): descubra dados, combine dados pessoais compartilhados com seus dados atuais e use os recursos integrados do BigQuery. Quando você se inscreve em uma listagem, um conjunto de dados vinculado ou uma assinatura do Pub/Sub vinculada é criada no seu projeto do Google Cloud . Para gerenciar suas assinaturas, use o recurso de assinatura, que armazena informações sobre o assinante e representa a conexão entre o editor e o assinante.

  • Leitor do Analytics Hub (roles/analyticshub.viewer): navegue pelas trocas e listagens de dados a que você tem acesso para visualizar no BigQuery Sharing. Se você não tiver permissões de inscrição em listagens, peça permissão ao editor para acessar os dados pessoais compartilhados. É possível descobrir listagens comerciais integradas ao Cloud Marketplace no BigQuery Sharing e no Cloud Marketplace.

  • Administrador do Analytics Hub (roles/analyticshub.admin): crie trocas de dados que permitam aos editores compartilhar dados e conceda permissões aos editores e assinantes de dados para acessar essas trocas.

Para mais informações, consulte Configurar papéis do Analytics Hub.

Arquitetura

O BigQuery Sharing é baseado em um modelo de publicação e assinatura de recursos de dadosGoogle Cloud , que permite compartilhar dados no local sem replicação. O BigQuery Sharing é compatível com os seguintes recursos:

  • Conjuntos de dados do BigQuery
  • Tópicos do Pub/Sub

Fluxo de trabalho do editor

No fluxo de trabalho do editor, você cria recursos compartilhados no seu projeto, organiza-os em listagens em uma troca de dados e concede acesso aos assinantes:

O fluxo de trabalho da função de publisher do Analytics Hub, que inclui recursos compartilhados, trocas de dados e listagens.

As seções a seguir descrevem os componentes no fluxo de trabalho do editor.

Conjuntos de dados compartilhados

Um conjunto de dados compartilhado é um conjunto de dados do BigQuery que serve como unidade de compartilhamento de dados no BigQuery. A separação de computação e armazenamento na arquitetura do BigQuery permite que os editores de dados compartilhem conjuntos de dados com vários assinantes sem replicar os dados. Como editor, você cria ou usa um conjunto de dados existente do BigQuery no seu projeto com os seguintes objetos compatíveis:

Os conjuntos de dados compartilhados são compatíveis com a segurança no nível da coluna e a segurança no nível da linha.

Tópicos compartilhados

Um tópico compartilhado é um tópico do Pub/Sub, que é a unidade de compartilhamento de dados de streaming no BigQuery. Como editor, você cria ou usa um tópico do Pub/Sub no projeto e o distribui para os assinantes.

Trocas de dados

Uma troca de dados é um contêiner que permite aos editores compartilhar listagens de dados e permite que os assinantes naveguem e solicitem acesso diretamente. Ela contém listagens que referenciam recursos compartilhados. Os editores e administradores podem conceder acesso aos assinantes nos níveis da troca e da listagem, o que evita a concessão explícita de acesso aos recursos compartilhados. Ao criar uma troca de dados, você pode atribuir um endereço de e-mail de contato principal para que os assinantes possam entrar em contato com o proprietário da troca.

Uma troca de dados pode ser de um dos seguintes tipos:

Com a função de administrador do Analytics Hub, é possível criar várias trocas de dados e gerenciar membros da equipe que realizam tarefas de BigQuery Sharing.

Listagens

Uma listagem é uma referência a um recurso compartilhado que um editor lista em uma troca de dados. Como editor, você pode criar uma listagem e especificar a descrição do recurso, exemplos de consultas, exemplos de dados de mensagens, links para documentação e instruções relevantes para assinantes. Ao criar informações do produto, você pode atribuir um endereço de e-mail de contato principal, detalhes do provedor e detalhes do editor. Para mais informações, consulte Gerenciar listagens.

Uma listagem pode ser de um dos seguintes tipos, com base na política do IAM definida para a listagem e a troca de dados principal:

  • Listagem particular: por padrão, uma listagem é particular e compartilhada diretamente com usuários ou grupos específicos. Por exemplo, uma listagem particular pode fazer referência a conjuntos de dados de métricas internas que você compartilha com equipes específicas da sua organização.
  • Listagem pública: compartilhada com todos os usuários doGoogle Cloud (allAuthenticatedUsers). As listagens em uma troca de dados pública são públicas. Essas listagens podem referenciar recursos públicos sem custo financeiro ou comerciais. Se a listagem for de um recurso comercial, os assinantes poderão solicitar acesso diretamente ao provedor de dados ou comprar listagens comerciais integradas ao Cloud Marketplace.

Opções de saída de dados

Para conjuntos de dados compartilhados do BigQuery, as opções de saída de dados permitem que os publishers restrinjam a exportação de dados de conjuntos vinculados pelos assinantes.

Os editores podem ativar restrições de saída de dados em uma página de detalhes, nos resultados de uma consulta ou em ambos. Quando a saída de dados é restrita, as seguintes restrições são aplicadas:

Ao criar uma ficha, é possível definir as opções de saída de dados adequadas.

Fluxo de trabalho dos assinantes

No fluxo de trabalho do assinante, você navega pelas trocas de dados para descobrir listagens, se inscreve nelas e consulta os recursos vinculados no seu projeto:

O fluxo de trabalho da função de assinante do Analytics Hub, que inclui recursos compartilhados, trocas de dados, listagens e recursos vinculados.

As seções a seguir descrevem os componentes no fluxo de trabalho do assinante.

Conjuntos de dados vinculados

Um conjunto de dados vinculado é um conjunto de dados somente leitura do BigQuery que serve como um ponteiro ou uma referência a um conjunto de dados compartilhado. A inscrição em uma listagem cria um conjunto de dados vinculado no seu projeto sem replicar dados. Os assinantes podem consultar tabelas e visualizações padrão em tempo real, mas não podem adicionar ou atualizar objetos no conjunto de dados.

Os conjuntos de dados vinculados estão autorizados a acessar tabelas e visualizações em um conjunto de dados compartilhado sem exigir autorização adicional do IAM no conjunto de dados de origem subjacente. Além das tabelas e visualizações padrão, os conjuntos de dados vinculados são compatíveis com os seguintes recursos autorizados:

Para mais informações sobre conjuntos de dados vinculados, consulte Visualizar e assinar listagens e trocas de dados.

Assinaturas vinculadas do Pub/Sub

A inscrição em uma listagem com um tópico compartilhado cria uma assinatura do Pub/Sub vinculada no projeto do assinante sem duplicar o tópico compartilhado ou os dados de mensagem. Os assinantes da assinatura do Pub/Sub vinculada podem acessar as mensagens publicadas no tópico compartilhado sem autorização adicional do IAM no tópico de origem. Os editores podem gerenciar assinaturas diretamente no Pub/Sub ou pelo gerenciamento de assinaturas do BigQuery Sharing.

Para mais informações sobre assinaturas vinculadas do Pub/Sub, consulte Compartilhamento de stream com o Pub/Sub.

Exemplos de casos de uso

Nesta seção, apresentamos exemplos de como usar o compartilhamento do BigQuery para colaboração com parceiros e monetização de dados.

Colaboração com parceiros

Suponha que você seja um varejista e sua organização mantenha dados de previsão de demanda em tempo real em um projeto do Google Cloud chamado Forecasting. Você quer compartilhar esses dados de previsão de demanda com centenas de fornecedores na rede da cadeia de suprimentos. As seções a seguir descrevem como compartilhar dados entre papéis.

Administradores

Como proprietário do projeto Forecasting, você ativa a API Analytics Hub e concede o papel de administrador do Analytics Hub (roles/analyticshub.admin) a um membro da equipe que administra a troca de dados. Os principais com essa função são administradores de compartilhamento do BigQuery.

Um administrador do BigQuery Sharing pode realizar as seguintes tarefas:

  • Crie, atualize, exclua e compartilhe a troca de dados no projeto Forecasting da sua organização.
  • Gerenciar outros administradores do BigQuery Sharing com a função de administrador do Analytics Hub.
  • Gerencie os editores do BigQuery Sharing concedendo a função Editor do Analytics Hub (roles/analyticshub.publisher) aos funcionários. Se os funcionários só precisarem atualizar, excluir e compartilhar listagens sem criar, conceda o papel de administrador de listagens do Analytics Hub (roles/analyticshub.listingAdmin).
  • Gerencie os assinantes do BigQuery Sharing concedendo o papel de assinante do Analytics Hub (roles/analyticshub.subscriber) a um grupo do Google que consiste em todos os fornecedores. Se os fornecedores só precisarem ver as trocas e listagens disponíveis sem fazer uma assinatura, conceda o papel de leitor do Analytics Hub (roles/analyticshub.viewer).

Para mais informações, consulte Papéis do IAM do BigQuery Sharing e Gerenciar trocas de dados.

Editores

Nesse cenário, os editores de dados agrupam conjuntos de dados da cadeia de suprimentos em listas separadas para atender às necessidades dos fornecedores. Os editores criam as seguintes listagens no projeto Forecasting:

  • Listagem A: conjunto de dados 1 da previsão de demanda
  • Listagem B: conjunto de dados 2 da previsão de demanda
  • Listagem C: conjunto de dados 3 da previsão de demanda

Os editores podem rastrear métricas de uso dos conjuntos de dados compartilhados, incluindo os seguintes detalhes:

  • Jobs que são executados no conjunto de dados compartilhado.
  • Detalhes de consumo por projetos e organizações dos assinantes.
  • Total de linhas e bytes processados.

Para mais informações, consulte Gerenciar listagens.

Assinantes

Os assinantes navegam pelas listagens a que têm acesso nas trocas de dados. Os fornecedores se inscrevem nessas listagens para adicionar conjuntos de dados aos projetos como conjuntos de dados vinculados. Os fornecedores podem executar consultas nesses conjuntos de dados vinculados e recuperar resultados de previsão em tempo real.

Para mais informações, consulte Visualizar e assinar listagens e trocas de dados.

Monetização de dados

Suponha que você seja um provedor de dados financeiros com conjuntos de dados de preços de ações históricos selecionados em um projeto Google Cloud chamado MarketDataSource. Você quer monetizar esses dados oferecendo-os a instituições financeiras e traders externos. As seções a seguir descrevem como monetizar dados usando o compartilhamento do BigQuery.

Administradores

Como proprietário do projeto MarketDataSource, você ativa a API Analytics Hub e a API Cloud Marketplace e concede o papel de administrador do Analytics Hub (roles/analyticshub.admin) à equipe que gerencia a troca comercial. Os principais com esse papel são administradores de BigQuery Sharing.

Um administrador do BigQuery Sharing pode realizar as seguintes tarefas:

  • Crie uma troca de dados pública e integre-a ao Cloud Marketplace.
  • Gerencie os editores do BigQuery Sharing concedendo a função de editor do Analytics Hub (roles/analyticshub.publisher) aos engenheiros de dados responsáveis por criar páginas de detalhes comerciais. Se os funcionários só precisarem atualizar, excluir e compartilhar listagens sem criar, conceda o papel de administrador de listagens do Analytics Hub (roles/analyticshub.listingAdmin).
  • Gerenciar termos comerciais e modelos de preços no Cloud Marketplace.

Para mais informações, consulte Gerenciar trocas de dados e Listagens comerciais integradas ao Cloud Marketplace.

Editores

Nesse cenário, os editores agrupam produtos de dados financeiros em listas em níveis com base em modelos de assinatura. Os publishers criam as seguintes listagens:

  • Listagem A: preços globais de ações (assinatura mensal)
  • Lista B: indicadores de mercado em tempo real (assinatura anual)
  • Listagem C: indicadores econômicos históricos (teste sem custo financeiro)

Os editores podem rastrear métricas de uso dos conjuntos de dados compartilhados, incluindo os seguintes detalhes:

  • Jobs que são executados no conjunto de dados compartilhado.
  • Detalhes de consumo por projetos e organizações dos assinantes.
  • Total de linhas e bytes processados.

Para mais informações, consulte Gerenciar listagens.

Assinantes

Os assinantes navegam pelas informações no BigQuery Sharing ou diretamente no Cloud Marketplace. Depois de comprar uma assinatura, os assinantes criam um conjunto de dados vinculado no projeto Google Cloud e consultam dados históricos com modelos de negociação proprietários sem ingestão manual de dados ou replicação de arquivos.

Para mais informações, consulte Visualizar e assinar listagens e trocas de dados.

Preços

Não há custo adicional para gerenciar trocas ou listagens de dados no BigQuery Sharing.

A tabela a seguir resume os modelos de preços para recursos compatíveis:

Recurso Custos do publisher Custos de assinantes Mais informações
Conjuntos de dados do BigQuery Armazenamento de dados Consultas executadas nos dados pessoais compartilhados (preços sob demanda ou de capacidade) Preços do BigQuery
Tópicos do Pub/Sub Dados gravados (capacidade de publicação) e saída de rede (se aplicável) Leitura de dados (capacidade de processamento de assinatura) e saída de rede (se aplicável) Preços do Pub/Sub

Regiões compatíveis

O BigQuery Sharing é compatível com as seguintes regiões e multirregiões:

Regiões

A tabela a seguir lista as regiões das Américas em que o compartilhamento está disponível.
Descrição da região Nome da região Detalhes
Columbus, Ohio us-east5
Dallas us-south1 Ícone de folha Baixo CO2
Iowa us-central1 Ícone de folha CO2 baixo
Las Vegas us-west4
Los Angeles us-west2
México northamerica-south1
Montreal northamerica-northeast1 Ícone de folha CO2 baixo
Norte da Virgínia us-east4
Oklahoma us-central2 ícone de folha Baixo CO2
Oregon us-west1 Ícone de folha CO2 baixo
Salt Lake City us-west3
São Paulo southamerica-east1 Ícone de folha Baixo CO2
Santiago southamerica-west1
Carolina do Sul us-east1
Toronto northamerica-northeast2
A tabela a seguir lista as regiões da Ásia-Pacífico em que o compartilhamento está disponível.
Descrição da região Nome da região Detalhes
Délhi asia-south2
Hong Kong asia-east2
Jacarta asia-southeast2
Melbourne australia-southeast2
Mumbai asia-south1
Osaka asia-northeast2
Seul asia-northeast3
Singapura asia-southeast1
Sydney australia-southeast1
Taiwan asia-east1
Tóquio asia-northeast1
A tabela a seguir lista as regiões da Europa em que o compartilhamento está disponível.
Descrição da região Nome da região Detalhes
Bélgica europe-west1 Ícone de folha Baixo CO2
Berlim europe-west10
Finlândia europe-north1 Ícone de folha CO2 baixo
Frankfurt europe-west3
Londres europe-west2 ícone de folha Baixo CO2
Madri europe-southwest1 Ícone de folha Baixo CO2
Milão europe-west8
Países Baixos europe-west4 Ícone de folha Baixo CO2
Paris europe-west9 Ícone de folha Baixo CO2
Turim europe-west12
Varsóvia europe-central2
Zurique europe-west6 Ícone de folha Baixo CO2
A tabela a seguir lista as regiões do Oriente Médio em que o compartilhamento está disponível.
Descrição da região Nome da região Detalhes
Damã me-central2
Doha me-central1
Tel Aviv me-west1
A tabela a seguir lista as regiões da África em que o compartilhamento está disponível.
Descrição da região Nome da região Detalhes
Johannesburgo africa-south1

Locais multirregionais

A tabela a seguir lista as multirregiões em que o compartilhamento está disponível.
Descrição multirregional Nome multirregional
Data centers dentro de estados membro da União Europeia1 EU
Data centers nos Estados Unidos US

1 Os dados localizados na multirregião EU não são armazenados nos data centers europe-west2 (Londres) ou europe-west6 (Zurique).

Regiões Omni

A tabela a seguir lista o Omni em que o compartilhamento está disponível.
Descrição da região Omni Nome da região Omni
AWS
AWS - US East (N. Virginia) aws-us-east-1
AWS - Oeste dos EUA (Oregon) aws-us-west-2
AWS – Ásia-Pacífico (Seul) aws-ap-northeast-2
AWS: Ásia-Pacífico (Sydney) aws-ap-southeast-2
AWS - Europa (Irlanda) aws-eu-west-1
AWS: Europa (Frankfurt) aws-eu-central-1
Azure
Azure - East US 2 azure-eastus2

Cotas

Para informações sobre cotas e limites de recursos compartilhados do BigQuery, consulte Cotas e limites.

Compliance

O BigQuery Sharing, como parte do BigQuery, está em conformidade com os seguintes programas:

Limitações

As seções a seguir descrevem as limitações operacionais e de interoperabilidade do BigQuery Sharing.

Limitações gerais de recursos

As seguintes limitações gerais de recursos se aplicam ao BigQuery Sharing:

  • Um conjunto de dados compartilhado pode ter no máximo 1.000 conjuntos de dados vinculados.
  • Um tópico compartilhado pode ter um máximo de 10 mil assinaturas do Pub/Sub. Esse limite inclui assinaturas vinculadas do Pub/Sub e assinaturas criadas diretamente no Pub/Sub.
  • Um conjunto de dados com recursos não compatíveis não pode ser selecionado como um conjunto de dados compartilhado. Para ver os objetos compatíveis, consulte Conjuntos de dados compartilhados.
  • Não é possível definir papéis do IAM ou políticas do IAM em tabelas individuais em um conjunto de dados vinculado. Em vez disso, aplique-as no nível do conjunto de dados vinculado.
  • Não é possível anexar tags do IAM a tabelas em um conjunto de dados vinculado. Em vez disso, aplique-as no nível do conjunto de dados vinculado.
  • Os conjuntos de dados vinculados criados antes de 25 de julho de 2023 não são preenchidos pelo recurso de assinatura. Apenas as assinaturas criadas após 25 de julho de 2023 funcionam com os métodos da API.

Limitações para publishers

Se você é um publisher, as seguintes limitações de interoperabilidade do BigQuery se aplicam:

  • É preciso conceder aos assinantes permissões explícitas para ler o conjunto de dados de origem e consultar visualizações em conjuntos de dados vinculados. Como prática recomendada, crie visualizações autorizadas para conceder aos assinantes acesso aos dados de visualização sem conceder acesso aos dados de origem subjacentes.
  • O plano de consulta revela as definições de consulta de visualização compartilhada e de rotina, incluindo IDs do projeto e outros conjuntos de dados envolvidos nas visualizações autorizadas. Não inclua informações sensíveis, como chaves de criptografia, na visualização compartilhada ou na consulta de rotina.
  • Os conjuntos de dados compartilhados são indexados no Data Catalog (descontinuado) e no Knowledge Catalog. As atualizações de esquema em um conjunto de dados compartilhado ficam disponíveis para os assinantes imediatamente. No entanto, quando há mais de 100 assinantes ou tabelas em um conjunto de dados compartilhado, as atualizações podem levar até 18 horas para serem indexadas. Devido ao atraso na indexação, os assinantes não podem pesquisar recursos atualizados no console do Google Cloud imediatamente.
  • Os tópicos compartilhados são indexados no Data Catalog (descontinuado) e no Knowledge Catalog, mas não é possível filtrar especificamente pelo tipo de recurso.
  • Se você configurar políticas de segurança na linha ou máscara de dados nas tabelas listadas, os assinantes precisarão usar uma edição Enterprise ou Enterprise Plus para executar jobs de consulta no conjunto de dados vinculado. Para informações sobre edições, consulte Introdução às edições do BigQuery.

Limitações de inscritos

Se você é assinante, as seguintes limitações de interoperabilidade do BigQuery são aplicáveis:

Limitações das fichas multirregionais

As seguintes limitações se aplicam às fichas em várias regiões:

  • Listagens para várias regiões são compatíveis apenas com conjuntos de dados compartilhados e réplicas de conjuntos de dados vinculados. Não é possível usar anúncios de várias regiões com tópicos ou assinaturas compartilhados do Pub/Sub.
  • As informações de várias regiões não são compatíveis com data clean rooms.
  • Não é possível usar várias regiões nas regiões do BigQuery Omni.

Limitações das métricas de uso

As seguintes limitações se aplicam às métricas de uso:

  • Não é possível conferir as métricas de uso de listas enviadas antes de 20 de julho de 2023.
  • As métricas de uso da tabela externa para os campos num_rows_processed e total_bytes_processed podem conter dados imprecisos.

  • As métricas de uso de consumo são compatíveis apenas com o uso de jobs do BigQuery. Os seguintes recursos não são compatíveis com métricas de consumo:

  • As métricas de uso para visualizações só são preenchidas para consultas após 22 de abril de 2024.

  • As métricas de uso não são capturadas para assinaturas vinculadas do Pub/Sub no BigQuery. É possível ver o uso diretamente no Pub/Sub.

  • Os procedimentos armazenados em SQL não estão disponíveis no painel de métricas de uso do BigQuery Sharing. É possível conferir os detalhes na visualização INFORMATION_SCHEMA.ROUTINES, mas não na INFORMATION_SCHEMA.SHARED_DATASET_USAGE. Para mais informações, consulte Usar visualizações INFORMATION_SCHEMA.

Limitações do VPC Service Controls e do Salesforce Data 360

As limitações a seguir se aplicam ao VPC Service Controls e ao Salesforce Data 360:

  • Não publique dados pessoais compartilhados nem hospede trocas de dados em projetos dentro de perímetros do VPC Service Controls, a menos que você configure regras de entrada e saída adequadas para projetos de editores, de troca e de assinantes. Para mais informações, consulte Compartilhar regras do VPC Service Controls.
  • Os dados do Data 360 são compartilhados como visualizações. Como assinante, não é possível acessar as tabelas subjacentes às quais as visualizações fazem referência.

A seguir