Ver e assinar listagens e trocas de dados

No compartilhamento do BigQuery (antigo Analytics Hub), é possível descobrir e assinar listagens e trocas de dados para consultar dados compartilhados diretamente no BigQuery sem replicar dados ou gerar custos de armazenamento. A assinatura cria conjuntos de dados vinculados somente leitura no seu projeto, que permitem analisar tabelas e visualizações compartilhadas com os recursos atuais.

Funções exigidas

Para receber as permissões necessárias para usar listagens, peça ao administrador para conceder a você os seguintes papéis do IAM:

Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Esses papéis predefinidos contêm as permissões necessárias para usar listagens. Para acessar as permissões exatas necessárias, expanda a seção Permissões necessárias:

Permissões necessárias

As seguintes permissões são necessárias para usar as listagens:

  • Criar conjuntos de dados: bigquery.datasets.create no projeto do assinante
  • Consultar conjuntos de dados: bigquery.jobs.create no projeto do assinante

Essas permissões também podem ser concedidas com funções personalizadas ou outros papéis predefinidos.

Descobrir fichas

Para encontrar listagens públicas e privadas, siga estas etapas:

  1. No console do Google Cloud , acesse a página Compartilhamento (Analytics Hub).

    Acessar o compartilhamento (Analytics Hub)

  2. Clique em Pesquisar listagens. Uma caixa de diálogo será exibida com as listagens que você pode acessar.

  3. Para filtrar listagens por nome ou descrição, insira o texto no campo Pesquisar listagens.

  4. Na seção Filtros, filtre as listagens usando os seguintes campos:

    • Listagens: selecione se você quer ver listagens particulares, listagens públicas ou listagens na sua organização.

    • Categorias: selecione uma ou mais categorias.

    • Local: selecione um local. Só é possível pesquisar pelo local da troca de dados. Veja mais informações nas regiões compatíveis.

    • Provedor: selecione um provedor de dados. Alguns provedores de dados exigem que você solicite acesso aos conjuntos de dados comerciais. Depois de solicitar acesso, o provedor de dados entrará em contato com você para compartilhar os conjuntos de dados.

  5. Navegue pelas listagens filtradas.

Descobrir trocas de dados

Para descobrir trocas de dados, siga estas etapas:

  1. No console do Google Cloud , acesse a página Compartilhamento (Analytics Hub).

    Acessar o compartilhamento (Analytics Hub)

  2. Clique em Pesquisar listagens. Uma caixa de diálogo é exibida com listagens e trocas de dados em que você pode se inscrever.

  3. Para filtrar trocas de dados por nome ou descrição, insira o texto no campo Pesquisar listagens.

  4. Na seção Filtros, filtre as trocas de data clean room usando os seguintes campos:

    • Listagens: marque a caixa de seleção Clean rooms para ver as clean rooms compartilhadas.

    • Categorias: selecione uma ou mais categorias.

    • Local: selecione um local. Só é possível pesquisar pelo local da troca de dados. Veja mais informações nas regiões compatíveis.

  5. Navegue pelas data clean rooms filtradas.

Assinar listagens

Assinar uma listagem oferece acesso somente leitura aos dados da listagem criando um conjunto de dados vinculado no seu projeto.

Para se inscrever em uma listagem, siga estas etapas:

Console

  1. Para ver uma lista de listagens às quais você tem acesso, siga as etapas em Descobrir listagens.

  2. Na lista de listagens, clique na listagem que você quer assinar. Uma caixa de diálogo com os detalhes da listagem será exibida. A caixa de diálogo indica se o provedor ativou a geração de registros de e-mail do assinante e lista as regiões em que a listagem está disponível.

  3. Se a listagem exigir aprovação ou compra (como um conjunto de dados comercial), clique em Solicitar acesso ou Comprar pelo Marketplace. Caso contrário, clique em Inscrever-se para abrir a caixa de diálogo Criar conjunto de dados vinculado.

  4. Se a API Analytics Hub não estiver ativada no projeto, clique em Ativar API Analytics Hub na mensagem que aparece.

  5. Na caixa de diálogo Criar conjunto de dados vinculado, especifique os seguintes detalhes:

    • Projeto: insira o nome do projeto em que você quer adicionar o conjunto de dados.
    • Nome do conjunto de dados vinculado: insira um nome para o conjunto de dados vinculado.

    • Região principal: selecione a região em que você quer criar o conjunto de dados vinculado.

    • Opcional: Regiões de réplica: selecione as regiões em que você quer criar réplicas de conjuntos de dados vinculados. Colocar o conjunto de dados vinculado com outros dados minimiza a saída e facilita as mesclagens entre conjuntos de dados. Para criar réplicas, é preciso ter a permissão bigquery.datasets.update no conjunto de dados vinculado.

  6. Para criar o conjunto de dados vinculado, clique em Salvar.

API

Para se inscrever em uma listagem, chame o método projects.locations.dataExchanges.listings.subscribe:

POST https://analyticshub.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/dataExchanges/DATAEXCHANGE_ID/listings/LISTING_ID:subscribe

Substitua:

  • PROJECT_ID: o ID do projeto do Google Cloud projeto que contém a listagem em que você quer se inscrever.
  • LOCATION: o local da listagem.
  • DATAEXCHANGE_ID: o ID da troca de dados da listagem.
  • LISTING_ID: o ID da ficha da empresa em que você quer se inscrever.
  • SUBSCRIBER_PROJECT_ID: o ID do projeto do Google Cloud em que você quer criar o conjunto de dados vinculado.
  • LINKED_DATASET_ID: o ID que você quer dar ao conjunto de dados vinculado.
  • PRIMARY_REGION: a região geográfica principal em que você quer criar o conjunto de dados vinculado.

No corpo da solicitação, especifique o conjunto de dados em que você quer criar o conjunto de dados vinculado:

{
"destinationDataset": {
  "datasetReference": {
    "projectId": "SUBSCRIBER_PROJECT_ID",
    "datasetId": "LINKED_DATASET_ID"
  },
  "location": "PRIMARY_REGION"
}
}

Para criar uma assinatura com réplicas de conjuntos de dados vinculados em várias regiões, especifique a região principal no campo location. Para especificar regiões de réplica secundárias, adicione as regiões ao campo destinationDataset.replica_locations. Verifique se todas as regiões especificadas são regiões em que a listagem está disponível.

Se a solicitação for bem-sucedida, o corpo da resposta vai conter o objeto de assinatura.

Se você ativar a geração de registros de e-mails de assinantes para a troca de dados ou listagem com o campo logLinkedDatasetQueryUserEmail, a resposta da assinatura vai conter log_linked_dataset_query_user_email: true. Os dados registrados estão disponíveis no campo job_principal_subject da visualização INFORMATION_SCHEMA.SHARED_DATASET_USAGE.

Se você ativar o compartilhamento de procedimentos armazenados (pré-lançamento), a resposta da listagem vai conter stored_procedure_config: true.

Assinar trocas de dados

A assinatura de uma troca de dados oferece acesso somente leitura aos dados na troca de dados criando um conjunto de dados vinculado no seu projeto.

Para se inscrever em uma troca de data clean room, siga estas etapas:

Console

  1. Para ver uma lista de trocas de data clean rooms a que você tem acesso, siga as etapas em Descobrir trocas de dados.

  2. Na lista de data clean rooms, clique na troca de data clean room em que você quer se inscrever. Uma caixa de diálogo com os detalhes da troca de data clean room é exibida.

  3. Clique em Assinar para abrir a caixa de diálogo Adicionar data clean room ao projeto.

  4. Se a API Analytics Hub não estiver ativada no projeto, clique em Ativar API Analytics Hub na mensagem que aparece.

  5. Na caixa de diálogo Adicionar data clean room ao projeto, especifique os seguintes detalhes:

    • Destino: insira o nome do projeto em que você quer adicionar o conjunto de dados.

  6. Para criar o conjunto de dados vinculado, clique em Salvar.

API

Para se inscrever em uma troca de data clean room, chame o método projects.locations.dataExchanges.subscribe:

POST https://analyticshub.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/dataExchanges/DATAEXCHANGE_ID:subscribe

Substitua:

  • PROJECT_ID: o ID do projeto do Google Cloud projeto que contém a troca de dados em que você quer se inscrever.
  • LOCATION: o local da troca de dados.
  • DATAEXCHANGE_ID: o ID da troca de dados.
  • SUBSCRIBER_PROJECT_ID: o ID do projeto do Google Cloud em que você quer criar o conjunto de dados vinculado.
  • SUBSCRIPTION_ID: o nome da assinatura a ser criada.
  • LINKED_DATASET_ID: o ID que você quer dar ao conjunto de dados vinculado.
  • PRIMARY_REGION: a região geográfica principal em que você quer criar o conjunto de dados vinculado.

No corpo da solicitação, especifique o local de destino, o nome da assinatura e o conjunto de dados em que você quer criar o conjunto de dados vinculado:

{
"destination": "projects/SUBSCRIBER_PROJECT_ID/locations/LOCATION",
"subscription": "SUBSCRIPTION_ID",
"destinationDataset": {
  "datasetReference": {
    "projectId": "SUBSCRIBER_PROJECT_ID",
    "datasetId": "LINKED_DATASET_ID"
  },
  "location": "PRIMARY_REGION"
}
}

Se a solicitação for bem-sucedida, o corpo da resposta vai conter o objeto de operação. Se você tiver ativado a geração de registros de e-mails de assinantes para a troca de dados, a resposta da assinatura vai conter log_linked_dataset_query_user_email: true.

Acessar conjuntos de dados vinculados

Os conjuntos de dados vinculados são exibidos com outros conjuntos de dados no console doGoogle Cloud .

Para acessar os conjuntos de dados vinculados ao projeto, siga estas etapas:

Console

  1. No console do Google Cloud , acesse a página BigQuery.

    Acessar o BigQuery

  2. No painel Análises clássicas, clique em categoria Análises clássicas:

    Botão destacado para o painel "Análises clássicas".

    Se o painel Análises clássicas não estiver visível, clique em Expandir painel esquerdo para abrir o painel.

  3. No painel Explorador clássico, clique no nome do projeto que contém o conjunto de dados vinculado Ícone de compartilhamento de conjunto de dados vinculado..

Como alternativa, é possível pesquisar e visualizar conjuntos de dados vinculados com o Knowledge Catalog. Para corresponder a todos os conjuntos de dados vinculados ao BigQuery Sharing na consulta de pesquisa, use o predicado type=dataset.linked. Para mais informações, consulte Sintaxe de pesquisa do Knowledge Catalog.

Cloud Shell

Para listar conjuntos de dados vinculados no seu projeto usando a ferramenta de linha de comando bq, execute o seguinte comando no Cloud Shell:

PROJECT=PROJECT_ID \
for dataset in $(bq ls --project_id $PROJECT | tail +3); do [ "$(bq show -d --project_id $PROJECT $dataset | egrep LINKED)" ] && echo $dataset; done

Substitua PROJECT_ID pelo Google Cloud ID do projeto.

Consultar conjuntos de dados vinculados

É possível consultar tabelas e visualizações nos conjuntos de dados vinculados da mesma forma que você consultaria qualquer outra tabela do BigQuery.

Para consultar uma tabela em um conjunto de dados vinculado, execute uma consulta SELECT que faça referência ao ID do projeto, ao ID do conjunto de dados vinculado e ao nome da tabela:

SELECT * FROM `PROJECT_ID`.`LINKED_DATASET_ID`.`TABLE_NAME`
LIMIT 10;

Substitua:

  • PROJECT_ID: o ID do projeto Google Cloud .
  • LINKED_DATASET_ID: o ID do conjunto de dados vinculado.
  • TABLE_NAME: o nome da tabela ou visualização que você quer consultar.

Para mais informações, consulte Executar consultas interativas.

Atualizar conjuntos de dados vinculados

Os recursos em um conjunto de dados vinculado são somente leitura. Não é possível editar os dados ou metadados de recursos em conjuntos de dados vinculados nem especificar permissões para recursos individuais.

Só é possível atualizar a descrição e os rótulos dos conjuntos de dados vinculados. As alterações em um conjunto de dados vinculado não afetam os conjuntos de dados de origem ou compartilhados.

Para atualizar a descrição e os rótulos de um conjunto de dados vinculado, siga estas etapas:

  1. No console do Google Cloud , acesse a página BigQuery.

    Acessar o BigQuery

  2. No painel Explorer, clique em Explorer:

    Botão destacado para o painel "Explorer".

  3. No painel Explorer, expanda o nome do projeto, clique em Conjuntos de dados e clique no nome do conjunto de dados vinculado para abri-lo.

  4. No painel de detalhes, clique em Editar detalhes e configure as seguintes opções:

    1. Para adicionar rótulos, consulte Como adicionar um rótulo a um conjunto de dados.

    2. Para ativar a ordenação, expanda Opções avançadas e siga estas etapas:

      1. Selecione Ativar ordenação padrão.
      2. Na lista Ordenação padrão, selecione uma opção.

  5. Para salvar as alterações, clique em Salvar.

Ver metadados da tabela

Para ver os metadados de tabela de um conjunto de dados vinculado, consulte a visualização INFORMATION_SCHEMA.TABLES:

SELECT * FROM `LINKED_DATASET_ID`.INFORMATION_SCHEMA.TABLES;

Substitua LINKED_DATASET_ID pelo ID do conjunto de dados vinculado.

Cancelar a inscrição ou excluir conjuntos de dados vinculados

Para cancelar a inscrição em um conjunto de dados, exclua o conjunto de dados vinculado. A exclusão de um conjunto de dados vinculado não remove o conjunto de origem.

Não é possível recuperar um conjunto de dados vinculado depois que ele é excluído. No entanto, é possível recriar o conjunto de dados vinculado excluído a qualquer momento assinando a listagem novamente.

Se um editor remover sua assinatura, o conjunto de dados vinculado será desvinculado do conjunto de dados compartilhado. Como essa é uma ação iniciada pelo editor em um recurso de propriedade do assinante, o conjunto de dados vinculado permanece no projeto em um estado desvinculado. Para remover o conjunto de dados desvinculado, exclua-o.

Para excluir um conjunto de dados vinculado, siga estas etapas:

  1. No console do Google Cloud , acesse a página BigQuery.

    Acessar o BigQuery

  2. No painel Explorer, clique em Explorer:

    Botão destacado para o painel "Explorer".

  3. No painel Explorer, expanda o nome do projeto, clique em Conjuntos de dados e clique no nome do conjunto de dados vinculado para abri-lo.

  4. Clique em Excluir.

  5. Na caixa de diálogo Excluir conjunto de dados vinculado?, confirme a exclusão digitando delete.

  6. Clique em Excluir.

A seguir