Ver e assinar listagens e trocas de dados

Este documento descreve como ver e assinar listagens e trocas de dados no BigQuery Sharing (antigo Analytics Hub). Como assinante do BigQuery Sharing, você pode ver e assinar listagens e trocas de dados a que tem acesso. A assinatura de uma listagem ou troca de dados no BigQuery Sharing cria um conjunto de dados vinculado no seu Google Cloud projeto.

Funções exigidas

Para receber as permissões necessárias para usar as listagens, peça ao administrador do BigQuery Sharing para conceder a você os seguintes papéis do Identity and Access Management (IAM) no projeto do assinante do BigQuery Sharing:

• Descobrir listagens: leitor do Analytics Hub (roles/analyticshub.viewer)
• Descobrir trocas de dados: leitor do Analytics Hub (roles/analyticshub.viewer)

• Assinar listagens: usuário do BigQuery (roles/bigquery.user)

  • Para fazer a assinatura de listagens, você também precisa pedir ao editor da listagem do BigQuery Sharing que conceda a você o papel de assinante do Analytics Hub (roles/analyticshub.subscriber) na listagem, troca ou projeto dele, o que for mais apropriado para para seu caso de uso.

• Assinar trocas de dados: usuário do BigQuery (roles/bigquery.user)

  • Para assinar trocas de dados no contexto de trocas de data clean room, você também precisa pedir ao editor da troca do BigQuery Sharing que conceda a você o papel de assinante do Analytics Hub (roles/analyticshub.subscriber) na data clean room específica. Além disso, você precisa pedir aos proprietários do projeto de destino na organização do assinante do BigQuery Sharing que concedam a você o papel de proprietário da assinatura do Analytics Hub (roles/analyticshub.subscriptionOwner) no projeto de destino.

• Ver conjuntos de dados vinculados: leitor de dados do BigQuery (roles/bigquery.dataViewer)

• Consultar conjuntos de dados vinculados: leitor de dados do BigQuery (roles/bigquery.dataViewer)

• Atualizar conjuntos de dados vinculados: proprietário de dados do BigQuery (roles/bigquery.dataOwner)

• Visualizar metadados da tabela: leitor de dados do BigQuery (roles/bigquery.dataViewer)

• Excluir conjuntos de dados vinculados: administrador do BigQuery (roles/bigquery.admin)

Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Esses papéis predefinidos contêm as permissões necessárias para executar as tarefas neste documento. Para acessar as permissões exatas necessárias para criar e consultar conjuntos de dados, expanda a seção Permissões necessárias:

Permissões necessárias

• bigquery.datasets.create para criar novos conjuntos de dados ou bigquery.datasets.* para executar outras ações nos conjuntos de dados.
• para consultar conjuntos de dados bigquery.jobs.create ou bigquery.jobs.* para executar outras ações nos jobs.

Essas permissões também podem ser concedidas com papéis personalizados ou outros papéis predefinidos.

Descobrir fichas

Para encontrar listagens públicas e privadas, siga estas etapas:

1. No Google Cloud console, acesse a página Compartilhamento (Analytics Hub).

   Acessar o compartilhamento (Analytics Hub)

2. Clique em Pesquisar listagens. Uma caixa de diálogo com as listagens a que você tem acesso será exibida.

3. Para filtrar listagens por nome ou descrição, insira o nome ou a descrição delas no campo Pesquisar listagens.

4. Na seção Filtros, é possível filtrar listagens com base nos seguintes campos:

   • Listagens: selecione se você quer ver listagens particulares, listagens públicas listagens, ou listagens na sua organização.

   • Categorias: selecione uma ou mais categorias.

   • Local: selecione um local. Só é possível pesquisar por local de troca de dados. Veja mais informações nas regiões compatíveis.

   • Provedor: selecione o provedor de dados. Alguns provedores de dados exigem que você solicite acesso aos conjuntos de dados comerciais. Depois de solicitar acesso, o provedor de dados entrará em contato com você para compartilhar os conjuntos de dados.

5. Navegue pelas listagens filtradas.

Descobrir trocas de dados

Para descobrir trocas de dados, siga estas etapas:

1. No Google Cloud console, acesse a página Compartilhamento (Analytics Hub).

   Acessar o compartilhamento (Analytics Hub)

2. Clique em Pesquisar listagens. Uma caixa de diálogo com listagens e trocas de dados que você pode assinar será exibida.

3. Para filtrar trocas de dados por nome ou descrição, insira o nome ou a descrição da troca de data clean room no campo Pesquisar listagens.

4. Na seção Filtros, é possível filtrar trocas de data clean room com base nos seguintes campos:

   • Listagens: selecione a caixa de seleção Clean rooms para ver as data clean rooms compartilhadas com você.

   • Categorias: selecione uma ou mais categorias.

   • Local: selecione um local. Só é possível pesquisar pelo local da troca de dados. Veja mais informações nas regiões compatíveis.

5. Navegue pelas data clean rooms filtradas.

Assinar listagens

Assinar uma listagem oferece acesso somente leitura aos dados da listagem criando um conjunto de dados vinculado no seu projeto.

Cuidado: recomendamos evitar colocar dados em um projeto que esteja dentro de um perímetro do VPC Service Controls. Se fizer isso, você precisará adicionar as regras de entrada e saída apropriadas .

Para se inscrever em uma listagem, siga estas etapas:

Console

1. Para ver uma lista de listagens às quais você tem acesso, siga as etapas em Descobrir listagens.

2. Navegue pelas listagens e clique em uma listagem que você quer assinar. Uma caixa de diálogo com os detalhes da listagem será exibida. A caixa de diálogo mostra se o provedor ativou o registro de e-mails de assinantes. Na seção Detalhes adicionais, é possível conferir as regiões em que o provedor disponibilizou as informações do produto.

3. Se você não tiver acesso para se inscrever em uma listagem, como uma listagem que faz referência a um conjunto de dados comercial, clique em Solicitar acesso ou Comprar pelo Marketplace. Ao clicar em um conjunto de dados em que você pode se inscrever, clique em Assinar para abrir a caixa de diálogo Criar conjunto de dados vinculado.

4. Se a API Analytics Hub não estiver ativada no projeto, uma mensagem de erro será exibida com um link para ativar a API. Clique em Ativar API Analytics Hub.

5. Na caixa de diálogo Criar conjunto de dados vinculado, especifique os seguintes detalhes:

   • Projeto: especifique o nome do projeto em que você quer adicionar o conjunto de dados.
   • Nome do conjunto de dados vinculado: especifique o nome do conjunto de dados vinculado.

   • Região principal: selecione a região em que você quer criar o conjunto de dados vinculado.

     Observação: a região principal selecionada não precisa ser a mesma do provedor. Você pode escolher o mesmo local para o conjunto de dados vinculado e o provedor para minimizar a latência de replicação de dados.

   • Opcional: Regiões de réplica: selecione a região ou as regiões em que você quer criar outras réplicas secundárias do conjunto de dados vinculado. Você pode escolher o mesmo local para o conjunto de dados vinculado e seus outros dados para minimizar a saída e facilitar as junções entre conjuntos de dados. Para criar réplicas de conjuntos de dados vinculados, é necessário ter a permissão bigquery.datasets.update no conjunto de dados vinculado.

   Observação: as réplicas de conjuntos de dados vinculados são criadas da melhor maneira possível. Se as permissões estiverem ausentes, as réplicas não serão criadas.

6. Para salvar as alterações, clique em Salvar. O conjunto de dados vinculado é listado no projeto.

API

Use o método projects.locations.dataExchanges.listings.subscribe.

POST https://analyticshub.googleapis.com/v1/projects/PROJECT_ID/location/LOCATION/dataExchanges/DATAEXCHANGE_ID/listings/LISTING_ID:subscribe

Substitua:

• PROJECT_ID: o ID do projeto da ficha da empresa em que você quer se inscrever.
• LOCATION: o local da ficha em que você quer se inscrever.
• DATAEXCHANGE_ID: o ID da troca de dados da ficha da empresa em que você quer se inscrever.
• LISTING_ID: o ID da ficha da empresa em que você quer se inscrever.

No corpo da solicitação, especifique o conjunto de dados em que você quer criar o conjunto de dados vinculado.

Para criar uma assinatura com réplicas de conjuntos de dados vinculados disponíveis em várias regiões, especifique a região principal do conjunto de dados vinculado usando o campo location no corpo da solicitação. Para as regiões secundárias em que você quer criar réplicas de conjuntos de dados vinculados, é possível usar o campo destinationDataset.replica_locations no corpo da solicitação e listar todas as regiões de réplica secundárias selecionadas. Verifique se as regiões especificadas na propriedade location e no destinationDataset.replica_locations campo são regiões em que as informações do produto associadas estão disponíveis.

Observação: as réplicas de conjuntos de dados vinculados são criadas da melhor maneira possível. Se a permissão bigquery.datasets.update estiver ausente no conjunto de dados vinculado, as réplicas não serão criadas.

Se a solicitação for bem-sucedida, o corpo da resposta vai conter o objeto de assinatura.

Se você ativar a geração de registros de e-mails de assinantes para a troca de dados ou listagem com o campo logLinkedDatasetQueryUserEmail, a resposta da assinatura vai conter log_linked_dataset_query_user_email: true. Os dados registrados estão disponíveis em o campo job_principal_subject da INFORMATION_SCHEMA.SHARED_DATASET_USAGE visualização.

Se você ativar o compartilhamento de procedimentos armazenados (visualização), a resposta da listagem vai conter stored_procedure_config: true.

**Observação**: os assinantes do BigQuery Sharing precisam autorizar procedimentos armazenados compartilhados em um conjunto de dados vinculado para ler e gravar em determinados recursos de propriedade do assinante.

Assinar trocas de dados

Ao assinar uma troca de dados , você tem acesso somente leitura aos dados na troca de data clean room criando um conjunto de dados vinculado no seu projeto.

Para assinar uma troca de data clean room, siga estas etapas:

Console

1. Para ver uma lista de trocas de data clean room a que você tem acesso, siga as etapas em Descobrir trocas de dados.

2. Navegue pelas trocas de data clean room e clique em uma que você quer assinar. Uma caixa de diálogo com os detalhes da troca de data clean room será exibida.

3. Ao clicar em uma troca de data clean room em que você pode se inscrever, clique em Assinar para abrir a caixa de diálogo Adicionar data clean room ao projeto.

4. Se a API Analytics Hub não estiver ativada no projeto, uma mensagem de erro será exibida com um link para ativar a API. Clique em Ativar API Analytics Hub.

5. Na caixa de diálogo Adicionar data clean room ao projeto, especifique os seguintes detalhes:

   • Destino: especifique o nome do projeto em que você quer adicionar o conjunto de dados.

6. Para salvar as alterações, clique em Salvar. O conjunto de dados vinculado é listado no projeto.

API

Use o método projects.locations.dataExchanges.subscribe.

POST https://analyticshub.googleapis.com/v1/projects/PROJECT_ID/location/LOCATION/dataExchanges/DATAEXCHANGE_ID:subscribe

Substitua:

• PROJECT_ID: o ID do projeto da troca de dados em que você quer se inscrever.
• LOCATION: o local da troca de dados em que você quer se inscrever.
• DATAEXCHANGE_ID: o ID da troca de dados em que você quer se inscrever.

No corpo da solicitação, especifique o conjunto de dados em que você quer criar o conjunto de dados vinculado.

Se a solicitação for bem-sucedida, o corpo da resposta vai conter o objeto de assinatura. Se você tiver ativado o registro de e-mails de assinantes para a troca de dados, a resposta da assinatura vai conter log_linked_dataset_query_user_email: true.

Acessar conjuntos de dados vinculados

Os conjuntos de dados vinculados são exibidos com outros conjuntos de dados no Google Cloud console.

Para acessar os conjuntos de dados vinculados ao projeto, siga estas etapas:

Console

1. No Google Cloud console, acesse a página BigQuery.

   Acessar o BigQuery

2. No painel Classic Explorer, clique na categoria Classic Explorer:

   

   Se o painel Classic Explorer não estiver visível, clique em Expandir painel esquerdo para abrir o painel.

3. No painel Classic Explorer, clique no nome do projeto que contém o conjunto de dados vinculado.

Como alternativa, também é possível usar Data Catalog (descontinuado) ou Knowledge Catalog para pesquisar e visualizar conjuntos de dados vinculados. Para corresponder a todos os conjuntos de dados vinculados do BigQuery Sharing, use o predicado type=dataset.linked. Para mais informações, consulte Sintaxe de pesquisa do Data Catalog ou Sintaxe de pesquisa do Knowledge Catalog.

Cloud Shell

Execute este comando:

PROJECT=PROJECT_ID \
for dataset in $(bq ls --project_id $PROJECT | tail +3); do [ "$(bq show -d --project_id $PROJECT $dataset | egrep LINKED)" ] && echo $dataset; done

Substitua PROJECT_ID pelo ID do Google Cloud projeto.

**Observação** :se um editor do BigQuery Sharing remover a assinatura, a página de detalhes do conjunto de dados vinculado vai mostrar que o conjunto de dados foi desvinculado. É possível excluir um conjunto de dados desvinculado porque você não pode consultar um conjunto de dados desvinculado.

Consultar conjuntos de dados vinculados

É possível consultar tabelas e visualizações nos conjuntos de dados vinculados da mesma forma que você consulta qualquer outra tabela do BigQuery.

Atualizar conjuntos de dados vinculados

Os recursos em um conjunto de dados vinculado são somente leitura. Não é possível editar os dados ou metadados de recursos em conjuntos de dados vinculados nem especificar permissões para recursos individuais.

Só é possível atualizar a descrição e os rótulos dos conjuntos de dados vinculados. As alterações em um conjunto de dados vinculado não afetam os conjuntos de dados de origem ou compartilhados.

Para atualizar a descrição e os rótulos de um conjunto de dados vinculado, siga estas etapas:

1. No Google Cloud console, acesse a página BigQuery.

   Acessar o BigQuery

2. No painel Explorer, clique em Explorer:

   

3. No painel Explorer, expanda o nome do projeto, clique em Conjuntos de dados e clique no nome do conjunto de dados vinculado para abrir.

4. No painel de detalhes, clique em Editar detalhes e especifique os seguintes detalhes:

   1. Para adicionar rótulos, consulte Como adicionar um rótulo a um conjunto de dados.

   2. Para ativar a ordenação, expanda a seção Opções avançadas e siga estas etapas:

      1. Selecione Ativar ordenação padrão.
      2. Na lista Ordenação padrão, selecione uma opção.

5. Clique em Salvar.

Ver metadados da tabela

Para ver os metadados da tabela subjacente, consulte a INFORMATION_SCHEMA.TABLES visualização:

SELECT * FROM `LINKED-DATASET.INFORMATION_SCHEMA.TABLES`

Substitua LINKED-DATASET pelo nome do conjunto de dados vinculado.

Observação: consultas INFORMATION_SCHEMA baseadas na região não retornam metadados de tabelas vinculadas. Para saber mais sobre as INFORMATION_SCHEMA visualizações que não são compatíveis com qualificadores de conjuntos de dados para conjuntos de dados vinculados, consulte Limitações.

Cancelar a assinatura ou excluir conjuntos de dados vinculados

Para cancelar a assinatura de um conjunto de dados, é necessário excluir o conjunto de dados vinculado. A exclusão de um conjunto de dados vinculado não remove o conjunto de origem.

Não é possível recuperar um conjunto de dados vinculado depois de excluí-lo. No entanto, é possível recriar o conjunto de dados vinculado excluído assinando a listagem novamente e adicionando o conjunto de dados e os conjuntos de dados vinculados criados nas listagens integradas do Google Cloud Marketplace ao seu projeto.

Caso sua assinatura seja removida por um editor do BigQuery Sharing, o seu conjunto de dados vinculado será desvinculado do conjunto de dados compartilhado. Como essa é uma ação iniciada pelo editor em um recurso de propriedade do assinante, o conjunto de dados vinculado permanece no projeto do assinante do BigQuery Sharing em um estado desvinculado. É possível remover o conjunto de dados desvinculado excluindo-o.

Para excluir um conjunto de dados vinculado, faça o seguinte:

1. No Google Cloud console, acesse a página BigQuery.

   Acessar o BigQuery

2. No painel Explorer, clique em Explorer:

   

3. No painel Explorer, expanda o nome do projeto, clique em Conjuntos de dados e clique no nome do conjunto de dados vinculado para abrir.

4. Clique em Excluir.

5. Na caixa de diálogo Excluir conjunto de dados vinculado?, confirme a exclusão digitando excluir.

6. Clique em Excluir.

A seguir

• Saiba mais sobre o BigQuery Sharing.
• Saiba como gerenciar listagens.
• Saiba como gerenciar trocas de dados.
• Saiba mais sobre o registro de auditoria do BigQuery Sharing.