Ver e assinar listagens e trocas de dados

No BigQuery Sharing (antigo Analytics Hub), é possível descobrir e assinar listagens e trocas de dados para consultar dados compartilhados diretamente no BigQuery sem replicar dados ou incorrer em custos de armazenamento. A assinatura cria conjuntos de dados vinculados somente leitura no seu projeto, permitindo analisar tabelas e visualizações compartilhadas junto com seus recursos atuais.

Funções exigidas

Para receber as permissões necessárias para usar listagens, peça ao administrador para conceder a você os papéis do IAM a seguir:

Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Esses papéis predefinidos contêm as permissões necessárias para usar listagens. Para acessar as permissões exatas que são necessárias, expanda a seção Permissões necessárias:

Permissões necessárias

As permissões a seguir são necessárias para usar listagens:

  • Criar novos conjuntos de dados: bigquery.datasets.create no projeto do assinante
  • Consultar conjuntos de dados: bigquery.jobs.create no projeto do assinante

Essas permissões também podem ser concedidas com papéis personalizados ou outros papéis predefinidos.

Descobrir fichas

Para encontrar listagens públicas e privadas, siga estas etapas:

  1. No Google Cloud console, acesse a página Compartilhamento (Analytics Hub).

    Acessar o compartilhamento (Analytics Hub)

  2. Clique em Pesquisar listagens. Uma caixa de diálogo aparece com as listagens que você pode acessar.

  3. Para filtrar listagens por nome ou descrição, insira o texto no campo Pesquisar listagens.

  4. Na seção Filtros, filtre as listagens usando os seguintes campos:

    • Listagens: selecione se você quer ver listagens particulares, listagens públicas listagens ou listagens na sua organização.

    • Categorias: selecione uma ou mais categorias.

    • Local: selecione um local. Só é possível pesquisar pelo local da troca de dados. Veja mais informações nas regiões compatíveis.

    • Provedor: selecione um provedor de dados. Alguns provedores de dados exigem que você solicite acesso aos conjuntos de dados comerciais. Depois de solicitar acesso, o provedor de dados entrará em contato com você para compartilhar os conjuntos de dados.

  5. Navegue pelas listagens filtradas.

Descobrir trocas de dados

Para descobrir trocas de dados, siga estas etapas:

  1. No Google Cloud console, acesse a página Compartilhamento (Analytics Hub).

    Acessar o compartilhamento (Analytics Hub)

  2. Clique em Pesquisar listagens. Uma caixa de diálogo aparece com as listagens e trocas de dados que você pode assinar.

  3. Para filtrar trocas de dados por nome ou descrição, insira o texto no campo Pesquisar listagens.

  4. Na seção Filtros, filtre as trocas de data clean room usando os seguintes campos:

    • Listagens: selecione a caixa de seleção Clean rooms para ver as clean rooms compartilhadas.

    • Categorias: selecione uma ou mais categorias.

    • Local: selecione um local. Só é possível pesquisar pelo local da troca de dados. Veja mais informações nas regiões compatíveis.

  5. Navegue pelas data clean rooms filtradas.

Assinar listagens

Assinar uma listagem oferece acesso somente leitura aos dados da listagem criando um conjunto de dados vinculado no seu projeto.

Para se inscrever em uma listagem, siga estas etapas:

Console

  1. Para ver uma lista de listagens às quais você tem acesso, siga as etapas em Descobrir listagens.

  2. Na lista de listagens, clique na listagem que você quer assinar. Uma caixa de diálogo com os detalhes da listagem aparece. A caixa de diálogo indica se o provedor ativou o registro de e-mails de assinantes e lista as regiões em que a listagem está disponível.

  3. Se a listagem exigir aprovação ou compra (como um conjunto de dados comercial), clique em Solicitar acesso ou Comprar pelo Marketplace. Caso contrário, clique em Assinar para abrir a caixa de diálogo Criar conjunto de dados vinculado.

  4. Se a API Analytics Hub não estiver ativada no projeto, clique em Ativar a API Analytics Hub na mensagem que aparece.

  5. Na caixa de diálogo Criar conjunto de dados vinculado, especifique os seguintes detalhes:

    • Projeto: insira o nome do projeto em que você quer adicionar o conjunto de dados.
    • Nome do conjunto de dados vinculado: insira um nome para o conjunto de dados vinculado.

    • Região principal: selecione a região em que você quer criar o conjunto de dados vinculado.

    • Opcional: Regiões de réplica: selecione as regiões em que você quer criar réplicas de conjuntos de dados vinculados. A alocação do conjunto de dados vinculado com outros dados minimiza a saída e facilita as junções entre conjuntos de dados. Para criar réplicas, é necessário ter a permissão bigquery.datasets.update no conjunto de dados vinculado.

  6. Para criar o conjunto de dados vinculado, clique em Salvar.

API

Para assinar uma listagem, chame o projects.locations.dataExchanges.listings.subscribe método:

POST https://analyticshub.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/dataExchanges/DATAEXCHANGE_ID/listings/LISTING_ID:subscribe

Substitua:

  • PROJECT_ID: o Google Cloud ID do projeto que contém as informações do produto que você quer assinar.
  • LOCATION: o local das informações do produto.
  • DATAEXCHANGE_ID: o ID da troca de dados da listagem.
  • LISTING_ID: o ID da listagem que você quer assinar.
  • SUBSCRIBER_PROJECT_ID: o Google Cloud ID do projeto do assinante em que você quer criar o conjunto de dados vinculado.
  • LINKED_DATASET_ID: o ID que você quer atribuir ao conjunto de dados vinculado.
  • PRIMARY_REGION: a região geográfica principal em que você quer criar o conjunto de dados vinculado.

No corpo da solicitação, especifique o conjunto de dados em que você quer criar o conjunto de dados vinculado:

{
"destinationDataset": {
  "datasetReference": {
    "projectId": "SUBSCRIBER_PROJECT_ID",
    "datasetId": "LINKED_DATASET_ID"
  },
  "location": "PRIMARY_REGION"
}
}

Para criar uma assinatura com réplicas de conjuntos de dados vinculados em várias regiões, especifique a região principal no campo location. Para especificar regiões de réplica secundárias, adicione as regiões ao campo destinationDataset.replica_locations. Verifique se todas as regiões especificadas são regiões em que a listagem está disponível.

Se a solicitação for bem-sucedida, o corpo da resposta vai conter o objeto de assinatura.

Se você ativar o registro de e-mails de assinantes para a troca de dados ou listagem com o campo logLinkedDatasetQueryUserEmail, a resposta da assinatura vai conter log_linked_dataset_query_user_email: true. Os dados registrados estão disponíveis em o campo job_principal_subject da INFORMATION_SCHEMA.SHARED_DATASET_USAGE visualização.

Se você ativar o compartilhamento de procedimentos armazenados (visualização), a resposta da listagem vai conter stored_procedure_config: true.

Assinar trocas de dados

Ao assinar uma troca de dados , você tem acesso somente leitura aos dados na troca de dados criando um conjunto de dados vinculado no seu projeto.

Para assinar uma troca de data clean room, siga estas etapas:

Console

  1. Para ver uma lista de trocas de data clean room a que você tem acesso, siga as etapas em Descobrir trocas de dados.

  2. Na lista de data clean rooms, clique na troca de data clean room que você quer assinar. Uma caixa de diálogo com os detalhes da troca de data clean room aparece.

  3. Clique em Assinar para abrir a caixa de diálogo Adicionar data clean room ao projeto.

  4. Se a API Analytics Hub não estiver ativada no projeto, clique em Ativar a API Analytics Hub na mensagem que aparece.

  5. Na caixa de diálogo Adicionar data clean room ao projeto, especifique os seguintes detalhes:

    • Destino: insira o nome do projeto em que você quer adicionar o conjunto de dados.

  6. Para criar o conjunto de dados vinculado, clique em Salvar.

API

Para assinar uma troca de data clean room, chame o projects.locations.dataExchanges.subscribe método:

POST https://analyticshub.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/dataExchanges/DATAEXCHANGE_ID:subscribe

Substitua:

  • PROJECT_ID: o Google Cloud ID do projeto que contém a troca de dados que você quer assinar.
  • LOCATION: o local da troca de dados.
  • DATAEXCHANGE_ID: o ID da troca de dados.
  • SUBSCRIBER_PROJECT_ID: o Google Cloud ID do projeto do assinante em que você quer criar o conjunto de dados vinculado.
  • SUBSCRIPTION_ID: o nome da assinatura a ser criada.
  • LINKED_DATASET_ID: o ID que você quer atribuir ao conjunto de dados vinculado.
  • PRIMARY_REGION: a região geográfica principal em que você quer criar o conjunto de dados vinculado.

No corpo da solicitação, especifique o local de destino, o nome da assinatura e o conjunto de dados em que você quer criar o conjunto de dados vinculado:

{
"destination": "projects/SUBSCRIBER_PROJECT_ID/locations/LOCATION",
"subscription": "SUBSCRIPTION_ID",
"destinationDataset": {
  "datasetReference": {
    "projectId": "SUBSCRIBER_PROJECT_ID",
    "datasetId": "LINKED_DATASET_ID"
  },
  "location": "PRIMARY_REGION"
}
}

Se a solicitação for bem-sucedida, o corpo da resposta vai conter o objeto de operação. Se você tiver ativado o registro de e-mails de assinantes para a troca de dados, a resposta da assinatura vai conter log_linked_dataset_query_user_email: true.

Acessar conjuntos de dados vinculados

Os conjuntos de dados vinculados são exibidos com outros conjuntos de dados no Google Cloud console.

Para acessar os conjuntos de dados vinculados ao projeto, siga estas etapas:

Console

  1. No Google Cloud console, acesse a página BigQuery.

    Acessar o BigQuery

  2. No painel Classic Explorer, clique na categoria Classic Explorer:

    Botão destacado para o painel do Explorador clássico.

    Se o painel Classic Explorer não estiver visível, clique em Expandir painel esquerdo para abrir o painel.

  3. No painel Classic Explorer, clique no nome do projeto que contém o conjunto de dados vinculado Ícone do conjunto de dados vinculado do Analytics Hub..

Como alternativa, é possível pesquisar e visualizar conjuntos de dados vinculados com Knowledge Catalog. Para corresponder a todos os conjuntos de dados vinculados do BigQuery Sharing na consulta de pesquisa, use o predicado type=dataset.linked. Para mais informações, consulte Sintaxe de pesquisa do Knowledge Catalog.

Cloud Shell

Para listar conjuntos de dados vinculados no projeto usando a ferramenta de linha de comando bq, execute o seguinte comando no Cloud Shell:

PROJECT=PROJECT_ID \
for dataset in $(bq ls --project_id $PROJECT | tail +3); do [ "$(bq show -d --project_id $PROJECT $dataset | egrep LINKED)" ] && echo $dataset; done

Substitua PROJECT_ID pelo Google Cloud ID do projeto.

Consultar conjuntos de dados vinculados

É possível consultar tabelas e visualizações nos conjuntos de dados vinculados da mesma forma que você consulta qualquer outra tabela do BigQuery.

Para consultar uma tabela em um conjunto de dados vinculado, execute uma consulta SELECT que faça referência ao ID do projeto, ao ID do conjunto de dados vinculado e ao nome da tabela:

SELECT * FROM `PROJECT_ID`.`LINKED_DATASET_ID`.`TABLE_NAME`
LIMIT 10;

Substitua:

  • PROJECT_ID: o ID do Google Cloud projeto.
  • LINKED_DATASET_ID: o ID do conjunto de dados vinculado.
  • TABLE_NAME: o nome da tabela ou visualização que você quer consultar.

Para mais informações, consulte Executar consultas interativas.

Atualizar conjuntos de dados vinculados

Os recursos em um conjunto de dados vinculado são somente leitura. Não é possível editar dados ou metadados de recursos em conjuntos de dados vinculados nem especificar permissões para recursos individuais.

Só é possível atualizar a descrição e os rótulos dos conjuntos de dados vinculados. As alterações em um conjunto de dados vinculado não afetam os conjuntos de dados de origem ou compartilhados.

Para atualizar a descrição e os rótulos de um conjunto de dados vinculado, siga estas etapas:

  1. No Google Cloud console, acesse a página BigQuery.

    Acessar o BigQuery

  2. No painel Explorer, clique em Explorer:

    Botão destacado para o painel "Explorer".

  3. No painel Explorer , expanda o nome do projeto, clique em Conjuntos de dados e clique no nome do conjunto de dados vinculado para abrir.

  4. No painel de detalhes, clique em Editar detalhes e configure as seguintes opções:

    1. Para adicionar rótulos, consulte Como adicionar um rótulo a um conjunto de dados.

    2. Para ativar a ordenação, expanda Opções avançadas e siga estas etapas:

      1. Selecione Ativar ordenação padrão.
      2. Na lista Ordenação padrão, selecione uma opção.

  5. Para salvar as alterações, clique em Salvar.

Ver metadados da tabela

Para ver os metadados da tabela de um conjunto de dados vinculado, consulte a INFORMATION_SCHEMA.TABLES visualização:

SELECT * FROM `LINKED_DATASET_ID`.INFORMATION_SCHEMA.TABLES;

Substitua LINKED_DATASET_ID pelo ID do conjunto de dados vinculado.

Cancelar a assinatura ou excluir conjuntos de dados vinculados

Para cancelar a assinatura de um conjunto de dados, exclua o conjunto de dados vinculado. A exclusão de um conjunto de dados vinculado não remove o conjunto de origem.

Não é possível recuperar um conjunto de dados vinculado depois de excluí-lo. No entanto, é possível recriar o conjunto de dados vinculado excluído a qualquer momento assinando a listagem novamente.

Se um editor remover sua assinatura, seu conjunto de dados vinculado será desvinculado do conjunto de dados compartilhado. Como essa é uma ação iniciada pelo editor em um recurso de propriedade do assinante, o conjunto de dados vinculado permanece no seu projeto em um estado desvinculado. É possível remover o conjunto de dados desvinculado excluindo-o.

Para excluir um conjunto de dados vinculado, siga estas etapas:

  1. No Google Cloud console, acesse a página BigQuery.

    Acessar o BigQuery

  2. No painel Explorer, clique em Explorer:

    Botão destacado para o painel "Explorer".

  3. No painel Explorer , expanda o nome do projeto, clique em Conjuntos de dados e clique no nome do conjunto de dados vinculado para abrir.

  4. Clique em Excluir.

  5. Na caixa de diálogo Excluir conjunto de dados vinculado?, confirme a exclusão inserindo delete.

  6. Clique em Excluir.

A seguir