Monitorar fichas de empresa

Neste documento, descrevemos como monitorar anúncios no BigQuery Sharing (antigo Analytics Hub). Como provedor de dados, você pode rastrear as métricas de uso das suas listagens. Há dois métodos para ver as métricas de uso dos dados compartilhados:

Usar o BigQuery Sharing. Use o recurso Compartilhamento para ver o painel de métricas de uso das suas páginas de detalhes. Esse painel inclui assinaturas diárias, jobs executados diariamente, o número de assinantes de cada organização e a frequência de jobs para cada tabela. Para recuperar as métricas de uso dos dados compartilhados, consulte a visualização INFORMATION_SCHEMA.SHARED_DATASET_USAGE.
Use a visualização INFORMATION_SCHEMA: É possível rastrear como os assinantes usam seus conjuntos de dados consultando a visualização INFORMATION_SCHEMA.SHARED_DATASET_USAGE.

Usar o Compartilhamento

Para ver as métricas de uso dos seus dados compartilhados com o recurso Compartilhamento, siga estas etapas:

No console Google Cloud , acesse a página Compartilhamento (Analytics Hub).

Acessar Compartilhamento (Analytics Hub)
Clique no nome da troca de dados que contém a ficha da empresa para conferir as métricas de uso.
Clique em Métricas de uso e faça o seguinte:
1. No menu Fichas, selecione a ficha.
2. Defina o período.

A página exibe as seguintes métricas de uso:

Total de assinaturas: o número de assinaturas atuais na página de detalhes selecionada. Você pode ver o total de assinaturas por até 60 dias.
Total de assinantes: o número de assinantes únicos em todas as assinaturas na página de detalhes selecionada. É possível ver o total de inscritos por até 60 dias.
Total de jobs executados: o número de jobs exclusivos executados em cada tabela da página de detalhes selecionada.
Total de bytes verificados: o número total de bytes verificados de todas as tabelas da listagem selecionada.
Assinaturas diárias: o gráfico que rastreia o número de assinaturas da listagem selecionada durante um período. É possível ver assinaturas diárias de até 60 dias.
Assinantes por organização: lista as organizações e o número de assinantes que consomem as listas selecionadas.
Jobs executados diariamente: este gráfico mostra o consumo de jobs da página de detalhes selecionada.
Frequência de jobs das tabelas: a frequência com que as tabelas são acessadas na listagem selecionada.

Usar a visualização `INFORMATION_SCHEMA`

Os provedores de dados podem rastrear como os assinantes usam os conjuntos de dados consultando a visualização INFORMATION_SCHEMA.SHARED_DATASET_USAGE. Verifique se você tem o papel necessário para consultar essa visualização.

Para executar a consulta em um projeto Google Cloud diferente do padrão, use o seguinte formato:

PROJECT_ID.region-REGION_NAME.INFORMATION_SCHEMA.SHARED_DATASET_USAGE

Substitua:

PROJECT_ID: o ID do projeto Google Cloud
REGION_NAME: o nome da região do conjunto de dados do BigQuery

Por exemplo, myproject.region-us.INFORMATION_SCHEMA.SHARED_DATASET_USAGE

Os exemplos a seguir descrevem como consultar as métricas de uso consultando a visualização INFORMATION_SCHEMA.

Conferir o número total de jobs executados em todas as tabelas compartilhadas

O exemplo a seguir calcula o total de jobs executados por assinantes em um projeto:

SELECT
  COUNT(DISTINCT job_id) AS num_jobs
FROM
  `region-us`.INFORMATION_SCHEMA.SHARED_DATASET_USAGE

O resultado será semelhante ao seguinte:

+------------+
| num_jobs   |
+------------+
| 1000       |
+------------+

Para verificar o total de jobs executados pelos assinantes, use a cláusula WHERE:

Para conjuntos de dados, use WHERE dataset_id = "...".
Para tabelas, use WHERE dataset_id = "..." AND table_id = "...".

Acessar a tabela mais usada com base no número de linhas processadas

A consulta a seguir calcula a tabela mais usada com base no número de linhas processadas pelos assinantes.

SELECT
  dataset_id,
  table_id,
  SUM(num_rows_processed) AS usage_rows
FROM
  `region-us`.INFORMATION_SCHEMA.SHARED_DATASET_USAGE
GROUP BY
  1,
  2
ORDER BY
  3 DESC
LIMIT
  1

O resultado será assim:

+---------------+-------------+----------------+
| dataset_id    | table_id      | usage_rows     |
+---------------+-------------+----------------+
| mydataset     | mytable     | 15             |
+---------------+-------------+----------------+

Encontrar as principais organizações que consomem suas tabelas

A consulta a seguir calcula os principais assinantes com base no número de bytes processados nas tabelas. Também é possível usar a coluna num_rows_processed como métrica.

SELECT
  subscriber_org_number,
  ANY_VALUE(subscriber_org_display_name) AS subscriber_org_display_name,
  SUM(total_bytes_processed) AS usage_bytes
FROM
  `region-us`.INFORMATION_SCHEMA.SHARED_DATASET_USAGE
GROUP BY
  1

O resultado será assim:

+--------------------------+--------------------------------+----------------+
|subscriber_org_number     | subscriber_org_display_name    | usage_bytes    |
+-----------------------------------------------------------+----------------+
| 12345                    | myorganization                 | 15             |
+--------------------------+--------------------------------+----------------+

Para assinantes sem uma organização, use job_project_number em vez de subscriber_org_number.

Receber métricas de uso para sua troca de dados

Se a troca de dados e o conjunto de dados de origem estiverem em projetos diferentes, siga estas etapas para visualizar as métricas de uso da troca de dados:

Encontre todas as listagens que pertencem à sua troca de dados.
Recupere o conjunto de dados de origem anexado à página de detalhes.
Para visualizar as métricas de uso da sua troca de dados, use a seguinte consulta:

SELECT
  *
FROM
  source_project_1.`region-us`.INFORMATION_SCHEMA.SHARED_DATASET_USAGE
WHERE
  dataset_id='source_dataset_id'
AND data_exchange_id="projects/4/locations/us/dataExchanges/x1"
UNION ALL
SELECT
  *
FROM
  source_project_2.`region-us`.INFORMATION_SCHEMA.SHARED_DATASET_USAGE
WHERE
  dataset_id='source_dataset_id'
AND data_exchange_id="projects/4/locations/us/dataExchanges/x1"

Receber métricas de uso para visualizações compartilhadas

A consulta a seguir mostra as métricas de uso de todas as visualizações compartilhadas em um projeto:

SELECT
  project_id,
  dataset_id,
  table_id,
  num_rows_processed,
  total_bytes_processed,
  shared_resource_id,
  shared_resource_type,
  referenced_tables
FROM `myproject`.`region-us`.INFORMATION_SCHEMA.SHARED_DATASET_USAGE
WHERE shared_resource_type = 'VIEW'

O resultado será o seguinte:

+---------------------+----------------+----------+--------------------+-----------------------+--------------------+----------------------+---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
|     project_id      |   dataset_id   | table_id | num_rows_processed | total_bytes_processed | shared_resource_id | shared_resource_type |                                                                                                              referenced_tables                                                                                                              |
+---------------------+----------------+----------+--------------------+-----------------------+--------------------+----------------------+---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
|     myproject       | source_dataset | view1    |                  6 |                    38 | view1              | VIEW                 | [{"project_id":"myproject","dataset_id":"source_dataset","table_id":"test_table","processed_bytes":"21"},
{"project_id":"bq-dataexchange-exp","dataset_id":"other_dataset","table_id":"other_table","processed_bytes":"17"}]                 |

+---------------------+----------------+----------+--------------------+-----------------------+--------------------+----------------------+---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+

Receber métricas de uso para funções com valor de tabela compartilhadas

A consulta a seguir mostra as métricas de uso de todas as funções com valores de tabela compartilhada em um projeto:

SELECT
  project_id,
  dataset_id,
  table_id,
  num_rows_processed,
  total_bytes_processed,
  shared_resource_id,
  shared_resource_type,
  referenced_tables
FROM `myproject`.`region-us`.INFORMATION_SCHEMA.SHARED_DATASET_USAGE
WHERE shared_resource_type = 'TABLE_VALUED_FUNCTION'