Monitorar fichas de empresa
Como provedor de dados, você pode rastrear as métricas de uso das suas listagens. Há dois métodos para ver as métricas de uso dos dados compartilhados:
Use o BigQuery Sharing (antigo Analytics Hub). Com o compartilhamento, você pode ver o painel de métricas de uso das suas listagens, que inclui assinaturas diárias, jobs executados diariamente, número de assinantes de cada organização e frequência de jobs para cada tabela. As métricas de uso dos dados compartilhados são recuperadas consultando a visualização
INFORMATION_SCHEMA.SHARED_DATASET_USAGE.Use a visualização
INFORMATION_SCHEMA: É possível rastrear como os assinantes usam seus conjuntos de dados consultando diretamente a visualizaçãoINFORMATION_SCHEMA.SHARED_DATASET_USAGE.
Usar o Compartilhamento
Para ver as métricas de uso dos seus dados compartilhados com o recurso de compartilhamento, siga estas etapas:
No console Google Cloud , acesse a página Compartilhamento (Analytics Hub).
Clique no nome da troca de dados que contém a listagem com as métricas de uso que você quer ver.
Clique em Métricas de uso e faça o seguinte:
No menu Fichas, selecione a ficha.
Defina o período.
A página exibe as seguintes métricas de uso:
- Total de assinaturas: o número de assinaturas atuais na listagem selecionada. Você pode ver o total de assinaturas por até 60 dias.
- Total de assinantes: o número de assinantes únicos em todas as assinaturas na página de detalhes selecionada. É possível ver o total de inscritos por até 60 dias.
- Total de jobs executados: o número de jobs exclusivos executados em cada tabela da página de detalhes selecionada.
- Total de bytes verificados: o número total de bytes verificados de todas as tabelas da listagem selecionada.
- Assinaturas diárias: o gráfico que rastreia o número de assinaturas da listagem selecionada durante um período. É possível ver assinaturas diárias de até 60 dias.
- Assinantes por organização: lista as organizações e o número de assinantes que consomem as listas selecionadas.
- Jobs executados diariamente: este gráfico exibe o consumo de jobs da página de detalhes selecionada.
- Frequência de job das tabelas: a frequência com que as tabelas são acessadas na listagem selecionada.
Usar a visualização INFORMATION_SCHEMA
Se você for um provedor de dados, poderá rastrear como os assinantes usam seus conjuntos de dados consultando a visualização INFORMATION_SCHEMA.SHARED_DATASET_USAGE.
Verifique se você tem o papel necessário para consultar essa visualização.
Para executar a consulta em um projeto diferente do projeto padrão, adicione o ID do projeto no seguinte formato:
PROJECT_ID.region-REGION_NAME.INFORMATION_SCHEMA.SHARED_DATASET_USAGE
Por exemplo, myproject.region-us.INFORMATION_SCHEMA.SHARED_DATASET_USAGE.
Os exemplos a seguir descrevem como consultar as métricas de uso consultando a
visualização INFORMATION_SCHEMA:
Ver o número total de jobs executados em todas as tabelas compartilhadas
O exemplo a seguir calcula o total de jobs executados por assinantes em um projeto:
SELECT COUNT(DISTINCT job_id) AS num_jobs FROM `region-us`.INFORMATION_SCHEMA.SHARED_DATASET_USAGE
O resultado será semelhante ao seguinte:
+------------+ | num_jobs | +------------+ | 1000 | +------------+
Para verificar o total de jobs executados pelos assinantes, use a cláusula WHERE:
- Para conjuntos de dados, use
WHERE dataset_id = "...". - Para tabelas, use
WHERE dataset_id = "..." AND table_id = "...".
Acessar a tabela mais usada com base no número de linhas processadas
A consulta a seguir calcula a tabela mais usada com base no número de linhas processadas pelos assinantes.
SELECT dataset_id, table_id, SUM(num_rows_processed) AS usage_rows FROM `region-us`.INFORMATION_SCHEMA.SHARED_DATASET_USAGE GROUP BY 1, 2 ORDER BY 3 DESC LIMIT 1
O resultado será assim:
+---------------+-------------+----------------+ | dataset_id | table_id | usage_rows | +---------------+-------------+----------------+ | mydataset | mytable | 15 | +---------------+-------------+----------------+
Encontrar as principais organizações que consomem suas tabelas
A consulta a seguir calcula os principais assinantes com base no número de bytes processados nas tabelas. Também é possível usar a coluna num_rows_processed como
métrica.
SELECT subscriber_org_number, ANY_VALUE(subscriber_org_display_name) AS subscriber_org_display_name, SUM(total_bytes_processed) AS usage_bytes FROM `region-us`.INFORMATION_SCHEMA.SHARED_DATASET_USAGE GROUP BY 1
O resultado será assim:
+--------------------------+--------------------------------+----------------+ |subscriber_org_number | subscriber_org_display_name | usage_bytes | +-----------------------------------------------------------+----------------+ | 12345 | myorganization | 15 | +--------------------------+--------------------------------+----------------+
Para assinantes sem uma organização, use job_project_number
em vez de subscriber_org_number.
Receber métricas de uso para sua troca de dados
Se a troca de dados e o conjunto de dados de origem estiverem em projetos diferentes, siga estas etapas para visualizar as métricas de uso da troca de dados:
- Encontre todas as listagens que pertencem à sua troca de dados.
- Recupere o conjunto de dados de origem anexado à página de detalhes.
- Para visualizar as métricas de uso da sua troca de dados, use a seguinte consulta:
SELECT * FROM source_project_1.`region-us`.INFORMATION_SCHEMA.SHARED_DATASET_USAGE WHERE dataset_id='source_dataset_id' AND data_exchange_id="projects/4/locations/us/dataExchanges/x1" UNION ALL SELECT * FROM source_project_2.`region-us`.INFORMATION_SCHEMA.SHARED_DATASET_USAGE WHERE dataset_id='source_dataset_id' AND data_exchange_id="projects/4/locations/us/dataExchanges/x1"
Receber métricas de uso para visualizações compartilhadas
A consulta a seguir mostra as métricas de uso de todas as visualizações compartilhadas em um projeto:
SELECT project_id, dataset_id, table_id, num_rows_processed, total_bytes_processed, shared_resource_id, shared_resource_type, referenced_tables FROM `myproject`.`region-us`.INFORMATION_SCHEMA.SHARED_DATASET_USAGE WHERE shared_resource_type = 'VIEW'
O resultado será assim:
+---------------------+----------------+----------+--------------------+-----------------------+--------------------+----------------------+---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| project_id | dataset_id | table_id | num_rows_processed | total_bytes_processed | shared_resource_id | shared_resource_type | referenced_tables |
+---------------------+----------------+----------+--------------------+-----------------------+--------------------+----------------------+---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| myproject | source_dataset | view1 | 6 | 38 | view1 | VIEW | [{"project_id":"myproject","dataset_id":"source_dataset","table_id":"test_table","processed_bytes":"21"},
{"project_id":"bq-dataexchange-exp","dataset_id":"other_dataset","table_id":"other_table","processed_bytes":"17"}] |
+---------------------+----------------+----------+--------------------+-----------------------+--------------------+----------------------+---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
Receber métricas de uso para funções com valor de tabela compartilhadas
A consulta a seguir mostra as métricas de uso de todas as funções com valores de tabela compartilhada em um projeto:
SELECT project_id, dataset_id, table_id, num_rows_processed, total_bytes_processed, shared_resource_id, shared_resource_type, referenced_tables FROM `myproject`.`region-us`.INFORMATION_SCHEMA.SHARED_DATASET_USAGE WHERE shared_resource_type = 'TABLE_VALUED_FUNCTION'
O resultado será assim:
+---------------------+----------------+----------+--------------------+-----------------------+--------------------+-----------------------+---------------------------------------------------------------------------------------------------------------------+
| project_id | dataset_id | table_id | num_rows_processed | total_bytes_processed | shared_resource_id | shared_resource_type | referenced_tables |
+---------------------+----------------+----------+--------------------+-----------------------+--------------------+-----------------------+---------------------------------------------------------------------------------------------------------------------+
| myproject | source_dataset | | 3 | 45 | provider_exp | TABLE_VALUED_FUNCTION | [{"project_id":"myproject","dataset_id":"source_dataset","table_id":"test_table","processed_bytes":"45"}] |
+---------------------+----------------+----------+--------------------+-----------------------+--------------------+-----------------------+---------------------------------------------------------------------------------------------------------------------+
A seguir
- Saiba como gerenciar listagens de compartilhamento.
- Saiba mais sobre o preço do BigQuery.