Monitorize fichas
Este documento descreve como monitorizar fichas na partilha do BigQuery (anteriormente Analytics Hub). Como fornecedor de dados, pode acompanhar as métricas de utilização das suas fichas. Existem dois métodos para obter as métricas de utilização dos seus dados partilhados:
Use a partilha do BigQuery. Pode usar a partilha para ver o painel de controlo das métricas de utilização das suas fichas. Este painel de controlo inclui subscrições diárias, tarefas executadas diariamente, o número de subscritores de cada organização e a frequência das tarefas para cada tabela. Pode obter as métricas de utilização dos seus dados partilhados consultando a vista
INFORMATION_SCHEMA.SHARED_DATASET_USAGE.Use a
INFORMATION_SCHEMAvista. Pode acompanhar a forma como os subscritores usam os seus conjuntos de dados consultando a vistaINFORMATION_SCHEMA.SHARED_DATASET_USAGE.
Utilize a partilha
Para obter métricas de utilização dos seus dados partilhados através da partilha, siga estes passos:
Na Google Cloud consola, aceda à página Partilha (Analytics Hub).
Clique no nome da exchange de dados que contém a ficha para ver as respetivas métricas de utilização.
Clique em Métricas de utilização e, de seguida, faça o seguinte:
No menu Fichas, selecione a ficha.
Defina o intervalo de tempo.
A página apresenta as seguintes métricas de utilização:
- Total de subscrições: o número de subscrições atuais na ficha selecionada. Pode ver o total de subscrições durante um período máximo de 60 dias.
- Total de subscritores: o número de subscritores únicos em todas as subscrições na ficha selecionada. Pode ver o número total de subscritores durante um período máximo de 60 dias.
- Total de tarefas executadas: o número de tarefas únicas executadas em cada tabela da ficha selecionada.
- Total de bytes analisados: o número total de bytes analisados de todas as tabelas da ficha selecionada.
- Subscrições diárias: o gráfico que acompanha o número de subscrições da ficha selecionada durante um período. Pode ver as subscrições diárias durante um período máximo de 60 dias.
- Subscritores por organização: apresenta as organizações e o respetivo número de subscritores que consomem a sua ficha selecionada.
- Tarefas executadas diariamente: este gráfico apresenta o consumo de tarefas da ficha selecionada.
- Frequência da tarefa das tabelas: a frequência com que as tabelas são acedidas na ficha selecionada.
Use a vista INFORMATION_SCHEMA
Os fornecedores de dados podem acompanhar a forma como os subscritores usam os conjuntos de dados consultando a vista INFORMATION_SCHEMA.SHARED_DATASET_USAGE.
Certifique-se de que tem a função necessária para consultar esta vista.
Para executar a consulta num Google Cloud projeto que não seja o seu projeto predefinido, use o seguinte formato:
PROJECT_ID.region-REGION_NAME.INFORMATION_SCHEMA.SHARED_DATASET_USAGE
Substitua o seguinte:
PROJECT_ID: o Google Cloud ID do projetoREGION_NAME: o nome da região do conjunto de dados do BigQuery
Por exemplo, myproject.region-us.INFORMATION_SCHEMA.SHARED_DATASET_USAGE.
Os exemplos seguintes descrevem como ver as métricas de utilização consultando a vista INFORMATION_SCHEMA.
Obter o número total de tarefas executadas em todas as tabelas partilhadas
O exemplo seguinte calcula o total de tarefas executadas pelos subscritores de um projeto:
SELECT COUNT(DISTINCT job_id) AS num_jobs FROM `region-us`.INFORMATION_SCHEMA.SHARED_DATASET_USAGE
O resultado é semelhante ao seguinte:
+------------+ | num_jobs | +------------+ | 1000 | +------------+
Para verificar o total de tarefas executadas pelos subscritores, use a cláusula WHERE:
- Para conjuntos de dados, use
WHERE dataset_id = "...". - Para tabelas, use
WHERE dataset_id = "..." AND table_id = "...".
Obtenha a tabela mais usada com base no número de linhas processadas
A seguinte consulta calcula a tabela mais usada com base no número de linhas processadas pelos subscritores.
SELECT dataset_id, table_id, SUM(num_rows_processed) AS usage_rows FROM `region-us`.INFORMATION_SCHEMA.SHARED_DATASET_USAGE GROUP BY 1, 2 ORDER BY 3 DESC LIMIT 1
O resultado é semelhante ao seguinte:
+---------------+-------------+----------------+ | dataset_id | table_id | usage_rows | +---------------+-------------+----------------+ | mydataset | mytable | 15 | +---------------+-------------+----------------+
Encontre as principais organizações que consomem as suas tabelas
A consulta seguinte calcula os principais subscritores com base no número de bytes processados das suas tabelas. Também pode usar a coluna num_rows_processed como uma métrica.
SELECT subscriber_org_number, ANY_VALUE(subscriber_org_display_name) AS subscriber_org_display_name, SUM(total_bytes_processed) AS usage_bytes FROM `region-us`.INFORMATION_SCHEMA.SHARED_DATASET_USAGE GROUP BY 1
O resultado é semelhante ao seguinte:
+--------------------------+--------------------------------+----------------+ |subscriber_org_number | subscriber_org_display_name | usage_bytes | +-----------------------------------------------------------+----------------+ | 12345 | myorganization | 15 | +--------------------------+--------------------------------+----------------+
Para subscritores sem uma organização, pode usar job_project_number
em vez de subscriber_org_number.
Obtenha métricas de utilização para a sua troca de dados
Se a sua troca de dados e conjunto de dados de origem estiverem em projetos diferentes, siga estes passos para ver as métricas de utilização da sua troca de dados:
- Encontre todas as fichas que pertencem à sua troca de dados.
- Recuperar o conjunto de dados de origem anexado à ficha.
- Para ver as métricas de utilização da sua troca de dados, use a seguinte consulta:
SELECT * FROM source_project_1.`region-us`.INFORMATION_SCHEMA.SHARED_DATASET_USAGE WHERE dataset_id='source_dataset_id' AND data_exchange_id="projects/4/locations/us/dataExchanges/x1" UNION ALL SELECT * FROM source_project_2.`region-us`.INFORMATION_SCHEMA.SHARED_DATASET_USAGE WHERE dataset_id='source_dataset_id' AND data_exchange_id="projects/4/locations/us/dataExchanges/x1"
Obtenha métricas de utilização para visualizações partilhadas
A consulta seguinte apresenta as métricas de utilização de todas as vistas partilhadas presentes num projeto:
SELECT project_id, dataset_id, table_id, num_rows_processed, total_bytes_processed, shared_resource_id, shared_resource_type, referenced_tables FROM `myproject`.`region-us`.INFORMATION_SCHEMA.SHARED_DATASET_USAGE WHERE shared_resource_type = 'VIEW'
O resultado é semelhante ao seguinte:
+---------------------+----------------+----------+--------------------+-----------------------+--------------------+----------------------+---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| project_id | dataset_id | table_id | num_rows_processed | total_bytes_processed | shared_resource_id | shared_resource_type | referenced_tables |
+---------------------+----------------+----------+--------------------+-----------------------+--------------------+----------------------+---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| myproject | source_dataset | view1 | 6 | 38 | view1 | VIEW | [{"project_id":"myproject","dataset_id":"source_dataset","table_id":"test_table","processed_bytes":"21"},
{"project_id":"bq-dataexchange-exp","dataset_id":"other_dataset","table_id":"other_table","processed_bytes":"17"}] |
+---------------------+----------------+----------+--------------------+-----------------------+--------------------+----------------------+---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
Obtenha métricas de utilização para funções de valor de tabela partilhadas
A consulta seguinte apresenta as métricas de utilização de todas as funções com valor de tabela partilhadas presentes num projeto:
SELECT project_id, dataset_id, table_id, num_rows_processed, total_bytes_processed, shared_resource_id, shared_resource_type, referenced_tables FROM `myproject`.`region-us`.INFORMATION_SCHEMA.SHARED_DATASET_USAGE WHERE shared_resource_type = 'TABLE_VALUED_FUNCTION'
O resultado é semelhante ao seguinte:
+---------------------+----------------+----------+--------------------+-----------------------+--------------------+-----------------------+---------------------------------------------------------------------------------------------------------------------+
| project_id | dataset_id | table_id | num_rows_processed | total_bytes_processed | shared_resource_id | shared_resource_type | referenced_tables |
+---------------------+----------------+----------+--------------------+-----------------------+--------------------+-----------------------+---------------------------------------------------------------------------------------------------------------------+
| myproject | source_dataset | | 3 | 45 | provider_exp | TABLE_VALUED_FUNCTION | [{"project_id":"myproject","dataset_id":"source_dataset","table_id":"test_table","processed_bytes":"45"}] |
+---------------------+----------------+----------+--------------------+-----------------------+--------------------+-----------------------+---------------------------------------------------------------------------------------------------------------------+
O que se segue?
- Saiba como gerir fichas de partilha do BigQuery.
- Saiba mais acerca dos preços do BigQuery.