Monitorizar fichas

En este documento se describe cómo monitorizar fichas en la función de uso compartido de BigQuery (antes Analytics Hub). Como proveedor de datos, puede hacer un seguimiento de las métricas de uso de sus fichas. Hay dos métodos para obtener las métricas de uso de tus datos compartidos:

  • Usa la función de compartir de BigQuery. Puedes usar la función Compartir para ver el panel de métricas de uso de tus fichas. Este panel de control incluye las suscripciones diarias, las tareas ejecutadas diariamente, el número de suscriptores de cada organización y la frecuencia de las tareas de cada tabla. Para obtener las métricas de uso de tus datos compartidos, consulta la vista INFORMATION_SCHEMA.SHARED_DATASET_USAGE.

  • Usa la vista INFORMATION_SCHEMA. Para hacer un seguimiento de cómo usan los suscriptores tus conjuntos de datos, consulta la vista INFORMATION_SCHEMA.SHARED_DATASET_USAGE.

Usar la función Compartir

Para obtener métricas de uso de los datos compartidos mediante la función Compartir, sigue estos pasos:

  1. En la Google Cloud consola, vaya a la página Compartir (Analytics Hub).

    Ir a Compartir (Analytics Hub)

  2. Haga clic en el nombre del intercambio de datos que contiene la ficha para ver sus métricas de uso.

  3. Haga clic en Métricas de uso y, a continuación, haga lo siguiente:

    1. En el menú Fichas, selecciona la ficha.

    2. Define el intervalo de tiempo.

En la página se muestran las siguientes métricas de uso:

  • Total de suscripciones: el número de suscripciones actuales del anuncio seleccionado. Puedes ver el total de suscripciones de los últimos 60 días.
  • Total de suscriptores: el número de suscriptores únicos de todas las suscripciones del anuncio seleccionado. Puedes ver el número total de suscriptores de los últimos 60 días.
  • Total de trabajos ejecutados: número de trabajos únicos ejecutados en cada tabla de la ficha seleccionada.
  • Total de bytes analizados: el número total de bytes analizados de todas las tablas de la ficha seleccionada.
  • Suscripciones diarias: gráfico que monitoriza el número de suscripciones de la ficha seleccionada durante un periodo. Puedes ver las suscripciones diarias de los últimos 60 días.
  • Suscriptores por organización: muestra las organizaciones y el número de suscriptores que consumen la ficha que has seleccionado.
  • Trabajos ejecutados diariamente: este gráfico muestra el consumo de trabajos de la lista seleccionada.
  • Frecuencia de las tareas de las tablas: la frecuencia con la que se accede a las tablas en la ficha seleccionada.

Usar la vista INFORMATION_SCHEMA

Los proveedores de datos pueden hacer un seguimiento de cómo usan los suscriptores los conjuntos de datos consultando la vista INFORMATION_SCHEMA.SHARED_DATASET_USAGE. Asegúrate de que tienes el rol necesario para consultar esta vista.

Para ejecutar la consulta en un Google Cloud proyecto que no sea el predeterminado, usa el siguiente formato:

PROJECT_ID.region-REGION_NAME.INFORMATION_SCHEMA.SHARED_DATASET_USAGE

Haz los cambios siguientes:

  • PROJECT_ID: el ID del proyecto Google Cloud
  • REGION_NAME: nombre de la región del conjunto de datos de BigQuery

Por ejemplo, myproject.region-us.INFORMATION_SCHEMA.SHARED_DATASET_USAGE.

En los siguientes ejemplos se describe cómo ver las métricas de uso consultando la vista INFORMATION_SCHEMA.

Obtener el número total de trabajos ejecutados en todas las tablas compartidas

En el siguiente ejemplo se calcula el número total de trabajos ejecutados por los suscriptores de un proyecto:

SELECT
  COUNT(DISTINCT job_id) AS num_jobs
FROM
  `region-us`.INFORMATION_SCHEMA.SHARED_DATASET_USAGE

El resultado es similar al siguiente:

+------------+
| num_jobs   |
+------------+
| 1000       |
+------------+

Para comprobar el número total de trabajos ejecutados por los suscriptores, usa la cláusula WHERE:

  • En el caso de los conjuntos de datos, usa WHERE dataset_id = "...".
  • En el caso de las tablas, usa WHERE dataset_id = "..." AND table_id = "...".

Obtener la tabla más usada en función del número de filas procesadas

La siguiente consulta calcula la tabla más utilizada en función del número de filas procesadas por los suscriptores.

SELECT
  dataset_id,
  table_id,
  SUM(num_rows_processed) AS usage_rows
FROM
  `region-us`.INFORMATION_SCHEMA.SHARED_DATASET_USAGE
GROUP BY
  1,
  2
ORDER BY
  3 DESC
LIMIT
  1

El resultado debería ser similar al siguiente:

+---------------+-------------+----------------+
| dataset_id    | table_id      | usage_rows     |
+---------------+-------------+----------------+
| mydataset     | mytable     | 15             |
+---------------+-------------+----------------+

Buscar las organizaciones principales que consumen tus tablas

La siguiente consulta calcula los suscriptores principales en función del número de bytes procesados de tus tablas. También puede usar la columna num_rows_processed como métrica.

SELECT
  subscriber_org_number,
  ANY_VALUE(subscriber_org_display_name) AS subscriber_org_display_name,
  SUM(total_bytes_processed) AS usage_bytes
FROM
  `region-us`.INFORMATION_SCHEMA.SHARED_DATASET_USAGE
GROUP BY
  1

El resultado debería ser similar al siguiente:

+--------------------------+--------------------------------+----------------+
|subscriber_org_number     | subscriber_org_display_name    | usage_bytes    |
+-----------------------------------------------------------+----------------+
| 12345                    | myorganization                 | 15             |
+--------------------------+--------------------------------+----------------+

Si no tienes una organización, puedes usar job_project_number en lugar de subscriber_org_number.

Obtener métricas de uso de tu intercambio de datos

Si su intercambio de datos y su conjunto de datos de origen están en proyectos diferentes, siga estos pasos para ver las métricas de uso de su intercambio de datos:

  1. Busca todas las fichas que pertenezcan a tu intercambio de datos.
  2. Recupera el conjunto de datos de origen adjunto a la ficha.
  3. Para ver las métricas de uso de tu intercambio de datos, usa la siguiente consulta:
SELECT
  *
FROM
  source_project_1.`region-us`.INFORMATION_SCHEMA.SHARED_DATASET_USAGE
WHERE
  dataset_id='source_dataset_id'
AND data_exchange_id="projects/4/locations/us/dataExchanges/x1"
UNION ALL
SELECT
  *
FROM
  source_project_2.`region-us`.INFORMATION_SCHEMA.SHARED_DATASET_USAGE
WHERE
  dataset_id='source_dataset_id'
AND data_exchange_id="projects/4/locations/us/dataExchanges/x1"

Obtener métricas de uso de vistas compartidas

La siguiente consulta muestra las métricas de uso de todas las vistas compartidas de un proyecto:

SELECT
  project_id,
  dataset_id,
  table_id,
  num_rows_processed,
  total_bytes_processed,
  shared_resource_id,
  shared_resource_type,
  referenced_tables
FROM `myproject`.`region-us`.INFORMATION_SCHEMA.SHARED_DATASET_USAGE
WHERE shared_resource_type = 'VIEW'

El resultado debería ser similar al siguiente:

+---------------------+----------------+----------+--------------------+-----------------------+--------------------+----------------------+---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
|     project_id      |   dataset_id   | table_id | num_rows_processed | total_bytes_processed | shared_resource_id | shared_resource_type |                                                                                                              referenced_tables                                                                                                              |
+---------------------+----------------+----------+--------------------+-----------------------+--------------------+----------------------+---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
|     myproject       | source_dataset | view1    |                  6 |                    38 | view1              | VIEW                 | [{"project_id":"myproject","dataset_id":"source_dataset","table_id":"test_table","processed_bytes":"21"},
{"project_id":"bq-dataexchange-exp","dataset_id":"other_dataset","table_id":"other_table","processed_bytes":"17"}]                 |

+---------------------+----------------+----------+--------------------+-----------------------+--------------------+----------------------+---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+

Obtener métricas de uso de funciones con valores de tabla compartidas

La siguiente consulta muestra las métricas de uso de todas las funciones con valores de tabla compartidas de un proyecto:

SELECT
  project_id,
  dataset_id,
  table_id,
  num_rows_processed,
  total_bytes_processed,
  shared_resource_id,
  shared_resource_type,
  referenced_tables
FROM `myproject`.`region-us`.INFORMATION_SCHEMA.SHARED_DATASET_USAGE
WHERE shared_resource_type = 'TABLE_VALUED_FUNCTION'

El resultado debería ser similar al siguiente:

+---------------------+----------------+----------+--------------------+-----------------------+--------------------+-----------------------+---------------------------------------------------------------------------------------------------------------------+
|     project_id      |   dataset_id   | table_id | num_rows_processed | total_bytes_processed | shared_resource_id | shared_resource_type  |                                                  referenced_tables                                                  |
+---------------------+----------------+----------+--------------------+-----------------------+--------------------+-----------------------+---------------------------------------------------------------------------------------------------------------------+
|     myproject       | source_dataset |          |                  3 |                    45 | provider_exp       | TABLE_VALUED_FUNCTION | [{"project_id":"myproject","dataset_id":"source_dataset","table_id":"test_table","processed_bytes":"45"}]           |
+---------------------+----------------+----------+--------------------+-----------------------+--------------------+-----------------------+---------------------------------------------------------------------------------------------------------------------+

Siguientes pasos