Monitorare le schede

In qualità di fornitore di dati, puoi monitorare le metriche di utilizzo delle tue schede. Esistono due metodi per ottenere le metriche di utilizzo dei dati condivisi:

  • Utilizza BigQuery sharing (in precedenza Analytics Hub). Con la condivisione puoi visualizzare la dashboard delle metriche di utilizzo per le tue schede, che include abbonamenti giornalieri, job eseguiti giornalmente, numero di abbonati per ogni organizzazione e frequenza dei job per ogni tabella. Le metriche di utilizzo dei dati condivisi vengono recuperate eseguendo query sulla visualizzazione INFORMATION_SCHEMA.SHARED_DATASET_USAGE.

  • Utilizza la visualizzazione INFORMATION_SCHEMA. Puoi monitorare il modo in cui gli abbonati utilizzano i tuoi set di dati eseguendo query direttamente sulla visualizzazione INFORMATION_SCHEMA.SHARED_DATASET_USAGE.

Utilizzare la condivisione

Per ottenere le metriche di utilizzo dei dati condivisi utilizzando la condivisione, segui questi passaggi:

  1. Nella console Google Cloud , vai alla pagina Condivisione (Analytics Hub).

    Vai a Condivisione (Analytics Hub)

  2. Fai clic sul nome dello scambio di dati che contiene la scheda per cui vuoi visualizzare le metriche di utilizzo.

  3. Fai clic su Metriche di utilizzo e poi segui questi passaggi:

    1. Nel menu Schede, seleziona la scheda.

    2. Imposta l'intervallo di tempo.

La pagina mostra le seguenti metriche di utilizzo:

  • Abbonamenti totali:il numero di abbonamenti attivi nella scheda selezionata. Puoi visualizzare il totale degli abbonamenti per un massimo di 60 giorni.
  • Iscritti totali:il numero di iscritti unici in tutti gli abbonamenti della scheda selezionata. Puoi visualizzare il numero totale di iscritti per un massimo di 60 giorni.
  • Job totali eseguiti:il numero di job unici eseguiti su ogni tabella dell'elenco selezionato.
  • Byte totali analizzati:il numero totale di byte analizzati da tutte le tabelle della scheda selezionata.
  • Abbonamenti giornalieri:il grafico che monitora il numero di abbonamenti per la scheda selezionata in un periodo di tempo. Puoi visualizzare gli abbonamenti giornalieri fino a 60 giorni.
  • Iscritti per organizzazione:elenca le organizzazioni e il numero di iscritti che consumano la scheda selezionata.
  • Job eseguiti giornalmente:questo grafico mostra il consumo di job della scheda selezionata.
  • Frequenza dei job delle tabelle:la frequenza con cui si accede alle tabelle nell'elenco selezionato.

Utilizza la visualizzazione INFORMATION_SCHEMA

Se sei un fornitore di dati, puoi monitorare il modo in cui gli abbonati utilizzano i tuoi set di dati eseguendo query sulla visualizzazione INFORMATION_SCHEMA.SHARED_DATASET_USAGE. Assicurati di disporre del ruolo necessario per eseguire query su questa vista.

Per eseguire la query su un progetto diverso da quello predefinito, aggiungi l'ID progetto nel seguente formato:

PROJECT_ID.region-REGION_NAME.INFORMATION_SCHEMA.SHARED_DATASET_USAGE

Ad esempio, myproject.region-us.INFORMATION_SCHEMA.SHARED_DATASET_USAGE.

I seguenti esempi descrivono come visualizzare le metriche di utilizzo eseguendo query sulla vista INFORMATION_SCHEMA:

Ottieni il numero totale di job eseguiti su tutte le tabelle condivise

L'esempio seguente calcola i job totali eseguiti dagli abbonati per un progetto:

SELECT
  COUNT(DISTINCT job_id) AS num_jobs
FROM
  `region-us`.INFORMATION_SCHEMA.SHARED_DATASET_USAGE

Il risultato è simile al seguente:

+------------+
| num_jobs   |
+------------+
| 1000       |
+------------+

Per controllare il numero totale di job eseguiti dagli abbonati, utilizza la clausola WHERE:

  • Per i set di dati, utilizza WHERE dataset_id = "...".
  • Per le tabelle, utilizza WHERE dataset_id = "..." AND table_id = "...".

Visualizzare la tabella più utilizzata in base al numero di righe elaborate

La seguente query calcola la tabella più utilizzata in base al numero di righe elaborate dagli abbonati.

SELECT
  dataset_id,
  table_id,
  SUM(num_rows_processed) AS usage_rows
FROM
  `region-us`.INFORMATION_SCHEMA.SHARED_DATASET_USAGE
GROUP BY
  1,
  2
ORDER BY
  3 DESC
LIMIT
  1

L'output è simile al seguente:

+---------------+-------------+----------------+
| dataset_id    | table_id      | usage_rows     |
+---------------+-------------+----------------+
| mydataset     | mytable     | 15             |
+---------------+-------------+----------------+

Trova le organizzazioni principali che utilizzano le tue tabelle

La seguente query calcola gli abbonati principali in base al numero di byte elaborati dalle tue tabelle. Puoi anche utilizzare la colonna num_rows_processed come metrica.

SELECT
  subscriber_org_number,
  ANY_VALUE(subscriber_org_display_name) AS subscriber_org_display_name,
  SUM(total_bytes_processed) AS usage_bytes
FROM
  `region-us`.INFORMATION_SCHEMA.SHARED_DATASET_USAGE
GROUP BY
  1

L'output è simile al seguente:

+--------------------------+--------------------------------+----------------+
|subscriber_org_number     | subscriber_org_display_name    | usage_bytes    |
+-----------------------------------------------------------+----------------+
| 12345                    | myorganization                 | 15             |
+--------------------------+--------------------------------+----------------+

Per gli abbonati senza un'organizzazione, puoi utilizzare job_project_number anziché subscriber_org_number.

Visualizzare le metriche di utilizzo per lo scambio di dati

Se il tuo scambio di dati e il set di dati di origine si trovano in progetti diversi, segui questi passaggi per visualizzare le metriche di utilizzo per lo scambio di dati:

  1. Trova tutte le schede che appartengono al tuo scambio di dati.
  2. Recupera il set di dati di origine allegato alla scheda.
  3. Per visualizzare le metriche di utilizzo per lo scambio di dati, utilizza la seguente query:
SELECT
  *
FROM
  source_project_1.`region-us`.INFORMATION_SCHEMA.SHARED_DATASET_USAGE
WHERE
  dataset_id='source_dataset_id'
AND data_exchange_id="projects/4/locations/us/dataExchanges/x1"
UNION ALL
SELECT
  *
FROM
  source_project_2.`region-us`.INFORMATION_SCHEMA.SHARED_DATASET_USAGE
WHERE
  dataset_id='source_dataset_id'
AND data_exchange_id="projects/4/locations/us/dataExchanges/x1"

Visualizzare le metriche di utilizzo per le visualizzazioni condivise

La seguente query mostra le metriche di utilizzo per tutte le visualizzazioni condivise presenti in un progetto:

SELECT
  project_id,
  dataset_id,
  table_id,
  num_rows_processed,
  total_bytes_processed,
  shared_resource_id,
  shared_resource_type,
  referenced_tables
FROM `myproject`.`region-us`.INFORMATION_SCHEMA.SHARED_DATASET_USAGE
WHERE shared_resource_type = 'VIEW'

L'output è simile al seguente:

+---------------------+----------------+----------+--------------------+-----------------------+--------------------+----------------------+---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
|     project_id      |   dataset_id   | table_id | num_rows_processed | total_bytes_processed | shared_resource_id | shared_resource_type |                                                                                                              referenced_tables                                                                                                              |
+---------------------+----------------+----------+--------------------+-----------------------+--------------------+----------------------+---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
|     myproject       | source_dataset | view1    |                  6 |                    38 | view1              | VIEW                 | [{"project_id":"myproject","dataset_id":"source_dataset","table_id":"test_table","processed_bytes":"21"},
{"project_id":"bq-dataexchange-exp","dataset_id":"other_dataset","table_id":"other_table","processed_bytes":"17"}]                 |

+---------------------+----------------+----------+--------------------+-----------------------+--------------------+----------------------+---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+

Visualizzare le metriche di utilizzo per le funzioni con valori di tabella condivise

La seguente query mostra le metriche di utilizzo per tutte le funzioni con valori di tabella condivise presenti in un progetto:

SELECT
  project_id,
  dataset_id,
  table_id,
  num_rows_processed,
  total_bytes_processed,
  shared_resource_id,
  shared_resource_type,
  referenced_tables
FROM `myproject`.`region-us`.INFORMATION_SCHEMA.SHARED_DATASET_USAGE
WHERE shared_resource_type = 'TABLE_VALUED_FUNCTION'

L'output è simile al seguente:

+---------------------+----------------+----------+--------------------+-----------------------+--------------------+-----------------------+---------------------------------------------------------------------------------------------------------------------+
|     project_id      |   dataset_id   | table_id | num_rows_processed | total_bytes_processed | shared_resource_id | shared_resource_type  |                                                  referenced_tables                                                  |
+---------------------+----------------+----------+--------------------+-----------------------+--------------------+-----------------------+---------------------------------------------------------------------------------------------------------------------+
|     myproject       | source_dataset |          |                  3 |                    45 | provider_exp       | TABLE_VALUED_FUNCTION | [{"project_id":"myproject","dataset_id":"source_dataset","table_id":"test_table","processed_bytes":"45"}]           |
+---------------------+----------------+----------+--------------------+-----------------------+--------------------+-----------------------+---------------------------------------------------------------------------------------------------------------------+

Passaggi successivi