Monitorare le schede

Questo documento descrive come monitorare le schede in BigQuery sharing (in precedenza Analytics Hub). In qualità di fornitore di dati, puoi monitorare le metriche di utilizzo delle tue schede. Esistono due metodi per ottenere le metriche di utilizzo dei dati condivisi:

  • Utilizza la condivisione BigQuery. Puoi utilizzare la condivisione per visualizzare la dashboard delle metriche di utilizzo per le tue schede. Questa dashboard include gli abbonamenti giornalieri, i job eseguiti giornalmente, il numero di abbonati per ogni organizzazione e la frequenza dei job per ogni tabella. Puoi recuperare le metriche di utilizzo per i tuoi dati condivisi eseguendo una query sulla visualizzazione INFORMATION_SCHEMA.SHARED_DATASET_USAGE.

  • Utilizza la visualizzazione INFORMATION_SCHEMA. Puoi monitorare il modo in cui gli iscritti utilizzano i tuoi set di dati eseguendo query sulla visualizzazione INFORMATION_SCHEMA.SHARED_DATASET_USAGE.

Utilizzare la condivisione

Per ottenere le metriche di utilizzo dei dati condivisi utilizzando la condivisione, segui questi passaggi:

  1. Nella console Google Cloud , vai alla pagina Condivisione (Analytics Hub).

    Vai a Condivisione (Analytics Hub)

  2. Fai clic sul nome dell'exchange di dati che contiene la scheda per visualizzarne le metriche di utilizzo.

  3. Fai clic su Metriche di utilizzo e poi segui questi passaggi:

    1. Nel menu Schede, seleziona la scheda.

    2. Imposta l'intervallo di tempo.

La pagina mostra le seguenti metriche di utilizzo:

  • Abbonamenti totali: il numero di abbonamenti attivi nella scheda selezionata. Puoi visualizzare il totale degli abbonamenti per un massimo di 60 giorni.
  • Iscritti totali: il numero di iscritti unici in tutti gli abbonamenti della scheda selezionata. Puoi visualizzare il numero totale di iscritti fino a 60 giorni.
  • Job totali eseguiti: il numero di job unici eseguiti su ogni tabella dell'elenco selezionato.
  • Byte totali scansionati: il numero totale di byte scansionati da tutte le tabelle della scheda selezionata.
  • Abbonamenti giornalieri: il grafico che monitora il numero di abbonamenti per la scheda selezionata in un periodo di tempo. Puoi visualizzare gli abbonamenti giornalieri fino a 60 giorni.
  • Iscritti per organizzazione: elenca le organizzazioni e il numero di iscritti che consumano la scheda selezionata.
  • Job eseguiti giornalmente: questo grafico mostra il consumo di job della scheda selezionata.
  • Frequenza dei job delle tabelle: la frequenza con cui si accede alle tabelle nella scheda selezionata.

Utilizza la visualizzazione INFORMATION_SCHEMA

I fornitori di dati possono monitorare il modo in cui gli abbonati utilizzano i set di dati eseguendo query sulla visualizzazione INFORMATION_SCHEMA.SHARED_DATASET_USAGE. Assicurati di disporre del ruolo necessario per eseguire query su questa vista.

Per eseguire la query su un progetto Google Cloud diverso da quello predefinito, utilizza il seguente formato:

PROJECT_ID.region-REGION_NAME.INFORMATION_SCHEMA.SHARED_DATASET_USAGE

Sostituisci quanto segue:

  • PROJECT_ID: l' Google Cloud ID progetto
  • REGION_NAME: il nome della regione del set di dati BigQuery

Ad esempio, myproject.region-us.INFORMATION_SCHEMA.SHARED_DATASET_USAGE.

Gli esempi seguenti descrivono come visualizzare le metriche di utilizzo eseguendo query sulla vista INFORMATION_SCHEMA.

Visualizza il numero totale di job eseguiti su tutte le tabelle condivise

L'esempio seguente calcola il totale dei job eseguiti dagli abbonati per un progetto:

SELECT
  COUNT(DISTINCT job_id) AS num_jobs
FROM
  `region-us`.INFORMATION_SCHEMA.SHARED_DATASET_USAGE

Il risultato è simile al seguente:

+------------+
| num_jobs   |
+------------+
| 1000       |
+------------+

Per controllare il numero totale di job eseguiti dagli abbonati, utilizza la clausola WHERE:

  • Per i set di dati, utilizza WHERE dataset_id = "...".
  • Per le tabelle, utilizza WHERE dataset_id = "..." AND table_id = "...".

Visualizzare la tabella più utilizzata in base al numero di righe elaborate

La seguente query calcola la tabella più utilizzata in base al numero di righe elaborate dagli abbonati.

SELECT
  dataset_id,
  table_id,
  SUM(num_rows_processed) AS usage_rows
FROM
  `region-us`.INFORMATION_SCHEMA.SHARED_DATASET_USAGE
GROUP BY
  1,
  2
ORDER BY
  3 DESC
LIMIT
  1

L'output è simile al seguente:

+---------------+-------------+----------------+
| dataset_id    | table_id      | usage_rows     |
+---------------+-------------+----------------+
| mydataset     | mytable     | 15             |
+---------------+-------------+----------------+

Trovare le organizzazioni principali che utilizzano le tue tabelle

La seguente query calcola gli abbonati principali in base al numero di byte elaborati dalle tue tabelle. Puoi anche utilizzare la colonna num_rows_processed come metrica.

SELECT
  subscriber_org_number,
  ANY_VALUE(subscriber_org_display_name) AS subscriber_org_display_name,
  SUM(total_bytes_processed) AS usage_bytes
FROM
  `region-us`.INFORMATION_SCHEMA.SHARED_DATASET_USAGE
GROUP BY
  1

L'output è simile al seguente:

+--------------------------+--------------------------------+----------------+
|subscriber_org_number     | subscriber_org_display_name    | usage_bytes    |
+-----------------------------------------------------------+----------------+
| 12345                    | myorganization                 | 15             |
+--------------------------+--------------------------------+----------------+

Per gli abbonati senza un'organizzazione, puoi utilizzare job_project_number anziché subscriber_org_number.

Visualizzare le metriche di utilizzo per lo scambio di dati

Se il tuo data exchange e il set di dati di origine si trovano in progetti diversi, segui questi passaggi per visualizzare le metriche di utilizzo del tuo data exchange:

  1. Trova tutte le schede che appartengono al tuo scambio di dati.
  2. Recupera il set di dati di origine allegato alla scheda.
  3. Per visualizzare le metriche di utilizzo per lo scambio di dati, utilizza la seguente query:
SELECT
  *
FROM
  source_project_1.`region-us`.INFORMATION_SCHEMA.SHARED_DATASET_USAGE
WHERE
  dataset_id='source_dataset_id'
AND data_exchange_id="projects/4/locations/us/dataExchanges/x1"
UNION ALL
SELECT
  *
FROM
  source_project_2.`region-us`.INFORMATION_SCHEMA.SHARED_DATASET_USAGE
WHERE
  dataset_id='source_dataset_id'
AND data_exchange_id="projects/4/locations/us/dataExchanges/x1"

Visualizzare le metriche di utilizzo delle visualizzazioni condivise

La seguente query mostra le metriche di utilizzo per tutte le visualizzazioni condivise presenti in un progetto:

SELECT
  project_id,
  dataset_id,
  table_id,
  num_rows_processed,
  total_bytes_processed,
  shared_resource_id,
  shared_resource_type,
  referenced_tables
FROM `myproject`.`region-us`.INFORMATION_SCHEMA.SHARED_DATASET_USAGE
WHERE shared_resource_type = 'VIEW'

L'output è simile al seguente:

+---------------------+----------------+----------+--------------------+-----------------------+--------------------+----------------------+---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
|     project_id      |   dataset_id   | table_id | num_rows_processed | total_bytes_processed | shared_resource_id | shared_resource_type |                                                                                                              referenced_tables                                                                                                              |
+---------------------+----------------+----------+--------------------+-----------------------+--------------------+----------------------+---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
|     myproject       | source_dataset | view1    |                  6 |                    38 | view1              | VIEW                 | [{"project_id":"myproject","dataset_id":"source_dataset","table_id":"test_table","processed_bytes":"21"},
{"project_id":"bq-dataexchange-exp","dataset_id":"other_dataset","table_id":"other_table","processed_bytes":"17"}]                 |

+---------------------+----------------+----------+--------------------+-----------------------+--------------------+----------------------+---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+

Recuperare le metriche di utilizzo per le funzioni con valori di tabella condivise

La seguente query mostra le metriche di utilizzo per tutte le funzioni con valori di tabella condivisi presenti in un progetto:

SELECT
  project_id,
  dataset_id,
  table_id,
  num_rows_processed,
  total_bytes_processed,
  shared_resource_id,
  shared_resource_type,
  referenced_tables
FROM `myproject`.`region-us`.INFORMATION_SCHEMA.SHARED_DATASET_USAGE
WHERE shared_resource_type = 'TABLE_VALUED_FUNCTION'

L'output è simile al seguente:

+---------------------+----------------+----------+--------------------+-----------------------+--------------------+-----------------------+---------------------------------------------------------------------------------------------------------------------+
|     project_id      |   dataset_id   | table_id | num_rows_processed | total_bytes_processed | shared_resource_id | shared_resource_type  |                                                  referenced_tables                                                  |
+---------------------+----------------+----------+--------------------+-----------------------+--------------------+-----------------------+---------------------------------------------------------------------------------------------------------------------+
|     myproject       | source_dataset |          |                  3 |                    45 | provider_exp       | TABLE_VALUED_FUNCTION | [{"project_id":"myproject","dataset_id":"source_dataset","table_id":"test_table","processed_bytes":"45"}]           |
+---------------------+----------------+----------+--------------------+-----------------------+--------------------+-----------------------+---------------------------------------------------------------------------------------------------------------------+

Passaggi successivi