Esegui query sui dati di Blob Storage

Questo documento descrive come eseguire query sui dati archiviati in una tabella BigLake di Azure Blob Storage.

Prima di iniziare

Assicurati di avere una tabella BigLake di Blob Storage.

Ruoli obbligatori

Per eseguire query sulle tabelle BigLake di Blob Storage, assicurati che il chiamante dell'API BigQuery disponga dei seguenti ruoli:

  • Utente connessione BigQuery (roles/bigquery.connectionUser)
  • Visualizzatore dati BigQuery (roles/bigquery.dataViewer)
  • Utente BigQuery (roles/bigquery.user)

Il chiamante può essere il tuo account o un account di servizio di connessione Blob Storage. A seconda delle tue autorizzazioni, puoi assegnarti questi ruoli o chiedere all'amministratore di assegnarteli. Per saperne di più sulla concessione dei ruoli, consulta Visualizzazione dei ruoli assegnabili sulle risorse.

Per vedere quali sono esattamente le autorizzazioni richieste per eseguire query sulle tabelle BigLake di Blob Storage, espandi la sezione Autorizzazioni obbligatorie:

Autorizzazioni obbligatorie

Potresti anche ottenere queste autorizzazioni con ruoli personalizzati o altri ruoli predefiniti.

Esegui query sulle tabelle BigLake di Archiviazione blob

Dopo aver creato una tabella BigLake Blob Storage, puoi eseguire query utilizzando la sintassi GoogleSQL, come se fosse una tabella BigQuery standard.

I risultati della query memorizzati nella cache sono archiviati in una tabella temporanea BigQuery. Per eseguire query su una tabella BigLake temporanea, consulta Eseguire query su una tabella BigLake temporanea. Per saperne di più su limitazioni e quote di BigQuery Omni, consulta le sezioni relative a limitazioni e quote.

Quando crei una prenotazione in una regione BigQuery Omni, utilizza Enterprise. Per scoprire come creare una prenotazione con un'edizione, consulta Creare prenotazioni.

Esegui una query sulla tabella BigLake di Blob Storage:

  1. Nella console Google Cloud , vai alla pagina BigQuery.

    Vai a BigQuery

  2. Nell'editor di query, inserisci la seguente istruzione:

    SELECT * FROM DATASET_NAME.TABLE_NAME;

    Sostituisci quanto segue:

    • DATASET_NAME: il nome del set di dati che hai creato

    • TABLE_NAME: il nome della tabella BigLake che hai creato

    • Fai clic su Esegui.

Per saperne di più su come eseguire le query, consulta Eseguire una query interattiva.

Eseguire query su una tabella temporanea

BigQuery crea tabelle temporanee per archiviare i risultati delle query. Per recuperare il risultato della query dalle tabelle temporanee, puoi utilizzare la console Google Cloud o l'API BigQuery.

Seleziona una delle seguenti opzioni:

Console

Quando esegui una query su una tabella BigLake che fa riferimento a dati esterni sul cloud, puoi visualizzare i risultati della query visualizzati nella console Google Cloud .

API

Per eseguire query su una tabella BigLake utilizzando l'API:

  1. Crea un oggetto Job.
  2. Chiama il metodo jobs.insert per eseguire la query in modo asincrono o il metodo jobs.query per eseguire la query in modo sincrono, passando l'oggetto Job.
  3. Leggi le righe con jobs.getQueryResults passando il riferimento del job specificato e i metodi tabledata.list passando il riferimento della tabella specificato del risultato della query.

Esegui una query sulla pseudo colonna _FILE_NAME

Le tabelle basate su origini dati esterne forniscono una pseudocolonna denominata _FILE_NAME. Questa colonna contiene il percorso completo del file a cui appartiene la riga. Questa colonna è disponibile solo per le tabelle che fanno riferimento a dati esterni archiviati in Cloud Storage, Google Drive, Amazon S3 e Azure Blob Storage.

Il nome della colonna _FILE_NAME è riservato, il che significa che non puoi creare una colonna con questo nome in nessuna delle tue tabelle. Per selezionare il valore di _FILE_NAME, devi utilizzare un alias. La seguente query di esempio mostra la selezione di _FILE_NAME assegnando l'alias fn alla pseudocolonna. 

  bq query \
  --project_id=PROJECT_ID \
  --use_legacy_sql=false \
  'SELECT
     name,
     _FILE_NAME AS fn
   FROM
     `DATASET.TABLE_NAME`
   WHERE
     name contains "Alex"'

Sostituisci quanto segue:

  • PROJECT_ID è un ID progetto valido (questo flag non è obbligatorio se utilizzi Cloud Shell o se imposti un progetto predefinito in Google Cloud CLI)
  • DATASET è il nome del set di dati che memorizza la tabella esterna permanente
  • TABLE_NAME è il nome della tabella esterna permanente

Quando la query ha un predicato di filtro sulla pseudocolonna _FILE_NAME, BigQuery tenta di saltare la lettura dei file che non soddisfano il filtro. Consigli simili a l'esecuzione di query su tabelle partizionate per data di importazione utilizzando pseudocolonne si applicano quando si costruiscono predicati di query con la pseudocolonna _FILE_NAME.

Passaggi successivi