Introduzione alle query continue

Questo documento descrive le query continue di BigQuery.

Le query continue di BigQuery sono istruzioni SQL che vengono eseguite in modo continuo. Le query continue ti consentono di analizzare i dati in arrivo in BigQuery in tempo reale. Puoi inserire le righe di output prodotte da una query continua in una tabella BigQuery o esportarle in Pub/Sub, Bigtable o Spanner. Le query continue possono elaborare i dati scritti nelle tabelle BigQuery standard utilizzando uno dei seguenti metodi:

• L'API BigQuery Storage Write
• Il metodo tabledata.insertAll
• Caricamento in batch
• L'istruzione DML INSERT
• Istruzioni DML (Data Manipulation Language) di mutazione come DELETE, UPDATE e MERGE durante l'esportazione dei dati in Pub/Sub.
• Scritture dai risultati di una query batch in una tabella permanente
• Scritture dai risultati di una query continua di BigQuery in una tabella permanente
• Una sottoscrizione Pub/Sub BigQuery
• Scritture da Dataflow a BigQuery
• Scritture da Datastream a BigQuery utilizzando la modalità di scrittura solo di accodamento

Puoi utilizzare le query continue per eseguire attività sensibili al tempo, come la creazione e l'applicazione immediata di insight, l'applicazione dell'inferenza di machine learning (ML) in tempo reale e la replica dei dati in altre piattaforme. In questo modo, puoi utilizzare BigQuery come motore di elaborazione dei dati basato su eventi per la logica decisionale della tua applicazione.

Il seguente diagramma mostra i workflow comuni delle query continue:

Casi d'uso

Di seguito sono riportati i casi d'uso comuni in cui potresti voler utilizzare le query continue:

• Servizi di interazione con i clienti personalizzati: utilizza l'AI generativa per creare messaggi personalizzati per ogni interazione con i clienti.
• Rilevamento delle anomalie: crea soluzioni che ti consentono di eseguire il rilevamento di anomalie e minacce su dati complessi in tempo reale, in modo da poter reagire più rapidamente ai problemi.
• Pipeline basate su eventi personalizzabili: utilizza l'integrazione delle query continue con Pub/Sub per attivare le applicazioni downstream in base ai dati in arrivo.
• Arricchimento dei dati ed estrazione di entità: utilizza le query continue per eseguire l'arricchimento e la trasformazione dei dati in tempo reale utilizzando le funzioni SQL e i modelli ML.
• Estrazione, trasformazione e caricamento (ETL) inverso: esegui l'ETL inverso in tempo reale in altri sistemi di archiviazione più adatti per la pubblicazione di applicazioni a bassa latenza. Ad esempio, analizzare o migliorare i dati sugli eventi scritti in BigQuery e poi trasmetterli in streaming a Bigtable o Spanner per la pubblicazione delle applicazioni.
• Attivazione autonoma degli agenti: attiva le pipeline di dati agentici in tempo reale in base a eventi complessi rilevati nei flussi di dati live. Per un esempio, consulta il codelab Creare un agente di dati basato su eventi con BigQuery e Agent Development Kit (ADK).
• Monitoraggio autonomo degli agenti: sviluppa il monitoraggio e gli avvisi automatici in tempo reale per le interazioni agentiche in tempo reale utilizzando il plug-in di analisi degli agenti di BigQuery, che trasmette in streaming tutti i dati di traccia degli agenti, l'utilizzo degli strumenti e i log operativi direttamente in BigQuery per una visibilità approfondita della tua forza lavoro AI.

Funzionalità supportate

Le seguenti operazioni sono supportate nelle query continue:

• Esecuzione di INSERT istruzioni per scrivere i dati da una query continua in una tabella BigQuery.

• Esecuzione di istruzioni EXPORT DATA per pubblicare l'output delle query continue negli argomenti Pub/Sub. Per ulteriori informazioni, consulta Esportare i dati in Pub/Sub.

  Da un argomento Pub/Sub, puoi utilizzare i dati con altri servizi, ad esempio eseguendo l'analisi dei flussi di dati utilizzando Dataflow o utilizzando i dati in un flusso di lavoro di integrazione delle applicazioni.

• Esecuzione di istruzioni EXPORT DATA per esportare i dati da BigQuery a tabelle Bigtable. Per ulteriori informazioni, consulta Esportare i dati in Bigtable.

• Esecuzione di istruzioni EXPORT DATA per esportare i dati da BigQuery alle tabelle Spanner. Per ulteriori informazioni, consulta Esportare i dati in Spanner (ETL inverso).

• Chiamata delle seguenti funzioni di AI generativa:

  • AI.GENERATE

  • AI.GENERATE_TEXT

    • Questa funzione richiede di avere un modello remoto BigQuery ML su un modello Vertex AI.

• Chiamata delle seguenti funzioni di AI:

  • ML.UNDERSTAND_TEXT
  • ML.TRANSLATE

  Queste funzioni richiedono di avere un modello remoto BigQuery ML su un'API Cloud AI.

• Normalizzazione dei dati numerici utilizzando la ML.NORMALIZER funzione.

• Analisi ed elaborazione dei dati JSON, incluso il supporto per funzioni JSON e annidamento JSON.

• Utilizzo di funzioni GoogleSQL senza stato, ad esempio, le funzioni di conversione. Nelle funzioni senza stato, ogni riga viene elaborata indipendentemente dalle altre righe della tabella.

• Utilizzo di operazioni con stato—ad esempio JOINs, aggregazioni e aggregazioni finestra. Nelle operazioni con stato, lo stato dei dati importati viene mantenuto su più righe o intervalli di tempo per calcolare un risultato accurato.

• Utilizzo della APPENDS funzione di cronologia delle modifiche per elaborare i dati aggiunti da un punto specifico nel tempo.

• Utilizzo della CHANGES funzione di cronologia delle modifiche per elaborare i dati modificati, inclusi sia gli accodamenti sia le mutazioni, da un punto specifico nel tempo durante l' esportazione dei dati in Pub/Sub. Tuttavia, CHANGES non è supportato quando si utilizza un operazione con stato.

Operazioni con stato supportate

Anteprima

Questa funzionalità è soggetta ai "Termini dell'offerta pre-GA" nella sezione dei Termini di servizio generali dei Termini specifici dei servizi. Le funzionalità pre-GA sono disponibili "così come sono" e potrebbero avere un supporto limitato. Per ulteriori informazioni, consulta le descrizioni della fase di lancio.

Per richiedere assistenza o fornire un feedback su questa funzionalità, invia un'email all'indirizzo [e-mail].

Le operazioni con stato consentono alle query continue di eseguire analisi complesse che richiedono la conservazione delle informazioni su più righe o intervalli di tempo. Mentre le funzioni senza stato elaborano ogni riga in modo indipendente, le operazioni con stato mantengono lo stato dei dati importati per supportare funzioni come JOINs, aggregazioni e aggregazioni finestra. Questa funzionalità ti consente di correlare gli eventi di flussi diversi o di calcolare le metriche nel tempo, ad esempio una media di 30 minuti, memorizzando i dati necessari in memoria durante l'esecuzione della query.

Le query continue supportano le seguenti operazioni con stato:

• JOIN
• Aggregazioni e finestre

Autorizzazione

I Google Cloud token di accesso utilizzati durante l'esecuzione dei job di query continua hanno un durata (TTL) di due giorni quando vengono generati da un account utente. Di conseguenza, questi job smettono di essere eseguiti dopo due giorni. I token di accesso generati dai service account possono essere eseguiti più a lungo, ma devono comunque rispettare il runtime massimo della query. Per ulteriori informazioni, consulta Eseguire una query continua utilizzando un service account.

Località

Per un elenco delle regioni supportate, consulta Località delle query continue di BigQuery.

Limitazioni

Le query continue sono soggette alle seguenti limitazioni:

• Lo stato dei dati importati viene mantenuto solo per le operazioni con stato specifiche in anteprima. Sebbene le query continue supportino ora alcuni tipi di JOIN, aggregazioni e aggregazioni finestra, questi sono limitati a operazioni con stato specifiche. Non tutti i tipi di operazioni con stato sono supportati.

• Non puoi utilizzare le seguenti funzionalità SQL in una query continua, a meno che non siano elencate come operazioni con stato supportate:

  • I seguenti operatori di query:

    • PIVOT
    • UNPIVOT
    • TABLESAMPLE

  • Operatori di set di query

  • L'istruzione SELECT DISTINCT statement

  • Sottoquery EXISTS o NOT EXISTS

  • CTE ricorsive

  • Funzioni definite dall'utente

  • Chiamate di funzioni finestra

  • Funzioni BigQuery ML diverse da quelle elencate in Funzionalità supportate

  • Istruzioni DDL (Data Definition Language)

  • Istruzioni DML (Data Manipulation Language) ad eccezione di INSERT.

  • Istruzioni DCL (Data Control Language)

  • Istruzioni EXPORT DATA che non hanno come target Bigtable, Pub/Sub o Spanner.

  • Linguaggio procedurale

  • Debug delle istruzioni

• Le query continue non supportano le seguenti origini dati:

  • Tabelle esterne.
  • Visualizzazioni dello schema informativo.
  • Tabelle BigLake per Apache Iceberg in BigQuery.
  • Tabelle con caratteri jolly.
  • Dati di upsert di Change Data Capture (CDC) data.
  • Viste materializzate.
  • Visualizzazioni definite da altre limitazioni delle query continue, come operazioni JOIN, funzioni di aggregazione, funzioni definite dall'utente o tabelle abilitate per Change Data Capture.

• Le query continue non supportano le funzionalità di sicurezza a livello di column- e di riga.

• L'output di una query continua è soggetto alle quote e ai limiti intrinseci del servizio di destinazione in cui viene esportato l'output.

• Quando esporti i dati negli endpoint di località di Bigtable, Spanner o Pub/Sub , puoi scegliere come target solo le risorse Bigtable, Spanner o Pub/Sub che rientrano nello stesso Google Cloud limite regionale del set di dati BigQuery contenente la tabella su cui stai eseguendo la query. Questa limitazione non si applica quando esporti i dati negli endpoint globali di Pub/Sub. Per ulteriori informazioni sull' esportazione in una policy di routing del profilo dell'app Bigtable, consulta Considerazioni sulla località.

• Non puoi eseguire una query continua da un data canvas.

• Non puoi modificare l'SQL utilizzato in una query continua mentre è in esecuzione il job di query continua. Per ulteriori informazioni, consulta Modificare l'SQL di una query continua.

• Se un job di query continua è in ritardo nell'elaborazione dei dati in arrivo e ha un ritardo della filigrana di output di superiore a 48 ore, non riesce. Puoi eseguire di nuovo la query e utilizzare la APPENDS o CHANGES funzione di cronologia delle modifiche per riprendere l'elaborazione dal punto nel tempo in cui hai interrotto il job di query continua precedente. Per ulteriori informazioni, consulta Avviare una query continua da un punto specifico nel tempo.

• Una query continua configurata con un account utente può essere eseguita per un massimo di due giorni. Una query continua configurata con un account di servizio può essere eseguita per un massimo di 150 giorni. Quando viene raggiunto il runtime massimo della query, la query non riesce e interrompe l'elaborazione dei dati in arrivo.

• Sebbene le query continue siano create utilizzando le funzionalità di affidabilità di BigQuery, possono verificarsi problemi temporanei occasionali. I problemi potrebbero comportare una rielaborazione automatica della query continua, che potrebbe comportare la duplicazione dei dati nell'output della query continua. Progetta i sistemi downstream in modo che gestiscano questi scenari.

Limitazioni delle prenotazioni

• Per eseguire query continue, devi creare prenotazioni della versione Enterprise o Enterprise Plus edizione reservations. Le query continue non supportano il modello di fatturazione del calcolo on demand.
• Quando crei un'assegnazione di prenotazione CONTINUOUS reservation assignment, la prenotazione associata è limitata a un massimo di 500 slot. Puoi richiedere un aumento di questo limite contattando [e-mail].
• Non puoi creare un'assegnazione di prenotazione che utilizzi un tipo di prestazione diverso nella stessa prenotazione di un'assegnazione di prenotazione di query continua.
• Non puoi configurare la concorrenza delle query continue. BigQuery determina automaticamente il numero di query continue che possono essere eseguite contemporaneamente, in base alle assegnazioni di prenotazione disponibili che utilizzano il tipo di prestazione CONTINUOUS.
• Quando esegui più query continue utilizzando la stessa prenotazione, i singoli job potrebbero non dividere equamente le risorse disponibili, come definito dall' equità di BigQuery.

Scalabilità automatica degli slot

Le query continue possono utilizzare la scalabilità automatica degli slot per scalare dinamicamente la capacità allocata in base al workload. Man mano che il workload delle query continue aumenta o diminuisce, BigQuery regola dinamicamente gli slot.

Dopo l'avvio di una query continua, questa ascolta attivamente i dati in arrivo, che consumano le risorse degli slot. Sebbene una prenotazione con una query continua in esecuzione non venga fare lo scale down a zero slot, una query continua inattiva che ascolta principalmente i dati in arrivo dovrebbe consumare una quantità minima di slot, in genere circa 1 slot.

Condivisione di slot inattivi

Le query continue possono utilizzare la condivisione di slot inattivi per condividere le risorse degli slot inutilizzati con altre prenotazioni e tipi di job.

• È comunque necessaria un'assegnazione di prenotazione CONTINUOUS per eseguire una query continua e non può fare affidamento esclusivamente sugli slot inattivi di altre prenotazioni. Pertanto, un'assegnazione di prenotazione CONTINUOUS richiede una base di riferimento di slot diversa da zero o una configurazione di scalabilità automatica di slot diversa da zero.
• Sono condivisibili solo gli slot di riferimento inattivi o gli slot con impegno di un'assegnazione di prenotazione CONTINUOUS. Gli slot con scalabilità automatica non sono condivisibili come slot inattivi per altre prenotazioni.

Prezzi

Le query continue utilizzano i prezzi di calcolo della capacità di BigQuery, misurati in slot. Per eseguire query continue, devi avere una prenotazione che utilizzi la versione Enterprise o Enterprise Plus, e un'assegnazione di prenotazione che utilizzi il tipo di prestazione CONTINUOUS.

L'utilizzo di altre risorse BigQuery, come l'importazione e l'archiviazione dei dati, viene addebitato alle tariffe indicate nei prezzi di BigQuery.

L'utilizzo di altri servizi che ricevono i risultati delle query continue o che vengono chiamati durante l'elaborazione delle query continue viene addebitato alle tariffe pubblicate per questi servizi. Per i prezzi di altri Google Cloud servizi utilizzati dalle query continue, consulta i seguenti argomenti:

• Prezzi di Bigtable
• Prezzi di Pub/Sub
• Prezzi di Spanner
• Prezzi di Vertex AI

Passaggi successivi

Prova a creare una query continua.