Pianifica workload

Le attività BigQuery fanno solitamente parte di workload più grandi, con attività esterne che attivano e vengono attivate dalle operazioni BigQuery. La pianificazione dei carichi di lavoro aiuta gli amministratori, gli analisti e gli sviluppatori di dati a organizzare e ottimizzare questa catena di azioni, creando una connessione fluida tra risorse e processi di dati. Metodi e strumenti di pianificazione aiutano a progettare, creare, implementare e monitorare questi complessi workload di dati.

Scegliere un metodo di pianificazione

Per selezionare un metodo di pianificazione, devi identificare se i tuoi workload sono basati su eventi, su orari o su entrambi. Un evento è definito come una modifica dello stato, ad esempio una modifica ai dati di un database o un file aggiunto a un sistema di archiviazione. Nella pianificazione basata sugli eventi, un'azione su un sito web potrebbe attivare un'attività di dati oppure un oggetto che arriva in un determinato bucket potrebbe dover essere elaborato immediatamente all'arrivo. Nella pianificazione basata sul tempo, i nuovi dati potrebbero dover essere caricati una volta al giorno o con una frequenza sufficiente per generare report orari. Puoi utilizzare la pianificazione basata su eventi e su intervalli di tempo negli scenari in cui devi caricare oggetti in un data lake in tempo reale, ma i report attività sul data lake vengono generati solo giornalmente.

Scegliere uno strumento di pianificazione

Gli strumenti di pianificazione aiutano a gestire attività coinvolte nella gestione di carichi di lavoro di dati complessi, ad esempio la combinazione di più servizi Google Cloud o di terze parti con i job BigQuery o l'esecuzione di più job BigQuery in parallelo. Ogni workload ha requisiti unici per la gestione di dipendenze e parametri per garantire che le attività vengano eseguite nell'ordine corretto utilizzando i dati corretti. Google Cloud offre diverse opzioni di pianificazione basate sul metodo di pianificazione e sui requisiti del workload.

Per la maggior parte dei casi d'uso, ti consigliamo di utilizzare Dataform, Workflows, Managed Airflow o Vertex AI Pipelines. Consulta il seguente grafico per un confronto fianco a fianco:

Dataform Workflows Managed Airflow Vertex AI Pipelines
Evidenzia Trasformazione dei dati Microservizi ETL o ELT Machine learning
complessità * ** *** **
Profilo utente Data analyst o amministratore Data architect Data engineer Analista di dati
Tipo di codice JavaScript, SQL, notebook Python YAML o JSON Python Python
Serverless? Sì Sì Completamente gestito Sì
Non adatto a Catene di servizi esterni Trasformazione ed elaborazione dei dati Pipeline a bassa latenza o basate sugli eventi Attività dell'infrastruttura

Le sezioni seguenti descrivono in dettaglio questi strumenti di pianificazione e molti altri.

Query programmate

La forma più semplice di pianificazione dei carichi di lavoro è la pianificazione di query ricorrenti direttamente in BigQuery. Sebbene questo sia l'approccio meno complesso alla pianificazione, lo consigliamo solo per catene di query semplici senza dipendenze esterne. Le query pianificate in questo modo devono essere scritte in GoogleSQL e possono includere istruzioni di Data Definition Language (DDL) e Data Manipulation Language (DML).

Metodo di pianificazione: basato sul tempo

Dataform

Dataform è un framework di trasformazione senza costi, basato su SQL e con opinioni che pianifica attività di trasformazione dei dati complesse in BigQuery. Quando i dati non elaborati vengono caricati in BigQuery, Dataform ti aiuta a creare una raccolta organizzata, testata e controllata a livello di versione di set di dati e tabelle. Utilizza Dataform per pianificare le esecuzioni per le tue preparazioni dei dati, notebook e pipeline BigQuery.

Metodo di pianificazione: basato sul tempo

Workflow

Workflows è uno strumento serverless che pianifica servizi basati su HTTP con latenza molto bassa. È ideale per concatenare microservizi, automatizzare attività di infrastruttura, eseguire l'integrazione con sistemi esterni o creare una sequenza di operazioni in Google Cloud. Per scoprire di più sull'utilizzo di Workflows con BigQuery, consulta Esecuzione di più job BigQuery in parallelo.

Metodo di pianificazione: basato su eventi e basato sul tempo

Managed Service for Apache Airflow

Managed Airflow è uno strumento completamente gestito basato su Apache Airflow. È la piattaforma aziendale unificata consigliata per tutti i dati durevoli, di livello di produzione e i workflow MLOps.

Managed Airflow è più adatto alla gestione di processi aziendali complessi end-to-end che interessano sistemi eterogenei, ad esempio l'estrazione di dati da BigQuery, l'attivazione dell'addestramento gestito della piattaforma agentica Gemini Enterprise e l'aggiornamento di dashboard esterne come Looker.

Managed Airflow include una libreria di oltre 1000 operatori predefiniti per integrazioni perfette, eliminando la necessità di creare container personalizzati per attività non di ML. Inoltre, con il framework YAML dichiarativo, i data scientist possono creare autonomamente pipeline di livello di produzione senza bisogno di competenze approfondite su Airflow.

Per scoprire di più sull'utilizzo di Managed Airflow con BigQuery, consulta Esegui un DAG di analisi dei dati in Google Cloud.

Metodo di pianificazione: basato sul tempo e sugli eventi

Pipeline di Gemini Enterprise Agent Platform

Agent Platform Pipelines è uno strumento serverless basato su Kubeflow Pipelines progettato come soluzione per attività basate su container specifiche per l'ML.

Agent Platform Pipelines è ideale per i workflow autonomi che rimangono rigorosamente all'interno dell'ecosistema Agent Platform.

Puoi utilizzare le pipeline di Agent Platform come opzione a basso attrito e con pagamento a esecuzione per attività come la pianificazione di job di addestramento gestito di Gemini Enterprise Agent Platform specializzati o l'esecuzione di esperimenti puri incentrati su Agent Platform.

Per saperne di più sull'utilizzo di Vertex AI Pipelines con BigQuery, consulta Esporta ed esegui il deployment di un modello di BigQuery Machine Learning per la previsione.

Metodo di pianificazione: basato su eventi

Apigee Integration

Apigee Integration è un'estensione della piattaforma Apigee che include connettori e strumenti di trasformazione dei dati. È ideale per l'integrazione con applicazioni aziendali esterne, come Salesforce. Per scoprire di più sull'utilizzo di Apigee Integration con BigQuery, consulta Inizia a utilizzare Apigee Integration e un trigger Salesforce.

Metodo di pianificazione: basato su eventi e basato sul tempo

Cloud Data Fusion

Cloud Data Fusion è uno strumento di integrazione dei dati che offre pipeline ELT/ETL senza codice e oltre 150 connettori e trasformazioni preconfigurati. Per scoprire di più sull'utilizzo di Cloud Data Fusion con BigQuery, consulta Replicare i dati da MySQL a BigQuery.

Metodo di pianificazione: basato su eventi e basato sul tempo

Cloud Scheduler

Cloud Scheduler è un servizio di pianificazione completamente gestito per job come lo streaming batch o le operazioni di infrastruttura che devono verificarsi a intervalli di tempo definiti. Per scoprire di più sull'utilizzo di Cloud Scheduler con BigQuery, consulta Pianificazione dei workflow con Cloud Scheduler.

Metodo di pianificazione: basato sul tempo

Cloud Tasks

Cloud Tasks è un servizio completamente gestito per la distribuzione asincrona di attività di job che possono essere eseguite in modo indipendente, al di fuori del carico di lavoro principale. È ideale per delegare operazioni in background lente o gestire le frequenze di chiamata API. Per scoprire di più sull'utilizzo di Cloud Tasks con BigQuery, consulta Aggiungere un'attività a una coda di Cloud Tasks.

Metodo di pianificazione: basato sugli eventi

Strumenti di terze parti

Puoi anche connetterti a BigQuery utilizzando una serie di strumenti di terze parti popolari come CData e SnapLogic. Il programma BigQuery Ready offre un elenco completo delle soluzioni partner convalidate.

Strumenti di messaggistica

Molti carichi di lavoro dei dati richiedono connessioni di messaggistica aggiuntive tra microservizi disaccoppiati che devono essere attivati solo quando si verificano determinati eventi. Google Cloud fornisce due strumenti progettati per l'integrazione con BigQuery.

Pub/Sub

Pub/Sub è uno strumento di messaggistica asincrona per le pipeline di integrazione dei dati. È progettato per importare e distribuire dati come eventi server e interazioni utente. Può essere utilizzato anche per l'elaborazione parallela e lo streaming di dati da dispositivi IoT. Per scoprire di più sull'utilizzo di Pub/Sub con BigQuery, consulta Crea un flusso di dati da Pub/Sub a BigQuery.

Eventarc

Eventarc è uno strumento basato su eventi che consente di gestire il flusso delle modifiche dello stato in tutta la pipeline di dati. Questo strumento ha un'ampia gamma di casi d'uso, tra cui la correzione automatica degli errori, l'etichettatura delle risorse, il ritocco delle immagini e altro ancora. Per scoprire di più sull'utilizzo di Eventarc con BigQuery, consulta Crea una pipeline di elaborazione BigQuery con Eventarc.

Passaggi successivi