Panoramica di BigQuery

BigQuery è una piattaforma di dati completamente gestita e predisposta per l'AI che ti aiuta a gestire e analizzare i tuoi dati grazie a funzionalità integrate come machine learning, ricerca, analisi geospaziale e business intelligence. L'architettura serverless di BigQuery ti consente di utilizzare linguaggi come SQL e Python per rispondere alle domande più importanti della tua organizzazione senza alcuna gestione dell'infrastruttura.

BigQuery offre un modo uniforme di lavorare con dati strutturati e non strutturati e supporta formati di tabelle aperte come Apache Iceberg, Delta e Apache Hudi. Lo streaming BigQuery supporta l'importazione e l'analisi continue dei dati, mentre il motore di analisi scalabile e distribuito di BigQuery ti consente di eseguire query su terabyte in pochi secondi e su petabyte in pochi minuti.

BigQuery offre funzionalità di governance integrate che consentono di scoprire e organizzare i dati, nonché di gestire i metadati e la qualità dei dati. Grazie a funzionalità come la ricerca semantica e la derivazione dei dati, puoi trovare e convalidare i dati pertinenti per l'analisi. Puoi condividere dati e asset AI all'interno della tua organizzazione con i vantaggi del controllo dell'accesso#39;accesso. Queste funzionalità sono basate su Dataplex Universal Catalog, una soluzione di governance intelligente e unificata per dati e asset di AI in Google Cloud.

L'architettura di BigQuery è composta da due parti: un livello di archiviazione che inserisce, archivia e ottimizza i dati e un livello di calcolo che fornisce funzionalità di analisi. Questi livelli di calcolo e archiviazione funzionano in modo efficiente indipendentemente l'uno dall'altro grazie alla rete di petabit di Google che consente la comunicazione necessaria tra loro.

I database legacy di solito devono condividere le risorse tra le operazioni di lettura e scrittura e le operazioni di analisi. Ciò può causare conflitti di risorse e query lente durante la scrittura o la lettura dei dati dall'archiviazione. I pool di risorse condivise possono essere ulteriormente messi a dura prova quando le risorse sono necessarie per attività di gestione del database come l'assegnazione o la revoca delle autorizzazioni. La separazione dei livelli di calcolo e archiviazione di BigQuery consente a ogni livello di allocare dinamicamente le risorse senza influire sulle prestazioni o sulla disponibilità dell'altro.

Questo principio di separazione consente a BigQuery di innovare più rapidamente perché i miglioramenti di archiviazione e calcolo possono essere implementati in modo indipendente, senza tempi di inattività o impatto negativo sulle prestazioni del sistema. È anche essenziale per offrire un data warehouse serverless completamente gestito in cui il team di ingegneri di BigQuery gestisce aggiornamenti e manutenzione. Il risultato è che non devi eseguire il provisioning o scalare manualmente le risorse, il che ti consente di concentrarti sulla creazione di valore anziché sulle tradizionali attività di gestione dei database.

Le interfacce BigQuery includono l'interfaccia della console e lo strumento a riga di comando BigQuery. Google Cloud Sviluppatori e data scientist possono utilizzare librerie client con linguaggi di programmazione familiari, tra cui Python, Java, JavaScript e Go, nonché l'API REST e l'API RPC di BigQuery per trasformare e gestire i dati. I driver ODBC e JDBC consentono l'interazione con le applicazioni esistenti, inclusi strumenti e utilità di terze parti.

In qualità di analista dei dati, data engineer, amministratore del data warehouse o data scientist, BigQuery ti aiuta a caricare, elaborare e analizzare i dati per prendere decisioni aziendali fondamentali.

Inizia a utilizzare BigQuery

Puoi iniziare a esplorare BigQuery in pochi minuti. Sfrutta il livello di utilizzo senza costi o la sandbox senza costi di BigQuery per iniziare a caricare ed eseguire query sui dati.

• Sandbox di BigQuery: inizia a utilizzare la sandbox di BigQuery senza rischi e senza costi.
• Set di dati pubblici: scopri le prestazioni di BigQuery esplorando dati reali di grandi dimensioni del programma per i set di dati pubblici.
• Google Cloud Guida rapida della console: scopri la potenza di BigQuery Studio.

Esplora BigQuery

L'infrastruttura serverless di BigQuery ti consente di concentrarti sui dati anziché sulla gestione delle risorse. BigQuery combina un data warehouse basato su cloud e potenti strumenti di analisi.

Spazio di archiviazione BigQuery

BigQuery archivia i dati utilizzando un formato di archiviazione a colonne ottimizzato per le query analitiche. BigQuery presenta i dati in tabelle, righe e colonne e fornisce il supporto completo per la semantica delle transazioni di database (ACID). Lo spazio di archiviazione BigQuery viene replicato automaticamente in più località per garantire un'elevata disponibilità.

• Scopri i pattern comuni per organizzare le risorse BigQuery nel data warehouse e nei data mart.
• Scopri di più sui set di dati, il container di primo livello di tabelle e viste di BigQuery.
• BigQuery Data Transfer Service automatizza l'importazione dati.
• Carica i dati in BigQuery utilizzando:
  • Trasmetti in streaming i dati con l'API Storage Write.
  • Carica i dati in batch da file locali o Cloud Storage utilizzando formati che includono: Avro, Parquet, ORC, CSV, JSON, Datastore, e Firestore formati.

Per ulteriori informazioni, vedi Panoramica dello spazio di archiviazione BigQuery.

BigQuery Analytics

L'analisi descrittiva e prescrittiva viene utilizzata per la business intelligence, l'analisi ad hoc, l'analisi geospaziale e il machine learning. Puoi eseguire query sui dati archiviati in BigQuery o eseguire query sui dati nella posizione in cui si trovano utilizzando tabelle esterne o query federate, inclusi Cloud Storage, Bigtable, Spanner o Fogli Google archiviati in Google Drive.

• Query SQL standard ANSI (supporto ISO/IEC 9075) incluso il supporto per join, campi nidificati e ripetuti, funzioni analitiche e di aggregazione, query con più istruzioni e una serie di funzioni spaziali con analisi geospaziale: sistemi informativi geografici.
• Crea visualizzazioni per condividere la tua analisi.
• Supporto di strumenti di business intelligence, tra cui BI Engine con Looker Studio, Looker, Fogli Google e strumenti di terze parti come Tableau e Power BI.
• BigQuery ML fornisce machine learning e analisi predittiva.
• BigQuery Studio offre funzionalità come i notebook Python e il controllo delle versioni per i notebook e le query salvate. Queste funzionalità semplificano il completamento dei flussi di lavoro di analisi dei dati e machine learning (ML) in BigQuery.
• Esegui query sui dati al di fuori di BigQuery con query federate e tabelle esterne.

Per ulteriori informazioni, vedi Panoramica dell'analisi di BigQuery.

Amministrazione di BigQuery

BigQuery offre la gestione centralizzata delle risorse di dati e di calcolo, mentre Identity and Access Management (IAM) ti aiuta a proteggere queste risorse con il modello di accesso utilizzato in Google Cloud.Le Google Cloud best practice per la sicurezza forniscono un approccio solido ma flessibile che può includere la sicurezza perimetrale o un approccio di difesa in profondità più complesso e granulare.

• Introduzione alla sicurezza e alla governance dei dati ti aiuta a comprendere la governance dei dati e quali controlli potresti dover proteggere le risorse BigQuery.
• I job sono azioni che BigQuery esegue per tuo conto per caricare, esportare, interrogare o copiare i dati.
• Le prenotazioni ti consentono di passare dai prezzi on demand a quelli basati sulla capacità.

Per ulteriori informazioni, vedi Introduzione all'amministrazione di BigQuery.

Risorse di BigQuery

Esplora le risorse BigQuery:

• Le note di rilascio forniscono i log delle modifiche di funzionalità, modifiche e ritiri.
• Prezzi per l'analisi e l'archiviazione. Vedi anche: BigQuery ML, BI Engine e Data Transfer Service prezzi.
• Le località definiscono dove creare e archiviare i set di dati (località regionali e multiregionali).
• Stack Overflow ospita una community attiva di sviluppatori e analisti che lavorano con BigQuery.
• BigQuery Support fornisce assistenza per BigQuery.
• Google BigQuery: The Definitive Guide: Data Warehousing, Analytics, and Machine Learning at Scale di Valliappa Lakshmanan e Jordan Tigani, spiega come funziona BigQuery e fornisce una procedura dettagliata end-to-end su come utilizzare il servizio.

API, strumenti e riferimenti

Materiali di riferimento per sviluppatori e analisti BigQuery:

• L'API BigQuery e le librerie client presentano panoramiche delle funzionalità di BigQuery e del loro utilizzo.
• Sintassi delle query SQL per informazioni dettagliate sull'utilizzo di GoogleSQL.
• Gli esempi di codice BigQuery forniscono centinaia di snippet per le librerie client in C#, Go, Java, Node.js, Python e Ruby. In alternativa, visualizza il browser di esempio.
• La sintassi di DML, DDL e funzioni definite dall'utente (UDF) consente di gestire e trasformare i dati BigQuery.
• Il riferimento allo strumento a riga di comando bq documenta la sintassi, i comandi, i flag e gli argomenti per l'interfaccia a riga di comando bq.
• Integrazione ODBC / JDBC collega BigQuery ai tuoi strumenti e alla tua infrastruttura esistenti.

Funzionalità di Gemini in BigQuery

Gemini in BigQuery fa parte della suite di prodotti Gemini for Google Cloud che fornisce assistenza basata sull'AI per aiutarti a utilizzare i tuoi dati.

Gemini in BigQuery fornisce assistenza AI per aiutarti a:

• Esplora e comprendi i tuoi dati con gli approfondimenti sui dati. Gli insight sui dati offrono un modo automatizzato e intuitivo per scoprire pattern ed eseguire analisi statistiche utilizzando query utili generate dai metadati delle tabelle. Questa funzionalità è particolarmente utile per affrontare le sfide del cold start della prima esplorazione dei dati. Per ulteriori informazioni, consulta la pagina Generare insight sui dati in BigQuery.
• Scopri, trasforma, interroga e visualizza i dati con il canvas di dati di BigQuery. Puoi utilizzare il linguaggio naturale con Gemini in BigQuery per trovare, unire ed eseguire query sugli asset delle tabelle, visualizzare i risultati e collaborare facilmente con altri utenti durante l'intero processo. Per saperne di più, vedi Analizzare con data canvas.
• Ricevi analisi dei dati SQL e Python assistita. Puoi utilizzare Gemini in BigQuery per generare o suggerire codice in SQL o Python e per spiegare una query SQL esistente. Puoi anche utilizzare query in linguaggio naturale per iniziare l'analisi dei dati. Per scoprire come generare, completare e riassumere il codice, consulta la seguente documentazione:
  
  • Assistenza per il codice SQL
    • Utilizzare lo strumento di generazione SQL
    • Prompt per generare query SQL
    • Genera query SQL con Gemini Cloud Assist (anteprima)
    • Converti commenti in SQL (anteprima)
    • Completa una query SQL (anteprima)
    • Spiega una query SQL
  • Assistente per il codice Python
    • Generare codice Python con lo strumento di generazione del codice
    • Genera codice Python con Gemini Cloud Assist (anteprima)
    • Completamento del codice Python
    • Genera codice Python BigQuery DataFrames (anteprima)
• Prepara i dati per l'analisi. La preparazione dei dati in BigQuery fornisce consigli sulla trasformazione generati dall'AI e sensibili al contesto per pulire i dati per l'analisi. Per saperne di più, consulta Preparare i dati con Gemini.
• Personalizza le traduzioni SQL con le regole di traduzione. (Anteprima) Crea regole di traduzione ottimizzate con Gemini per personalizzare le traduzioni SQL quando utilizzi il traduttore SQL interattivo. Puoi descrivere le modifiche all'output della traduzione SQL utilizzando prompt in linguaggio naturale o specificare pattern SQL da trovare e sostituire. Per saperne di più, vedi Creare una regola di traduzione.

Per scoprire come configurare Gemini in BigQuery, consulta Configura Gemini in BigQuery.

Ruoli e risorse BigQuery

BigQuery soddisfa le esigenze dei professionisti dei dati nei seguenti ruoli e responsabilità.

Analista di dati

Indicazioni per le attività per aiutarti se devi:

• Esegui query sui dati BigQuery utilizzando query interattive o batch utilizzando la sintassi delle query SQL
• Fai riferimento a funzioni, operatori ed espressioni condizionali SQL per eseguire query sui dati
• Utilizza strumenti per analizzare e visualizzare i dati BigQuery, tra cui: Looker, Looker Studio e Fogli Google.

• Utilizza l'analisi geospaziale per analizzare e visualizzare i dati geospaziali con i sistemi informativi geografici di BigQuery

• Ottimizza le prestazioni delle query utilizzando:

  • Tabelle partizionate: elimina le tabelle di grandi dimensioni in base a intervalli di tempo o di numeri interi.
  • Viste materializzate: definisci le viste memorizzate nella cache per ottimizzare le query o fornire risultati persistenti.
  • BI Engine: Il servizio di analisi in-memory rapido di BigQuery.

Amministratore dei dati

Indicazioni per le attività per aiutarti se devi:

• Gestisci i costi con le prenotazioni per bilanciare i prezzi on demand e quelli basati sulla capacità.
• Comprendere la sicurezza e la governance dei dati per proteggere i dati per dataset, tabella, colonna, riga o vista.
• Esegui il backup dei dati con gli snapshot delle tabelle per conservare i contenuti di una tabella in un determinato momento.
• Visualizza INFORMATION_SCHEMA di BigQuery per comprendere i metadati di set di dati, job, controllo dell'accesso, prenotazioni, tabelle e altro ancora.
• Utilizza i job per fare in modo che BigQuery carichi, esporti, esegua query o copi i dati per tuo conto.
• Monitora i log e le risorse per comprendere BigQuery e i carichi di lavoro.

Per ulteriori informazioni, vedi Introduzione all'amministrazione di BigQuery.

Per fare un tour delle funzionalità di amministrazione dei dati di BigQuery direttamente nella Google Cloud console, fai clic su Fai il tour.

Inizia il tour

Data scientist

Indicazioni per le attività per aiutarti se devi utilizzare il machine learning di BigQuery ML per eseguire le seguenti operazioni:

• Comprendere il percorso dell'utente end-to-end per i modelli di machine learning
• Gestire il controllo dell'accesso per BigQuery ML
• Crea e addestra un modello BigQuery ML inclusi:
  • Previsione con regressione lineare
  • Classificazioni di regressione logistica binaria e logistica multiclasse
  • Clustering K-means per la segmentazione dei dati
  • Previsione di serie temporali con i modelli ARIMA+

Data Developer

Indicazioni per le attività per aiutarti se devi:

• Carica i dati in BigQuery con:
  • Carica in batch i dati per Avro, Parquet, ORC, CSV, JSON , Datastore , e Firestore formati
  • BigQuery Data Transfer Service
  • API BigQuery Storage Write

• Utilizza esempio di codice codice, tra cui:

  • Esempi di connessione
  • Esempio di prenotazione
  • Esempi di codice di archiviazione

• Browser di esempiGoogle Cloud (ambito di BigQuery)

• Panoramica di API e librerie

• Integrazione ODBC / JDBC

Passaggi successivi

• Per una panoramica dello spazio di archiviazione BigQuery, consulta Panoramica dello spazio di archiviazione BigQuery.
• Per una panoramica delle query BigQuery, consulta Panoramica dell'analisi di BigQuery.
• Per una panoramica dell'amministrazione di BigQuery, consulta Introduzione all'amministrazione di BigQuery.
• Per una panoramica della sicurezza di BigQuery, consulta Panoramica della sicurezza e della governance dei dati.