Notebooks e strumenti di analisi programmatica

Sebbene SQL sia un potente linguaggio di query, i linguaggi di programmazione come Python, Java o R forniscono sintassi e funzioni statistiche che possono essere più espressive per le attività di analisi dei dati. Gli ambienti dei notebook offrono un'alternativa altamente flessibile ai fogli di lavoro per l'esplorazione di dati complessi e i workflow di machine learning (ML).

BigQuery offre un'integrazione integrata dei notebook e il supporto di diverse altre soluzioni di analisi programmatica.

Notebook Colab Enterprise

Puoi utilizzare i notebook di Colab Enterprise in BigQuery per eseguire flussi di lavoro di data science e ML end-to-end in un'unica interfaccia integrata. A differenza degli editor SQL standard, i notebook ti consentono di combinare query SQL con codice Python, RTF e visualizzazioni per raccontare una storia completa con i tuoi dati. I notebook Colab Enterprise sono ideali per i seguenti casi d'uso:

  • Flussi di lavoro ML end-to-end: crea, valuta ed esegui il deployment dei modelli BigQuery ML all'interno di un'unica interfaccia.
  • Esplorazione dei dati: pulisci e analizza set di dati di grandi dimensioni utilizzando BigQuery DataFrames.
  • Ricerca collaborativa: monitora la cronologia delle versioni e condividi i notebook con i colleghi utilizzando Identity and Access Management (IAM).

I notebook Colab Enterprise offrono i seguenti vantaggi:

  • Sviluppo basato sull'AI: sfrutta Gemini Enterprise Agent Platform per lo sviluppo di codice assistito.
  • Integrazione Python perfetta: utilizza l'API BigQuery DataFrames senza alcuna configurazione aggiuntiva.
  • Funzionalità dell'editor familiari: sfrutta il completamento automatico SQL simile all'editor SQL di BigQuery.
  • Visualizzazioni integrate: utilizza visualizzazioni interattive di DataFrame o librerie come matplotlib e seaborn direttamente nel tuo flusso di lavoro.
  • Interoperabilità SQL-Python: esegui SQL in celle che fanno riferimento a variabili Python.

Informazioni sulle celle

Un notebook è composto da celle che puoi modificare. I seguenti tipi di celle sono supportati nei notebook Colab Enterprise:

  • Cella di testo: utilizza una cella di testo per aggiungere spiegazioni e immagini al notebook in Markdown.

  • Cella di codice: utilizza una cella di codice per aggiungere Python al tuo notebook. Puoi eseguire ogni cella di codice singolarmente. Una cella di codice può fare riferimento a qualsiasi variabile creata in un'altra cella che hai già eseguito.

  • Cella SQL: utilizza una cella SQL per eseguire query GoogleSQL. L'output della query viene salvato automaticamente come DataFrame con lo stesso nome del titolo della cella. Puoi eseguire più istruzioni SQL in una singola cella SQL, ma solo i risultati dell'ultima istruzione vengono salvati in un DataFrame.

    Puoi fare riferimento alle variabili Python nelle espressioni o utilizzare BigQuery DataFrames come tabelle nella query racchiudendo il nome della variabile tra parentesi graffe ({ }):

    # Refer to the Python variable my_threshold in a SQL expression.
SELECT * FROM my_dataset.my_table WHERE x > {my_threshold};

# Reference previous query results to iterate on your queries.
SELECT * FROM {df};

  • Cella di visualizzazione: utilizza una cella di visualizzazione per generare automaticamente una visualizzazione di qualsiasi DataFrame nel tuo notebook. Puoi modificare le colonne visualizzate e selezionare vari tipi di grafici e aggregazioni. Puoi anche scegliere colori, etichette dati e titoli personalizzati.

La galleria di notebook è un hub centrale per scoprire e utilizzare modelli di notebook predefiniti. Include modelli di base per SQL, Python, Apache Spark e DataFrame per aiutarti a eseguire attività comuni come la preparazione, l'analisi e la visualizzazione dei dati.

Gestione e sicurezza del runtime

Notebooks utilizzano i runtime di Colab Enterprise, ovvero macchine virtuali di Compute Engine allocate a un utente specifico per consentire l'esecuzione di codice. L'accesso ai notebook è controllato tramite i ruoli IAM. Per rilevare le vulnerabilità nei pacchetti Python utilizzati nei tuoi notebook, puoi installare e utilizzare Notebook Security Scanner.

Monitoraggio e regioni

Tutti gli asset di codice in BigQuery Studio sono archiviati in una regione predefinita e l'aggiornamento di questa impostazione modifica la regione per tutti gli asset di codice appena creati. I notebook di Colab Enterprise sono disponibili in tutte le regioni in cui è disponibile BigQuery Studio.

Per monitorare l'utilizzo degli slot del blocco note, puoi visualizzare il report sulla fatturazione Cloud e applicare un filtro per l'etichetta goog-bq-feature-type con il valore BQ_STUDIO_NOTEBOOK.

Le funzionalità di Notebook sono disponibili solo nella console Google Cloud .

Prezzi

Per informazioni sui prezzi dei notebook Colab Enterprise, consulta Prezzi del runtime dei notebook.

BigQuery DataFrames

BigQuery DataFrames è un insieme di librerie Python open source che ti consentono di sfruttare il trattamento dati di BigQuery utilizzando API Python familiari. BigQuery DataFrames implementa le API pandas e scikit-learn eseguendo l'elaborazione in BigQuery tramite la conversione SQL. Questo design ti consente di utilizzare BigQuery per esplorare ed elaborare terabyte di dati e addestrare modelli ML, il tutto con le API Python.

BigQuery DataFrames offre i seguenti vantaggi:

  • Oltre 750 API pandas e scikit-learn implementate tramite la conversione trasparente di SQL in API BigQuery e BigQuery ML.
  • Esecuzione differita delle query per prestazioni migliorate.
  • Estensione delle trasformazioni dei dati con funzioni Python definite dall'utente per consentirti di elaborare i dati nel cloud. Queste funzioni vengono implementate automaticamente come funzioni remote di BigQuery.
  • Integrazione con Gemini Enterprise Agent Platform per consentirti di utilizzare i modelli Gemini per la generazione di testo.

Altre soluzioni di analisi programmatica

Oltre a Colab Enterprise e BigQuery DataFrames, BigQuery si integra con diverse altre soluzioni programmatiche:

  • Notebooks Jupyter e JupyterLab: puoi interagire con BigQuery direttamente dai Notebooks Jupyter utilizzando i comandi magici IPython per BigQuery o le librerie client di BigQuery. Puoi eseguire il deployment dei tuoi ambienti su Google Cloud utilizzando istanze Vertex AI Workbench o Managed Service for Apache Spark.
  • Apache Zeppelin: puoi eseguire il deployment di blocchi note Apache Zeppelin basati sul web per l'analisi dei dati installando il componente facoltativo Zeppelin su Managed Service for Apache Spark.
  • Apache Hadoop, Spark e Hive: Managed Service for Apache Spark si integra con i connettori BigQuery open source. Questi connettori utilizzano l'API BigQuery Storage per trasmettere i dati in parallelo direttamente da BigQuery tramite gRPC.
  • Apache Beam e Dataflow: Apache Beam è un framework open source che fornisce un ricco set di primitive per windowing e analisi delle sessioni, nonché un ecosistema di connettori, tra cui uno per BigQuery. Dataflow è un servizio completamente gestito che ti consente di eseguire questi job Apache Beam su larga scala.

Altre risorse

BigQuery offre diverse librerie client in linguaggi come Java, Go, Python, JavaScript, PHP e Ruby. Alcuni framework di analisi dei dati come pandas forniscono plug-in per interagire direttamente con BigQuery, mentre per chi preferisce gli ambienti shell è disponibile lo strumento a riga di comando bq.