"Managed Service for Apache Spark" is the new name for the product formerly known as "Dataproc on Compute Engine" (cluster deployment) and "Google Cloud Serverless for Apache Spark" (serverless deployment).

Google utilizza la tecnologia AI per tradurre i contenuti nella tua lingua preferita. Le traduzioni generate dall'AI potrebbero contenere errori.

Connettore BigQuery

Puoi utilizzare un connettore BigQuery per attivare l'accesso programmatico in lettura e scrittura a BigQuery. Questo è un modo ideale per elaborare i dati archiviati in BigQuery. L'accesso da riga di comando non è esposto. Il connettore BigQuery è una libreria che consente alle applicazioni Spark e Hadoop di elaborare i dati da BigQuery e scriverli in BigQuery utilizzando la sua terminologia nativa.

Prezzi

Quando utilizzi il connettore, gli addebiti includono le tariffe di utilizzo di BigQuery. Potrebbero essere applicati anche i seguenti costi specifici per il servizio:

Cloud Storage: il connettore scarica i dati in un bucket Cloud Storage prima o durante l'esecuzione del job. Una volta completato correttamente il job, i dati vengono eliminati da Cloud Storage. Ti viene addebitato questo spazio di archiviazione in base ai prezzi di Cloud Storage. Per evitare addebiti eccessivi, controlla il tuo account Cloud Storage e rimuovi i file temporanei non necessari.
API Storage Read: il connettore legge i dati dalle tabelle utilizzando l'API Storage Read per ottenere un throughput elevato.
- Quando le richieste hanno origine da Managed Service for Apache Spark serverless o BigQuery stored procedures for Apache Spark, i costi di lettura in streaming dell'API Storage Read vengono delegati al connettore senza costi aggiuntivi. Se i dati vengono letti in più regioni, si applicano comunque le tariffe standard per il traffico in uscita dalla rete.
- Quando le richieste hanno origine da carichi di lavoro Apache Spark basati su cluster (ad esempio Managed Service for Apache Spark sui cluster o Apache Spark in esecuzione su Google Kubernetes Engine (GKE)), si applicano i prezzi standard dell'API Storage Read.

Connettori disponibili

I seguenti connettori BigQuery sono disponibili per l'utilizzo nell'ecosistema Hadoop:

Spark BigQuery Connector aggiunge un'origine dati Spark, che consente ai DataFrame di interagire direttamente con le tabelle BigQuery utilizzando le operazioni read e write di Spark.
Il connettore Hive BigQuery aggiunge un gestore di archiviazione, che consente ad Apache Hive di interagire direttamente con le tabelle BigQuery utilizzando la sintassi HiveQL.
Il connettore Hadoop BigQuery consente ai mapper e ai reducer Hadoop di interagire con le tabelle BigQuery utilizzando versioni astratte delle classi InputFormat e OutputFormat.

Attenzione: il connettore Hadoop BigQuery per Hadoop MapReduce non è supportato. Consiglio: utilizza il connettore Spark BigQuery per migliorare le prestazioni. Per ulteriori informazioni, vedi Utilizzare il connettore BigQuery con Spark.

Utilizzare i connettori

Per iniziare rapidamente a utilizzare il connettore BigQuery, consulta i seguenti esempi:

Passaggi successivi

Scopri di più su BigQuery.
Segui l'esempio di BigQuery per Spark.
Scopri di più sul connettore Hive BigQuery.
Segui l'esempio di BigQuery per Java MapReduce.