"Managed Service for Apache Spark" is the new name for the product formerly known as "Dataproc on Compute Engine" (cluster deployment) and "Google Cloud Serverless for Apache Spark" (serverless deployment).

Google verwendet KI-Technologie, um Inhalte in Ihre bevorzugte Sprache zu übersetzen. KI-Übersetzungen können Fehler enthalten.

BigQuery-Connector

Mit einem BigQuery-Connector können Sie programmatischen Lese- und Schreibzugriff auf BigQuery ermöglichen. Dies ist ideal für die Verarbeitung von Daten, die in BigQuery gespeichert sind. Der Befehlszeilenzugriff wird nicht verfügbar gemacht. Der BigQuery-Connector ist eine Bibliothek, mit der Spark- und Hadoop-Anwendungen Daten aus BigQuery verarbeiten und in dessen nativer Terminologie in BigQuery schreiben können.

Preise

Bei Verwendung des Connectors umfassen die Kosten die BigQuery-Nutzungsgebühren. Außerdem können folgende dienstspezifische Gebühren anfallen:

Cloud Storage: Der Connector lädt Daten vor oder während der Jobausführung in einen Cloud Storage-Bucket herunter. Diese Daten werden nach dem erfolgreichen Abschluss des Hadoop-Jobs wieder aus Cloud Storage gelöscht. Die Kosten für die Datenspeicherung entsprechen den in Cloud Storage – Preise angegebenen Preisen. Prüfen Sie Ihr Cloud Storage-Konto und entfernen Sie nicht benötigte temporäre Dateien, um übermäßige Gebühren zu vermeiden.
Storage Read API: Der Connector liest Daten aus Tabellen mit der Storage Read API, um einen hohen Durchsatz zu erzielen.
- Wenn Anfragen entweder vom Managed Service for Apache Spark Serverless oder von den gespeicherten BigQuery-Prozeduren für Apache Spark stammen, werden die Kosten für das Streaminglesen der Storage Read API ohne zusätzliche Gebühren an den Connector delegiert. Wenn Daten regionsübergreifend gelesen werden, fallen weiterhin die Standardgebühren für ausgehenden Netzwerk-Traffic an.
- Wenn Anfragen von clusterbasierten Apache Spark-Arbeitslasten stammen, z. B. vom Managed Service for Apache Spark on clusters oder von Apache Spark, das in Google Kubernetes Engine (GKE) ausgeführt wird, gelten die standardmäßigen Preise für die Storage Read API.

Verfügbare Connectors

Die folgenden BigQuery-Connectors stehen in Hadoop zur Verfügung:

Der Spark BigQuery-Connector fügt eine Spark-Datenquelle hinzu, die es DataFrames ermöglicht, mithilfe der read- und write-Vorgänge von Spark direkt mit BigQuery-Tabellen zu interagieren.
Der Hive BigQuery-Connector fügt einen Storage Handler hinzu, der es Apache Hive ermöglicht, mithilfe der HiveQL-Syntax direkt mit BigQuery-Tabellen zu interagieren.
Der Hadoop BigQuery-Connector ermöglicht Hadoop-Mapper und -Reducer die Interaktion mit BigQuery-Tabellen mit abstrahierten Versionen der InputFormat- und OutputFormat-Klassen.

Achtung :Der Hadoop BigQuery-Connector für Hadoop MapReduce wird nicht unterstützt. Empfehlung: Verwenden Sie den Spark BigQuery-Connector, um die Leistung zu verbessern. Weitere Informationen finden Sie unter BigQuery-Connector mit Spark verwenden.

Connectors verwenden

Folgende Beispiele ermöglichen den schnellen Einstieg in BigQuery-Connectors: