Einführung in Verbindungen
Mit BigQuery können Sie externe Verbindungen erstellen, um Daten abzufragen, die außerhalb von BigQuery in Google Cloud Diensten wie Cloud Storage oder Spanner oder in Drittanbieterquellen wie Amazon Web Services (AWS) oder Microsoft Azure gespeichert sind. Diese externen Verbindungen verwenden die BigQuery Connection API.
Angenommen, Sie speichern Details zu Kundenaufträgen in Cloud SQL und Daten zu Verkäufen in BigQuery und möchten die beiden Tabellen in einer einzigen Abfrage verknüpfen. Sie können mit der BigQuery Connection API eine Cloud SQL-Verbindung zur externen Datenbank herstellen. Bei Verbindungen senden Sie Anmeldedaten für Datenbanken niemals als Klartext.
Jede Verbindung wird verschlüsselt und sicher im BigQuery-Verbindungsdienst gespeichert. Um Nutzern Zugriff auf Verbindungen zu gewähren weisen Sie diesen IAM-Rollen (Identity and Access Management) für BigQuery-Verbindungen zu.
Verbindungstypen
BigQuery bietet verschiedene Verbindungstypen für die folgenden externen Datenquellen:
- Amazon Simple Storage Service (Amazon S3)
- Apache Spark
- Azure Blob Storage
- Google Cloud Ressourcen wie Vertex AI-Remotemodelle, Remotefunktionen und BigLake
- Spanner
- Cloud SQL
- AlloyDB for PostgreSQL
- SAP Datasphere
Amazon S3-Verbindungen
Informationen zum Erstellen einer Amazon S3-Verbindung mit BigQuery Omni finden Sie unter Verbindung zu Amazon S3 herstellen.
Wenn Sie eine vorhandene Amazon S3-Verbindung haben, können Sie Folgendes tun:
- Externe Tabellen in Amazon S3 erstellen
- Amazon S3-Daten abfragen
- Ergebnisse nach Amazon S3 exportieren
- Datasets auf Grundlage von AWS Glue-Datenbanken erstellen.
Spark-Verbindungen
Gespeicherte Prozeduren für Spark ermöglichen Ihnen die Ausführung von gespeicherten Prozeduren, die in Python geschrieben wurden, mit BigQuery. Mit einer Spark-Verbindung können Sie eine Verbindung zu Serverless für Apache Spark herstellen und die gespeicherten Prozeduren für Spark ausführen.
Informationen zum Erstellen dieser Verbindung finden Sie unter Verbindungen erstellen.
Blob Storage-Verbindungen
Informationen zum Erstellen einer Blob Storage-Verbindung mit BigQuery Omni finden Sie unter Verbindung zu Blob Storage herstellen.
Wenn Sie eine vorhandene Blob Storage-Verbindung haben, können Sie Folgendes tun:
- Externe Tabellen auf Grundlage von Blob Storage erstellen
- Blob Storage-Daten abfragen
- Ergebnisse nach Blob Storage exportieren
Google Cloud Ressourcenverbindungen
Eine Google Cloud Ressourcenverbindung ist eine Verbindung, mit der der Zugriff auf andere Google Cloud Ressourcen wie Vertex AI-Remotemodelle, Remotefunktionen und BigLake autorisiert wird. Weitere Informationen zum Einrichten einer Google Cloud Ressourcenverbindung finden Sie unter Cloud-Ressourcen-Verbindung erstellen und einrichten.
Wenn Sie eine vorhandene Google Cloud Ressourcenverbindung haben, können Sie damit die folgenden BigQuery-Objekte erstellen:
- Remotemodelle. Weitere Informationen finden Sie unter CREATE MODEL-Anweisung für Remotemodelle über LLMs, CREATE MODEL-Anweisung für Remotemodelle über Cloud AI-Dienste und CREATE MODEL-Anweisung für Remotemodelle über von Vertex AI gehostete Modelle.
- Remote-Funktionen Mit den Remotefunktionen von BigQuery können Sie Funktionen mit allen unterstützten Sprachen in Cloud Run-Funktionen oder Cloud Run implementieren. Mit einer Remotefunktionsverbindung können Sie eine Verbindung zu Cloud Run-Funktionen oder Cloud Run herstellen und diese Funktionen ausführen. Informationen zum Erstellen einer BigQuery-Remotefunktionsverbindung finden Sie unter Verbindung herstellen.
- BigLake-Tabellen BigLake-Verbindungen verbinden BigLake-Tabellen mit externen Datenquellen und behalten gleichzeitig die detaillierte BigQuery-Zugriffssteuerung und -Sicherheit für strukturierte und unstrukturierte Daten in Cloud Storage bei.
- Objekttabellen Weitere Informationen finden Sie unter Einführung in Objekttabellen.
Cloud Spanner-Verbindungen
Informationen zum Erstellen einer Spanner-Verbindung finden Sie unter Verbindung zu Spanner herstellen.
Wenn Sie eine vorhandene Spanner-Verbindung haben, können Sie föderierte Abfragen ausführen.
Cloud SQL-Verbindungen
Informationen zum Erstellen einer Cloud SQL-Verbindung finden Sie unter Verbindung zu Cloud SQL herstellen.
Wenn Sie eine vorhandene Cloud SQL-Verbindung haben, können Sie föderierte Abfragen ausführen.
AlloyDB-Verbindungen
Informationen zum Erstellen einer AlloyDB-Verbindung finden Sie unter Verbindung zu AlloyDB for PostgreSQL herstellen.
Wenn Sie eine vorhandene AlloyDB-Verbindung haben, können Sie föderierte Abfragen ausführen.
SAP Datasphere-Verbindungen
Informationen zum Erstellen einer SAP Datasphere-Verbindung finden Sie unter Verbindung zu SAP Datasphere herstellen.
Wenn Sie eine vorhandene SAP Datasphere-Verbindung haben, können Sie föderierte Abfragen ausführen.
Audit-Logs
BigQuery protokolliert Nutzungs- und Verwaltungsanfragen zu Verbindungen. Weitere Informationen finden Sie in der Übersicht zu BigQuery-Audit-Logs.
Nächste Schritte
- Erfahren Sie, wie Sie Verbindungen verwalten.
- Weitere Informationen zu Standardverbindungen für Ihr Projekt
- Erfahren Sie, wie Sie Objekttabellen mithilfe von Remotefunktionen analysieren.
- So fragen Sie gespeicherte Daten ab:
- In Amazon S3 gespeicherte Daten abfragen
- In Blob Storage gespeicherte Daten abfragen
- In Cloud Storage strukturierte gespeicherte Daten abfragen.
- In Cloud Storage unstrukturierte gespeicherte Daten abfragen.
- In Spanner gespeicherte Daten abfragen.
- In Cloud SQL gespeicherte Daten abfragen.
- In AlloyDB gespeicherte Daten abfragen.
- Daten mit Remotefunktionen abfragen.
- Unstrukturierte Daten mit Remote-Funktionen abfragen
- Daten mit gespeicherten Prozeduren für Apache Spark abfragen.
- Externe Tabellen