BigQuery-Übersicht

BigQuery ist eine vollständig verwaltete, KI-fähige Datenplattform, mit der Sie Ihre Daten verwalten und analysieren können. Dank der serverlosen Architektur können Sie Sprachen wie SQL und Python verwenden, um die wichtigsten Fragen Ihrer Organisation ohne Infrastrukturverwaltung zu beantworten.

Als Data Analyst, Data Engineer, Data Warehouse Administrator oder Data Scientist können Sie BigQuery für die folgenden wichtigen Anwendungsfälle verwenden:

  • KI-gestützte Workflows: Nutzen Sie generative KI, die Vektorsuche und die Assistenzfunktionen von Gemini, um Large Language Models (LLMs) zu erkunden, zu transformieren und in Ihre Datenworkflows zu integrieren.
  • Maschinelles Lernen und prädiktive Analytik: Modelle mit SQL oder Python auf Basis Ihrer Daten erstellen, trainieren und bereitstellen.
  • Business Intelligence und Ad-hoc-Analyse: Fragen Sie Terabyte in Sekunden und Petabyte in Minuten ab, um wichtige Geschäftsentscheidungen zu treffen.
  • Räumlich-geografische Analyse: Standortbezogene Daten mithilfe von geografischen Informationssystemen (GIS) analysieren und visualisieren.
  • Data Governance und semantische Suche: Daten- und KI-Assets mit integrierten Funktionen von Knowledge Catalog finden, kuratieren und validieren.
  • Kontinuierliche Datenaufnahme: Streamen Sie sowohl strukturierte als auch unstrukturierte Daten in Echtzeit, mit Unterstützung für offene Tabellenformate wie Apache Iceberg, Delta und Apache Hudi.

BigQuery-Architektur

Die Architektur von BigQuery besteht aus zwei Teilen: einer Speicherebene, die Daten aufnimmt, speichert und optimiert, und einer Rechenebene, die Analysefunktionen bietet. Diese Rechen- und Speicherebenen funktionieren dank des Petabit-Netzwerks von Google, das die erforderliche Kommunikation zwischen ihnen ermöglicht, effizient unabhängig voneinander.

Legacy-Datenbanken müssen in der Regel Ressourcen für Lese-/Schreibvorgänge und analytische Vorgänge gemeinsam nutzen. Dies kann zu Ressourcenkonflikten führen und Abfragen verlangsamen, während Daten in den Speicher geschrieben oder aus diesem gelesen werden. Freigegebene Ressourcenpools können weiter überlastet werden, wenn Ressourcen für Datenbankverwaltungsaufgaben wie das Zuweisen oder Widerrufen von Berechtigungen erforderlich sind. Durch die Trennung von Computing- und Speicherebenen in BigQuery kann jede Ebene Ressourcen dynamisch zuweisen, ohne die Leistung oder Verfügbarkeit der anderen Ebene zu beeinträchtigen.

Die BigQuery-Architektur trennt Ressourcen durch das Petabit-Netzwerk.

Dieses Prinzip der Trennung ermöglicht eine schnellere Innovation von BigQuery, da Speicher- und Computing-Verbesserungen unabhängig voneinander ohne Ausfallzeiten oder negative Auswirkungen auf die Systemleistung bereitgestellt werden können. Außerdem ist es wichtig, ein vollständig verwaltetes serverloses Data Warehouse anzubieten, in dem das BigQuery-Entwicklerteam Updates und Wartungen durchführt. Dadurch müssen Sie keine Ressourcen bereitstellen oder manuell skalieren, sodass Sie sich auf die Wertschöpfung statt auf herkömmliche Datenbankverwaltungsaufgaben konzentrieren können.

Zu den BigQuery-Schnittstellen gehören die Google Cloud Console-Oberfläche und das BigQuery-Befehlszeilentool. Entwickler und Data Scientists können Clientbibliotheken mit vertrauter Programmierung wie Python, Java, JavaScript und Go sowie die REST API und RPC API von BigQuery zum Transformieren und Verwalten von Daten verwenden. ODBC- und JDBC-Treiber ermöglichen die Interaktion mit vorhandenen Anwendungen, einschließlich Tools und Dienstprogrammen von Drittanbietern.

Jetzt mit BigQuery starten

Sie können in wenigen Minuten anfangen, BigQuery kennenzulernen. Nutzen Sie die kostenlose Nutzungsstufe oder die kostenlose Sandbox von BigQuery, um mit dem Laden und Abfragen von Daten zu beginnen.

BigQuery kennenlernen

Mit der serverlosen Infrastruktur von BigQuery können Sie sich auf Ihre Daten statt auf die Ressourcenverwaltung konzentrieren. BigQuery kombiniert ein cloudbasiertes Data Warehouse mit leistungsstarken Analysetools.

BigQuery-Speicher

BigQuery speichert Daten in einem spaltenorientierten Format, das für analytische Abfragen optimiert ist. BigQuery stellt Daten in Tabellen, Zeilen und Spalten dar und bietet vollständige Unterstützung für die Semantik von Datenbanktransaktionen (ACID). Der BigQuery-Speicher wird automatisch über mehrere Standorte repliziert, um eine hohe Verfügbarkeit zu ermöglichen.

Weitere Informationen finden Sie unter BigQuery-Speicher.

BigQuery-Analysen

Deskriptive und präskriptive Analysen umfassen Business Intelligence, Ad-hoc-Analysen, Raumbezogene Analysen und maschinelles Lernen. Sie können in BigQuery gespeicherte Daten abfragen oder Abfragen für Daten an deren Speicherort ausführen, indem Sie externe Tabellen oder föderierte Abfragen verwenden, einschließlich Cloud Storage, Bigtable, Spanner oder Google Sheets, die in Google Drive gespeichert sind.

  • ANSI-Standard-SQL-Abfragen (ISO/IEC 9075-Unterstützung), einschließlich Unterstützung für Joins, verschachtelte und wiederkehrende Felder, Analyse- und Aggregationsfunktionen, Abfragen mit mehreren Anweisungen und einer Vielzahl von räumlichen Funktionen mit raumbezogenen Analysen – geografische Informationssysteme.
  • Pandas-kompatible Python API, bereitgestellt von BigQuery DataFrames.
  • Ansichten erstellen, um Ihre Analyse freizugeben.
  • Unterstützung von Business Intelligence-Tools, einschließlich BI Engine mit Data Studio, Looker, Google Sheets und Tools von Drittanbietern wie Tableau und Power BI.
  • BigQuery ML bietet maschinelles Lernen und prädiktive Analysen.
  • BigQuery Studio bietet Features wie Python-Notebooks sowie Versionsverwaltung für Notebooks und gespeicherte Abfragen. Mit diesen Features können Sie die Datenanalyse- und ML-Workflows in BigQuery einfacher ausführen.
  • Daten außerhalb von BigQuery mit föderierten Abfragen und externen Tabellen abfragen.

Weitere Informationen finden Sie unter BigQuery-Analysen.

BigQuery-Verwaltung

BigQuery bietet eine zentralisierte Verwaltung von Daten- und Rechenressourcen und Identity and Access Management (IAM) unterstützt Sie dabei, diese Ressourcen mithilfe des Zugriffsmodells zu schützen, das in Google Cloudverwendet wird. Google Cloud Sicherheitsbest Practices bieten einen soliden, aber flexiblen Ansatz, der Perimetersicherheit oder einen komplexeren und detaillierteren Defense-in-Depth-Ansatz umfassen kann.

  • Die Einführung in die Datensicherheit und Governance hilft Ihnen, die Data Governance zu verstehen und zu steuern, welche Kontrollen Sie für die Sicherung von BigQuery-Ressourcen benötigen könnten.
  • Jobs sind Aktionen, die BigQuery für Sie ausführt, um Daten zu laden, zu exportieren, abzufragen oder zu kopieren.
  • Mit Reservierungen können Sie zwischen On-Demand-Preisen und kapazitätsbasierten Preisen wechseln.

Weitere Informationen finden Sie unter Einführung in BigQuery.

BigQuery-Ressourcen

Sehen Sie sich die BigQuery-Ressourcen an:

APIs, Tools und Referenzen

Referenzmaterialien für BigQuery-Entwickler und -Analysten:

Gemini in BigQuery-Funktionen

Gemini in BigQuery ist Teil der Produktfamilie Gemini für Google Cloud, die KI-basierte Unterstützung bietet, die Ihnen die Arbeit mit Ihren Daten erleichtert.

Gemini in BigQuery bietet KI-Unterstützung, um Ihnen bei Folgendem zu helfen:

  • Daten mit Data Insights analysieren und nachvollziehen: Data Insights bietet eine automatisierte, intuitive Möglichkeit, Muster zu erkennen und statistische Analysen durchzuführen. Dazu werden aussagekräftige Abfragen verwendet, die aus den Metadaten Ihrer Tabellen generiert werden. Diese Funktion ist besonders hilfreich bei der Bekämpfung von Kaltstartproblemen bei der frühen explorativen Datenanalyse. Weitere Informationen finden Sie unter Datenerkenntnisse in BigQuery generieren.
  • Mit konversationeller Analyse über Ihre Daten chatten Mit der konversationellen Analyse können Sie sich in natürlicher Sprache mit Ihren Daten unterhalten. Sie können KI-Datenagenten erstellen, die mit benutzerdefinierten Metadaten, Anweisungen, Glossarbegriffen und verifizierten Abfragen konfiguriert sind, um eine Geschäftslogik zu erstellen. Sie können auch direkte Unterhaltungen mit Datenquellen starten, einschließlich Tabellen, Ansichten, Property-Graphen und Lakehouse-Tabellen. Weitere Informationen finden Sie unter Übersicht über konversationelle Analysen.
  • Daten mit dem BigQuery-Daten-Canvas identifizieren, transformieren, abfragen und visualisieren: Mit Gemini in BigQuery können Sie mit der natürlichen Sprache Tabellen-Assets suchen, zusammenführen und abfragen, Ergebnisse visualisieren und während des gesamten Vorgangs nahtlos mit anderen zusammenarbeiten. Weitere Informationen finden Sie unter Mit Data Canvas analysieren.
  • Unterstützte SQL- und Python-Datenanalyse nutzen: Mit Gemini in BigQuery können Sie Code in SQL oder Python generieren oder vorschlagen lassen und eine vorhandene SQL-Abfrage erläutern lassen. Sie können auch Abfragen in natürlicher Sprache ausführen, um mit der Datenanalyse zu beginnen. Informationen zum Generieren, Vervollständigen und Zusammenfassen von Code finden Sie in der folgenden Dokumentation:
  • Daten für die Analyse vorbereiten: Die Datenvorbereitung in BigQuery bietet kontextbezogene, KI-generierte Transformationsempfehlungen zum Bereinigen von Daten für die Analyse. Weitere Informationen finden Sie unter Daten mit Gemini vorbereiten.
  • Datenpipelines mit dem Data-Engineering-Agenten erstellen und ändern Mit dem Data-Engineering-Agenten können Sie Datenpipelines mithilfe von Prompts in natürlicher Sprache erstellen, ändern und Fehler beheben. Zusätzlich zur SQL-Logik generiert der Agent proaktiv semantische Metadaten wie Feldbeschreibungen, Tabellenübersichten und allgemeine Aspekte wie System- und Typinformationen. So sind Ihre Daten-Assets von Anfang an auffindbar. Weitere Informationen finden Sie unter Data-Engineering-Agenten zum Erstellen und Ändern von Datenpipelines verwenden.
  • SQL-Übersetzungen mit Übersetzungsregeln anpassen: (Vorschau) Erstellen Sie Gemini-optimierte Übersetzungsregeln, um Ihre SQL-Übersetzungen anzupassen, wenn Sie den interaktiven SQL-Übersetzer verwenden. Sie können Änderungen der SQL-Übersetzungsausgabe mit Prompts mit natürlicher Sprache beschreiben oder SQL-Muster zum Suchen und Ersetzen angeben. Weitere Informationen finden Sie unter Übersetzungsregel erstellen.

Informationen zum Einrichten von Gemini in BigQuery finden Sie unter Gemini in BigQuery einrichten.

BigQuery-Rollen und -Ressourcen

BigQuery erfüllt die Anforderungen von Datenexperten in den folgenden Rollen und Verantwortlichkeiten.

Datenanalyst

Eine Anleitung für Aufgaben, wenn Sie Folgendes tun müssen:

Datenadministrator

Eine Anleitung für Aufgaben, wenn Sie Folgendes tun müssen:

Weitere Informationen finden Sie unter Einführung in die BigQuery-Verwaltung.

Klicken Sie auf Tour starten, um die BigQuery-Datenverwaltungsfunktionen direkt in der Google Cloud Console kennenzulernen.

Tour starten

Data Scientist

Eine Anleitung für Aufgaben, wenn Sie das maschinelle Lernen von BigQuery ML für Folgendes verwenden müssen:

Datenentwickler

Eine Anleitung für Aufgaben, wenn Sie Folgendes tun müssen:

Nächste Schritte