BigQuery-Übersicht

BigQuery ist eine vollständig verwaltete, KI-fähige Datenplattform, mit der Sie Ihre Daten mit integrierten Features wie maschinellem Lernen, Suche, raumbezogenen Analysen und Business Intelligence verwalten und analysieren können. Dank der serverlosen Architektur von BigQuery können Sie mithilfe von Sprachen wie SQL und Python die größten Fragen Ihrer Organisation ohne Infrastrukturverwaltung beantworten.

BigQuery bietet eine einheitliche Möglichkeit, mit strukturierten und unstrukturierten Daten zu arbeiten, und unterstützt offene Tabellenformate wie Apache Iceberg, Delta und Apache Hudi. BigQuery-Streaming unterstützt die kontinuierliche Datenaufnahme und -analyse. Mit der skalierbaren, verteilten Analyse-Engine von BigQuery können Sie Terabyte in Sekunden und Petabyte in Minuten abfragen.

BigQuery bietet integrierte Governance-Funktionen, mit denen Sie Daten ermitteln und kuratieren sowie Metadaten und Datenqualität verwalten können. Mit Funktionen wie der semantischen Suche und der Daten-Lineage können Sie relevante Daten für die Analyse finden und validieren. Sie können Daten und KI-Assets in Ihrer Organisation freigeben und dabei die Vorteile der Zugriffssteuerung nutzen. Diese Funktionen werden von Dataplex Universal Catalog unterstützt, einer einheitlichen, intelligenten Governance-Lösung für Daten und KI-Assets in Google Cloud.

Die Architektur von BigQuery besteht aus zwei Teilen: einer Speicherebene, die Daten aufnimmt, speichert und optimiert, und einer Rechenebene, die Analysefunktionen bietet. Diese Rechen- und Speicherebenen funktionieren dank des Petabit-Netzwerks von Google, das die erforderliche Kommunikation zwischen ihnen ermöglicht, effizient unabhängig voneinander.

Legacy-Datenbanken müssen in der Regel Ressourcen für Lese- und Schreibvorgänge sowie analytische Vorgänge gemeinsam nutzen. Dies kann zu Ressourcenkonflikten führen und Abfragen verlangsamen, während Daten in den Speicher geschrieben oder aus diesem gelesen werden. Freigegebene Ressourcenpools können weiter überlastet werden, wenn Ressourcen für Datenbankverwaltungsaufgaben wie das Zuweisen oder Widerrufen von Berechtigungen erforderlich sind. Durch die Trennung von Computing- und Speicherebenen in BigQuery kann jede Ebene Ressourcen dynamisch zuweisen, ohne die Leistung oder Verfügbarkeit der anderen Ebene zu beeinträchtigen.

Dieses Prinzip der Trennung ermöglicht eine schnellere Innovation von BigQuery, da Speicher- und Computing-Verbesserungen unabhängig voneinander ohne Ausfallzeiten oder negative Auswirkungen auf die Systemleistung bereitgestellt werden können. Außerdem ist es wichtig, ein vollständig verwaltetes serverloses Data Warehouse anzubieten, in dem das BigQuery-Entwicklerteam Updates und Wartungen durchführt. Dadurch müssen Sie keine Ressourcen bereitstellen oder manuell skalieren, sodass Sie sich auf die Wertschöpfung statt auf herkömmliche Datenbankverwaltungsaufgaben konzentrieren können.

Zu den BigQuery-Schnittstellen gehören die Google Cloud Console Oberfläche und das BigQuery-Befehlszeilentool. Entwickler und Data Scientists können Clientbibliotheken mit vertrauter Programmierung wie Python, Java, JavaScript und Go sowie die REST API und RPC API von BigQuery zum Transformieren und Verwalten von Daten verwenden. ODBC- und JDBC-Treiber ermöglichen die Interaktion mit vorhandenen Anwendungen, einschließlich Tools und Dienstprogrammen von Drittanbietern.

Als Data Analyst, Data Engineer, Data Warehouse Administrator oder Data Scientist können Sie mit BigQuery Daten laden, verarbeiten und analysieren, um wichtige Geschäftsentscheidungen zu treffen.

Jetzt mit BigQuery starten

Sie können in wenigen Minuten anfangen, BigQuery kennenzulernen. Nutzen Sie die kostenlose Nutzungsstufe oder die kostenlose Sandbox von BigQuery, um mit dem Laden und Abfragen von Daten zu beginnen.

• BigQuery-Sandbox: Einstieg in die BigQuery-Sandbox ohne Risiko und kostenlos.
• Öffentliche Datasets: Machen Sie sich mit der Leistung von BigQuery vertraut, indem Sie große reale Daten aus dem Programm für öffentliche Datasets untersuchen.
• Google Cloud Kurzanleitung zur Console: Machen Sie sich mit der Leistungsfähigkeit von BigQuery Studio vertraut.

BigQuery kennenlernen

Mit der serverlosen Infrastruktur von BigQuery können Sie sich auf Ihre Daten statt auf die Ressourcenverwaltung konzentrieren. BigQuery kombiniert ein cloudbasiertes Data Warehouse mit leistungsstarken Analysetools.

BigQuery-Speicher

BigQuery speichert Daten in einem spaltenorientierten Format, das für analytische Abfragen optimiert ist. BigQuery stellt Daten in Tabellen, Zeilen und Spalten bereit und bietet vollständige Unterstützung für die Semantik von Datenbanktransaktionen (ACID). Der BigQuery-Speicher wird automatisch über mehrere Standorte repliziert, um eine hohe Verfügbarkeit zu ermöglichen.

• Erfahren Sie mehr über gängige Muster zum Organisieren von BigQuery Ressourcen im Data Warehouse und in Data-Marts.
• Erfahren Sie mehr über Datasets, den übergeordneten Container von BigQuery für Tabellen und Ansichten.
• BigQuery Data Transfer Service automatisiert die Datenaufnahme.
• Laden Sie Daten in BigQuery mit:
  • Stream-Daten mit der Storage Write API.
  • Im Batch geladenen Daten aus lokalen Dateien oder Cloud Storage mit Formaten wie: Avro, Parquet, ORC, CSV, JSON, Datastore, und Firestore Formaten.

Weitere Informationen finden Sie unter BigQuery-Speicher.

BigQuery-Analysen

Deskriptive und präskriptive Analysen umfassen Business Intelligence, Ad-hoc-Analysen, Raumbezogene Analysen und maschinelles Lernen. Sie können in BigQuery gespeicherte Daten abfragen oder Abfragen für Daten an deren Speicherort ausführen, indem Sie externe Tabellen oder föderierten Abfragen verwenden, einschließlich Google Cloud Storage, Bigtable, Spanner oder Google Sheets, die in Google Drive gespeichert sind.

• ANSI-Standard-SQL-Abfragen (ISO/IEC 9075-Unterstützung) einschließlich Unterstützung für Joins, verschachtelte und wiederkehrende Felder, Analyse- und Aggregationsfunktionen, Abfragen mit mehreren Anweisungen und einer Vielzahl von räumlichen Funktionen mit raumbezogenen Analysen – geografische Informationssysteme.
• Pandas-kompatible Python API, bereitgestellt von BigQuery DataFrames.
• Ansichten erstellen, um Ihre Analyse freizugeben.
• Unterstützung von Business Intelligence-Tools, einschließlich BI Engine mit Looker Studio, Looker, Google Sheets, und Tools von Drittanbietern wie Tableau und Power BI.
• BigQuery ML bietet maschinelles Lernen und Analysen zu Prognosezwecken.
• BigQuery Studio bietet Features wie Python-Notebooks sowie Versionsverwaltung für Notebooks und gespeicherte Abfragen. Mit diesen Features können Sie die Datenanalyse- und ML-Workflows in BigQuery einfacher ausführen.
• Daten außerhalb von BigQuery abfragen mit föderierten Abfragen und externen Tabellen.

Weitere Informationen finden Sie unter BigQuery-Analysen.

BigQuery-Verwaltung

BigQuery bietet eine zentralisierte Verwaltung von Daten- und Rechen ressourcen und Identity and Access Management (IAM) unterstützt Sie dabei, diese Ressourcen mithilfe von dem Zugriffsmodell zu schützen, das in verwendet wird Google Cloud. Google Cloud Die Best Practices für die Sicherheit bieten einen soliden und dennoch flexiblen Ansatz, der die Perimetersicherheit oder einen komplexeren und detaillierteren Ansatz zur mehrschichtigen Sicherheitumfassen kann.

• Die Einführung in die Datensicherheit und Governance hilft Ihnen, die Data Governance zu verstehen und zu steuern, welche Kontrollen Sie für die Sicherung von BigQuery-Ressourcen benötigen könnten.
• Jobs sind Aktionen, die BigQuery für Sie ausführt, um Daten zu laden, zu exportieren, abzufragen oder zu kopieren.
• Mit Reservierungen können Sie zwischen On-Demand-Preisen und kapazitätsbasierten Preisen wechseln.

Weitere Informationen finden Sie unter Einführung in BigQuery.

BigQuery-Ressourcen

Sehen Sie sich die BigQuery-Ressourcen an:

• Versionshinweise enthalten Änderungslogs mit Features, Änderungen und verworfenen Funktionen.
• Preise für Analyse und Speicherung. Weitere Informationen finden Sie in den Preisen für BigQuery ML, BI Engine und Data Transfer Service.
• Standorte definieren, wo Sie Datasets erstellen (und regionale und multiregionale Standorte).
• Stack Overflow hostet eine interessierte Community von Entwicklern und Analysten, die mit BigQuery arbeiten.
• Der BigQuery-Support bietet Hilfe für BigQuery.
• Google BigQuery: The Definitive Guide: Data Warehousing, Analytics, and Machine Learning at Scale von Valliappa Lakshmanan und Jordan Tigani erläutert, wie BigQuery funktioniert, und bietet eine ausführliche Anleitung zur Nutzung des Dienstes.

APIs, Tools und Referenzen

Referenzmaterialien für BigQuery-Entwickler und -Analysten:

• BigQuery API und Clientbibliotheken bieten einen Überblick über die Features von BigQuery und deren Verwendung.
• SQL-Abfragesyntax für Details zur Verwendung von GoogleSQL.
• BigQuery DataFrames API Referenz für Details zur Verwendung der pandas-kompatiblen Python API.
• BigQuery-Codebeispiele bieten Hunderte von Snippets für Clientbibliotheken in C#, Go, Java, Node.js, Python, Ruby. Sie können sich auch den Beispielbrowser ansehen.
• DML, DDL, DDL und benutzerdefinierten Funktionen (UDFs) können Sie BigQuery-Daten verwalten und transformieren.
• In der bq-Befehlszeilentool-Referenz werden die Syntax, Befehle, Flags und Argumente für die bq-Befehlszeile dokumentiert.
• ODBC / JDBC-Integration verbindet BigQuery mit Ihren vorhandenen Tools und Infrastrukturen.

Gemini in BigQuery-Funktionen

Gemini in BigQuery ist Teil der Produktfamilie Google CloudGemini für , die KI-basierte Unterstützung bietet, die Ihnen die Arbeit mit Ihren Daten erleichtert.

Gemini in BigQuery bietet KI-Unterstützung, um Ihnen bei Folgendem zu helfen:

• Daten mit Data Insights analysieren und nachvollziehen: Data Insights bietet eine automatisierte, intuitive Möglichkeit, Muster zu erkennen und statistische Analysen durchzuführen. Dazu werden aussagekräftige Abfragen verwendet, die aus den Metadaten Ihrer Tabellen generiert werden. Diese Funktion ist besonders hilfreich bei der Bekämpfung von Kaltstartproblemen bei der frühen explorativen Datenanalyse. Weitere Informationen finden Sie unter Data Insights in BigQuery generieren.
• Daten mit dem BigQuery-Daten-Canvas identifizieren, transformieren, abfragen und visualisieren: Mit Gemini in BigQuery können Sie mit der natürlichen Sprache Tabellen-Assets suchen, zusammenführen und abfragen, Ergebnisse visualisieren und während des gesamten Vorgangs nahtlos mit anderen zusammenarbeiten. Weitere Informationen finden Sie unter Mit Data Canvas analysieren.
• Unterstützte SQL- und Python-Datenanalyse nutzen: Mit Gemini in BigQuery können Sie Code in SQL oder Python generieren oder vorschlagen lassen und eine vorhandene SQL-Abfrage erläutern lassen. Sie können auch Abfragen in natürlicher Sprache ausführen, um mit der Datenanalyse zu beginnen. Informationen zum Generieren, Vervollständigen und Zusammenfassen von Code finden Sie in der folgenden Dokumentation:
  
  • SQL Code Assist
    • SQL-Generierungstool verwenden
    • Prompt zum Generieren von SQL-Abfragen
    • SQL-Abfragen mit Gemini Cloud Assist generieren (Vorschau)
    • Kommentare in SQL konvertieren (Vorschau)
    • SQL-Abfrage abschließen (Vorschau)
    • SQL-Abfrage erklären
  • Python Code Assist
    • Python-Code mit dem Code-Generator-Tool generieren
    • Python-Code mit Gemini Cloud Assist generieren (Vorschau)
    • Python-Code vervollständigen
    • BigQuery DataFrames-Python-Code generieren (Vorschau)
• Daten für die Analyse vorbereiten: Die Datenvorbereitung in BigQuery bietet kontextbezogene, KI-generierte Transformationsempfehlungen zum Bereinigen von Daten für die Analyse. Weitere Informationen finden Sie unter Daten mit Gemini vorbereiten.
• SQL-Übersetzungen mit Übersetzungsregeln anpassen: (Vorschau) Erstellen Sie Gemini-optimierte Übersetzungsregeln, um Ihre SQL-Übersetzungen anzupassen, wenn Sie den interaktiven SQL-Übersetzer verwenden. Sie können Änderungen der SQL-Übersetzungsausgabe mit Prompts mit natürlicher Sprache beschreiben oder SQL-Muster zum Suchen und Ersetzen angeben. Weitere Informationen finden Sie unter Übersetzungsregel erstellen.

Informationen zum Einrichten von Gemini in BigQuery, finden Sie unter Gemini in BigQuery einrichten.

BigQuery-Rollen und -Ressourcen

BigQuery erfüllt die Anforderungen von Datenexperten in den folgenden Rollen und Verantwortlichkeiten.

Datenanalyst

Eine Anleitung für Aufgaben, wenn Sie Folgendes tun müssen:

• BigQuery-Daten abfragen – mit interaktiven oder Batch-Abfragen mithilfe der SQL-Abfragesyntax
• BigQuery-Daten mit der pandas-kompatiblen BigQuery DataFrames APIanalysieren und transformieren.
• Auf SQL-Funktionen, Operatoren und bedingte Ausdrücke zum Abfragen von Daten verweisen
• Verwenden Sie Tools, um BigQuery-Daten zu analysieren und zu visualisieren einschließlich: Looker, Looker Studio, und Google Sheets.

• Raumbezogene Analysen verwenden, um raumbezogene Daten mit den geografischen Informationssystemen von BigQuery zu analysieren und zu visualisieren

• Abfrageleistung optimieren mit:

  • Partitionierten Tabellen: Große Tabellen anhand von Zeit- oder Ganzzahlbereichen bereinigen
  • Materialisierten Ansichten: Im Cache gespeicherte Ansichten definieren, um Abfragen zu optimieren oder persistente Ergebnisse zu liefern.
  • BI Engine: Der schnelle In-Memory-Analysedienst von BigQuery

Datenadministrator

Eine Anleitung für Aufgaben, wenn Sie Folgendes tun müssen:

• Verwalten Sie Kosten mit Reservierungen, um On-Demand- und kapazitätsbasierte Preise auszubalancieren.
• Datensicherheit und Governance verstehen, um Daten nach Dataset, Tabelle, Spalte, Zeile oder Ansicht zu schützen
• Daten mit Tabellen-Snapshots sichern, um den Inhalt einer Tabelle zu einem bestimmten Zeitpunkt aufzubewahren
• BigQuery INFORMATION_SCHEMA ansehen, um die Metadaten von Datasets, Jobs, Zugriffssteuerung, Reservierungen, Tabellen und mehr zu verstehen.
• Jobs verwenden, um mit BigQuery Daten zu laden, zu exportieren, abzufragen oder zu kopieren
• Logs und Ressourcen überwachen, um BigQuery und Arbeitslasten zu verstehen

Weitere Informationen finden Sie unter Einführung in BigQuery administration.

Klicken Sie in der Google Cloud Console auf Tour starten, um die BigQuery-Datenverwaltungsfunktionen direkt kennenzulernen.

Tour starten

Data Scientist

Eine Anleitung für Aufgaben, wenn Sie das maschinelle Lernen von BigQuery ML für Folgendes verwenden müssen:

• End-to-End-Nutzerpfad für Modelle für maschinelles Lernen verstehen
• Zugriffssteuerung für BigQuery ML verwalten
• BigQuery ML-Modelle erstellen und trainieren, einschließlich:
  • Prognostizieren der linearen Regression
  • Binäre logistische und mehrklassige logistische Regressionsklassifizierungen
  • K-Means-Clustering zur Datensegmentierung
  • Zeitachsen prognosen mit ARIMA+-Modellen

Datenentwickler

Eine Anleitung für Aufgaben, wenn Sie Folgendes tun müssen:

• Daten in BigQuery laden mit:
  • Im Batch geladenen Daten für Avro, Parquet, ORC, CSV, JSON , Datastore , und Firestore Formate
  • BigQuery Data Transfer Service
  • BigQuery Storage Write API

• Codebeispielbibliothek verwenden, einschließlich Folgendem:

  • Verbindungsbeispiele
  • Reservierungsbeispiel
  • Codebeispiele zur Speicherung

• Google Cloud Beispielbrowser (für BigQuery)

• Übersicht über APIs und Bibliotheken

• ODBC / JDBC-Integration

Nächste Schritte

• Eine Übersicht über BigQuery-Speicher finden Sie in der Übersicht über BigQuery-Speicher.
• Eine Übersicht über BigQuery-Abfragen finden Sie unter BigQuery-Analysen.
• Eine Übersicht über die BigQuery-Verwaltung finden Sie unter Einführung in die BigQuery-Verwaltung.
• Eine Übersicht über die BigQuery-Sicherheit finden Sie unter Datensicherheit und Data Governance.