Einführung in Datasets

Diese Seite bietet einen Überblick über Datasets in BigQuery.

Datasets

Datasets sind Bestandteil eines Projekts. Datasets sind Container auf oberster Ebene, mit denen Sie den Zugriff auf Tabellen und Ansichten organisieren und steuern können. Die Tabellen und Ansichten müssen Teil eines Datasets sein. Um Daten in BigQuery laden zu können, ist daher mindestens ein Dataset erforderlich. Verwenden Sie das Format projectname.datasetname, um einen Dataset-Namen bei Verwendung von GoogleSQL vollständig zu qualifizieren, oder das Format projectname:datasetname, um einen Dataset-Namen bei Verwendung des bq-Befehlszeilentools vollständig zu qualifizieren.

Standort

Sie geben einen Standort zum Speichern Ihrer BigQuery-Daten an, wenn Sie ein Dataset erstellen. Eine Liste der BigQuery-Dataset-Standorte finden Sie unter BigQuery-Standorte. BigQuery speichert Ihre Daten am ausgewählten Standort in Übereinstimmung mit den dienstspezifischen Nutzungsbedingungen. Wenn Sie beispielsweise EU oder eine Region in der EU als Dataset-Standort auswählen, werden Ihre grundlegenden BigQuery-Kundendaten in der EU gespeichert.

Nachdem Sie das Dataset erstellt haben, kann der Standort nicht mehr geändert werden, Sie können aber Datasets an andere Standorte kopieren, oder es manuell verschieben, d. h. an einem anderen Standort neu erstellen.

Wenn Sie keinen Standort angeben, wird er auf eine der folgenden Arten bestimmt:

  • Der Standort der in der Anfrage referenzierten Datasets. Wenn eine Abfrage beispielsweise auf eine Tabelle oder Ansicht in einem Dataset verweist, das in der Region asia-northeast1 gespeichert ist, wird der Abfragejob in asia-northeast1 ausgeführt.
  • Die für eine in einer Anfrage referenzierte Verbindung angegebene Region.
  • Der Standort einer Zieltabelle.

Wenn der Standort nicht explizit angegeben ist und nicht anhand der Ressourcen in der Anfrage bestimmt werden kann, wird der standardmäßige Standort verwendet. Wenn kein standardmäßiger Standort festgelegt ist, wird der Job in der Multiregion US ausgeführt.

Datenaufbewahrung

Datasets verwenden Zeitreise in Verbindung mit dem Ausfallsicherheitszeitraum, um gelöschte und geänderte Daten für kurze Zeit aufzubewahren, falls Sie sie wiederherstellen müssen. Weitere Informationen finden Sie unter Datenaufbewahrung mit Zeitreisen und Ausfallsicherheit.

Speicherabrechnungsmodelle

BigQuery bietet zwei Speicherabrechnungsmodelle: logisch (unkomprimiert) und physisch (komprimiert).

Wenn Sie das Speicherabrechnungsmodell ändern, wird nur die Konfiguration für die Messung geändert. Es sind keine Datenmigration, keine Konvertierung des Dateiformats und keine Änderungen an der Infrastruktur erforderlich. Ihre Daten werden immer im selben komprimierten physischen Format gespeichert. Änderungen an dieser Einstellung haben keine Auswirkungen auf die Abfrageleistung, die Latenz oder die Integration mit anderen Anwendungen wie Looker.

Das ausgewählte Modell bestimmt nur, wie Ihre gespeicherten Byte gemäß den Speicherpreisen gemessen und berechnet werden:

  • Logische Abrechnung:Die Abrechnung erfolgt auf Grundlage der unkomprimierten Größe der Daten. Dies ist das Standardmodell.
  • Physische Abrechnung:Die Abrechnung erfolgt auf Grundlage der komprimierten Größe der Daten auf dem Laufwerk.

Unabhängig vom ausgewählten Abrechnungsmodell werden Ihre Daten als physische Byte gespeichert.

Sie legen das Speicherabrechnungsmodell auf Dataset-Ebene fest. Wenn Sie beim Erstellen eines Datasets kein Speicherabrechnungsmodell angeben, wird standardmäßig die logische Speicherabrechnung verwendet. Sie können jedoch das Speicherabrechnungsmodell eines Datasets nach dem Erstellen ändern. Nachdem Sie das Speicherabrechnungsmodell eines Datasets geändert haben, müssen Sie 14 Tage warten, bevor Sie das Speicherabrechnungsmodell wieder ändern können.

Wenn Sie das Abrechnungsmodell eines Datasets ändern, dauert es 24 Stunden, bis die Änderung wirksam wird. Alle Tabellen oder Tabellenpartitionen im Langzeitspeicher werden nicht auf den aktiven Speicher zurückgesetzt, wenn Sie das Abrechnungsmodell eines Datasets ändern. Die Abfrageleistung und die Abfragelatenz werden durch eine Änderung des Abrechnungsmodells eines Datasets nicht beeinflusst.

Datasets verwenden Zeitreisen und Fail-Safe-Speicher für die Datenaufbewahrung. Zeitreisen und Fail-Safe-Speicher werden bei Verwendung der physischen Speicherabrechnung separat zu aktiven Speicherpreisen in Rechnung gestellt. Sie sind jedoch im Basispreis enthalten, der Ihnen in Rechnung gestellt wird, wenn Sie die logische Speicherabrechnung verwenden. Sie können das Zeitreisefenster für ein Dataset ändern, um die Kosten für physische Speicher mit der Datenaufbewahrung auszugleichen. Sie können das Fail-Safe-Fenster nicht ändern. Weitere Informationen zur Aufbewahrung von Dataset-Daten finden Sie unter Datenaufbewahrung mit Zeitreisen und Ausfallsicherheit. Weitere Informationen zur Prognose Ihrer Speicherkosten finden Sie unter Speicherabrechnung prognostizieren.

Sie können ein Dataset nicht für die physische Speicherabrechnung registrieren, wenn Ihre Organisation Legacy- Slot-Zusicherungen zum Pauschalpreis in derselben Region wie das Dataset hat. Dies gilt nicht für Zusicherungen , die mit einer BigQuery-Version erworben wurden.

Externe Datasets

Neben BigQuery-Datasets können Sie auch externe Datasets erstellen. Das sind Links zu externen Datenquellen:

Externe Datasets werden auch als föderierte Datasets bezeichnet. Beide Begriffe werden synonym verwendet.

Nach der Erstellung enthalten externe Datasets Tabellen aus einer referenzierten externen Datenquelle. Daten aus diesen Tabellen werden nicht in BigQuery kopiert, sondern bei jeder Verwendung abgefragt. Weitere Informationen finden Sie unter Föderierte Spanner-Abfragen.

Beschränkungen

BigQuery-Datasets unterliegen den folgenden Einschränkungen:

  • Der Dataset-Speicherort kann nur zum Zeitpunkt der Erstellung festgelegt werden. Nachdem ein Dataset erstellt wurde, kann sein Standort nicht mehr geändert werden.
  • Alle in einer Abfrage referenzierten Tabellen müssen in Datasets an demselben Standort gespeichert werden.

  • Externe Datasets unterstützen keine Tabellenablaufzeiten, Replikate, Zeitreisen, Standardsortierung, Standardrundungsmodus oder die Option, die Groß-/Kleinschreibung bei Tabellennamen zu berücksichtigen oder zu ignorieren.

  • Wenn Sie eine Tabelle kopieren, müssen sich die Datasets mit der Quell- und Zieltabelle am selben Speicherort befinden.

  • Datasetnamen müssen für jedes Projekt eindeutig sein.

  • Wenn Sie das Speicherabrechnungsmodell eines Datasets geändert haben, müssen Sie 14 Tage warten, bevor Sie das Speicherabrechnungsmodell wieder ändern können.

  • Sie können ein Dataset nicht für die physische Speicherabrechnung registrieren, wenn sich Legacy-Slot-Zusicherungen zum Pauschalpreis in derselben Region wie das Dataset befinden.

Kontingente

Weitere Informationen zu allen Kontingenten und Beschränkungen finden Sie unter Kontingente und Beschränkungen.

Preise

Das Erstellen, Aktualisieren oder Löschen eines Datasets wird Ihnen nicht in Rechnung gestellt.

Weitere Informationen zu den Preisen von BigQuery finden Sie unter Preise.

Sicherheit

Informationen zum Steuern des Zugriffs auf Datasets in BigQuery finden Sie unter Zugriff auf Datasets steuern. Informationen zur Datenverschlüsselung finden Sie unter Verschlüsselung ruhender Daten.

Nächste Schritte