BigQuery im Application Design Center konfigurieren

BigQuery ist ein vollständig verwaltetes, kostengünstiges Data Warehouse für Analysen im Petabyte-Bereich. Damit können Sie große Datenmengen nahezu in Echtzeit analysieren. Weitere Informationen finden Sie unter Einführung in BigQuery.

In diesem Dokument werden die Komponenten und Parameter beschrieben, die Sie konfigurieren können, wenn Sie mit dem App Design Center ein BigQuery-Dataset erstellen. Die Konfigurationsparameter basieren auf dem Terraform-Modul terraform-google-bigquery.

Komponentenverbindungen

Die folgende Tabelle enthält die Komponenten, die Sie mit einem BigQuery-Dataset verbinden können, sowie die daraus resultierenden Aktualisierungen Ihrer Anwendung und des generierten Terraform-Codes.

Verbundene Komponente

Anwendungsupdates

Hintergrundinformationen:

Compute Engine-Instanzvorlage

  • Die Compute Engine-Instanzen können Daten in das BigQuery-Dataset lesen und schreiben.
  • Die BigQuery-Ressourcenmetadaten werden der Compute Engine-Instanzvorlage hinzugefügt.
  • Die Rolle roles/bigquery.dataEditor wird dem Dienstkonto der Compute Engine-Instanzvorlage hinzugefügt.
Instanzvorlagen
Dienstkonto
  • Das Dienstkonto kann von Diensten wie Cloud Run verwendet werden, um Daten im BigQuery-Dataset zu lesen und zu ändern.
  • Dem Dienstkonto wird die BigQuery-Rolle roles/bigquery.dataEditor hinzugefügt.
IAM-Rollen und ‑Berechtigungen für BigQuery
Cloud Run
  • Der Cloud Run-Dienst kann mit dem BigQuery-Dataset interagieren.
  • Die BigQuery-Ressourcenmetadaten werden den Cloud Run-Umgebungsvariablen hinzugefügt.
  • Dem Cloud Run-Dienstkonto wird die BigQuery-Rolle roles/bigquery.dataEditor hinzugefügt.
Was ist Cloud Run?

Pub/Sub

  • Über das Pub/Sub-Abo können Nachrichten in das BigQuery-Dataset geschrieben werden.
  • Die BigQuery-Dataset-Informationen werden den BigQuery-Abo-Feldern hinzugefügt.
BigQuery-Abos

Erforderliche Konfigurationsparameter

Wenn Ihre Vorlage eine BigQuery-Komponente enthält, müssen Sie die folgenden Parameter konfigurieren, bevor Sie sie bereitstellen.

Parametername

Beschreibung und Einschränkungen

Hintergrundinformationen:

Dataset-ID

id Einführung in Datasets

Projekt-ID

Das Projekt, in dem Sie das BigQuery-Dataset und die BigQuery-Tabelle bereitstellen möchten.

Komponenten konfigurieren

Optionale Konfigurationsparameter

Die folgenden Parameter sind optional. Wenn Sie erweiterte Parameter aufrufen möchten, wählen Sie im Bereich Konfiguration die Option Erweiterte Felder anzeigen aus.

Funktion

Unterfunktion

Parametername

Beschreibung und Informationen zu Einschränkungen

Hintergrundinformationen:

Tabellen

Tabellen-ID

id Einführung in Tabellen

Beschreibung

description Einführung in Tabellen

Tabellenname

friendlyName Tabellennamen

Schema

schema Schema angeben

Clustering

Clustering Einführung in geclusterte Tabellen

Partitionsfilter anfordern

requirePartitionFilter Anforderungen an Partitionsfilter festlegen
Zeitpartitionierung

Expiration MS

expirationMs Partitionsablauf festlegen

Feld

Feld Nach Datum partitionierte Tabelle mit Zeiteinheit erstellen

Typ

type Nach Datum partitionierte Tabelle mit Zeiteinheit erstellen
Bereichspartitionierung

Feld

Feld Anforderungen an Partitionsfilter festlegen

Bereichsstart

range.start Partitionierung nach Ganzzahlbereich

Bereichsende

range.end Partitionierung nach Ganzzahlbereich

Bereichsintervall

range.interval Partitionierung nach Ganzzahlbereich

Ablaufzeit

expirationTime Ablaufzeit einer Tabelle aktualisieren

Löschschutz

Klicken Sie das Kästchen an, um zu verhindern, dass diese Tabelle von Terraform gelöscht wird. Wenn diese Option nicht ausgewählt ist, wird die Einstellung „Löschschutz“ auf Komponentenebene verwendet.

deletion_protection
Labels

Schlüssel

labels Labels zu Tabellen und Ansichten hinzufügen

Wert

labels Labels zu Tabellen und Ansichten hinzufügen

Dataset-Name

friendlyName Datasets benennen

Beschreibung

description Dataset-Beschreibung aktualisieren

Region

Standort BigQuery-Standorte

Inhalte bei Zerstörung löschen

Wählen Sie diese Option aus, um alle Tabellen im Dataset zu löschen, wenn die Ressource zerstört wird. Wenn diese Option nicht ausgewählt ist, schlägt das Löschen der Ressource fehl, wenn Tabellen vorhanden sind.

delete_contents_on_destroy

Löschschutz

Wenn diese Option ausgewählt ist, schlägt ein „terraform apply“ oder „terraform destroy“ fehl, bei dem Tabellen gelöscht würden. Wenn diese Option nicht ausgewählt ist, können Tabellen gelöscht werden. Sie können diese Einstellung mit der Einstellung zum Löschschutz für jede Tabelle überschreiben.

deletion_protection

Standard-Tabellenablauf (MS)

defaultTableExpirationMs Standardablaufzeiten von Tabellen aktualisieren

Standardablaufdatum der Partition (in Millisekunden)

defaultPartitionExpirationMs Standardablaufzeiten von Partitionen aktualisieren

Max. Stunden für Zeitreise

maxTimeTravelHours Zeitreisefenster aktualisieren

Abrechnungsmodell für Speicher

StorageBillingModel Speicherabrechnungsmodelle

Verschlüsselungsschlüssel

kmsKeyName Verschlüsselung inaktiver Daten
Dataset-Labels

Schlüssel

labels Datasets Labels hinzufügen

Wert

Wert Datasets Labels hinzufügen
Ressourcen-Tags

Schlüssel

resourceTags Tag-Definitionen und Kennungen

Wert

resourceTags Tag-Definitionen und Kennungen
Aufrufe

Ansichts-ID

id Benennung von Ansichten

Beschreibung

description Einführung in Ansichten

Abfrage

query SQL-Abfrage einer Ansicht aktualisieren

Legacy-SQL verwenden

useLegacySql Zu GoogleSQL migrieren
Labels

Schlüssel

labels Labels zu Tabellen und Ansichten hinzufügen

Wert

labels Labels zu Tabellen und Ansichten hinzufügen
Materialisierte Ansichten

Ansichts-ID

id Benennung von Ansichten

Beschreibung

description Einführung in materialisierte Ansichten

Abfrage

query Unterstützung von Abfragen bei materialisierten Ansichten

Aktualisierung aktivieren

enableRefresh Materialisierte Ansichten aktualisieren

Aktualisierungsintervall (ms)

refreshIntervalMs Frequency Capping für die Aktualisierung festlegen

Clustering

fields[] Materialisierte Ansichten im Cluster
Zeitpartitionierung

Expiration MS

expirationMs Partitionsablauf festlegen

Feld

Feld Nach Datum partitionierte Tabelle mit Zeiteinheit erstellen

Typ

type Nach Datum partitionierte Tabelle mit Zeiteinheit erstellen

Partitionsfilter anfordern

requirePartitionFilter Anforderungen an Partitionsfilter festlegen
Bereichspartitionierung

Feld

Feld Partitionierte materialisierte Ansichten

Bereichsstart

range.start Partitionierung nach Ganzzahlbereich

Bereichsende

range.end Partitionierung nach Ganzzahlbereich

Bereichsintervall

range.interval Partitionierung nach Ganzzahlbereich

Ablaufzeit

expirationTime Ablaufzeit einer Ansicht aktualisieren

Max. Veralterung

maxStaleness Materialisierte Ansichten mit der Option „max_staleness“ verwenden
Labels

Schlüssel

labels Labels zu Tabellen und Ansichten hinzufügen

Wert

labels Labels zu Tabellen und Ansichten hinzufügen
Externe Tabellen

Tabellen-ID

id Einführung in externe Tabellen

Beschreibung

Eine Beschreibung der externen Tabelle. description

Automatische Erkennung

autodetect Automatische Erkennungs-Flag verwenden

Komprimierung

Kompression Komprimierte und unkomprimierte Daten laden

Unbekannte Werte ignorieren

ignoreUnknownValues Tabellendefinitionsdatei für eine externe Datenquelle erstellen

Max. Anzahl fehlerhafter Datensätze

maxBadRecords Tabellendefinitionsdatei für eine externe Datenquelle erstellen

Schema

schema Tabellendefinitionsdatei für eine externe Datenquelle erstellen

Quellformat

sourceFormat Tabellendefinitionsdatei für eine externe Datenquelle erstellen

Quell-URIs

sourceUris Tabellendefinitionsdatei für eine externe Datenquelle erstellen
CSV-Optionen

Zitat

Zitat CSV-Daten aus Cloud Storage laden

Unvollständige Zeilen zulassen

allowJaggedRows CSV-Daten aus Cloud Storage laden

Zeilenumbrüche in Abschnitten in Anführungszeichen zulassen

allowQuotedNewlines CSV-Daten aus Cloud Storage laden

Encoding

Codierung Encoding

Feldtrennzeichen

FieldDelimiter Feldtrennzeichen

Führende Zeilen überspringen

skipLeadingRows CSV-Optionen
Google Sheets-Optionen

Bereich

Bereich Externe Google Drive-Tabellen erstellen

Führende Zeilen überspringen

skipLeadingRows Externe Google Drive-Tabellen erstellen
Grafik: Hive-Partitionierungsoptionen

Modus

mode Erkennungsmodi

Präfix des Quell-URI

sourceUriPrefix Extern partitionierte Daten verwenden

Ablaufzeit

expirationTime Ablaufzeit einer Tabelle aktualisieren

Max. Veralterung

maxStaleness Tabellenveralterung verwalten

Löschschutz

Klicken Sie das Kästchen an, um zu verhindern, dass diese Tabelle von Terraform gelöscht wird. Wenn diese Option nicht ausgewählt ist, wird die Einstellung „Löschschutz“ auf Komponentenebene verwendet.

deletion_protection
Labels

Schlüssel

labels Labels zu Tabellen und Ansichten hinzufügen

Wert

labels Labels zu Tabellen und Ansichten hinzufügen
Routinen

Routinen-ID

routineId Routinen verwalten

Routinetyp

routineType RoutineType

Sprache

Sprache Sprache

Definitionstext

definitionBody Text einer Routine ansehen

Rückgabetyp

returnType StandardSqlDataType

Beschreibung

Eine Beschreibung der Routine. description
Argumente

Name

Der Name des Arguments. name

Datentyp

dataType StandardSqlDataType

Argumenttyp

argumentKind ArgumentKind

Modus

mode Modus