Configurer BigQuery dans Application Design Center

BigQuery est un entrepôt de données analytiques entièrement géré, à l'échelle du pétaoctet et à faible coût, qui vous permet d'exécuter des analyses sur de grandes quantités de données en quasi-temps réel. Pour en savoir plus, consultez la présentation de BigQuery.

Ce document décrit les composants et les paramètres que vous pouvez configurer lorsque vous utilisez App Design Center pour créer un ensemble de données BigQuery. Les paramètres de configuration sont basés sur le module Terraform terraform-google-bigquery.

Connexions des composants

Le tableau suivant inclut les composants que vous pouvez connecter à un ensemble de données BigQuery, ainsi que les mises à jour apportées à votre application et à son code Terraform généré.

Composant connecté

Mises à jour des applications

Informations générales

Modèle d'instance Compute Engine

  • Les instances Compute Engine peuvent lire et écrire des données dans l'ensemble de données BigQuery.
  • Les métadonnées de ressources BigQuery sont ajoutées au modèle d'instance Compute Engine.
  • Le rôle roles/bigquery.dataEditor est ajouté au compte de service du modèle d'instance Compute Engine.
Modèles d'instance
Compte de service
  • Le compte de service peut être utilisé par des services tels que Cloud Run pour lire et modifier les données de l'ensemble de données BigQuery.
  • Le rôle BigQuery roles/bigquery.dataEditor est ajouté au compte de service.
Rôles et autorisations IAM BigQuery
Cloud Run
  • Le service Cloud Run peut interagir avec l'ensemble de données BigQuery.
  • Les métadonnées de ressources BigQuery sont ajoutées aux variables d'environnement Cloud Run.
  • Le rôle BigQuery roles/bigquery.dataEditor est ajouté au compte de service Cloud Run.
Qu'est-ce que Cloud Run ?

Pub/Sub

  • L'abonnement Pub/Sub peut écrire des messages dans l'ensemble de données BigQuery.
  • Les informations sur l'ensemble de données BigQuery sont ajoutées aux champs d'abonnement BigQuery.
Abonnements BigQuery

Paramètres de configuration requis

Si votre modèle inclut un composant BigQuery, vous devez configurer les paramètres suivants avant de le déployer.

Nom du paramètre

Description et contraintes

Informations générales

ID de l'ensemble de données

id Présentation des ensembles de données

ID du projet

Projet dans lequel vous souhaitez déployer l'ensemble de données et la table BigQuery.

Configurer les composants

Paramètres de configuration facultatifs

Les paramètres suivants sont facultatifs. Pour afficher les paramètres avancés, dans la zone Configuration, sélectionnez Afficher les champs avancés.

Fonctionnalité

Sous-fonctionnalité

Nom du paramètre

Description et informations sur les contraintes

Informations générales

Tables

ID de la table

id Présentation des tables

Description

description Présentation des tables

Nom de la table

friendlyName Nommer les tables

Schéma

schema Spécifier un schéma

Clustering

clustering Présentation des tables en cluster

Demander un filtre de partitionnement

requirePartitionFilter Définir les exigences relatives au filtre de partitionnement
Partitionnement temporel

Expiration MS

expirationMs Définir le délai d'expiration de la partition

Champ

field Créer une table partitionnée par colonne d'unité de temps

Type

type Créer une table partitionnée par colonne d'unité de temps
Partitionnement par plage

Champ

field Définir les exigences relatives au filtre de partitionnement

Début de la plage

range.start Partitionnement par plages d'entiers

Fin de la plage

range.end Partitionnement par plages d'entiers

Intervalle de plage

range.interval Partitionnement par plages d'entiers

Date/Heure d'expiration

expirationTime Mettre à jour le délai d'expiration d'une table

Protection contre la suppression

Cochez la case pour empêcher Terraform de supprimer cette table. Si cette option n'est pas sélectionnée, le paramètre de protection contre la suppression au niveau du composant est utilisé.

deletion_protection
Étiquettes

Clé

labels Ajouter des libellés à des tables et à des vues

Valeur

labels Ajouter des libellés à des tables et à des vues

Nom de l'ensemble de données

friendlyName Nommer des ensembles de données

Description

description Mettre à jour la description de l'ensemble de données

Région

position Emplacements BigQuery

Supprimer le contenu lors de la destruction

Sélectionnez cette option pour supprimer toutes les tables de l'ensemble de données lorsque vous détruisez la ressource. Si cette option n'est pas sélectionnée, la suppression de la ressource échoue si des tables sont présentes.

delete_contents_on_destroy

Protection contre la suppression

Si cette option est sélectionnée, une commande "terraform apply" ou "terraform destroy" qui supprimerait des tables échouera. Si cette option n'est pas sélectionnée, les tables peuvent être supprimées. Vous pouvez remplacer ce paramètre à l'aide du paramètre de protection contre la suppression pour chaque table.

deletion_protection

Expiration de la table par défaut (ms)

defaultTableExpirationMs Mettre à jour les délais d'expiration des tables par défaut

Expiration de la partition par défaut (ms)

defaultPartitionExpirationMs Mettre à jour les délais d'expiration des partitions par défaut

Nombre maximal d'heures de voyage dans le temps

maxTimeTravelHours Mettre à jour les fenêtres de fonctionnalité temporelle

Modèle de facturation du stockage

StorageBillingModel Modèles de facturation du stockage

Clé de chiffrement

kmsKeyName Chiffrement au repos
Libellés de l'ensemble de données

Clé

labels Ajouter des libellés à des ensembles de données

Valeur

value Ajouter des libellés à des ensembles de données
Tags de ressources

Clé

resourceTags Définitions et identifiants de tags

Valeur

resourceTags Définitions et identifiants de tags
Vues

ID de la vue

id Nommer les vues

Description

description Présentation des vues

Requête

query Mettre à jour la requête SQL d'une vue

Utiliser l'ancien SQL

useLegacySql Migrer vers GoogleSQL
Étiquettes

Clé

labels Ajouter des libellés à des tables et à des vues

Valeur

labels Ajouter des libellés à des tables et à des vues
Vues matérialisées

ID de la vue

id Nommer les vues

Description

description Présentation des vues matérialisées

Requête

query Compatibilité avec les requêtes de vues matérialisées

Activer l'actualisation

enableRefresh Actualiser les vues matérialisées

Intervalle d'actualisation (ms)

refreshIntervalMs Définir la limite de fréquence d'actualisation

Clustering

fields[] Vues matérialisées en cluster
Partitionnement temporel

Expiration MS

expirationMs Définir le délai d'expiration de la partition

Champ

field Créer une table partitionnée par colonne d'unité de temps

Type

type Créer une table partitionnée par colonne d'unité de temps

Demander un filtre de partitionnement

requirePartitionFilter Définir les exigences relatives au filtre de partitionnement
Partitionnement par plage

Champ

field Vues matérialisées partitionnées

Début de la plage

range.start Partitionnement par plages d'entiers

Fin de la plage

range.end Partitionnement par plages d'entiers

Intervalle de plage

range.interval Partitionnement par plages d'entiers

Date/Heure d'expiration

expirationTime Mettre à jour le délai d'expiration d'une vue

Obsolescence maximale

maxStaleness Utiliser les vues matérialisées avec l'option "max_staleness"
Étiquettes

Clé

labels Ajouter des libellés à des tables et à des vues

Valeur

labels Ajouter des libellés à des tables et à des vues
Tables externes

ID de la table

id Présentation des tables externes

Description

Description de la table externe. description

Détection automatique

autodetect Utiliser l'option de détection automatique

Compression

compression Charger des données compressées et non compressées

Ignorer les valeurs inconnues

ignoreUnknownValues Créer un fichier de définition de table pour une source de données externe

Enregistrements incorrects max.

maxBadRecords Créer un fichier de définition de table pour une source de données externe

Schéma

schema Créer un fichier de définition de table pour une source de données externe

Format source

sourceFormat Créer un fichier de définition de table pour une source de données externe

URI sources

sourceUris Créer un fichier de définition de table pour une source de données externe
Options CSV

Citation

quote Charger des données CSV à partir de Cloud Storage

Autoriser les lignes irrégulières

allowJaggedRows Charger des données CSV à partir de Cloud Storage

Autoriser les nouvelles lignes entre guillemets

allowQuotedNewlines Charger des données CSV à partir de Cloud Storage

Encodage

encoding Encodage

Délimiteur de champ

FieldDelimiter Délimiteurs de champs

Ignorer les premières lignes

skipLeadingRows Options CSV
Options Google Sheets

Plage

range Créer des tables externes Google Drive

Ignorer les premières lignes

skipLeadingRows Créer des tables externes Google Drive
Options de partitionnement Hive

Mode

mode Modes de détection

Préfixe d'URI source

sourceUriPrefix Utiliser des données partitionnées en externe

Date/Heure d'expiration

expirationTime Mettre à jour le délai d'expiration d'une table

Obsolescence maximale

maxStaleness Gérer l'obsolescence des tables

Protection contre la suppression

Cochez la case pour empêcher Terraform de supprimer cette table. Si cette option n'est pas sélectionnée, le paramètre de protection contre la suppression au niveau du composant est utilisé.

deletion_protection
Étiquettes

Clé

labels Ajouter des libellés à des tables et à des vues

Valeur

labels Ajouter des libellés à des tables et à des vues
Routines

ID de la routine

routineId Gérer les routines

Type de routine

routineType RoutineType

Langue

Langage Langue

Corps de la définition

definitionBody Afficher le corps d'une routine

Type renvoyé

returnType StandardSqlDataType

Description

Description de la routine. description
Arguments

Nom

Nom de l'argument. name

Type de données

dataType StandardSqlDataType

Type d'argument

argumentKind ArgumentKind

Mode

mode Mode