Mengonfigurasi set data BigQuery

Application Design Center memungkinkan Anda membuat dan mengonfigurasi set data BigQuery untuk analisis data perusahaan. Komponen dan parameter set data didasarkan pada modul Terraform terraform-google-bigquery.

Koneksi komponen

Tabel berikut mencakup komponen yang dapat Anda hubungkan ke set data BigQuery, serta update yang dihasilkan pada aplikasi Anda dan kode Terraform yang dihasilkan.

Komponen terhubung

Update aplikasi

Informasi latar belakang

Template instance Compute Engine

  • Instance Compute Engine dapat membaca dan menulis data ke set data BigQuery.
  • Metadata resource BigQuery ditambahkan ke template instance Compute Engine.
  • Peran roles/bigquery.dataEditor ditambahkan ke akun layanan template instance Compute Engine.
Template instance
Service account
  • Akun layanan dapat digunakan oleh layanan, seperti Cloud Run, untuk membaca dan mengubah data dalam set data BigQuery.
  • Peran roles/bigquery.dataEditor BigQuery ditambahkan ke akun layanan.
Peran dan izin IAM BigQuery
Cloud Run
  • Layanan Cloud Run dapat berinteraksi dengan set data BigQuery.
  • Metadata resource BigQuery ditambahkan ke variabel lingkungan Cloud Run.
  • Peran roles/bigquery.dataEditor BigQuery ditambahkan ke akun layanan Cloud Run.
Apa itu Cloud Run

Pub/Sub

  • Langganan Pub/Sub dapat menulis pesan ke set data BigQuery.
  • Informasi set data BigQuery ditambahkan ke kolom langganan BigQuery.
Langganan BigQuery

Parameter konfigurasi yang diperlukan

Jika template Anda menyertakan komponen BigQuery, Anda harus mengonfigurasi parameter berikut sebelum men-deploy.

Nama parameter

Deskripsi dan batasan

Informasi latar belakang

Dataset ID

id Pengantar set data

Project ID

Project tempat Anda ingin men-deploy set data dan tabel BigQuery.

Mengonfigurasi komponen

Parameter konfigurasi opsional

Parameter berikut bersifat opsional. Untuk menampilkan parameter lanjutan, di area Configuration, pilih Show advanced fields.

Fitur

Subfitur

Nama parameter

Informasi deskripsi dan batasan

Informasi latar belakang

Tabel

Table ID

id Pengantar tabel

Deskripsi

description Pengantar tabel

Nama Tabel

friendlyName Penamaan tabel

Skema

skema Menetapkan skema

Clustering

clustering Pengantar tabel pengelompokan

Memerlukan Filter Partisi

requirePartitionFilter Menetapkan persyaratan filter partisi
Partisi Waktu

Expiration MS

expirationMs Menetapkan masa berlaku partisi

Kolom

kolom Membuat tabel berpartisi berdasarkan kolom unit waktu

Jenis

jenis Membuat tabel berpartisi berdasarkan kolom unit waktu
Partisi Rentang

Kolom

kolom Menetapkan persyaratan filter partisi

Awal Rentang

range.start Partisi rentang bilangan bulat

Range End

range.end Partisi rentang bilangan bulat

Interval Rentang

range.interval Partisi rentang bilangan bulat

Waktu Habis Masa Berlaku

expirationTime Memperbarui waktu habis masa berlaku tabel

Proteksi dari Penghapusan

Centang kotak untuk mencegah tabel ini dihapus oleh Terraform. Jika tidak dipilih, setelan Proteksi dari Penghapusan tingkat komponen akan digunakan.

deletion_protection
Label

Kunci

label Menambahkan label ke tabel dan tampilan

Nilai

label Menambahkan label ke tabel dan tampilan

Dataset Name

friendlyName Menamai set data

Deskripsi

description Memperbarui deskripsi set data

Region

location Lokasi BigQuery

Delete Contents on Destroy

Pilih untuk menghapus semua tabel dalam set data saat menghancurkan resource. Jika tidak dipilih, penghancuran resource akan gagal jika tabel ada.

delete_contents_on_destroy

Proteksi dari Penghapusan

Jika dipilih, terraform apply atau terraform destroy yang akan menghapus tabel akan gagal. Jika tidak dipilih, tabel dapat dihapus. Anda dapat mengganti setelan ini menggunakan setelan proteksi dari penghapusan untuk setiap tabel.

deletion_protection

Default Table Expiration MS

defaultTableExpirationMs Memperbarui waktu habis masa berlaku tabel default

Default Partition Expiration MS

defaultPartitionExpirationMs Mengupdate waktu habis masa berlaku partisi default

Jam Perjalanan Waktu Maksimum

maxTimeTravelHours Memperbarui periode perjalanan waktu

Model Penagihan Penyimpanan

StorageBillingModel Model penagihan penyimpanan

Kunci Enkripsi

kmsKeyName Enkripsi dalam penyimpanan
Label Set Data

Kunci

label Menambahkan label ke set data

Nilai

value Menambahkan label ke set data
Tag Resource

Kunci

resourceTags Definisi dan ID tag

Nilai

resourceTags Definisi dan ID tag
Tampilan

ID Tampilan

id Penamaan tampilan

Deskripsi

description Pengantar tampilan

Kueri

query Memperbarui kueri SQL tampilan

Use Legacy SQL

useLegacySql Bermigrasi ke GoogleSQL
Label

Kunci

label Menambahkan label ke tabel dan tampilan

Nilai

label Menambahkan label ke tabel dan tampilan
Tampilan Terwujud

ID Tampilan

id Penamaan tampilan

Deskripsi

description Pengantar tampilan terwujud

Kueri

query Dukungan kueri tampilan terwujud

Mengaktifkan Refresh

enableRefresh Memuat ulang tampilan terwujud

Refresh Interval MS

refreshIntervalMs Menetapkan batas frekuensi refresh

Clustering

fields[] Tampilan terwujud cluster
Partisi Waktu

Expiration MS

expirationMs Menetapkan masa berlaku partisi

Kolom

kolom Membuat tabel berpartisi berdasarkan kolom unit waktu

Jenis

jenis Membuat tabel berpartisi berdasarkan kolom unit waktu

Memerlukan Filter Partisi

requirePartitionFilter Menetapkan persyaratan filter partisi
Partisi Rentang

Kolom

kolom Tampilan terwujud yang dipartisi

Awal Rentang

range.start Partisi rentang bilangan bulat

Range End

range.end Partisi rentang bilangan bulat

Interval Rentang

range.interval Partisi rentang bilangan bulat

Waktu Habis Masa Berlaku

expirationTime Memperbarui waktu habis masa berlaku tampilan

Max Staleness

maxStaleness Menggunakan tampilan terwujud dengan opsi max_staleness
Label

Kunci

label Menambahkan label ke tabel dan tampilan

Nilai

label Menambahkan label ke tabel dan tampilan
Tabel Eksternal

Table ID

id Pengantar tabel eksternal

Deskripsi

Deskripsi tabel eksternal. description

Deteksi otomatis

autodetect Menggunakan flag deteksi otomatis

Kompresi

compression Memuat data yang dikompresi dan tidak dikompresi

Ignore Unknown Values

ignoreUnknownValues Membuat file definisi tabel untuk sumber data eksternal

Max Bad Records

maxBadRecords Membuat file definisi tabel untuk sumber data eksternal

Skema

skema Membuat file definisi tabel untuk sumber data eksternal

Format Sumber

sourceFormat Membuat file definisi tabel untuk sumber data eksternal

URI Sumber

sourceUris Membuat file definisi tabel untuk sumber data eksternal
Opsi CSV

Penawaran Harga

quote Memuat data CSV dari Cloud Storage

Izinkan Jagged Row

allowJaggedRows Memuat data CSV dari Cloud Storage

Allow Quoted Newlines

allowQuotedNewlines Memuat data CSV dari Cloud Storage

Encoding

encoding Encoding

Pembatas Kolom

FieldDelimiter Pemisah kolom

Lewati Baris Utama

skipLeadingRows Opsi CSV
Opsi Google Spreadsheet

Range

range Membuat tabel eksternal Google Drive

Lewati Baris Utama

skipLeadingRows Membuat tabel eksternal Google Drive
Opsi Partisi Hive

Mode

mode Mode deteksi

Awalan URI Sumber

sourceUriPrefix Menggunakan data yang dipartisi secara eksternal

Waktu Habis Masa Berlaku

expirationTime Memperbarui waktu habis masa berlaku tabel

Max Staleness

maxStaleness Mengelola penghentian tabel yang tidak berlaku

Proteksi dari Penghapusan

Centang kotak untuk mencegah tabel ini dihapus oleh Terraform. Jika tidak dipilih, setelan Proteksi dari Penghapusan tingkat komponen akan digunakan.

deletion_protection
Label

Kunci

label Menambahkan label ke tabel dan tampilan

Nilai

label Menambahkan label ke tabel dan tampilan
Rutinitas

ID Rutinitas

routineId Mengelola rutinitas

Jenis Rutinitas

routineType RoutineType

Bahasa

bahasa Bahasa

Isi Definisi

definitionBody Melihat isi rutinitas

Jenis Nilai yang Ditampilkan

returnType StandardSqlDataType

Deskripsi

Deskripsi rutinitas. description
Argumen

Nama

Nama argumen. name

Data Type

dataType StandardSqlDataType

Jenis Argumen

argumentKind ArgumentKind

Mode

mode Mode