Mengonfigurasi BigQuery di Pusat Desain Aplikasi

BigQuery adalah data warehouse analisis yang terkelola sepenuhnya, berskala petabyte, dan hemat biaya, yang memungkinkan Anda menjalankan analisis pada sejumlah besar data secara hampir real time. Untuk mengetahui informasi selengkapnya, lihat Pengantar BigQuery.

Dokumen ini menjelaskan komponen dan parameter yang dapat Anda konfigurasi saat menggunakan Pusat Desain Aplikasi untuk membuat set data BigQuery. Parameter konfigurasi didasarkan pada modul Terraform terraform-google-bigquery.

Koneksi komponen

Tabel berikut mencakup komponen yang dapat Anda hubungkan ke set data BigQuery, dan pembaruan yang dihasilkan pada aplikasi Anda dan kode Terraform yang dibuatnya.

Komponen terhubung

Update aplikasi

Informasi latar belakang

Template instance Compute Engine

  • Instance Compute Engine dapat membaca dan menulis data ke set data BigQuery.
  • Metadata resource BigQuery ditambahkan ke template instance Compute Engine.
  • Peran roles/bigquery.dataEditor ditambahkan ke akun layanan template instance Compute Engine.
Template instance
Service account
  • Akun layanan dapat digunakan oleh layanan, seperti Cloud Run, untuk membaca dan mengubah data di set data BigQuery.
  • Peran roles/bigquery.dataEditor BigQuery ditambahkan ke akun layanan.
Peran dan izin IAM BigQuery
Cloud Run
  • Layanan Cloud Run dapat berinteraksi dengan set data BigQuery.
  • Metadata resource BigQuery ditambahkan ke variabel lingkungan Cloud Run.
  • Peran roles/bigquery.dataEditor BigQuery ditambahkan ke akun layanan Cloud Run.
Apa itu Cloud Run

Pub/Sub

  • Langganan Pub/Sub dapat menulis pesan ke set data BigQuery.
  • Informasi set data BigQuery ditambahkan ke kolom langganan BigQuery.
Langganan BigQuery

Parameter konfigurasi yang diperlukan

Jika template Anda menyertakan komponen BigQuery, Anda harus mengonfigurasi parameter berikut sebelum men-deploy.

Nama parameter

Deskripsi dan batasan

Informasi latar belakang

Dataset ID

id Pengantar set data

Project ID

Project tempat Anda ingin men-deploy set data dan tabel BigQuery.

Mengonfigurasi komponen

Parameter konfigurasi opsional

Parameter berikut bersifat opsional. Untuk menampilkan parameter lanjutan, di area Konfigurasi, pilih Tampilkan kolom lanjutan.

Fitur

Subfitur

Nama parameter

Deskripsi dan informasi batasan

Informasi latar belakang

Tabel

ID tabel

id Pengantar tabel

Deskripsi

description Pengantar tabel

Nama Tabel

friendlyName Penamaan tabel

Skema

skema Menetapkan skema

Pengelompokan

pengelompokan Pengantar tabel pengelompokan

Filter Partisi yang Diperlukan

requirePartitionFilter Menetapkan persyaratan filter partisi
Partisi Waktu

Masa Berlaku MS

expirationMs Menetapkan masa berlaku partisi

Kolom

field Membuat tabel berpartisi berdasarkan kolom unit waktu

Jenis

jenis Membuat tabel berpartisi berdasarkan kolom unit waktu
Partisi Rentang

Kolom

field Menetapkan persyaratan filter partisi

Mulai Rentang

range.start Partisi rentang bilangan bulat

Akhir Rentang

range.end Partisi rentang bilangan bulat

Interval Rentang

range.interval Partisi rentang bilangan bulat

Waktu Habis Masa Berlaku

expirationTime Memperbarui waktu habis masa berlaku tabel

Perlindungan Penghapusan

Centang kotak untuk mencegah tabel ini dihapus oleh Terraform. Jika tidak dipilih, setelan Perlindungan Penghapusan tingkat komponen akan digunakan.

deletion_protection
Label

Kunci

label Menambahkan label ke tabel dan tampilan

Nilai

label Menambahkan label ke tabel dan tampilan

Nama Set Data

friendlyName Menamai set data

Deskripsi

description Memperbarui deskripsi set data

Region

location Lokasi BigQuery

Menghapus Konten saat Menghancurkan

Pilih untuk menghapus semua tabel dalam set data saat menghancurkan resource. Jika tidak dipilih, penghancuran resource akan gagal jika ada tabel.

delete_contents_on_destroy

Perlindungan Penghapusan

Jika dipilih, penerapan terraform atau penghancuran terraform yang akan menghapus tabel akan gagal. Jika tidak dipilih, tabel dapat dihapus. Anda dapat mengganti setelan ini menggunakan setelan perlindungan penghapusan untuk setiap tabel.

deletion_protection

MS Akhir Masa Berlaku Tabel Default

defaultTableExpirationMs Memperbarui waktu habis masa berlaku tabel default

MS Habis Masa Berlaku Partisi Default

defaultPartitionExpirationMs Memperbarui waktu habis masa berlaku partisi default

Jam Perjalanan Waktu Maksimum

maxTimeTravelHours Memperbarui periode perjalanan waktu

Model Penagihan Penyimpanan

StorageBillingModel Model penagihan penyimpanan

Kunci Enkripsi

kmsKeyName Enkripsi dalam penyimpanan
Label Set Data

Kunci

label Menambahkan label ke set data

Nilai

value Menambahkan label ke set data
Tag Resource

Kunci

resourceTags Definisi dan ID tag

Nilai

resourceTags Definisi dan ID tag
Tampilan

ID Penayangan

id Lihat penamaan

Deskripsi

description Pengantar tampilan

Kueri

query Memperbarui kueri SQL tampilan

Menggunakan Legacy SQL

useLegacySql Bermigrasi ke GoogleSQL
Label

Kunci

label Menambahkan label ke tabel dan tampilan

Nilai

label Menambahkan label ke tabel dan tampilan
Tampilan Terwujud

ID Penayangan

id Lihat penamaan

Deskripsi

description Pengantar tampilan terwujud

Kueri

query Dukungan kueri tampilan terwujud

Aktifkan Pembaruan

enableRefresh Memuat ulang tampilan terwujud

Interval Pembaruan MS

refreshIntervalMs Menetapkan batas frekuensi refresh

Pengelompokan

fields[] Tampilan terwujud cluster
Partisi Waktu

Masa Berlaku MS

expirationMs Menetapkan masa berlaku partisi

Kolom

field Membuat tabel berpartisi berdasarkan kolom unit waktu

Jenis

jenis Membuat tabel berpartisi berdasarkan kolom unit waktu

Filter Partisi yang Diperlukan

requirePartitionFilter Menetapkan persyaratan filter partisi
Partisi Rentang

Kolom

field Tampilan terwujud yang dipartisi

Mulai Rentang

range.start Partisi rentang bilangan bulat

Akhir Rentang

range.end Partisi rentang bilangan bulat

Interval Rentang

range.interval Partisi rentang bilangan bulat

Waktu Habis Masa Berlaku

expirationTime Memperbarui waktu habis masa berlaku tampilan

Masa Kedaluwarsa Maksimum

maxStaleness Menggunakan tampilan terwujud dengan opsi max_staleness
Label

Kunci

label Menambahkan label ke tabel dan tampilan

Nilai

label Menambahkan label ke tabel dan tampilan
Tabel Eksternal

ID tabel

id Pengantar tabel eksternal

Deskripsi

Deskripsi tabel eksternal. description

Deteksi otomatis

autodetect Menggunakan flag deteksi otomatis

Kompresi

compression Memuat data yang dikompresi dan tidak dikompresi

Abaikan Nilai Tidak Diketahui

ignoreUnknownValues Membuat file definisi tabel untuk sumber data eksternal

Jumlah Maksimum Record Cacat

maxBadRecords Membuat file definisi tabel untuk sumber data eksternal

Skema

skema Membuat file definisi tabel untuk sumber data eksternal

Format Sumber

sourceFormat Membuat file definisi tabel untuk sumber data eksternal

URI Sumber

sourceUris Membuat file definisi tabel untuk sumber data eksternal
Opsi CSV

Penawaran Harga

kutipan Memuat data CSV dari Cloud Storage

Izinkan Baris Tidak Rata

allowJaggedRows Memuat data CSV dari Cloud Storage

Izinkan Baris Baru dengan Tanda Kutip

allowQuotedNewlines Memuat data CSV dari Cloud Storage

Encoding

encoding Encoding

Pembatas Kolom

FieldDelimiter Pembatas kolom

Lewati Baris Terdepan

skipLeadingRows Opsi CSV
Opsi Google Spreadsheet

Range

range Membuat tabel eksternal Google Drive

Lewati Baris Terdepan

skipLeadingRows Membuat tabel eksternal Google Drive
Opsi Partisi Hive

Mode

mode Mode deteksi

Awalan URI Sumber

sourceUriPrefix Menggunakan data yang dipartisi secara eksternal

Waktu Habis Masa Berlaku

expirationTime Memperbarui waktu habis masa berlaku tabel

Masa Kedaluwarsa Maksimum

maxStaleness Mengelola penghentian tabel yang tidak berlaku

Perlindungan Penghapusan

Centang kotak untuk mencegah tabel ini dihapus oleh Terraform. Jika tidak dipilih, setelan Perlindungan Penghapusan tingkat komponen akan digunakan.

deletion_protection
Label

Kunci

label Menambahkan label ke tabel dan tampilan

Nilai

label Menambahkan label ke tabel dan tampilan
Rutinitas

ID Rutinitas

routineId Mengelola rutinitas

Jenis Rutinitas

routineType RoutineType

Bahasa

bahasa Bahasa

Isi Definisi

definitionBody Melihat isi rutinitas

Jenis Nilai yang Ditampilkan

returnType StandardSqlDataType

Deskripsi

Deskripsi rutinitas. description
Argumen

Nama

Nama argumen. name

Data Type

dataType StandardSqlDataType

Jenis Argumen

argumentKind ArgumentKind

Mode

mode Mode