Daftar template aturan sistem

Knowledge Catalog (sebelumnya Dataplex Universal Catalog) mendukung berbagai template aturan yang dapat Anda gunakan untuk menentukan dan mengotomatiskan proses kualitas data dan validasi data. Menerapkan template ini adalah bagian penting dari tata kelola data, yang memastikan bahwa set data tetap akurat dan konsisten.

Untuk mengidentifikasi template mana yang akan digunakan, Anda dapat melakukan pembuatan profil data pada resource Anda untuk mengidentifikasi potensi masalah kualitas. Setelah mengidentifikasi pemeriksaan kualitas yang diperlukan, Anda dapat memilih template yang sesuai dari halaman ini untuk menentukan aturan bagi resource Anda.

Halaman ini mencantumkan template aturan sistem yang tersedia yang dapat Anda gunakan di wilayah mana pun.

Bentuk tabel

Nama Deskripsi
Column Count Equality Expectation Aturan agregasi yang mengevaluasi apakah jumlah kolom dalam tabel sama dengan nilai yang ditentukan. Aturan ini memerlukan izin bigquery.tables.get, bigquery.tables.list, dan bigquery.datasets.get pada tabel dan set data yang dikueri.
Rentang Jumlah Kolom yang Diharapkan Aturan agregat yang mengevaluasi apakah jumlah kolom dalam tabel berada dalam rentang yang ditentukan. Aturan ini memerlukan izin bigquery.tables.get, bigquery.tables.list, dan bigquery.datasets.get pada tabel dan set data yang dikueri.
Ekspektasi Keberadaan Kolom Aturan agregat yang mengevaluasi apakah kolom tertentu ada dalam tabel. Aturan ini memerlukan izin bigquery.tables.get, bigquery.tables.list, dan bigquery.datasets.get pada tabel dan set data yang dikueri.
Ekspektasi Keaktualan Aturan gabungan yang mengevaluasi apakah data terbaru dalam kolom lebih baru daripada interval yang ditentukan.
Ekspektasi Keaktualan yang Dikelompokkan Aturan agregat yang mengevaluasi apakah data yang dikelompokkan terbaru dalam kolom lebih baru daripada interval yang ditentukan.
Ekspektasi Kecocokan Skema yang Diurutkan Aturan gabungan yang mengevaluasi apakah kolom yang diurutkan dalam tabel sama persis dengan daftar yang diurutkan dan ditentukan.
Ekspektasi Persamaan Jumlah Baris Aturan agregasi yang mengevaluasi apakah jumlah baris dalam tabel sama dengan nilai yang ditentukan.
Ekspektasi Rentang Jumlah Baris Aturan agregasi yang mengevaluasi apakah jumlah baris dalam tabel berada dalam rentang yang ditentukan.
Ekspektasi Pembatasan Skema Aturan agregat yang mengevaluasi apakah sekumpulan kolom dalam tabel berisi semua kolom dalam sekumpulan yang ditentukan. Aturan ini memerlukan izin bigquery.tables.get, bigquery.tables.list, dan bigquery.datasets.get pada tabel dan set data yang dikueri.
Ekspektasi Pengecualian Skema Aturan gabungan yang mengevaluasi apakah kolom dalam tabel tidak ada dalam set yang ditentukan. Aturan ini memerlukan izin bigquery.tables.get, bigquery.tables.list, dan bigquery.datasets.get pada tabel dan set data yang dikueri.
Ekspektasi Kecocokan Skema Aturan agregat yang mengevaluasi apakah kolom dalam tabel sama persis dengan set yang ditentukan. Aturan ini memerlukan izin bigquery.tables.get, bigquery.tables.list, dan bigquery.datasets.get pada tabel dan set data yang dikueri.
Ekspektasi Kesamaan Gabungan Perbandingan Tabel Aturan gabungan yang mengevaluasi apakah hasil ekspresi gabungan sama antara tabel saat ini dan tabel referensi tertentu.
Ekspektasi Rentang Gabungan Perbandingan Tabel Aturan agregat yang mengevaluasi apakah hasil ekspresi agregat pada tabel saat ini berbeda dari tabel referensi lebih dari toleransi yang ditentukan.
Table Comparison Row Count Equality Expectation Aturan gabungan yang mengevaluasi apakah jumlah baris dalam tabel saat ini sama dengan jumlah baris dalam tabel referensi yang ditentukan, dengan pemfilteran baris opsional sebelum penghitungan.
Ekspektasi Kesamaan Faktor Jumlah Baris Perbandingan Tabel Aturan gabungan yang mengevaluasi apakah jumlah baris dalam tabel saat ini sama dengan faktor jumlah baris dalam tabel referensi yang ditentukan, dengan pemfilteran baris opsional sebelum penghitungan.

Nilai yang tidak ada, nilai unik, dan jenis

Nama Deskripsi
Ekspektasi Jenis Kolom Aturan agregasi yang mengevaluasi apakah tipe data kolom cocok dengan jenis yang ditentukan. Aturan ini memerlukan izin bigquery.tables.get, bigquery.tables.list, dan bigquery.datasets.get pada tabel dan set data yang dikueri.
Ekspektasi Daftar Jenis Kolom Aturan agregat yang mengevaluasi apakah jenis data kolom berada dalam set yang ditentukan. Aturan ini memerlukan izin bigquery.tables.get, bigquery.tables.list, dan bigquery.datasets.get pada tabel dan set data yang dikueri.
Ekspektasi Non-Null Aturan tingkat baris yang mengevaluasi apakah setiap nilai kolom tidak null.
Ekspektasi Null Aturan tingkat baris yang mengevaluasi apakah setiap nilai kolom adalah null.
Ekspektasi Huruf String Aturan tingkat baris yang mengevaluasi apakah setiap string nilai kolom cocok dengan huruf kapital yang ditentukan.
Ekspektasi Keunikan Aturan tingkat baris yang mengevaluasi apakah setiap nilai kolom unik.

Set dan rentang

Nama Deskripsi
Menurunkan Ekspektasi Aturan agregasi yang mengevaluasi apakah nilai dalam kolom menurun. Nilai NULL akan diabaikan. Menampilkan baris pertama yang tidak memenuhi ekspektasi.
Meningkatkan Ekspektasi Aturan agregat yang mengevaluasi apakah nilai dalam kolom meningkat. Nilai NULL akan diabaikan. Menampilkan baris pertama yang tidak memenuhi ekspektasi.
Ekspektasi Rentang Aturan tingkat baris yang mengevaluasi apakah setiap nilai kolom berada dalam rentang yang ditentukan.
Ekspektasi Set Referensi Aturan tingkat baris yang mengevaluasi apakah setiap nilai kolom disertakan dalam set rujukan yang ditentukan.
Menetapkan Ekspektasi Pengecualian Aturan tingkat baris yang mengevaluasi apakah setiap nilai kolom tidak tercakup dalam set yang ditentukan.
Menentukan Ekspektasi Aturan tingkat baris yang mengevaluasi apakah setiap nilai kolom dimuat oleh set yang ditentukan.

Pencocokan string

Nama Deskripsi
Ekspektasi Pengecualian Pola Aturan tingkat baris yang mengevaluasi apakah setiap nilai kolom tidak cocok dengan pola LIKE SQL yang ditentukan.
Daftar Ekspektasi Pengecualian Pola Aturan tingkat baris yang mengevaluasi apakah setiap nilai kolom tidak cocok dengan pola LIKE SQL yang ditentukan.
Ekspektasi Pola Aturan tingkat baris yang mengevaluasi apakah setiap nilai kolom cocok dengan pola SQL LIKE yang ditentukan.
Daftar Ekspektasi Pola Aturan tingkat baris yang mengevaluasi apakah setiap nilai kolom cocok dengan setidaknya satu pola SQL LIKE yang ditentukan.
Ekspektasi Pengecualian Regex Aturan tingkat baris yang mengevaluasi apakah setiap nilai kolom tidak cocok dengan ekspresi reguler yang ditentukan.
Daftar Ekspektasi Pengecualian Regex Aturan tingkat baris yang mengevaluasi apakah setiap nilai kolom tidak cocok dengan ekspresi reguler yang ditentukan.
Ekspektasi Regex Aturan tingkat baris yang mengevaluasi apakah setiap nilai kolom cocok dengan ekspresi reguler yang ditentukan.
Daftar Ekspektasi Regex Aturan tingkat baris yang mengevaluasi apakah setiap nilai kolom cocok dengan setidaknya satu ekspresi reguler yang ditentukan.
Ekspektasi Persamaan Panjang String Aturan tingkat baris yang mengevaluasi apakah panjang string setiap nilai kolom sama dengan nilai yang ditentukan.
Ekspektasi Rentang Panjang String Aturan tingkat baris yang mengevaluasi apakah panjang string nilai setiap kolom berada dalam rentang yang ditentukan.

Fungsi agregat

Nama Deskripsi
Ekspektasi Pembatasan Nilai Berbeda Aturan agregasi yang mengevaluasi apakah kumpulan nilai kolom unik berisi semua nilai dalam kumpulan yang ditentukan.
Ekspektasi Kesamaan Jumlah Nilai Unik Aturan agregasi yang mengevaluasi apakah jumlah nilai berbeda dalam kolom sama dengan nilai yang ditentukan.
Ekspektasi Rentang Jumlah Nilai Berbeda Aturan agregasi yang mengevaluasi apakah jumlah nilai berbeda dalam kolom berada dalam rentang yang ditentukan.
Nilai Berbeda Sesuai Harapan Aturan agregat yang mengevaluasi apakah kumpulan nilai kolom unik sama persis dengan kumpulan yang ditentukan.
Ekspektasi Proporsi Nilai Berbeda Aturan agregasi yang mengevaluasi apakah proporsi nilai unik dalam kolom (yaitu, jumlah nilai unik / jumlah total baris) berada dalam rentang yang ditentukan.
Ekspektasi Kumpulan Nilai Unik Aturan agregat yang mengevaluasi apakah setiap nilai kolom yang berbeda terdapat dalam set yang ditentukan.
Ekspektasi Jangkauan Maksimum Aturan gabungan yang mengevaluasi apakah nilai maksimum kolom berada dalam rentang yang ditentukan.
Ekspektasi Rentang Rata-Rata Aturan agregasi yang mengevaluasi apakah rata-rata kolom berada dalam rentang yang ditentukan. Jika jenis floating point ditampilkan, hasil fungsi AVG() bersifat non-deterministik.
Ekspektasi Rentang Median Aturan agregat yang mengevaluasi apakah median kolom berada dalam rentang yang ditentukan.
Ekspektasi Rentang Min Aturan gabungan yang mengevaluasi apakah nilai minimum kolom berada dalam rentang yang ditentukan.
Ekspektasi Rentang Mode Aturan agregat yang mengevaluasi apakah semua mode kolom (nilai yang paling sering) berada dalam rentang yang ditentukan. Jika ada beberapa mode, setiap mode akan diperiksa terhadap rentang dan mode yang gagal akan ditampilkan.
Ekspektasi Set Mode Aturan agregat yang mengevaluasi apakah semua modus kolom (nilai yang paling sering muncul) berada dalam set yang ditentukan. Nilai NULL diabaikan saat menghitung modus. Jika ada beberapa mode dengan frekuensi tertinggi yang sama, setiap mode akan diperiksa berdasarkan set dan mode yang gagal akan ditampilkan dalam array.
Ekspektasi Rentang Kuantil Aturan agregat yang mengevaluasi apakah nilai pada kuantil yang ditentukan untuk kolom berada dalam rentang yang ditentukan.
Ekspektasi Rentang Standard Deviation Aturan agregat yang mengevaluasi apakah simpangan baku kolom berada dalam rentang yang ditentukan.
Ekspektasi Rentang Jumlah Aturan agregasi yang mengevaluasi apakah jumlah kolom berada dalam rentang yang ditentukan. Jika jenis floating point ditampilkan, hasil fungsi SUM() bersifat non-deterministik.
Ekspektasi Kesamaan Jumlah Nilai Unik Perbandingan Tabel Aturan agregat yang mengevaluasi apakah jumlah nilai unik dalam kolom tertentu sama antara tabel saat ini dan tabel referensi.

Multi-kolom

Nama Deskripsi
Ekspektasi Persamaan Perbandingan Kolom Aturan tingkat baris yang mengevaluasi apakah nilai di kolom A sama dengan nilai di kolom B untuk setiap baris.
Perbandingan Kolom Ekspektasi Lebih Besar Aturan tingkat baris yang mengevaluasi apakah nilai di kolom A lebih besar daripada nilai di kolom B untuk setiap baris.
Ekspektasi Set Pasangan Kolom Aturan agregasi yang mengevaluasi apakah nilai berpasangan dari kolom A dan kolom B tercakup dalam set yang ditentukan.
Ekspektasi Kesamaan Jumlah Multi-Kolom Aturan agregasi yang mengevaluasi apakah jumlah semua baris di seluruh daftar kolom yang ditentukan sama dengan nilai yang ditentukan. Jika jenis floating point ditampilkan, hasil fungsi SUM() bersifat non-deterministik.
Ekspektasi Keunikan Multi-Kolom Aturan tingkat baris yang mengevaluasi apakah kombinasi nilai di seluruh daftar kolom yang ditentukan bersifat unik untuk setiap baris (misalnya, kunci utama multi-kolom).
Ekspektasi Keunikan Kolom Catatan Aturan tingkat baris yang mengevaluasi apakah nilai di seluruh daftar kolom yang ditentukan bersifat unik dalam setiap data (baris). Perhatikan bahwa data dapat diduplikasi.

Fungsi distribusi

Nama Deskripsi
Ekspektasi Kelengkapan Bagian Tanggal Aturan gabungan yang mengevaluasi apakah tabel memiliki data untuk setiap interval (misalnya, setiap hari) dalam rentang tanggal.
Ekspektasi Nilai Standar Deviasi Aturan tingkat baris yang mengevaluasi apakah setiap nilai kolom berada dalam jumlah tertentu dari standar deviasi dari rata-rata kolom.

Kondisi umum

Nama Deskripsi
Ekspektasi Kondisi Baris Aturan tingkat baris yang mengevaluasi apakah setiap baris dalam tabel memenuhi kondisi yang ditentukan.
SQL Assertion Aturan gabungan yang mengevaluasi jumlah baris yang ditampilkan untuk pernyataan yang diberikan. Jika ada baris yang ditampilkan, aturan ini akan gagal.
Ekspektasi Kondisi Tabel Aturan agregat yang mengevaluasi apakah ekspresi yang diberikan bernilai benar untuk tabel.

Langkah berikutnya