Dataplex Universal Catalog memungkinkan Anda mengidentifikasi karakteristik statistik umum (nilai umum, distribusi data, jumlah null) kolom di tabel BigQuery. Informasi ini membantu Anda memahami dan menganalisis data secara lebih efektif.
Untuk mengetahui informasi selengkapnya tentang pemindaian profil data Dataplex Universal Catalog, lihat bagian Tentang pembuatan profil data.
Sebelum memulai
Enable the Dataplex API.
Roles required to enable APIs
To enable APIs, you need the Service Usage Admin IAM
role (roles/serviceusage.serviceUsageAdmin), which
contains the serviceusage.services.enable permission. Learn how to grant
roles.
Peran yang diperlukan
Untuk mendapatkan izin yang diperlukan untuk membuat dan mengelola pemindaian profil data, minta administrator untuk memberi Anda peran IAM berikut pada resource Anda seperti project atau tabel:
-
Untuk membuat, menjalankan, memperbarui, dan menghapus pemindaian profil data:
Peran Dataplex DataScan Editor (
roles/dataplex.dataScanEditor) di project yang berisi pemindaian data. -
Untuk mengizinkan Katalog Universal Dataplex menjalankan pemindaian profil data terhadap data BigQuery, berikan peran berikut kepada akun layanan Katalog Universal Dataplex:
Peran Pengguna Tugas BigQuery (
roles/bigquery.jobUser) di project yang menjalankan pemindaian; Peran Pelihat Data BigQuery (roles/bigquery.dataViewer) di tabel yang dipindai. -
Untuk menjalankan pemindaian profil data untuk tabel eksternal BigQuery yang menggunakan data Cloud Storage:
berikan peran Storage Object Viewer (
roles/storage.objectViewer) dan Storage Legacy Bucket Reader (roles/storage.legacyBucketReader) kepada akun layanan Dataplex Universal Catalog di bucket Cloud Storage. -
Untuk melihat hasil, tugas, dan histori pemindaian profil data:
Peran Dataplex DataScan Viewer (
roles/dataplex.dataScanViewer) di project yang berisi pemindaian data. -
Untuk mengekspor hasil pemindaian profil data ke tabel BigQuery:
Peran BigQuery Data Editor (
roles/bigquery.dataEditor) di tabel. -
Untuk memublikasikan hasil pemindaian profil data ke Dataplex Universal Catalog:
Peran Dataplex Catalog Editor (
roles/dataplex.catalogEditor) di grup entri@bigquery. -
Untuk melihat hasil pemindaian profil data yang dipublikasikan di BigQuery pada tab Profil data:
Peran BigQuery Data Viewer (
roles/bigquery.dataViewer) pada tabel.
Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses ke project, folder, dan organisasi.
Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.
Izin yang diperlukan
Jika menggunakan peran khusus, Anda harus memberikan izin IAM berikut:
- Untuk membuat, menjalankan, memperbarui, dan menghapus pemindaian profil data:
dataplex.datascans.createdi project—BuatDataScandataplex.datascans.updatepada pemindaian data—Perbarui deskripsiDataScandataplex.datascans.deletepada pemindaian data—MenghapusDataScandataplex.datascans.runpada pemindaian data—JalankanDataScandataplex.datascans.getpada pemindaian data—Melihat detailDataScantanpa menyertakan hasildataplex.datascans.listdi project—MencantumkanDataScandataplex.dataScanJobs.getpada tugas pemindaian data—Membaca resource tugas DataScandataplex.dataScanJobs.listpada pemindaian data—Mencantumkan resource tugas DataScan dalam project
- Untuk mengizinkan Dataplex Universal Catalog menjalankan pemindaian profil data terhadap data BigQuery:
bigquery.jobs.createdi project—Menjalankan tugasbigquery.tables.getpada tabel—Mendapatkan metadata tabelbigquery.tables.getDatapada tabel—Mendapatkan data tabel
- Untuk menjalankan pemindaian profil data untuk tabel eksternal BigQuery yang menggunakan data Cloud Storage:
storage.buckets.getdi bucket—Membaca metadata bucketstorage.objects.getpada objek—Membaca data objek
- Untuk melihat hasil, tugas, dan histori pemindaian profil data:
dataplex.datascans.getDatapada pemindaian data—Melihat detailDataScantermasuk hasildataplex.datascans.listdi project—MencantumkanDataScandataplex.dataScanJobs.getpada tugas pemindaian data—Membaca resource tugas DataScandataplex.dataScanJobs.listpada pemindaian data—Mencantumkan resource tugas DataScan dalam project
- Untuk mengekspor hasil pemindaian profil data ke tabel BigQuery:
bigquery.tables.createpada set data—Buat tabelbigquery.tables.updateDatapada tabel—Menulis data ke tabel
- Untuk memublikasikan hasil pemindaian profil data ke Dataplex Universal Catalog:
dataplex.entryGroups.useDataProfileAspectpada grup entri—Memungkinkan pemindaian profil data Dataplex Universal Catalog menyimpan hasilnya ke Dataplex Universal Catalog- Selain itu, Anda memerlukan salah satu izin berikut:
bigquery.tables.updatepada tabel—Memperbarui metadata tabeldataplex.entries.updatepada entri—Memperbarui entri
- Untuk melihat hasil profil data yang dipublikasikan untuk tabel di BigQuery atau Dataplex Universal Catalog:
bigquery.tables.getpada tabel—Mendapatkan metadata tabelbigquery.tables.getDatapada tabel—Mendapatkan data tabel
Jika tabel menggunakan keamanan tingkat baris BigQuery, Dataplex Universal Catalog hanya dapat memindai baris yang terlihat oleh akun layanan Dataplex Universal Catalog. Untuk mengizinkan Dataplex Universal Catalog memindai semua baris, tambahkan akun layanannya ke filter baris dengan predikat TRUE.
Jika tabel menggunakan keamanan tingkat kolom BigQuery, maka Dataplex Universal Catalog memerlukan akses untuk memindai kolom yang dilindungi. Untuk memberikan akses, berikan peran
Data Catalog Fine-Grained Reader (roles/datacatalog.fineGrainedReader)
kepada akun layanan Dataplex Universal Catalog di semua tag kebijakan yang digunakan dalam tabel. Pengguna yang membuat atau memperbarui pemindaian
data juga memerlukan izin pada kolom yang dilindungi.
Memberikan peran ke akun layanan Dataplex Universal Catalog
Untuk menjalankan pemindaian profil data, Dataplex Universal Catalog menggunakan akun layanan yang memerlukan izin untuk menjalankan tugas BigQuery dan membaca data tabel BigQuery. Untuk memberikan peran yang diperlukan, ikuti langkah-langkah berikut:
Dapatkan alamat email akun layanan Dataplex Universal Catalog. Jika Anda belum membuat profil data atau pemindaian kualitas data di project ini sebelumnya, jalankan perintah
gcloudberikut untuk membuat identitas layanan:gcloud beta services identity create --service=dataplex.googleapis.comPerintah ini menampilkan email akun layanan, yang memiliki format berikut:
service-PROJECT_NUMBER@gcp-sa-dataplex.iam.gserviceaccount.com.Jika akun layanan sudah ada, Anda dapat menemukan emailnya dengan melihat akun utama dengan nama Dataplex di halaman IAM di konsol Google Cloud .
Berikan peran BigQuery Job User (
roles/bigquery.jobUser) kepada akun layanan di project Anda. Peran ini memungkinkan akun layanan menjalankan tugas BigQuery untuk pemindaian.gcloud projects add-iam-policy-binding PROJECT_ID \ --member="serviceAccount:service-PROJECT_NUMBER@gcp-sa-dataplex.iam.gserviceaccount.com" \ --role="roles/bigquery.jobUser"Ganti kode berikut:
PROJECT_ID: Google Cloud Project ID Anda.service-PROJECT_NUMBER@gcp-sa-dataplex.iam.gserviceaccount.com: email akun layanan Dataplex Universal Catalog.
Beri akun layanan peran BigQuery Data Viewer (
roles/bigquery.dataViewer) untuk setiap tabel yang ingin Anda buat profilnya. Peran ini memberikan akses hanya baca ke tabel.gcloud bigquery tables add-iam-policy-binding DATASET_ID.TABLE_ID \ --member="serviceAccount:service-PROJECT_NUMBER@gcp-sa-dataplex.iam.gserviceaccount.com" \ --role="roles/bigquery.dataViewer"Ganti kode berikut:
DATASET_ID: ID set data yang berisi tabel.TABLE_ID: ID tabel yang akan dibuat profilnya.service-PROJECT_NUMBER@gcp-sa-dataplex.iam.gserviceaccount.com: email akun layanan Dataplex Universal Catalog.Membuat pemindaian profil data
Konsol
Di konsol Google Cloud , buka halaman Pembuatan profil & kualitas data Dataplex Universal Catalog.
Klik Buat pemindaian profil data.
Opsional: Masukkan Nama tampilan.
Masukkan ID. Lihat Konvensi penamaan resource.
Opsional: Masukkan Deskripsi..
Di kolom Table, klik Browse. Pilih tabel yang akan dipindai, lalu klik Pilih.
Untuk tabel dalam set data multi-region, pilih region tempat pemindaian data akan dibuat.
Untuk menjelajahi tabel yang disusun dalam data lake Dataplex Universal Catalog, klik Jelajahi dalam Data Lake Dataplex.
Di kolom Cakupan, pilih Inkremental atau Seluruh data.
- Jika Anda memilih Data inkremental, di kolom Stempel waktu, pilih kolom berjenis
DATEatauTIMESTAMPdari tabel BigQuery yang bertambah saat data baru ditambahkan, dan yang dapat digunakan untuk mengidentifikasi data baru. Untuk tabel yang dipartisi pada kolom jenisDATEatauTIMESTAMP, sebaiknya gunakan kolom partisi sebagai kolom stempel waktu.
- Jika Anda memilih Data inkremental, di kolom Stempel waktu, pilih kolom berjenis
Opsional: Untuk memfilter data, lakukan salah satu hal berikut:
Untuk memfilter menurut baris, klik kotak centang Filter baris. Masukkan ekspresi SQL yang valid yang dapat digunakan dalam klausa
WHEREdalam sintaksis GoogleSQL. Misalnya:col1 >= 0.Filter dapat berupa kombinasi kondisi SQL di beberapa kolom. Misalnya:
col1 >= 0 AND col2 < 10.Untuk memfilter menurut kolom, centang kotak Filter kolom.
Untuk menyertakan kolom dalam pemindaian profil, di kolom Sertakan kolom, klik Jelajahi. Pilih kolom yang akan disertakan, lalu klik Pilih.
Untuk mengecualikan kolom dari pemindaian profil, di kolom Kecualikan kolom, klik Jelajahi. Pilih kolom yang akan dikecualikan, lalu klik Pilih.
Untuk menerapkan sampling ke pemindaian profil data, di daftar Ukuran sampling, pilih persentase sampling. Pilih nilai persentase yang berkisar antara 0,0% dan 100,0% dengan maksimal 3 digit desimal.
Untuk set data yang lebih besar, pilih persentase pengambilan sampel yang lebih rendah. Misalnya, untuk tabel 1 PB, jika Anda memasukkan nilai antara 0,1% dan 1,0%, profil data akan mengambil sampel data antara 1-10 TB.
Harus ada minimal 100 data dalam data yang diambil sampelnya untuk menampilkan hasil.
Untuk pemindaian data inkremental, pemindaian profil data menerapkan pengambilan sampel ke penambahan terbaru.
Opsional: Publikasikan hasil pemindaian profil data di halaman BigQuery dan Dataplex Universal Catalog di konsolGoogle Cloud untuk tabel sumber. Centang kotak Publikasikan hasil ke BigQuery dan Katalog Dataplex.
Anda dapat melihat hasil pemindaian terbaru di tab Profil data di halaman BigQuery dan Dataplex Universal Catalog untuk tabel sumber. Untuk mengizinkan pengguna mengakses hasil pemindaian yang dipublikasikan, lihat bagian Memberikan akses ke hasil pemindaian profil data dalam dokumen ini.
Opsi publikasi mungkin tidak tersedia dalam kasus berikut:
- Anda tidak memiliki izin yang diperlukan pada tabel.
- Pemindaian kualitas data lain ditetapkan untuk memublikasikan hasil.
Di bagian Jadwal, pilih salah satu opsi berikut:
Ulangi: Jalankan pemindaian profil data sesuai jadwal: per jam, harian, mingguan, bulanan, atau kustom. Tentukan seberapa sering pemindaian harus dijalankan dan pada pukul berapa. Jika Anda memilih kustom, gunakan format cron untuk menentukan jadwal.
On-demand: Jalankan pemindaian profil data sesuai permintaan.
Klik Lanjutkan.
Opsional: Ekspor hasil pemindaian ke tabel standar BigQuery. Di bagian Ekspor hasil pemindaian ke tabel BigQuery, lakukan hal berikut:
Di kolom Select BigQuery dataset, klik Browse. Pilih set data BigQuery untuk menyimpan hasil pemindaian profil data.
Di kolom Tabel BigQuery, tentukan tabel untuk menyimpan hasil pemindaian profil data. Jika Anda menggunakan tabel yang sudah ada, pastikan tabel tersebut kompatibel dengan skema tabel ekspor. Jika tabel yang ditentukan tidak ada, Dataplex Universal Catalog akan membuatnya untuk Anda.
Opsional: Tambahkan label. Label adalah key-value pair yang memungkinkan Anda mengelompokkan objek terkait secara bersamaan atau dengan Google Cloud resource lainnya.
Untuk membuat pemindaian, klik Buat.
Jika Anda menyetel jadwal ke on-demand, Anda juga dapat menjalankan pemindaian sekarang dengan mengklik Jalankan pemindaian.
gcloud
Untuk membuat pemindaian profil data, gunakan perintah
gcloud dataplex datascans create data-profile.Jika data sumber disusun dalam data lake Dataplex Universal Catalog, sertakan flag
--data-source-entity:gcloud dataplex datascans create data-profile DATASCAN \ --location=LOCATION \ --data-source-entity=DATA_SOURCE_ENTITY
Jika data sumber tidak diatur dalam data lake Dataplex Universal Catalog, sertakan flag
--data-source-resource:gcloud dataplex datascans create data-profile DATASCAN \ --location=LOCATION \ --data-source-resource=DATA_SOURCE_RESOURCE
Ganti variabel berikut:
DATASCAN: Nama pemindaian profil data.LOCATION: Region Google Cloud tempat pembuatan pemindaian profil data.DATA_SOURCE_ENTITY: Entitas Dataplex Universal Catalog yang berisi data untuk pemindaian profil data. Contoh,projects/test-project/locations/test-location/lakes/test-lake/zones/test-zone/entities/test-entity.DATA_SOURCE_RESOURCE: Nama resource yang berisi data untuk pemindaian profil data. Contoh,//bigquery.googleapis.com/projects/test-project/datasets/test-dataset/tables/test-table.
C#
C#
Sebelum mencoba contoh ini, ikuti petunjuk penyiapan C# di Panduan memulai Dataplex Universal Catalog menggunakan library klien. Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi C# API Dataplex Universal Catalog.
Untuk melakukan autentikasi ke Katalog Universal Dataplex, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal.
Go
Go
Sebelum mencoba contoh ini, ikuti petunjuk penyiapan Go di Panduan memulai Dataplex Universal Catalog menggunakan library klien. Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi Go API Dataplex Universal Catalog.
Untuk melakukan autentikasi ke Katalog Universal Dataplex, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal.
Java
Java
Sebelum mencoba contoh ini, ikuti petunjuk penyiapan Java di Panduan memulai Dataplex Universal Catalog menggunakan library klien. Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi Java API Dataplex Universal Catalog.
Untuk melakukan autentikasi ke Katalog Universal Dataplex, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal.
Python
Python
Sebelum mencoba contoh ini, ikuti petunjuk penyiapan Python di Panduan memulai Dataplex Universal Catalog menggunakan library klien. Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi Python API Dataplex Universal Catalog.
Untuk melakukan autentikasi ke Katalog Universal Dataplex, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal.
Ruby
Ruby
Sebelum mencoba contoh ini, ikuti petunjuk penyiapan Ruby di Panduan memulai Dataplex Universal Catalog menggunakan library klien. Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi Ruby API Dataplex Universal Catalog.
Untuk melakukan autentikasi ke Katalog Universal Dataplex, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal.
REST
Untuk membuat pemindaian profil data, gunakan metode
dataScans.create.Mengekspor skema tabel
Jika Anda ingin mengekspor hasil pemindaian profil data ke tabel BigQuery yang ada, pastikan tabel tersebut kompatibel dengan skema tabel berikut:
Nama kolom Jenis data kolom Nama sub-kolom (jika ada) Jenis data sub-bidang Mode Contoh data_profile_scan struct/recordresource_namestringnullable //dataplex.googleapis.com/projects/test-project/locations/europe-west2/datascans/test-datascanproject_idstringnullable test-projectlocationstringnullable us-central1data_scan_idstringnullable test-datascandata_source struct/recordresource_namestringnullable Kasus entitas:
//dataplex.googleapis.com/projects/test-project/locations/europe-west2/lakes/test-lake/zones/test-zone/entities/test-entityKasus tabel:
//bigquery.googleapis.com/projects/test-project/datasets/test-dataset/tables/test-tabledataplex_entity_project_idstringnullable test-projectdataplex_entity_project_numberintegernullable 123456789012dataplex_lake_idstringnullable (Hanya valid jika sumbernya adalah entitas)
test-lakedataplex_zone_idstringnullable (Hanya valid jika sumbernya adalah entitas)
test-zonedataplex_entity_idstringnullable (Hanya valid jika sumbernya adalah entitas)
test-entitytable_project_idstringnullable dataplex-tabletable_project_numberint64nullable 345678901234dataset_idstringnullable (Hanya valid jika sumbernya adalah tabel)
test-datasettable_idstringnullable (Hanya valid jika sumbernya adalah tabel)
test-tabledata_profile_job_id stringnullable caeba234-cfde-4fca-9e5b-fe02a9812e38data_profile_job_configuration jsontriggerstringnullable ondemand/scheduleincrementalbooleannullable true/falsesampling_percentfloatnullable (0-100)
20.0(menunjukkan 20%)row_filterstringnullable col1 >= 0 AND col2 < 10column_filterjsonnullable {"include_fields":["col1","col2"], "exclude_fields":["col3"]}job_labels jsonnullable {"key1":value1}job_start_time timestampnullable 2023-01-01 00:00:00 UTCjob_end_time timestampnullable 2023-01-01 00:00:00 UTCjob_rows_scanned integernullable 7500column_name stringnullable column-1column_type stringnullable stringcolumn_mode stringnullable repeatedpercent_null floatnullable (0,0-100,0)
20.0(menunjukkan 20%)percent_unique floatnullable (0,0-100,0)
92.5min_string_length integernullable (Hanya valid jika jenis kolom adalah string)
10max_string_length integernullable (Hanya valid jika jenis kolom adalah string)
4average_string_length floatnullable (Hanya valid jika jenis kolom adalah string)
7.2min_value floatnullable (Hanya valid jika jenis kolom adalah numerik - bilangan bulat/float) max_value floatnullable (Hanya valid jika jenis kolom adalah numerik - bilangan bulat/float) average_value floatnullable (Hanya valid jika jenis kolom adalah numerik - bilangan bulat/float) standard_deviation floatnullable (Hanya valid jika jenis kolom adalah numerik - bilangan bulat/float) quartile_lower integernullable (Hanya valid jika jenis kolom adalah numerik - bilangan bulat/float) quartile_median integernullable (Hanya valid jika jenis kolom adalah numerik - bilangan bulat/float) quartile_upper integernullable (Hanya valid jika jenis kolom adalah numerik - bilangan bulat/float) top_n struct/record - repeatedvaluestringnullable "4009"countintegernullable 20percentfloatnullable 10(menunjukkan 10%)Penyiapan ekspor tabel
Saat Anda mengekspor ke tabel BigQueryExport, ikuti panduan berikut:
- Untuk kolom
resultsTable, gunakan format://bigquery.googleapis.com/projects/{project-id}/datasets/{dataset-id}/tables/{table-id}. - Gunakan tabel standar BigQuery.
- Jika tabel tidak ada saat pemindaian dibuat atau diperbarui, Dataplex Universal Catalog akan membuat tabel untuk Anda.
- Secara default, tabel dipartisi pada kolom
job_start_timesetiap hari. - Jika Anda ingin tabel dipartisi dalam konfigurasi lain atau jika Anda tidak ingin partisi, buat ulang tabel dengan skema dan konfigurasi yang diperlukan, lalu berikan tabel yang telah dibuat sebelumnya sebagai tabel hasil.
- Pastikan tabel hasil berada di lokasi yang sama dengan tabel sumber.
- Jika VPC-SC dikonfigurasi di project, tabel hasil harus berada di perimeter VPC-SC yang sama dengan tabel sumber.
- Jika tabel diubah selama tahap eksekusi pemindaian, tugas yang sedang berjalan saat ini akan diekspor ke tabel hasil sebelumnya dan perubahan tabel akan berlaku mulai dari tugas pemindaian berikutnya.
- Jangan mengubah skema tabel. Jika Anda memerlukan kolom yang disesuaikan, buat tampilan pada tabel.
- Untuk mengurangi biaya, tetapkan waktu habis masa berlaku pada partisi berdasarkan kasus penggunaan Anda. Untuk mengetahui informasi selengkapnya, lihat cara menetapkan masa berlaku partisi.
Membuat beberapa pemindaian profil data
Anda dapat mengonfigurasi pemindaian profil data untuk beberapa tabel dalam set data BigQuery secara bersamaan menggunakan konsol Google Cloud .
Di konsol Google Cloud , buka halaman Pembuatan profil & kualitas data Dataplex Universal Catalog.
Klik Buat pemindaian profil data.
Pilih opsi Beberapa pemindaian profil data.
Masukkan awalan ID. Katalog Universal Dataplex otomatis membuat ID pemindaian menggunakan awalan yang diberikan dan akhiran unik.
Masukkan Deskripsi untuk semua pemindaian profil data.
Di kolom Dataset, klik Jelajahi. Pilih set data untuk memilih tabel. Klik Select.
Jika set data bersifat multi-regional, pilih Region tempat pembuatan pemindaian profil data.
Konfigurasi setelan umum untuk pemindaian:
Di kolom Cakupan, pilih Inkremental atau Seluruh data.
Untuk menerapkan sampling ke pemindaian profil data, di daftar Ukuran sampling, pilih persentase sampling.
Pilih nilai persentase antara 0,0% dan 100,0% dengan hingga 3 digit desimal.
Opsional: Publikasikan hasil pemindaian profil data di halaman BigQuery dan Dataplex Universal Catalog di konsolGoogle Cloud untuk tabel sumber. Centang kotak Publikasikan hasil ke BigQuery dan Katalog Dataplex.
Anda dapat melihat hasil pemindaian terbaru di tab Profil data di halaman BigQuery dan Dataplex Universal Catalog untuk tabel sumber. Untuk mengizinkan pengguna mengakses hasil pemindaian yang dipublikasikan, lihat bagian Memberi akses ke hasil pemindaian profil data dalam dokumen ini.
Di bagian Jadwal, pilih salah satu opsi berikut:
Ulangi: Jalankan pemindaian profil data sesuai jadwal: per jam, harian, mingguan, bulanan, atau kustom. Tentukan seberapa sering pemindaian harus dijalankan dan pada pukul berapa. Jika Anda memilih kustom, gunakan format cron untuk menentukan jadwal.
On-demand: Jalankan pemindaian profil data sesuai permintaan.
Klik Lanjutkan.
Di kolom Choose tables, klik Browse. Pilih satu atau beberapa tabel yang akan dipindai, lalu klik Pilih.
Klik Lanjutkan.
Opsional: Ekspor hasil pemindaian ke tabel standar BigQuery. Di bagian Ekspor hasil pemindaian ke tabel BigQuery, lakukan hal berikut:
Di kolom Select BigQuery dataset, klik Browse. Pilih set data BigQuery untuk menyimpan hasil pemindaian profil data.
Di kolom Tabel BigQuery, tentukan tabel untuk menyimpan hasil pemindaian profil data. Jika Anda menggunakan tabel yang sudah ada, pastikan tabel tersebut kompatibel dengan skema tabel ekspor. Jika tabel yang ditentukan tidak ada, Katalog Universal Dataplex akan membuatnya untuk Anda.
Dataplex Universal Catalog menggunakan tabel hasil yang sama untuk semua pemindaian profil data.
Opsional: Tambahkan label. Label adalah key-value pair yang memungkinkan Anda mengelompokkan objek terkait secara bersamaan atau dengan resource Google Cloud lainnya.
Untuk membuat pemindaian, klik Buat.
Jika menyetel jadwal ke on-demand, Anda juga dapat menjalankan pemindaian sekarang dengan mengklik Jalankan pemindaian.
Menjalankan pemindaian profil data
Konsol
-
Di konsol Google Cloud , buka halaman Pembuatan profil & kualitas data Dataplex Universal Catalog.
- Klik pemindaian profil data yang akan dijalankan.
- Klik Jalankan sekarang.
gcloud
Untuk menjalankan pemindaian profil data, gunakan perintah
gcloud dataplex datascans run:gcloud dataplex datascans run DATASCAN \ --location=LOCATION
Ganti variabel berikut:
DATASCAN: Nama pemindaian profil data.LOCATION: Region Google Cloud tempat pemindaian profil data dibuat.
C#
C#
Sebelum mencoba contoh ini, ikuti petunjuk penyiapan C# di Panduan memulai Dataplex Universal Catalog menggunakan library klien. Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi C# API Dataplex Universal Catalog.
Untuk melakukan autentikasi ke Katalog Universal Dataplex, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal.
Go
Go
Sebelum mencoba contoh ini, ikuti petunjuk penyiapan Go di Panduan memulai Dataplex Universal Catalog menggunakan library klien. Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi Go API Dataplex Universal Catalog.
Untuk melakukan autentikasi ke Katalog Universal Dataplex, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal.
Java
Java
Sebelum mencoba contoh ini, ikuti petunjuk penyiapan Java di Panduan memulai Dataplex Universal Catalog menggunakan library klien. Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi Java API Dataplex Universal Catalog.
Untuk melakukan autentikasi ke Katalog Universal Dataplex, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal.
Python
Python
Sebelum mencoba contoh ini, ikuti petunjuk penyiapan Python di Panduan memulai Dataplex Universal Catalog menggunakan library klien. Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi Python API Dataplex Universal Catalog.
Untuk melakukan autentikasi ke Katalog Universal Dataplex, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal.
Ruby
Ruby
Sebelum mencoba contoh ini, ikuti petunjuk penyiapan Ruby di Panduan memulai Dataplex Universal Catalog menggunakan library klien. Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi Ruby API Dataplex Universal Catalog.
Untuk melakukan autentikasi ke Katalog Universal Dataplex, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal.
REST
Untuk menjalankan pemindaian profil data, gunakan metode
dataScans.run.Melihat hasil pemindaian profil data
Konsol
Di konsol Google Cloud , buka halaman Pembuatan profil & kualitas data Dataplex Universal Catalog.
Klik nama pemindaian profil data.
Bagian Ringkasan menampilkan informasi tentang tugas terbaru, termasuk waktu pemindaian dijalankan, jumlah rekaman tabel yang dipindai, dan status tugas.
Bagian Konfigurasi pemindaian profil data menampilkan detail tentang pemindaian.
Untuk melihat informasi mendetail tentang tugas, seperti kolom tabel yang dipindai, statistik tentang kolom yang ditemukan dalam pemindaian, dan log tugas, klik tab Histori tugas. Kemudian, klik ID tugas.
gcloud
Untuk melihat hasil tugas pemindaian profil data, gunakan perintah
gcloud dataplex datascans jobs describe:gcloud dataplex datascans jobs describe JOB \ --location=LOCATION \ --datascan=DATASCAN \ --view=FULL
Ganti variabel berikut:
JOB: ID tugas pemindaian profil data.LOCATION: Region Google Cloud tempat pemindaian profil data dibuat.DATASCAN: Nama pemindaian profil data yang menjadi bagian dari pekerjaan.--view=FULL: Untuk melihat hasil tugas pemindaian, tentukanFULL.
C#
C#
Sebelum mencoba contoh ini, ikuti petunjuk penyiapan C# di Panduan memulai Dataplex Universal Catalog menggunakan library klien. Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi C# API Dataplex Universal Catalog.
Untuk melakukan autentikasi ke Katalog Universal Dataplex, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal.
Go
Go
Sebelum mencoba contoh ini, ikuti petunjuk penyiapan Go di Panduan memulai Dataplex Universal Catalog menggunakan library klien. Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi Go API Dataplex Universal Catalog.
Untuk melakukan autentikasi ke Katalog Universal Dataplex, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal.
Java
Java
Sebelum mencoba contoh ini, ikuti petunjuk penyiapan Java di Panduan memulai Dataplex Universal Catalog menggunakan library klien. Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi Java API Dataplex Universal Catalog.
Untuk melakukan autentikasi ke Katalog Universal Dataplex, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal.
Python
Python
Sebelum mencoba contoh ini, ikuti petunjuk penyiapan Python di Panduan memulai Dataplex Universal Catalog menggunakan library klien. Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi Python API Dataplex Universal Catalog.
Untuk melakukan autentikasi ke Katalog Universal Dataplex, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal.
Ruby
Ruby
Sebelum mencoba contoh ini, ikuti petunjuk penyiapan Ruby di Panduan memulai Dataplex Universal Catalog menggunakan library klien. Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi Ruby API Dataplex Universal Catalog.
Untuk melakukan autentikasi ke Katalog Universal Dataplex, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal.
REST
Untuk melihat hasil pemindaian profil data, gunakan metode
dataScans.get.Lihat hasil yang dipublikasikan
Jika hasil pemindaian profil data dipublikasikan ke halaman BigQuery dan Dataplex Universal Catalog di konsol Google Cloud , Anda dapat melihat hasil pemindaian terbaru di tab Profil data tabel sumber.
Di konsol Google Cloud , buka halaman Penelusuran Dataplex Universal Catalog.
Telusuri, lalu pilih tabel.
Klik tab Profil data.
Hasil terbaru yang dipublikasikan ditampilkan.
Melihat tugas pemindaian profil data terbaru
Konsol
Di konsol Google Cloud , buka halaman Pembuatan profil & kualitas data Dataplex Universal Catalog.
Klik nama pemindaian profil data.
Klik tab Hasil tugas terbaru.
Tab Hasil tugas terbaru, jika ada setidaknya satu proses yang berhasil diselesaikan, memberikan informasi tentang tugas terbaru. Tab ini mencantumkan kolom tabel yang dipindai dan statistik tentang kolom yang ditemukan dalam pemindaian.
gcloud
Untuk melihat pemindaian profil data yang berhasil terbaru, gunakan perintah
gcloud dataplex datascans describe:gcloud dataplex datascans describe DATASCAN \ --location=LOCATION \ --view=FULL
Ganti variabel berikut:
DATASCAN: Nama pemindaian profil data yang akan dilihat untuk tugas terbaru.LOCATION: Region Google Cloud tempat pemindaian profil data dibuat.--view=FULL: Untuk melihat hasil tugas pemindaian, tentukanFULL.
REST
Untuk melihat tugas pemindaian terbaru, gunakan metode
dataScans.get.Lihat hasil pemindaian historis
Dataplex Universal Catalog menyimpan histori pemindaian profil data dari 300 tugas terakhir atau selama satu tahun terakhir, mana saja yang terjadi lebih dulu.
Konsol
Di konsol Google Cloud , buka halaman Pembuatan profil & kualitas data Dataplex Universal Catalog.
Klik nama pemindaian profil data.
Klik tab Histori tugas.
Tab Histori tugas memberikan informasi tentang tugas sebelumnya, seperti jumlah catatan yang dipindai di setiap tugas, status tugas, dan waktu tugas dijalankan.
Untuk melihat informasi mendetail tentang tugas, klik salah satu tugas di kolom ID Tugas.
gcloud
Untuk melihat tugas pemindaian profil data historis, gunakan perintah
gcloud dataplex datascans jobs list:gcloud dataplex datascans jobs list \ --location=LOCATION \ --datascan=DATASCAN
Ganti variabel berikut:
LOCATION: Region Google Cloud tempat pemindaian profil data dibuat.DATASCAN: Nama pemindaian profil data untuk melihat tugas.
C#
C#
Sebelum mencoba contoh ini, ikuti petunjuk penyiapan C# di Panduan memulai Dataplex Universal Catalog menggunakan library klien. Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi C# API Dataplex Universal Catalog.
Untuk melakukan autentikasi ke Katalog Universal Dataplex, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal.
Go
Go
Sebelum mencoba contoh ini, ikuti petunjuk penyiapan Go di Panduan memulai Dataplex Universal Catalog menggunakan library klien. Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi Go API Dataplex Universal Catalog.
Untuk melakukan autentikasi ke Katalog Universal Dataplex, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal.
Java
Java
Sebelum mencoba contoh ini, ikuti petunjuk penyiapan Java di Panduan memulai Dataplex Universal Catalog menggunakan library klien. Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi Java API Dataplex Universal Catalog.
Untuk melakukan autentikasi ke Katalog Universal Dataplex, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal.
Python
Python
Sebelum mencoba contoh ini, ikuti petunjuk penyiapan Python di Panduan memulai Dataplex Universal Catalog menggunakan library klien. Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi Python API Dataplex Universal Catalog.
Untuk melakukan autentikasi ke Katalog Universal Dataplex, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal.
Ruby
Ruby
Sebelum mencoba contoh ini, ikuti petunjuk penyiapan Ruby di Panduan memulai Dataplex Universal Catalog menggunakan library klien. Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi Ruby API Dataplex Universal Catalog.
Untuk melakukan autentikasi ke Katalog Universal Dataplex, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal.
REST
Untuk melihat tugas pemindaian profil data historis, gunakan metode
dataScans.jobs.list.Memberikan akses ke hasil pemindaian profil data
Agar pengguna di organisasi Anda dapat melihat hasil pemindaian, lakukan hal berikut:
Di konsol Google Cloud , buka halaman Pembuatan profil & kualitas data Dataplex Universal Catalog.
Klik pemindaian kualitas data yang hasilnya ingin Anda bagikan.
Klik tab Permissions.
Lakukan tindakan berikut:
- Untuk memberikan akses ke akun utama, klik Grant access. Berikan peran Dataplex DataScan DataViewer kepada akun utama yang terkait.
- Untuk menghapus akses dari akun utama, pilih akun utama yang ingin Anda hapus peran Dataplex DataScan DataViewer-nya. Klik Hapus akses, lalu konfirmasi saat diminta.
Mengelola pemindaian profil data untuk tabel tertentu
Langkah-langkah dalam dokumen ini menunjukkan cara mengelola pemindaian profil data di seluruh project Anda dengan menggunakan halaman Pembuatan profil & kualitas data Dataplex Universal Catalog di konsol Google Cloud .
Anda juga dapat membuat dan mengelola pemindaian profil data saat bekerja dengan tabel tertentu. Di konsol Google Cloud , pada halaman Dataplex Universal Catalog untuk tabel, gunakan tab Profil data. Lakukan tindakan berikut:
Di konsol Google Cloud , buka halaman Penelusuran Dataplex Universal Catalog.
Telusuri, lalu pilih tabel.
Klik tab Profil data.
Bergantung pada apakah tabel memiliki pemindaian profil data yang hasilnya dipublikasikan, Anda dapat menggunakan pemindaian profil data tabel dengan cara berikut:
Hasil pemindaian profil data dipublikasikan: hasil pemindaian terbaru yang dipublikasikan ditampilkan di halaman.
Untuk mengelola pemindaian profil data untuk tabel ini, klik Pemindaian profil data, lalu pilih salah satu opsi berikut:
Buat pemindaian baru: membuat pemindaian profil data baru. Untuk mengetahui informasi selengkapnya, lihat bagian Membuat pemindaian profil data dalam dokumen ini. Saat Anda membuat pemindaian dari halaman detail tabel, tabel akan dipilih sebelumnya.
Jalankan sekarang: jalankan pemindaian.
Edit konfigurasi pemindaian: edit setelan termasuk nama tampilan, filter, ukuran pengambilan sampel, dan jadwal.
Mengelola izin pemindaian: mengontrol siapa yang dapat mengakses hasil pemindaian. Untuk mengetahui informasi selengkapnya, lihat bagian Memberikan akses ke hasil pemindaian profil data dalam dokumen ini.
Lihat hasil historis: melihat informasi mendetail tentang tugas pemindaian profil data sebelumnya. Untuk mengetahui informasi selengkapnya, lihat bagian Melihat hasil pemindaian profil data dan Melihat hasil pemindaian historis dalam dokumen ini.
Lihat semua pemindaian: melihat daftar pemindaian profil data yang berlaku untuk tabel ini.
Hasil pemindaian profil data tidak dipublikasikan: klik menu di samping Profil data cepat, lalu pilih salah satu opsi berikut:
Menyesuaikan pembuatan profil data: buat pemindaian profil data baru. Untuk mengetahui informasi selengkapnya, lihat bagian Membuat pemindaian profil data dalam dokumen ini. Saat Anda membuat pemindaian dari halaman detail tabel, tabel akan dipilih sebelumnya.
Lihat profil sebelumnya: melihat daftar pemindaian profil data yang berlaku untuk tabel ini.
Memperbarui pemindaian profil data
Konsol
Di konsol Google Cloud , buka halaman Pembuatan profil & kualitas data Dataplex Universal Catalog.
Klik nama pemindaian profil data.
Klik Edit, lalu edit nilai.
Klik Simpan.
gcloud
Untuk memperbarui pemindaian profil data, gunakan perintah
gcloud dataplex datascans update data-profile:gcloud dataplex datascans update data-profile DATASCAN \ --location=LOCATION \ --description=DESCRIPTION
Ganti variabel berikut:
DATASCAN: Nama pemindaian profil data yang akan diperbarui.LOCATION: Region Google Cloud tempat pemindaian profil data dibuat.DESCRIPTION: Deskripsi baru untuk pemindaian profil data.
C#
C#
Sebelum mencoba contoh ini, ikuti petunjuk penyiapan C# di Panduan memulai Dataplex Universal Catalog menggunakan library klien. Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi C# API Dataplex Universal Catalog.
Untuk melakukan autentikasi ke Katalog Universal Dataplex, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal.
Go
Go
Sebelum mencoba contoh ini, ikuti petunjuk penyiapan Go di Panduan memulai Dataplex Universal Catalog menggunakan library klien. Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi Go API Dataplex Universal Catalog.
Untuk melakukan autentikasi ke Katalog Universal Dataplex, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal.
Java
Java
Sebelum mencoba contoh ini, ikuti petunjuk penyiapan Java di Panduan memulai Dataplex Universal Catalog menggunakan library klien. Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi Java API Dataplex Universal Catalog.
Untuk melakukan autentikasi ke Katalog Universal Dataplex, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal.
Python
Python
Sebelum mencoba contoh ini, ikuti petunjuk penyiapan Python di Panduan memulai Dataplex Universal Catalog menggunakan library klien. Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi Python API Dataplex Universal Catalog.
Untuk melakukan autentikasi ke Katalog Universal Dataplex, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal.
Ruby
Ruby
Sebelum mencoba contoh ini, ikuti petunjuk penyiapan Ruby di Panduan memulai Dataplex Universal Catalog menggunakan library klien. Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi Ruby API Dataplex Universal Catalog.
Untuk melakukan autentikasi ke Katalog Universal Dataplex, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal.
REST
Untuk mengedit pemindaian profil data, gunakan metode
dataScans.patch.Menghapus pemindaian profil data
Konsol
Di konsol Google Cloud , buka halaman Pembuatan profil & kualitas data Dataplex Universal Catalog.
Klik hasil pemindaian yang ingin Anda hapus.
Klik Hapus, lalu konfirmasi saat diminta.
gcloud
Untuk menghapus pemindaian profil data, gunakan perintah
gcloud dataplex datascans delete:gcloud dataplex datascans delete DATASCAN \ --location=LOCATION --async
Ganti variabel berikut:
DATASCAN: Nama pemindaian profil data yang akan dihapus.LOCATION: Region Google Cloud tempat pemindaian profil data dibuat.
REST
Untuk menghapus pemindaian profil data, gunakan metode
dataScans.delete.Apa langkah selanjutnya?
- Pelajari cara mempelajari data Anda dengan membuat insight data.
- Pelajari pembuatan profil data.
- Pelajari kualitas data otomatis.
- Pelajari cara menggunakan kualitas data otomatis.