Membuat profil data Anda

Pemindaian profil data membantu Anda lebih memahami data dengan menganalisis karakteristik statistiknya, seperti nilai rata-rata, unik, dan maksimum. Dengan menggunakan pemindaian yang didukung Knowledge Catalog ini, Anda dapat menemukan insight mendalam tentang set data dan dengan cepat menetapkan aturan rekomendasi untuk pemeriksaan kualitas data.

Untuk mengetahui informasi selengkapnya tentang pembuatan profil data, lihat Tentang pembuatan profil data.

Tips: Dokumen ini menjelaskan cara mengelola pemindaian profil data di seluruh project Anda. Anda juga dapat membuat dan mengelola pemindaian profil data saat bekerja dengan tabel tertentu. Untuk mengetahui informasi selengkapnya, lihat Mengelola pemindaian profil data untuk tabel tertentu.

Sebelum memulai

Aktifkan Dataplex API, jika belum diaktifkan.

Peran yang diperlukan untuk mengaktifkan API

Untuk mengaktifkan API, Anda memerlukan izin serviceusage.services.enable. Jika Anda membuat project, kemungkinan Anda sudah memiliki izin ini melalui peran Pemilik (roles/owner). Jika tidak, Anda bisa mendapatkan izin ini melalui peran Service Usage Admin (roles/serviceusage.serviceUsageAdmin). Pelajari cara memberikan peran.

Mengaktifkan API

Peran yang diperlukan

Bagian ini menjelaskan peran dan izin IAM yang diperlukan untuk menggunakan pemindaian profil data Knowledge Catalog.

Peran dan izin pengguna

Untuk mendapatkan izin yang Anda perlukan untuk membuat dan mengelola pemindaian profil data, minta administrator untuk memberi Anda peran IAM berikut:

• Membuat, menjalankan, memperbarui, dan menghapus pemindaian profil data: Dataplex DataScan Editor (roles/dataplex.dataScanEditor) pada project yang berisi pemindaian data
• Melihat hasil, tugas, dan histori pemindaian profil data: Dataplex DataScan Viewer (roles/dataplex.dataScanViewer) pada project yang berisi pemindaian data
• Memublikasikan hasil pemindaian profil data ke Knowledge Catalog: Dataplex Catalog Editor (roles/dataplex.catalogEditor) di grup entri @bigquery
• Melihat hasil pemindaian profil data yang dipublikasikan di BigQuery pada tab Data profile: BigQuery Data Viewer (roles/bigquery.dataViewer) pada tabel
• Menjalankan pemindaian profil data:
  • BigQuery Job User (roles/bigquery.jobUser) pada project yang menjalankan pemindaian (semua jenis tabel)
  • Tampilan data BigQuery (roles/bigquery.dataViewer) pada tabel BigQuery yang sedang dipindai
• Menjalankan pemindaian profil data terhadap tabel eksternal BigQuery yang menggunakan data Cloud Storage:
  • Storage Object Viewer (roles/storage.objectViewer) di bucket Cloud Storage (Cloud Storage, Apache Hive, dan katalog REST Iceberg)
  • Storage Legacy Bucket Reader (roles/storage.legacyBucketReader) di bucket Cloud Storage
• Menjalankan pemindaian profil data untuk tabel Iceberg REST Catalog, SAP BDC Delta Lake, dan Apache Hive di Lakehouse Google Cloud : BigLake Viewer (roles/biglake.viewer) pada tabel yang sedang dipindai
• Mengekspor hasil pemindaian profil data ke tabel BigQuery: BigQuery Data Editor (roles/bigquery.dataEditor) pada tabel

Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses ke project, folder, dan organisasi.

Peran yang telah ditetapkan ini berisi izin yang diperlukan untuk membuat dan mengelola pemindaian profil data. Untuk melihat izin yang benar-benar diperlukan, perluas bagian Izin yang diperlukan:

Izin yang diperlukan

Izin berikut diperlukan untuk membuat dan mengelola pemindaian profil data:

• Membuat, menjalankan, mengupdate, dan menghapus pemindaian profil data:
  • dataplex.datascans.create di project
  • dataplex.datascans.update pada pemindaian data
  • dataplex.datascans.delete pada pemindaian data
  • dataplex.datascans.run pada pemindaian data
  • dataplex.datascans.get pada pemindaian data
  • dataplex.datascans.list di project
  • dataplex.dataScanJobs.get pada tugas pemindaian data
  • dataplex.dataScanJobs.list pada pemindaian data
• Melihat hasil, tugas, dan histori pemindaian profil data:
  • dataplex.datascans.getData pada pemindaian data
  • dataplex.datascans.list di project
  • dataplex.dataScanJobs.get pada tugas pemindaian data
  • dataplex.dataScanJobs.list pada pemindaian data
• Publikasikan hasil pemindaian profil data ke Knowledge Catalog:
  • dataplex.entryGroups.useDataProfileAspect pada grup entri
  • bigquery.tables.update pada tabel
  • dataplex.entries.update saat masuk
• Lihat hasil profil data yang dipublikasikan untuk tabel di BigQuery atau Knowledge Catalog:
  • bigquery.tables.get pada tabel
  • bigquery.tables.getData pada tabel

Anda mungkin juga bisa mendapatkan izin ini dengan peran khusus atau peran bawaan lainnya.

Peran dan izin akun layanan Knowledge Catalog

Apa pun identitas eksekusi yang Anda pilih (Agen Layanan Knowledge Catalog default, akun layanan kustom, atau Kredensial Pengguna Akhir), identitas tersebut memerlukan peran dan izin berikut untuk menjalankan tugas pemindaian profil data di backend dan mengekspor hasil.

Catatan: Jika Anda memindai resource BigQuery yang dienkripsi CMEK, Anda juga harus memberikan peran roles/cloudkms.cryptoKeyEncrypterDecrypter kepada agen layanan yang relevan. Untuk mengetahui informasi selengkapnya, lihat Izin CMEK DataScan.

Untuk memastikan bahwa identitas eksekusi memiliki izin yang diperlukan untuk menjalankan pemindaian profil data dan mengekspor hasil, minta administrator untuk memberikan peran IAM berikut kepada identitas eksekusi:

Penting: Anda harus memberikan peran ini ke identitas eksekusi, bukan ke akun pengguna Anda. Kegagalan dalam memberikan peran ke akun utama yang benar dapat menyebabkan error izin.

• Menjalankan pemindaian profil data:
  • BigQuery Job User (roles/bigquery.jobUser) pada project yang menjalankan pemindaian (semua jenis tabel)
  • Tampilan data BigQuery (roles/bigquery.dataViewer) pada tabel BigQuery yang sedang dipindai
• Menjalankan pemindaian profil data untuk tabel eksternal BigQuery yang menggunakan data Cloud Storage:
  • Storage Object Viewer (roles/storage.objectViewer) di bucket Cloud Storage
  • Storage Legacy Bucket Reader (roles/storage.legacyBucketReader) di bucket Cloud Storage
• Menjalankan pemindaian profil data untuk tabel Iceberg REST Catalog, SAP BDC Delta Lake, dan Apache Hive di Lakehouse Google Cloud : BigLake Viewer (roles/biglake.viewer) pada tabel yang sedang dipindai
• Mengekspor hasil pemindaian profil data ke tabel BigQuery: BigQuery Data Editor (roles/bigquery.dataEditor) pada tabel

Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses ke project, folder, dan organisasi.

Peran yang telah ditetapkan ini berisi izin yang diperlukan untuk menjalankan pemindaian profil data dan mengekspor hasil. Untuk melihat izin yang benar-benar diperlukan, perluas bagian Izin yang diperlukan:

Izin yang diperlukan

Izin berikut diperlukan untuk menjalankan pemindaian profil data dan mengekspor hasil:

• Menjalankan pemindaian profil data terhadap data BigQuery:
  • bigquery.jobs.create di project
  • bigquery.tables.get pada tabel
  • bigquery.tables.getData pada tabel
• Menjalankan pemindaian profil data untuk tabel eksternal BigQuery yang menggunakan data Cloud Storage:
  • storage.buckets.get pada bucket
  • storage.objects.get pada objek
• Ekspor hasil pemindaian profil data ke tabel BigQuery:
  • bigquery.tables.create di set data
  • bigquery.tables.updateData pada tabel

Administrator Anda mungkin juga dapat memberi identitas eksekusi izin ini dengan peran khusus atau peran bawaan lainnya.

Jika tabel menggunakan keamanan tingkat baris BigQuery, Knowledge Catalog hanya dapat memindai baris yang terlihat oleh akun layanan Knowledge Catalog. Agar Knowledge Catalog dapat memindai semua baris, tambahkan akun layanannya ke filter baris dengan predikat TRUE.

Jika tabel menggunakan keamanan tingkat kolom BigQuery, Knowledge Catalog memerlukan akses untuk memindai kolom yang dilindungi. Untuk memberikan akses, berikan peran Data Catalog Fine-Grained Reader (roles/datacatalog.fineGrainedReader) kepada akun layanan Knowledge Catalog pada semua tag kebijakan yang digunakan dalam tabel. Pengguna yang membuat atau memperbarui pemindaian data juga memerlukan izin pada kolom yang dilindungi.

Memberikan peran ke akun layanan Knowledge Catalog

Untuk menjalankan pemindaian profil data, Knowledge Catalog menggunakan akun layanan yang memerlukan izin untuk menjalankan tugas BigQuery dan membaca data tabel BigQuery. Untuk memberikan peran yang diperlukan, ikuti langkah-langkah berikut:

1. Dapatkan alamat email akun layanan Knowledge Catalog. Jika Anda belum pernah membuat profil data atau pemindaian kualitas data di project ini, jalankan perintah gcloud berikut untuk membuat identitas layanan:

   gcloud beta services identity create --service=dataplex.googleapis.com
   

   Perintah ini menampilkan email akun layanan, yang memiliki format berikut: [e-mail].

   Jika akun layanan sudah ada, Anda dapat menemukan emailnya dengan melihat akun utama dengan nama Dataplex di halaman IAM di konsolGoogle Cloud .

2. Berikan peran BigQuery Job User (roles/bigquery.jobUser) kepada akun layanan di project Anda. Peran ini memungkinkan akun layanan menjalankan tugas BigQuery untuk pemindaian.

   gcloud projects add-iam-policy-binding PROJECT_ID \
       --member="serviceAccount:[e-mail]" \
       --role="roles/bigquery.jobUser"
   

   Ganti kode berikut:

   • PROJECT_ID: Project ID Google Cloud Anda.
   • [e-mail]: email akun layanan Knowledge Catalog.

3. Berikan peran BigQuery Data Viewer (roles/bigquery.dataViewer) ke akun layanan untuk setiap tabel yang ingin Anda buat profilnya. Peran ini memberikan akses hanya baca ke tabel.

   gcloud bigquery tables add-iam-policy-binding DATASET_ID.TABLE_ID \
       --member="serviceAccount:[e-mail]" \
       --role="roles/bigquery.dataViewer"
   

   Ganti kode berikut:

   • DATASET_ID: ID set data yang berisi tabel.
   • TABLE_ID: ID tabel yang akan diprofilkan.
   • [e-mail]: email akun layanan Knowledge Catalog.

Membuat pemindaian profil data

Konsol

1. Di konsol Google Cloud , di halaman Metadata curation BigQuery, buka tab Data profiling & quality.

   Buka Data profiling & quality

2. Klik Create data profile scan.

3. Opsional: Masukkan Nama tampilan.

4. Masukkan ID. Lihat Konvensi penamaan resource.

5. Opsional: Masukkan Deskripsi..

6. Di kolom Table, klik Browse. Pilih tabel yang akan dipindai, lalu klik Select. Hanya tabel BigQuery standar, Iceberg REST Catalog, SAP BDC Delta Lake, dan Apache Hive di Lakehouse Google Cloudyang didukung.

   Untuk tabel dalam set data multi-region, pilih region tempat membuat pemindaian data.

   Untuk menjelajahi tabel yang diatur dalam data lake Knowledge Catalog, klik Browse within Knowledge Catalog Lakes.

7. Di bagian Mode, pilih salah satu opsi berikut:

   • Standard: membuat profil data Anda dengan setelan pemindaian yang dapat disesuaikan. Ini adalah mode defaultnya.

   • Ringan: memberikan insight cepat dengan pemindaian latensi rendah dan fidelitas rendah.

8. Jika Anda memilih mode Standard, konfigurasikan opsi berikut. Opsi ini tidak muncul saat Anda memilih mode Ringan.

   1. Di kolom Cakupan, pilih Inkremental atau Seluruh data.

      Jika Anda memilih Incremental data, di kolom Timestamp column, pilih kolom jenis DATE atau TIMESTAMP dari tabel BigQuery Anda. Knowledge Catalog menggunakan kolom ini untuk mengidentifikasi data baru saat ditambahkan. Untuk tabel yang dipartisi pada kolom jenis DATE atau TIMESTAMP, sebaiknya gunakan kolom ini sebagai kolom partisi.

   2. Opsional: Untuk memfilter data, lakukan salah satu tindakan berikut:

      • Untuk memfilter menurut baris, pilih kotak centang Filter baris. Masukkan ekspresi SQL yang valid yang dapat digunakan dalam klausa WHERE dalam sintaksis GoogleSQL. Misalnya: col1 >= 0.

        Filter dapat berupa kombinasi kondisi SQL di beberapa kolom. Misalnya: col1 >= 0 AND col2 < 10.

      • Untuk memfilter menurut kolom, centang kotak Filter kolom.

      • Untuk menyertakan kolom dalam pemindaian profil, di kolom Include columns, klik Browse. Pilih kolom yang akan disertakan, lalu klik Pilih.

      • Untuk mengecualikan kolom dari pemindaian profil, di kolom Exclude columns, klik Browse. Pilih kolom yang akan dikecualikan, lalu klik Select.

      Catatan: Anda dapat menggunakan Sertakan kolom, Kecualikan kolom, atau keduanya. Jika Anda menggunakan kedua kolom tersebut, pemindaian profil data akan memilih kolom terlebih dahulu berdasarkan input Anda di kolom Include columns, lalu mengecualikan kolom berdasarkan input Anda di kolom Exclude columns.

   3. Untuk menerapkan sampling ke pemindaian profil data, di daftar Sampling size, pilih persentase sampling. Pilih nilai persentase yang berkisar antara 0,0% dan 100,0% dengan maksimal 3 digit desimal.

      • Untuk set data yang lebih besar, pilih persentase pengambilan sampel yang lebih rendah. Misalnya, untuk tabel 1 PB, jika Anda memasukkan nilai antara 0,1% dan 1,0%, profil data akan mengambil sampel antara 1-10 TB data.

      • Harus ada minimal 100 data dalam data sampel untuk menampilkan hasil.

      • Untuk pemindaian data inkremental, pemindaian profil data menerapkan pengambilan sampel ke penambahan terbaru.

9. Opsional: Publikasikan hasil pemindaian profil data di halaman BigQuery dan Knowledge Catalog di konsolGoogle Cloud untuk tabel sumber. Centang kotak Publish results to Knowledge Catalog.

   Anda dapat melihat hasil pemindaian terbaru di tab Data profile di halaman BigQuery dan Knowledge Catalog untuk tabel sumber. Untuk mengizinkan pengguna mengakses hasil pemindaian yang dipublikasikan, lihat bagian Memberikan akses ke hasil pemindaian profil data dalam dokumen ini.

   Opsi publikasi mungkin tidak tersedia dalam kasus berikut:

   • Anda tidak memiliki izin yang diperlukan pada tabel.
   • Pemindaian profil data lain ditetapkan untuk memublikasikan hasil.

10. Di bagian Jadwal, pilih salah satu opsi berikut:

    • Repeat: Jalankan pemindaian profil data sesuai jadwal: per jam, harian, mingguan, bulanan, atau kustom. Tentukan seberapa sering pemindaian harus dijalankan dan pada jam berapa. Jika Anda memilih kustom, gunakan format cron untuk menentukan jadwal.

    • On-demand: Menjalankan pemindaian profil data sesuai permintaan.

    • Jalankan satu kali: Jalankan pemindaian profil data sekali sekarang, dan hapus pemindaian setelah waktu penghapusan otomatis. Fitur ini berada dalam Pratinjau.

      • Menetapkan penghapusan otomatis hasil pasca-pemindaian: Waktu penghapusan otomatis menentukan durasi pemindaian profil data tetap aktif setelah eksekusi. Pemindaian profil data tanpa waktu hapus otomatis yang ditentukan akan otomatis dihapus setelah 24 jam. Waktu penghapusan otomatis dapat berkisar dari 0 detik (penghapusan langsung) hingga 365 hari.

11. Klik Lanjutkan.

12. Opsional: Ekspor hasil pemindaian ke tabel standar BigQuery. Di bagian Export scan results to BigQuery table, lakukan hal berikut:

    1. Di kolom Select BigQuery dataset, klik Browse. Pilih set data BigQuery untuk menyimpan hasil pemindaian profil data.

    2. Di kolom Tabel BigQuery, tentukan tabel untuk menyimpan hasil pemindaian profil data. Jika Anda menggunakan tabel yang sudah ada, pastikan tabel tersebut kompatibel dengan skema tabel ekspor. Jika tabel yang ditentukan tidak ada, Knowledge Catalog akan membuatnya untuk Anda.

       Catatan: Anda dapat menggunakan tabel hasil yang sama untuk beberapa pemindaian profil data.

13. Opsional: Tambahkan label. Label adalah key-value pair yang dapat Anda gunakan untuk mengelompokkan objek terkait secara bersamaan atau dengan resource Google Cloud lainnya.

14. Untuk membuat pemindaian, klik Create.

    Jika Anda menetapkan jadwal ke on-demand, Anda juga dapat menjalankan pemindaian sekarang dengan mengklik Run scan.

gcloud

Untuk membuat pemindaian profil data, gunakan perintah gcloud dataplex datascans create data-profile.

Jika data sumber diatur dalam lake Knowledge Catalog, sertakan flag --data-source-entity:

gcloud dataplex datascans create data-profile DATASCAN \
--location=LOCATION \
--data-source-entity=DATA_SOURCE_ENTITY

Jika data sumber tidak diatur dalam data lake Knowledge Catalog, sertakan flag --data-source-resource:

gcloud dataplex datascans create data-profile DATASCAN \
--location=LOCATION \
--data-source-resource=DATA_SOURCE_RESOURCE

Ganti variabel berikut:

• DATASCAN: Nama pemindaian profil data.
• LOCATION: Region Google Cloud tempat membuat pemindaian profil data.
• DATA_SOURCE_ENTITY: Entity Knowledge Catalog yang berisi data untuk pemindaian profil data. Contoh, projects/test-project/locations/test-location/lakes/test-lake/zones/test-zone/entities/test-entity.
• DATA_SOURCE_RESOURCE: Nama resource yang berisi data untuk pemindaian profil data. Contoh, //bigquery.googleapis.com/projects/test-project/datasets/test-dataset/tables/test-table.

C#

C#

Sebelum mencoba contoh ini, ikuti petunjuk penyiapan C# di Panduan memulai BigQuery menggunakan library klien. Untuk mengetahui informasi selengkapnya, lihat Dokumentasi referensi BigQuery C# API.

Untuk melakukan autentikasi ke BigQuery, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal.

using Google.Api.Gax.ResourceNames;
using Google.Cloud.Dataplex.V1;
using Google.LongRunning;

public sealed partial class GeneratedDataScanServiceClientSnippets
{
    /// <summary>Snippet for CreateDataScan</summary>
    /// <remarks>
    /// This snippet has been automatically generated and should be regarded as a code template only.
    /// It will require modifications to work:
    /// - It may require correct/in-range values for request initialization.
    /// - It may require specifying regional endpoints when creating the service client as shown in
    ///   https://cloud.google.com/dotnet/docs/reference/help/client-configuration#endpoint.
    /// </remarks>
    public void CreateDataScanRequestObject()
    {
        // Create client
        DataScanServiceClient dataScanServiceClient = DataScanServiceClient.Create();
        // Initialize request argument(s)
        CreateDataScanRequest request = new CreateDataScanRequest
        {
            ParentAsLocationName = LocationName.FromProjectLocation("[PROJECT]", "[LOCATION]"),
            DataScan = new DataScan(),
            DataScanId = "",
            ValidateOnly = false,
        };
        // Make the request
        Operation<DataScan, OperationMetadata> response = dataScanServiceClient.CreateDataScan(request);

        // Poll until the returned long-running operation is complete
        Operation<DataScan, OperationMetadata> completedResponse = response.PollUntilCompleted();
        // Retrieve the operation result
        DataScan result = completedResponse.Result;

        // Or get the name of the operation
        string operationName = response.Name;
        // This name can be stored, then the long-running operation retrieved later by name
        Operation<DataScan, OperationMetadata> retrievedResponse = dataScanServiceClient.PollOnceCreateDataScan(operationName);
        // Check if the retrieved long-running operation has completed
        if (retrievedResponse.IsCompleted)
        {
            // If it has completed, then access the result
            DataScan retrievedResult = retrievedResponse.Result;
        }
    }
}

Go

Go

Sebelum mencoba contoh ini, ikuti petunjuk penyiapan Go di Panduan memulai BigQuery menggunakan library klien. Untuk mengetahui informasi selengkapnya, lihat Dokumentasi referensi BigQuery Go API.

Untuk melakukan autentikasi ke BigQuery, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal.

//go:build examples

package main

import (
	"context"

	dataplex "cloud.google.com/go/dataplex/apiv1"
	dataplexpb "cloud.google.com/go/dataplex/apiv1/dataplexpb"
)

func main() {
	ctx := context.Background()
	// This snippet has been automatically generated and should be regarded as a code template only.
	// It will require modifications to work:
	// - It may require correct/in-range values for request initialization.
	// - It may require specifying regional endpoints when creating the service client as shown in:
	//   https://pkg.go.dev/cloud.google.com/go#hdr-Client_Options
	c, err := dataplex.NewDataScanClient(ctx)
	if err != nil {
		// TODO: Handle error.
	}
	defer c.Close()

	req := &dataplexpb.CreateDataScanRequest{
		// TODO: Fill request struct fields.
		// See https://pkg.go.dev/cloud.google.com/go/dataplex/apiv1/dataplexpb#CreateDataScanRequest.
	}
	op, err := c.CreateDataScan(ctx, req)
	if err != nil {
		// TODO: Handle error.
	}

	resp, err := op.Wait(ctx)
	if err != nil {
		// TODO: Handle error.
	}
	// TODO: Use resp.
	_ = resp
}

Java

Java

Sebelum mencoba contoh ini, ikuti petunjuk penyiapan Java di Panduan memulai BigQuery menggunakan library klien. Untuk mengetahui informasi selengkapnya, lihat Dokumentasi referensi BigQuery Java API.

Untuk melakukan autentikasi ke BigQuery, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal.

import com.google.cloud.dataplex.v1.CreateDataScanRequest;
import com.google.cloud.dataplex.v1.DataScan;
import com.google.cloud.dataplex.v1.DataScanServiceClient;
import com.google.cloud.dataplex.v1.LocationName;

public class SyncCreateDataScan {

  public static void main(String[] args) throws Exception {
    syncCreateDataScan();
  }

  public static void syncCreateDataScan() throws Exception {
    // This snippet has been automatically generated and should be regarded as a code template only.
    // It will require modifications to work:
    // - It may require correct/in-range values for request initialization.
    // - It may require specifying regional endpoints when creating the service client as shown in
    // https://cloud.google.com/java/docs/setup#configure_endpoints_for_the_client_library
    try (DataScanServiceClient dataScanServiceClient = DataScanServiceClient.create()) {
      CreateDataScanRequest request =
          CreateDataScanRequest.newBuilder()
              .setParent(LocationName.of("[PROJECT]", "[LOCATION]").toString())
              .setDataScan(DataScan.newBuilder().build())
              .setDataScanId("dataScanId1260787906")
              .setValidateOnly(true)
              .build();
      DataScan response = dataScanServiceClient.createDataScanAsync(request).get();
    }
  }
}

Python

Python

Sebelum mencoba contoh ini, ikuti petunjuk penyiapan Python di Panduan memulai BigQuery menggunakan library klien. Untuk mengetahui informasi selengkapnya, lihat Dokumentasi referensi BigQuery Python API.

Untuk melakukan autentikasi ke BigQuery, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal.

# Copyright 2026 Google LLC
#
# Licensed under the Apache License, Version 2.0 (the "License");
# you may not use this file except in compliance with the License.
# You may obtain a copy of the License at
#
#      http://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.

import google.api_core.exceptions
from google.cloud import dataplex_v1


def create_data_profile_scan_global(
    project_id: str,
    dataset_id: str,
    table_id: str,
    location: str,
) -> None:
    """Creates a Dataplex Data Profile Scan using global API endpoint routing.

    Args:
        project_id (str): Google Cloud project ID where the scan is created.
        dataset_id (str): Target BigQuery dataset ID.
        table_id (str): Target BigQuery table ID to scan.
        location (str): Google Cloud region where serverless compute runs.
    """
    client = dataplex_v1.DataScanServiceClient()

    parent = client.common_location_path(project=project_id, location=location)

    bigquery_table = (
        f"//bigquery.googleapis.com/projects/{project_id}"
        f"/datasets/{dataset_id}/tables/{table_id}"
    )

    data_profile_spec = dataplex_v1.DataProfileSpec(sampling_percent=100.0)

    data_scan = dataplex_v1.DataScan(
        display_name="Global Data Profile Scan",
        description="Regional data profile scan generating automated table statistics.",
        data=dataplex_v1.DataSource(resource=bigquery_table),
        data_profile_spec=data_profile_spec,
    )

    request = dataplex_v1.CreateDataScanRequest(
        parent=parent,
        data_scan=data_scan,
    )

    try:
        operation = client.create_data_scan(request=request)
        print(operation.result())

    except google.api_core.exceptions.AlreadyExists:
        print("A scan with this ID already exists.")
    except google.api_core.exceptions.InvalidArgument as e:
        print(f"Your scan configuration is invalid: {e}")
    except google.api_core.exceptions.GoogleAPIError as e:
        print(f"Unexpected exception: {e}")

Ruby

Ruby

Sebelum mencoba contoh ini, ikuti petunjuk penyiapan Ruby di Panduan memulai BigQuery menggunakan library klien. Untuk mengetahui informasi selengkapnya, lihat Dokumentasi referensi BigQuery Ruby API.

Untuk melakukan autentikasi ke BigQuery, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal.

require "google/cloud/dataplex/v1"

##
# Snippet for the create_data_scan call in the DataScanService service
#
# This snippet has been automatically generated and should be regarded as a code
# template only. It will require modifications to work:
# - It may require correct/in-range values for request initialization.
# - It may require specifying regional endpoints when creating the service
# client as shown in https://cloud.google.com/ruby/docs/reference.
#
# This is an auto-generated example demonstrating basic usage of
# Google::Cloud::Dataplex::V1::DataScanService::Client#create_data_scan.
#
def create_data_scan
  # Create a client object. The client can be reused for multiple calls.
  client = Google::Cloud::Dataplex::V1::DataScanService::Client.new

  # Create a request. To set request fields, pass in keyword arguments.
  request = Google::Cloud::Dataplex::V1::CreateDataScanRequest.new

  # Call the create_data_scan method.
  result = client.create_data_scan request

  # The returned object is of type Gapic::Operation. You can use it to
  # check the status of an operation, cancel it, or wait for results.
  # Here is how to wait for a response.
  result.wait_until_done! timeout: 60
  if result.response?
    p result.response
  else
    puts "No response received."
  end
end

REST

Untuk membuat pemindaian profil data, gunakan metode dataScans.create.

Catatan: Jika tabel BigQuery Anda dikonfigurasi dengan setelan Require partition filter yang ditetapkan ke true, gunakan kolom partisi tabel sebagai filter baris atau kolom stempel waktu pemindaian profil data.

Membuat beberapa pemindaian profil data

Anda dapat mengonfigurasi pemindaian profil data untuk beberapa tabel dalam set data BigQuery secara bersamaan menggunakan konsol Google Cloud .

1. Di konsol Google Cloud , di halaman Metadata curation BigQuery, buka tab Data profiling & quality.

   Buka Data profiling & quality

2. Klik Create data profile scan.

3. Pilih opsi Beberapa pemindaian profil data.

4. Masukkan ID prefix. Knowledge Catalog otomatis membuat ID pemindaian menggunakan awalan yang diberikan dan akhiran unik.

5. Masukkan Description untuk semua pemindaian profil data.

6. Di kolom Dataset, klik Browse. Pilih set data untuk memilih tabel. Klik Select.

7. Jika set data bersifat multi-regional, pilih Region tempat membuat pemindaian profil data.

8. Di bagian Mode, pilih salah satu opsi berikut:

   • Standard: membuat profil data Anda dengan setelan pemindaian yang dapat disesuaikan. Ini adalah mode defaultnya.

   • Ringan: memberikan insight cepat dengan pemindaian latensi rendah dan fidelitas rendah. Fitur ini berada dalam Pratinjau.

9. Jika Anda memilih mode Standard, konfigurasikan setelan berikut untuk pemindaian. Setelan ini tidak muncul jika mode Ringan dipilih.

   1. Di kolom Cakupan, pilih Inkremental atau Seluruh data.

      Jika memilih data Inkremental, Anda hanya dapat memilih tabel yang dipartisi pada kolom jenis DATE atau TIMESTAMP.

   2. Untuk menerapkan sampling ke pemindaian profil data, di daftar Ukuran sampling, pilih persentase sampling.

      Pilih nilai persentase antara 0,0% dan 100,0% dengan maksimal 3 digit desimal.

10. Opsional: Publikasikan hasil pemindaian profil data di halaman BigQuery dan Knowledge Catalog di konsolGoogle Cloud untuk tabel sumber. Centang kotak Publish results to Knowledge Catalog.

    Anda dapat melihat hasil pemindaian terbaru di tab Data profile di halaman BigQuery dan Knowledge Catalog untuk tabel sumber. Untuk mengizinkan pengguna mengakses hasil pemindaian yang dipublikasikan, lihat bagian Memberikan akses ke hasil pemindaian profil data dalam dokumen ini.

    Catatan: Anda harus memilih tabel yang tidak memiliki pemindaian yang memublikasikan hasilnya.

11. Di bagian Jadwal, pilih salah satu opsi berikut:

    • Ulangi: Jalankan pemindaian profil data sesuai jadwal: per jam, harian, mingguan, bulanan, atau kustom. Tentukan seberapa sering pemindaian harus dijalankan dan pada jam berapa. Jika Anda memilih kustom, gunakan format cron untuk menentukan jadwal.

    • On-demand: Menjalankan pemindaian profil data sesuai permintaan.

      • One-time run: Jalankan pemindaian profil data sekali sekarang, dan hapus pemindaian setelah waktu penghapusan otomatis. Fitur ini berada dalam Pratinjau.

        • Menetapkan penghapusan otomatis hasil pasca-pemindaian: Waktu penghapusan otomatis menentukan durasi pemindaian profil data tetap aktif setelah eksekusi. Pemindaian profil data tanpa waktu hapus otomatis yang ditentukan akan otomatis dihapus setelah 24 jam. Waktu penghapusan otomatis dapat berkisar dari 0 detik (penghapusan langsung) hingga 365 hari.

12. Klik Lanjutkan.

13. Di kolom Choose tables, klik Browse. Pilih satu atau beberapa tabel untuk dipindai, lalu klik Select.

14. Klik Lanjutkan.

15. Opsional: Ekspor hasil pemindaian ke tabel standar BigQuery. Di bagian Export scan results to BigQuery table, lakukan hal berikut:

    1. Di kolom Select BigQuery dataset, klik Browse. Pilih set data BigQuery untuk menyimpan hasil pemindaian profil data.

    2. Di kolom Tabel BigQuery, tentukan tabel untuk menyimpan hasil pemindaian profil data. Jika Anda menggunakan tabel yang sudah ada, pastikan tabel tersebut kompatibel dengan skema tabel ekspor. Jika tabel yang ditentukan tidak ada, Knowledge Catalog akan membuatnya untuk Anda.

       Knowledge Catalog menggunakan tabel hasil yang sama untuk semua pemindaian profil data.

16. Opsional: Tambahkan label. Label adalah key-value pair yang memungkinkan Anda mengelompokkan objek terkait secara bersamaan atau dengan resource Google Cloud lainnya.

17. Untuk membuat pemindaian, klik Create.

    Jika Anda menetapkan jadwal ke on-demand, Anda juga dapat menjalankan pemindaian sekarang dengan mengklik Run scan.

Menjalankan pemindaian profil data

Konsol

1. Di konsol Google Cloud , di halaman Metadata curation BigQuery, buka tab Data profiling & quality.

   Buka Data profiling & quality

2. Klik pemindaian profil data yang akan dijalankan.
3. Klik Run now.

gcloud

Untuk menjalankan pemindaian profil data, gunakan perintah gcloud dataplex datascans run:

gcloud dataplex datascans run DATASCAN \
--location=LOCATION

Ganti variabel berikut:

• DATASCAN: Nama pemindaian profil data.
• LOCATION: Region Google Cloud tempat pemindaian profil data dibuat.

C#

C#

Sebelum mencoba contoh ini, ikuti petunjuk penyiapan C# di Panduan memulai BigQuery menggunakan library klien. Untuk mengetahui informasi selengkapnya, lihat Dokumentasi referensi BigQuery C# API.

Untuk melakukan autentikasi ke BigQuery, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal.

using Google.Cloud.Dataplex.V1;

public sealed partial class GeneratedDataScanServiceClientSnippets
{
    /// <summary>Snippet for RunDataScan</summary>
    /// <remarks>
    /// This snippet has been automatically generated and should be regarded as a code template only.
    /// It will require modifications to work:
    /// - It may require correct/in-range values for request initialization.
    /// - It may require specifying regional endpoints when creating the service client as shown in
    ///   https://cloud.google.com/dotnet/docs/reference/help/client-configuration#endpoint.
    /// </remarks>
    public void RunDataScanRequestObject()
    {
        // Create client
        DataScanServiceClient dataScanServiceClient = DataScanServiceClient.Create();
        // Initialize request argument(s)
        RunDataScanRequest request = new RunDataScanRequest
        {
            DataScanName = DataScanName.FromProjectLocationDataScan("[PROJECT]", "[LOCATION]", "[DATASCAN]"),
        };
        // Make the request
        RunDataScanResponse response = dataScanServiceClient.RunDataScan(request);
    }
}

Go

Go

Sebelum mencoba contoh ini, ikuti petunjuk penyiapan Go di Panduan memulai BigQuery menggunakan library klien. Untuk mengetahui informasi selengkapnya, lihat Dokumentasi referensi BigQuery Go API.

Untuk melakukan autentikasi ke BigQuery, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal.

//go:build examples

package main

import (
	"context"

	dataplex "cloud.google.com/go/dataplex/apiv1"
	dataplexpb "cloud.google.com/go/dataplex/apiv1/dataplexpb"
)

func main() {
	ctx := context.Background()
	// This snippet has been automatically generated and should be regarded as a code template only.
	// It will require modifications to work:
	// - It may require correct/in-range values for request initialization.
	// - It may require specifying regional endpoints when creating the service client as shown in:
	//   https://pkg.go.dev/cloud.google.com/go#hdr-Client_Options
	c, err := dataplex.NewDataScanClient(ctx)
	if err != nil {
		// TODO: Handle error.
	}
	defer c.Close()

	req := &dataplexpb.RunDataScanRequest{
		// TODO: Fill request struct fields.
		// See https://pkg.go.dev/cloud.google.com/go/dataplex/apiv1/dataplexpb#RunDataScanRequest.
	}
	resp, err := c.RunDataScan(ctx, req)
	if err != nil {
		// TODO: Handle error.
	}
	// TODO: Use resp.
	_ = resp
}

Java

Java

Sebelum mencoba contoh ini, ikuti petunjuk penyiapan Java di Panduan memulai BigQuery menggunakan library klien. Untuk mengetahui informasi selengkapnya, lihat Dokumentasi referensi BigQuery Java API.

Untuk melakukan autentikasi ke BigQuery, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal.

import com.google.cloud.dataplex.v1.DataScanName;
import com.google.cloud.dataplex.v1.DataScanServiceClient;
import com.google.cloud.dataplex.v1.RunDataScanRequest;
import com.google.cloud.dataplex.v1.RunDataScanResponse;

public class SyncRunDataScan {

  public static void main(String[] args) throws Exception {
    syncRunDataScan();
  }

  public static void syncRunDataScan() throws Exception {
    // This snippet has been automatically generated and should be regarded as a code template only.
    // It will require modifications to work:
    // - It may require correct/in-range values for request initialization.
    // - It may require specifying regional endpoints when creating the service client as shown in
    // https://cloud.google.com/java/docs/setup#configure_endpoints_for_the_client_library
    try (DataScanServiceClient dataScanServiceClient = DataScanServiceClient.create()) {
      RunDataScanRequest request =
          RunDataScanRequest.newBuilder()
              .setName(DataScanName.of("[PROJECT]", "[LOCATION]", "[DATASCAN]").toString())
              .build();
      RunDataScanResponse response = dataScanServiceClient.runDataScan(request);
    }
  }
}

Python

Python

Sebelum mencoba contoh ini, ikuti petunjuk penyiapan Python di Panduan memulai BigQuery menggunakan library klien. Untuk mengetahui informasi selengkapnya, lihat Dokumentasi referensi BigQuery Python API.

Untuk melakukan autentikasi ke BigQuery, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal.

# This snippet has been automatically generated and should be regarded as a
# code template only.
# It will require modifications to work:
# - It may require correct/in-range values for request initialization.
# - It may require specifying regional endpoints when creating the service
#   client as shown in:
#   https://googleapis.dev/python/google-api-core/latest/client_options.html
from google.cloud import dataplex_v1


def sample_run_data_scan():
    # Create a client
    client = dataplex_v1.DataScanServiceClient()

    # Initialize request argument(s)
    request = dataplex_v1.RunDataScanRequest(
        name="name_value",
    )

    # Make the request
    response = client.run_data_scan(request=request)

    # Handle the response
    print(response)

Ruby

Ruby

Sebelum mencoba contoh ini, ikuti petunjuk penyiapan Ruby di Panduan memulai BigQuery menggunakan library klien. Untuk mengetahui informasi selengkapnya, lihat Dokumentasi referensi BigQuery Ruby API.

Untuk melakukan autentikasi ke BigQuery, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal.

require "google/cloud/dataplex/v1"

##
# Snippet for the run_data_scan call in the DataScanService service
#
# This snippet has been automatically generated and should be regarded as a code
# template only. It will require modifications to work:
# - It may require correct/in-range values for request initialization.
# - It may require specifying regional endpoints when creating the service
# client as shown in https://cloud.google.com/ruby/docs/reference.
#
# This is an auto-generated example demonstrating basic usage of
# Google::Cloud::Dataplex::V1::DataScanService::Client#run_data_scan.
#
def run_data_scan
  # Create a client object. The client can be reused for multiple calls.
  client = Google::Cloud::Dataplex::V1::DataScanService::Client.new

  # Create a request. To set request fields, pass in keyword arguments.
  request = Google::Cloud::Dataplex::V1::RunDataScanRequest.new

  # Call the run_data_scan method.
  result = client.run_data_scan request

  # The returned object is of type Google::Cloud::Dataplex::V1::RunDataScanResponse.
  p result
end

REST

Untuk menjalankan pemindaian profil data, gunakan metode dataScans.run.

Airflow

Untuk menjalankan pemindaian profil data menggunakan Directed Acyclic Graph (DAG) di Managed Service untuk Apache Airflow (Cloud Composer), gunakan DataplexRunDataProfileScanOperator:

from datetime import datetime
from airflow import DAG
from airflow.providers.google.cloud.operators.dataplex import DataplexRunDataProfileScanOperator

with DAG(
  "dataplex_data_profile_scan",
  start_date=datetime(2026, 1, 1),
  schedule_interval="@daily",
  catchup=False,
) as dag:

  run_profile_scan = DataplexRunDataProfileScanOperator(
      task_id="run_dataplex_profile_scan",
      project_id="PROJECT_ID",
      region="REGION",
      data_scan_id="DATASCAN_ID",
  )

Ganti variabel berikut:

• PROJECT_ID: Project ID Google Cloud Anda.
• REGION: Region Google Cloud tempat pemindaian profil data dibuat.
• DATASCAN_ID: ID pemindaian profil data Anda.

Catatan: Run tidak didukung untuk pemindaian profil data yang menggunakan jadwal satu kali.

Melihat hasil pemindaian profil data

Konsol

1. Di konsol Google Cloud , di halaman Metadata curation BigQuery, buka tab Data profiling & quality.

   Buka Data profiling & quality

2. Klik nama pemindaian profil data.

   • Bagian Overview menampilkan informasi tentang tugas terbaru, termasuk kapan pemindaian dijalankan, jumlah data tabel yang dipindai, dan status tugas.

   • Bagian Konfigurasi pemindaian profil data menampilkan detail tentang pemindaian.

3. Untuk melihat informasi mendetail tentang tugas, seperti kolom tabel yang dipindai, statistik tentang kolom yang ditemukan dalam pemindaian, dan log tugas, klik tab Jobs history. Kemudian, klik ID pekerjaan.

Catatan: Jika Anda mengekspor hasil pemindaian ke tabel BigQuery, Anda juga dapat mengakses hasil pemindaian dari tabel.

gcloud

Untuk melihat hasil tugas pemindaian profil data, gunakan perintah gcloud dataplex datascans jobs describe:

gcloud dataplex datascans jobs describe JOB \
--location=LOCATION \
--datascan=DATASCAN \
--view=FULL

Ganti variabel berikut:

• JOB: ID tugas pemindaian profil data.
• LOCATION: Region Google Cloud tempat pemindaian profil data dibuat.
• DATASCAN: Nama pemindaian profil data yang terkait dengan tugas.
• --view=FULL: Untuk melihat hasil tugas pemindaian, tentukan FULL.

C#

C#

Sebelum mencoba contoh ini, ikuti petunjuk penyiapan C# di Panduan memulai BigQuery menggunakan library klien. Untuk mengetahui informasi selengkapnya, lihat Dokumentasi referensi BigQuery C# API.

Untuk melakukan autentikasi ke BigQuery, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal.

using Google.Cloud.Dataplex.V1;

public sealed partial class GeneratedDataScanServiceClientSnippets
{
    /// <summary>Snippet for GetDataScan</summary>
    /// <remarks>
    /// This snippet has been automatically generated and should be regarded as a code template only.
    /// It will require modifications to work:
    /// - It may require correct/in-range values for request initialization.
    /// - It may require specifying regional endpoints when creating the service client as shown in
    ///   https://cloud.google.com/dotnet/docs/reference/help/client-configuration#endpoint.
    /// </remarks>
    public void GetDataScanRequestObject()
    {
        // Create client
        DataScanServiceClient dataScanServiceClient = DataScanServiceClient.Create();
        // Initialize request argument(s)
        GetDataScanRequest request = new GetDataScanRequest
        {
            DataScanName = DataScanName.FromProjectLocationDataScan("[PROJECT]", "[LOCATION]", "[DATASCAN]"),
            View = GetDataScanRequest.Types.DataScanView.Unspecified,
        };
        // Make the request
        DataScan response = dataScanServiceClient.GetDataScan(request);
    }
}

Go

Go

Sebelum mencoba contoh ini, ikuti petunjuk penyiapan Go di Panduan memulai BigQuery menggunakan library klien. Untuk mengetahui informasi selengkapnya, lihat Dokumentasi referensi BigQuery Go API.

Untuk melakukan autentikasi ke BigQuery, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal.

//go:build examples

package main

import (
	"context"

	dataplex "cloud.google.com/go/dataplex/apiv1"
	dataplexpb "cloud.google.com/go/dataplex/apiv1/dataplexpb"
)

func main() {
	ctx := context.Background()
	// This snippet has been automatically generated and should be regarded as a code template only.
	// It will require modifications to work:
	// - It may require correct/in-range values for request initialization.
	// - It may require specifying regional endpoints when creating the service client as shown in:
	//   https://pkg.go.dev/cloud.google.com/go#hdr-Client_Options
	c, err := dataplex.NewDataScanClient(ctx)
	if err != nil {
		// TODO: Handle error.
	}
	defer c.Close()

	req := &dataplexpb.GetDataScanRequest{
		// TODO: Fill request struct fields.
		// See https://pkg.go.dev/cloud.google.com/go/dataplex/apiv1/dataplexpb#GetDataScanRequest.
	}
	resp, err := c.GetDataScan(ctx, req)
	if err != nil {
		// TODO: Handle error.
	}
	// TODO: Use resp.
	_ = resp
}

Java

Java

Sebelum mencoba contoh ini, ikuti petunjuk penyiapan Java di Panduan memulai BigQuery menggunakan library klien. Untuk mengetahui informasi selengkapnya, lihat Dokumentasi referensi BigQuery Java API.

Untuk melakukan autentikasi ke BigQuery, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal.

import com.google.cloud.dataplex.v1.DataScan;
import com.google.cloud.dataplex.v1.DataScanName;
import com.google.cloud.dataplex.v1.DataScanServiceClient;
import com.google.cloud.dataplex.v1.GetDataScanRequest;

public class SyncGetDataScan {

  public static void main(String[] args) throws Exception {
    syncGetDataScan();
  }

  public static void syncGetDataScan() throws Exception {
    // This snippet has been automatically generated and should be regarded as a code template only.
    // It will require modifications to work:
    // - It may require correct/in-range values for request initialization.
    // - It may require specifying regional endpoints when creating the service client as shown in
    // https://cloud.google.com/java/docs/setup#configure_endpoints_for_the_client_library
    try (DataScanServiceClient dataScanServiceClient = DataScanServiceClient.create()) {
      GetDataScanRequest request =
          GetDataScanRequest.newBuilder()
              .setName(DataScanName.of("[PROJECT]", "[LOCATION]", "[DATASCAN]").toString())
              .build();
      DataScan response = dataScanServiceClient.getDataScan(request);
    }
  }
}

Python

Python

Sebelum mencoba contoh ini, ikuti petunjuk penyiapan Python di Panduan memulai BigQuery menggunakan library klien. Untuk mengetahui informasi selengkapnya, lihat Dokumentasi referensi BigQuery Python API.

Untuk melakukan autentikasi ke BigQuery, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal.

# This snippet has been automatically generated and should be regarded as a
# code template only.
# It will require modifications to work:
# - It may require correct/in-range values for request initialization.
# - It may require specifying regional endpoints when creating the service
#   client as shown in:
#   https://googleapis.dev/python/google-api-core/latest/client_options.html
from google.cloud import dataplex_v1


def sample_get_data_scan():
    # Create a client
    client = dataplex_v1.DataScanServiceClient()

    # Initialize request argument(s)
    request = dataplex_v1.GetDataScanRequest(
        name="name_value",
    )

    # Make the request
    response = client.get_data_scan(request=request)

    # Handle the response
    print(response)

Ruby

Ruby

Sebelum mencoba contoh ini, ikuti petunjuk penyiapan Ruby di Panduan memulai BigQuery menggunakan library klien. Untuk mengetahui informasi selengkapnya, lihat Dokumentasi referensi BigQuery Ruby API.

Untuk melakukan autentikasi ke BigQuery, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal.

require "google/cloud/dataplex/v1"

##
# Snippet for the get_data_scan call in the DataScanService service
#
# This snippet has been automatically generated and should be regarded as a code
# template only. It will require modifications to work:
# - It may require correct/in-range values for request initialization.
# - It may require specifying regional endpoints when creating the service
# client as shown in https://cloud.google.com/ruby/docs/reference.
#
# This is an auto-generated example demonstrating basic usage of
# Google::Cloud::Dataplex::V1::DataScanService::Client#get_data_scan.
#
def get_data_scan
  # Create a client object. The client can be reused for multiple calls.
  client = Google::Cloud::Dataplex::V1::DataScanService::Client.new

  # Create a request. To set request fields, pass in keyword arguments.
  request = Google::Cloud::Dataplex::V1::GetDataScanRequest.new

  # Call the get_data_scan method.
  result = client.get_data_scan request

  # The returned object is of type Google::Cloud::Dataplex::V1::DataScan.
  p result
end

REST

Untuk melihat hasil pemindaian profil data, gunakan metode dataScans.get.

Lihat hasil yang dipublikasikan

Jika hasil pemindaian profil data dipublikasikan ke halaman BigQuery dan Knowledge Catalog di konsol Google Cloud , Anda dapat melihat hasil pemindaian terbaru di tab Profil data tabel sumber.

1. Di konsol Google Cloud , buka halaman BigQuery.

   Buka BigQuery

2. Di panel kiri, klik Explorer:

   

   Jika Anda tidak melihat panel kiri, klik Luaskan panel kiri untuk membuka panel.

3. Di panel Explorer, klik Datasets, lalu klik set data Anda.

4. Klik Overview > Tables, lalu pilih tabel yang hasil pemindaian profil datanya ingin Anda lihat.

5. Klik tab Profil data.

   Hasil terbaru yang dipublikasikan akan ditampilkan.

   Catatan: Hasil yang dipublikasikan mungkin tidak tersedia jika pemindaian berjalan untuk pertama kalinya.

Melihat tugas pemindaian profil data terbaru

Konsol

1. Di konsol Google Cloud , di halaman Metadata curation BigQuery, buka tab Data profiling & quality.

   Buka Data profiling & quality

2. Klik nama pemindaian profil data.

3. Klik tab Latest job results.

   Tab Latest job results, jika ada setidaknya satu operasi yang berhasil diselesaikan, memberikan informasi tentang tugas terbaru. Tab ini mencantumkan kolom tabel yang dipindai dan statistik tentang kolom yang ditemukan dalam pemindaian.

gcloud

Untuk melihat pemindaian profil data terbaru yang berhasil, gunakan perintah gcloud dataplex datascans describe:

gcloud dataplex datascans describe DATASCAN \
--location=LOCATION \
--view=FULL

Ganti variabel berikut:

• DATASCAN: Nama pemindaian profil data untuk melihat tugas terbaru.
• LOCATION: Region Google Cloud tempat pemindaian profil data dibuat.
• --view=FULL: Untuk melihat hasil tugas pemindaian, tentukan FULL.

REST

Untuk melihat tugas pemindaian terbaru, gunakan metode dataScans.get.

Lihat hasil pemindaian historis

Knowledge Catalog menyimpan histori pemindaian profil data dari 300 tugas terakhir atau selama setahun terakhir, mana saja yang terjadi lebih dulu.

Konsol

1. Di konsol Google Cloud , di halaman Metadata curation BigQuery, buka tab Data profiling & quality.

   Buka Data profiling & quality

2. Klik nama pemindaian profil data.

3. Klik tab Histori tugas.

   Tab Jobs history memberikan informasi tentang tugas sebelumnya, seperti jumlah data yang dipindai di setiap tugas, status tugas, dan waktu tugas dijalankan.

4. Untuk melihat informasi mendetail tentang tugas, klik salah satu tugas di kolom ID pekerjaan.

gcloud

Untuk melihat tugas pemindaian profil data historis, gunakan perintah gcloud dataplex datascans jobs list:

gcloud dataplex datascans jobs list \
--location=LOCATION \
--datascan=DATASCAN

Ganti variabel berikut:

• LOCATION: Region Google Cloud tempat pemindaian profil data dibuat.
• DATASCAN: Nama pemindaian profil data untuk melihat tugas.

C#

C#

Sebelum mencoba contoh ini, ikuti petunjuk penyiapan C# di Panduan memulai BigQuery menggunakan library klien. Untuk mengetahui informasi selengkapnya, lihat Dokumentasi referensi BigQuery C# API.

Untuk melakukan autentikasi ke BigQuery, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal.

using Google.Api.Gax;
using Google.Cloud.Dataplex.V1;
using System;

public sealed partial class GeneratedDataScanServiceClientSnippets
{
    /// <summary>Snippet for ListDataScanJobs</summary>
    /// <remarks>
    /// This snippet has been automatically generated and should be regarded as a code template only.
    /// It will require modifications to work:
    /// - It may require correct/in-range values for request initialization.
    /// - It may require specifying regional endpoints when creating the service client as shown in
    ///   https://cloud.google.com/dotnet/docs/reference/help/client-configuration#endpoint.
    /// </remarks>
    public void ListDataScanJobsRequestObject()
    {
        // Create client
        DataScanServiceClient dataScanServiceClient = DataScanServiceClient.Create();
        // Initialize request argument(s)
        ListDataScanJobsRequest request = new ListDataScanJobsRequest
        {
            ParentAsDataScanName = DataScanName.FromProjectLocationDataScan("[PROJECT]", "[LOCATION]", "[DATASCAN]"),
            Filter = "",
        };
        // Make the request
        PagedEnumerable<ListDataScanJobsResponse, DataScanJob> response = dataScanServiceClient.ListDataScanJobs(request);

        // Iterate over all response items, lazily performing RPCs as required
        foreach (DataScanJob item in response)
        {
            // Do something with each item
            Console.WriteLine(item);
        }

        // Or iterate over pages (of server-defined size), performing one RPC per page
        foreach (ListDataScanJobsResponse page in response.AsRawResponses())
        {
            // Do something with each page of items
            Console.WriteLine("A page of results:");
            foreach (DataScanJob item in page)
            {
                // Do something with each item
                Console.WriteLine(item);
            }
        }

        // Or retrieve a single page of known size (unless it's the final page), performing as many RPCs as required
        int pageSize = 10;
        Page<DataScanJob> singlePage = response.ReadPage(pageSize);
        // Do something with the page of items
        Console.WriteLine($"A page of {pageSize} results (unless it's the final page):");
        foreach (DataScanJob item in singlePage)
        {
            // Do something with each item
            Console.WriteLine(item);
        }
        // Store the pageToken, for when the next page is required.
        string nextPageToken = singlePage.NextPageToken;
    }
}

Go

Go

Sebelum mencoba contoh ini, ikuti petunjuk penyiapan Go di Panduan memulai BigQuery menggunakan library klien. Untuk mengetahui informasi selengkapnya, lihat Dokumentasi referensi BigQuery Go API.

Untuk melakukan autentikasi ke BigQuery, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal.

//go:build examples

package main

import (
	"context"

	dataplex "cloud.google.com/go/dataplex/apiv1"
	dataplexpb "cloud.google.com/go/dataplex/apiv1/dataplexpb"
	"google.golang.org/api/iterator"
)

func main() {
	ctx := context.Background()
	// This snippet has been automatically generated and should be regarded as a code template only.
	// It will require modifications to work:
	// - It may require correct/in-range values for request initialization.
	// - It may require specifying regional endpoints when creating the service client as shown in:
	//   https://pkg.go.dev/cloud.google.com/go#hdr-Client_Options
	c, err := dataplex.NewDataScanClient(ctx)
	if err != nil {
		// TODO: Handle error.
	}
	defer c.Close()

	req := &dataplexpb.ListDataScanJobsRequest{
		// TODO: Fill request struct fields.
		// See https://pkg.go.dev/cloud.google.com/go/dataplex/apiv1/dataplexpb#ListDataScanJobsRequest.
	}
	it := c.ListDataScanJobs(ctx, req)
	for {
		resp, err := it.Next()
		if err == iterator.Done {
			break
		}
		if err != nil {
			// TODO: Handle error.
		}
		// TODO: Use resp.
		_ = resp

		// If you need to access the underlying RPC response,
		// you can do so by casting the `Response` as below.
		// Otherwise, remove this line. Only populated after
		// first call to Next(). Not safe for concurrent access.
		_ = it.Response.(*dataplexpb.ListDataScanJobsResponse)
	}
}

Java

Java

Sebelum mencoba contoh ini, ikuti petunjuk penyiapan Java di Panduan memulai BigQuery menggunakan library klien. Untuk mengetahui informasi selengkapnya, lihat Dokumentasi referensi BigQuery Java API.

Untuk melakukan autentikasi ke BigQuery, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal.

import com.google.cloud.dataplex.v1.DataScanJob;
import com.google.cloud.dataplex.v1.DataScanName;
import com.google.cloud.dataplex.v1.DataScanServiceClient;
import com.google.cloud.dataplex.v1.ListDataScanJobsRequest;

public class SyncListDataScanJobs {

  public static void main(String[] args) throws Exception {
    syncListDataScanJobs();
  }

  public static void syncListDataScanJobs() throws Exception {
    // This snippet has been automatically generated and should be regarded as a code template only.
    // It will require modifications to work:
    // - It may require correct/in-range values for request initialization.
    // - It may require specifying regional endpoints when creating the service client as shown in
    // https://cloud.google.com/java/docs/setup#configure_endpoints_for_the_client_library
    try (DataScanServiceClient dataScanServiceClient = DataScanServiceClient.create()) {
      ListDataScanJobsRequest request =
          ListDataScanJobsRequest.newBuilder()
              .setParent(DataScanName.of("[PROJECT]", "[LOCATION]", "[DATASCAN]").toString())
              .setPageSize(883849137)
              .setPageToken("pageToken873572522")
              .setFilter("filter-1274492040")
              .build();
      for (DataScanJob element : dataScanServiceClient.listDataScanJobs(request).iterateAll()) {
        // doThingsWith(element);
      }
    }
  }
}

Python

Python

Sebelum mencoba contoh ini, ikuti petunjuk penyiapan Python di Panduan memulai BigQuery menggunakan library klien. Untuk mengetahui informasi selengkapnya, lihat Dokumentasi referensi BigQuery Python API.

Untuk melakukan autentikasi ke BigQuery, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal.

# This snippet has been automatically generated and should be regarded as a
# code template only.
# It will require modifications to work:
# - It may require correct/in-range values for request initialization.
# - It may require specifying regional endpoints when creating the service
#   client as shown in:
#   https://googleapis.dev/python/google-api-core/latest/client_options.html
from google.cloud import dataplex_v1


def sample_list_data_scan_jobs():
    # Create a client
    client = dataplex_v1.DataScanServiceClient()

    # Initialize request argument(s)
    request = dataplex_v1.ListDataScanJobsRequest(
        parent="parent_value",
    )

    # Make the request
    page_result = client.list_data_scan_jobs(request=request)

    # Handle the response
    for response in page_result:
        print(response)

Ruby

Ruby

Sebelum mencoba contoh ini, ikuti petunjuk penyiapan Ruby di Panduan memulai BigQuery menggunakan library klien. Untuk mengetahui informasi selengkapnya, lihat Dokumentasi referensi BigQuery Ruby API.

Untuk melakukan autentikasi ke BigQuery, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal.

require "google/cloud/dataplex/v1"

##
# Snippet for the list_data_scan_jobs call in the DataScanService service
#
# This snippet has been automatically generated and should be regarded as a code
# template only. It will require modifications to work:
# - It may require correct/in-range values for request initialization.
# - It may require specifying regional endpoints when creating the service
# client as shown in https://cloud.google.com/ruby/docs/reference.
#
# This is an auto-generated example demonstrating basic usage of
# Google::Cloud::Dataplex::V1::DataScanService::Client#list_data_scan_jobs.
#
def list_data_scan_jobs
  # Create a client object. The client can be reused for multiple calls.
  client = Google::Cloud::Dataplex::V1::DataScanService::Client.new

  # Create a request. To set request fields, pass in keyword arguments.
  request = Google::Cloud::Dataplex::V1::ListDataScanJobsRequest.new

  # Call the list_data_scan_jobs method.
  result = client.list_data_scan_jobs request

  # The returned object is of type Gapic::PagedEnumerable. You can iterate
  # over elements, and API calls will be issued to fetch pages as needed.
  result.each do |item|
    # Each element is of type ::Google::Cloud::Dataplex::V1::DataScanJob.
    p item
  end
end

REST

Untuk melihat tugas pemindaian profil data historis, gunakan metode dataScans.jobs.list.

Status tugas

Tugas pemindaian data dapat memiliki status berikut:

• PENDING: tugas telah dibuat, tetapi belum mulai berjalan. Dalam status ini, pemindaian secara aktif menyiapkan infrastruktur atau memperoleh slot. Fase ini dapat memerlukan waktu 10 hingga 20 detik atau lebih, bergantung pada kompleksitas skema dan pertentangan resource.

• RUNNING: tugas sedang berjalan.

• CANCELING: tugas sedang dibatalkan.

• CANCELLED: tugas berhasil dibatalkan.

• SUCCEEDED: tugas berhasil diselesaikan. Status penyelesaian mungkin tertinggal hingga 60 detik dari penyelesaian kueri yang sebenarnya karena langkah-langkah pascapemrosesan, seperti agregasi dan sinkronisasi metadata.

• FAILED: tugas gagal karena error. Status penyelesaian mungkin tertinggal hingga 60 detik dari penyelesaian kueri yang sebenarnya karena langkah-langkah pascapemrosesan, seperti agregasi dan sinkronisasi metadata.

• SUCCEEDED_WITH_ERRORS: tugas berhasil diselesaikan, tetapi beberapa error terjadi selama eksekusi.

Praktik terbaik pemantauan

Saat Anda memantau tugas pemindaian data, perhatikan praktik terbaik berikut:

• Hindari polling agresif: hindari polling agresif (misalnya, memanggil GetJob atau yang setara setiap 1 hingga 5 detik). Polling yang agresif akan memboroskan kuota API dan tidak mempercepat transisi status.

• Gunakan backoff eksponensial: jika polling berulang tidak dapat dihindari, gunakan backoff eksponensial mulai dari 10 hingga 15 detik.

• Gunakan pemisahan berbasis peristiwa asinkron (Direkomendasikan): alih-alih polling API sinkron, gunakan pemicu Eventarc yang memproses Cloud Audit Logs (cloudaudit.googleapis.com). Anda dapat menggunakan pemicu ini untuk memulai alur kerja downstream segera setelah peristiwa penyelesaian tugas DataScan. Pendekatan ini mengabaikan batas polling API, menghemat kuota, dan mengurangi latensi yang dirasakan.

Melihat pemindaian profil data untuk tabel

Untuk melihat pemindaian profil data yang berlaku untuk tabel tertentu, lakukan hal berikut:

1. Di konsol Google Cloud , di halaman Metadata curation BigQuery, buka tab Data profiling & quality.

   Buka Data profiling & quality

2. Filter daftar menurut nama tabel dan jenis pemindaian.

Memberikan akses ke hasil pemindaian profil data

Untuk mengizinkan pengguna di organisasi Anda melihat hasil pemindaian, lakukan tindakan berikut:

1. Di konsol Google Cloud , di halaman Metadata curation BigQuery, buka tab Data profiling & quality.

   Buka Data profiling & quality

2. Klik pemindaian profil data yang hasilnya ingin Anda bagikan.

3. Klik tab Permissions.

4. Lakukan tindakan berikut:

   • Untuk memberikan akses ke akun utama, klik Grant access. Berikan peran Dataplex DataScan DataViewer ke akun utama terkait.
   • Untuk menghapus akses dari akun utama, pilih akun utama yang ingin Anda hapus peran Dataplex DataScan DataViewer-nya. Klik Hapus akses, lalu konfirmasi saat diminta.

Mengelola pemindaian profil data untuk tabel tertentu

Langkah-langkah dalam dokumen ini menunjukkan cara mengelola pemindaian profil data di seluruh project Anda menggunakan halaman Metadata curation > Data profiling & quality BigQuery di konsolGoogle Cloud .

Anda juga dapat membuat dan mengelola pemindaian profil data saat menggunakan tabel tertentu. Di konsol Google Cloud , di halaman BigQuery untuk tabel, gunakan tab Data profile. Lakukan tindakan berikut:

1. Di konsol Google Cloud , buka halaman BigQuery.

   Buka BigQuery

   Di panel Explorer, klik Datasets, lalu klik set data Anda. Klik Overview > Tables, lalu pilih tabel yang hasil pemindaian profil datanya ingin Anda lihat.

2. Klik tab Profil data.

3. Bergantung pada apakah tabel memiliki pemindaian profil data yang hasilnya dipublikasikan, Anda dapat menggunakan pemindaian profil data tabel dengan cara berikut:

   • Hasil pemindaian profil data dipublikasikan: hasil pemindaian terbaru yang dipublikasikan ditampilkan di halaman.

     Untuk mengelola pemindaian profil data untuk tabel ini, klik Pemindaian profil data, lalu pilih dari opsi berikut:

     • Create new scan: membuat pemindaian profil data baru. Untuk mengetahui informasi selengkapnya, lihat bagian Membuat pemindaian profil data dalam dokumen ini. Saat Anda membuat pemindaian dari halaman detail tabel, tabel akan dipilih sebelumnya.

     • Jalankan sekarang: menjalankan pemindaian.

     • Edit konfigurasi pemindaian: mengedit setelan termasuk nama tampilan, filter, ukuran pengambilan sampel, dan jadwal.

     • Mengelola izin pemindaian: mengontrol siapa yang dapat mengakses hasil pemindaian. Untuk mengetahui informasi selengkapnya, lihat bagian Memberikan akses ke hasil pemindaian profil data dalam dokumen ini.

     • Lihat hasil historis: melihat informasi mendetail tentang tugas pemindaian profil data sebelumnya. Untuk mengetahui informasi selengkapnya, lihat bagian Melihat hasil pemindaian profil data dan Melihat hasil pemindaian historis dalam dokumen ini.

     • Lihat semua pemindaian: melihat daftar pemindaian profil data yang berlaku untuk tabel ini.

   • Hasil pemindaian profil data tidak dipublikasikan: klik menu di samping Profil data cepat, lalu pilih dari opsi berikut:

     • Menyesuaikan pembuatan profil data: membuat pemindaian profil data baru. Untuk mengetahui informasi selengkapnya, lihat bagian Membuat pemindaian profil data dalam dokumen ini. Saat Anda membuat pemindaian dari halaman detail tabel, tabel akan dipilih sebelumnya.

     • View previous profiles: melihat daftar pemindaian profil data yang berlaku untuk tabel ini.

Memperbarui pemindaian profil data

Konsol

1. Di konsol Google Cloud , di halaman Metadata curation BigQuery, buka tab Data profiling & quality.

   Buka Data profiling & quality

2. Klik nama pemindaian profil data.

3. Klik Edit, lalu edit nilainya.

4. Klik Simpan.

gcloud

Untuk memperbarui pemindaian profil data, gunakan perintah gcloud dataplex datascans update data-profile:

gcloud dataplex datascans update data-profile DATASCAN \
--location=LOCATION \
--description=DESCRIPTION

Ganti variabel berikut:

• DATASCAN: Nama pemindaian profil data yang akan diperbarui.
• LOCATION: Region Google Cloud tempat pemindaian profil data dibuat.
• DESCRIPTION: Deskripsi baru untuk pemindaian profil data.

Catatan: Anda dapat memperbarui kolom spesifikasi, seperti rowFilter, samplingPercent, atau includeFields, dalam file spesifikasi profil data. Lihat format JSON.

C#

C#

Sebelum mencoba contoh ini, ikuti petunjuk penyiapan C# di Panduan memulai BigQuery menggunakan library klien. Untuk mengetahui informasi selengkapnya, lihat Dokumentasi referensi BigQuery C# API.

Untuk melakukan autentikasi ke BigQuery, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal.

using Google.Cloud.Dataplex.V1;
using Google.LongRunning;
using Google.Protobuf.WellKnownTypes;

public sealed partial class GeneratedDataScanServiceClientSnippets
{
    /// <summary>Snippet for UpdateDataScan</summary>
    /// <remarks>
    /// This snippet has been automatically generated and should be regarded as a code template only.
    /// It will require modifications to work:
    /// - It may require correct/in-range values for request initialization.
    /// - It may require specifying regional endpoints when creating the service client as shown in
    ///   https://cloud.google.com/dotnet/docs/reference/help/client-configuration#endpoint.
    /// </remarks>
    public void UpdateDataScanRequestObject()
    {
        // Create client
        DataScanServiceClient dataScanServiceClient = DataScanServiceClient.Create();
        // Initialize request argument(s)
        UpdateDataScanRequest request = new UpdateDataScanRequest
        {
            DataScan = new DataScan(),
            UpdateMask = new FieldMask(),
            ValidateOnly = false,
        };
        // Make the request
        Operation<DataScan, OperationMetadata> response = dataScanServiceClient.UpdateDataScan(request);

        // Poll until the returned long-running operation is complete
        Operation<DataScan, OperationMetadata> completedResponse = response.PollUntilCompleted();
        // Retrieve the operation result
        DataScan result = completedResponse.Result;

        // Or get the name of the operation
        string operationName = response.Name;
        // This name can be stored, then the long-running operation retrieved later by name
        Operation<DataScan, OperationMetadata> retrievedResponse = dataScanServiceClient.PollOnceUpdateDataScan(operationName);
        // Check if the retrieved long-running operation has completed
        if (retrievedResponse.IsCompleted)
        {
            // If it has completed, then access the result
            DataScan retrievedResult = retrievedResponse.Result;
        }
    }
}

Go

Go

Sebelum mencoba contoh ini, ikuti petunjuk penyiapan Go di Panduan memulai BigQuery menggunakan library klien. Untuk mengetahui informasi selengkapnya, lihat Dokumentasi referensi BigQuery Go API.

Untuk melakukan autentikasi ke BigQuery, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal.

//go:build examples

package main

import (
	"context"

	dataplex "cloud.google.com/go/dataplex/apiv1"
	dataplexpb "cloud.google.com/go/dataplex/apiv1/dataplexpb"
)

func main() {
	ctx := context.Background()
	// This snippet has been automatically generated and should be regarded as a code template only.
	// It will require modifications to work:
	// - It may require correct/in-range values for request initialization.
	// - It may require specifying regional endpoints when creating the service client as shown in:
	//   https://pkg.go.dev/cloud.google.com/go#hdr-Client_Options
	c, err := dataplex.NewDataScanClient(ctx)
	if err != nil {
		// TODO: Handle error.
	}
	defer c.Close()

	req := &dataplexpb.UpdateDataScanRequest{
		// TODO: Fill request struct fields.
		// See https://pkg.go.dev/cloud.google.com/go/dataplex/apiv1/dataplexpb#UpdateDataScanRequest.
	}
	op, err := c.UpdateDataScan(ctx, req)
	if err != nil {
		// TODO: Handle error.
	}

	resp, err := op.Wait(ctx)
	if err != nil {
		// TODO: Handle error.
	}
	// TODO: Use resp.
	_ = resp
}

Java

Java

Sebelum mencoba contoh ini, ikuti petunjuk penyiapan Java di Panduan memulai BigQuery menggunakan library klien. Untuk mengetahui informasi selengkapnya, lihat Dokumentasi referensi BigQuery Java API.

Untuk melakukan autentikasi ke BigQuery, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal.

import com.google.cloud.dataplex.v1.DataScan;
import com.google.cloud.dataplex.v1.DataScanServiceClient;
import com.google.cloud.dataplex.v1.UpdateDataScanRequest;
import com.google.protobuf.FieldMask;

public class SyncUpdateDataScan {

  public static void main(String[] args) throws Exception {
    syncUpdateDataScan();
  }

  public static void syncUpdateDataScan() throws Exception {
    // This snippet has been automatically generated and should be regarded as a code template only.
    // It will require modifications to work:
    // - It may require correct/in-range values for request initialization.
    // - It may require specifying regional endpoints when creating the service client as shown in
    // https://cloud.google.com/java/docs/setup#configure_endpoints_for_the_client_library
    try (DataScanServiceClient dataScanServiceClient = DataScanServiceClient.create()) {
      UpdateDataScanRequest request =
          UpdateDataScanRequest.newBuilder()
              .setDataScan(DataScan.newBuilder().build())
              .setUpdateMask(FieldMask.newBuilder().build())
              .setValidateOnly(true)
              .build();
      DataScan response = dataScanServiceClient.updateDataScanAsync(request).get();
    }
  }
}

Python

Python

Sebelum mencoba contoh ini, ikuti petunjuk penyiapan Python di Panduan memulai BigQuery menggunakan library klien. Untuk mengetahui informasi selengkapnya, lihat Dokumentasi referensi BigQuery Python API.

Untuk melakukan autentikasi ke BigQuery, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal.

# This snippet has been automatically generated and should be regarded as a
# code template only.
# It will require modifications to work:
# - It may require correct/in-range values for request initialization.
# - It may require specifying regional endpoints when creating the service
#   client as shown in:
#   https://googleapis.dev/python/google-api-core/latest/client_options.html
from google.cloud import dataplex_v1


def sample_update_data_scan():
    # Create a client
    client = dataplex_v1.DataScanServiceClient()

    # Initialize request argument(s)
    data_scan = dataplex_v1.DataScan()
    data_scan.data.entity = "entity_value"

    request = dataplex_v1.UpdateDataScanRequest(
        data_scan=data_scan,
    )

    # Make the request
    operation = client.update_data_scan(request=request)

    print("Waiting for operation to complete...")

    response = operation.result()

    # Handle the response
    print(response)

Ruby

Ruby

Sebelum mencoba contoh ini, ikuti petunjuk penyiapan Ruby di Panduan memulai BigQuery menggunakan library klien. Untuk mengetahui informasi selengkapnya, lihat Dokumentasi referensi BigQuery Ruby API.

Untuk melakukan autentikasi ke BigQuery, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal.

require "google/cloud/dataplex/v1"

##
# Snippet for the update_data_scan call in the DataScanService service
#
# This snippet has been automatically generated and should be regarded as a code
# template only. It will require modifications to work:
# - It may require correct/in-range values for request initialization.
# - It may require specifying regional endpoints when creating the service
# client as shown in https://cloud.google.com/ruby/docs/reference.
#
# This is an auto-generated example demonstrating basic usage of
# Google::Cloud::Dataplex::V1::DataScanService::Client#update_data_scan.
#
def update_data_scan
  # Create a client object. The client can be reused for multiple calls.
  client = Google::Cloud::Dataplex::V1::DataScanService::Client.new

  # Create a request. To set request fields, pass in keyword arguments.
  request = Google::Cloud::Dataplex::V1::UpdateDataScanRequest.new

  # Call the update_data_scan method.
  result = client.update_data_scan request

  # The returned object is of type Gapic::Operation. You can use it to
  # check the status of an operation, cancel it, or wait for results.
  # Here is how to wait for a response.
  result.wait_until_done! timeout: 60
  if result.response?
    p result.response
  else
    puts "No response received."
  end
end

REST

Untuk mengedit pemindaian profil data, gunakan metode dataScans.patch.

Catatan: Pembaruan tidak didukung untuk pemindaian profil data yang menggunakan jadwal satu kali.

Menghapus pemindaian profil data

Konsol

1. Di konsol Google Cloud , di halaman Metadata curation BigQuery, buka tab Data profiling & quality.

   Buka Data profiling & quality

2. Klik pemindaian yang ingin Anda hapus.

3. Klik Delete, lalu konfirmasi saat diminta.

gcloud

Untuk menghapus pemindaian profil data, gunakan perintah gcloud dataplex datascans delete:

gcloud dataplex datascans delete DATASCAN \
--location=LOCATION --async

Ganti variabel berikut:

• DATASCAN: Nama pemindaian profil data yang akan dihapus.
• LOCATION: Region Google Cloud tempat pemindaian profil data dibuat.

REST

Untuk menghapus pemindaian profil data, gunakan metode dataScans.delete.

Catatan: Penghapusan tidak didukung untuk pemindaian profil data yang menggunakan jadwal satu kali.

Langkah berikutnya

• Pelajari cara mengeksplorasi data dengan membuat insight data.
• Pelajari lebih lanjut tata kelola data di BigQuery.
• Pelajari cara memindai data untuk menemukan masalah kualitas data.
• Pelajari cara melihat pratinjau detail skema dan membuat kueri dengan panel Referensi.