Membuat profil data Anda

Dokumen ini menjelaskan cara menggunakan pemindaian profil data untuk lebih memahami data Anda. BigQuery menggunakan Dataplex Universal Catalog untuk menganalisis karakteristik statistik data Anda, seperti nilai rata-rata, nilai unik, dan nilai maksimum. Dataplex Universal Catalog juga menggunakan informasi ini untuk merekomendasikan aturan untuk pemeriksaan kualitas data.

Untuk mengetahui informasi selengkapnya tentang pembuatan profil data, lihat Tentang pembuatan profil data.

Sebelum memulai

Enable the Dataplex API.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the API

Peran yang diperlukan

Untuk mendapatkan izin yang diperlukan untuk membuat dan mengelola pemindaian profil data, minta administrator untuk memberi Anda peran IAM berikut pada resource Anda seperti project atau tabel:

  • Untuk membuat, menjalankan, memperbarui, dan menghapus pemindaian profil data: Peran Dataplex DataScan Editor (roles/dataplex.dataScanEditor) di project yang berisi pemindaian data.
  • Untuk mengizinkan Katalog Universal Dataplex menjalankan pemindaian profil data terhadap data BigQuery, berikan peran berikut kepada akun layanan Katalog Universal Dataplex: Peran Pengguna Tugas BigQuery (roles/bigquery.jobUser) di project yang menjalankan pemindaian; Peran Pelihat Data BigQuery (roles/bigquery.dataViewer) di tabel yang dipindai.
  • Untuk menjalankan pemindaian profil data untuk tabel eksternal BigQuery yang menggunakan data Cloud Storage: berikan peran Storage Object Viewer (roles/storage.objectViewer) dan Storage Legacy Bucket Reader (roles/storage.legacyBucketReader) kepada akun layanan Dataplex Universal Catalog di bucket Cloud Storage.
  • Untuk melihat hasil, tugas, dan histori pemindaian profil data: Peran Dataplex DataScan Viewer (roles/dataplex.dataScanViewer) di project yang berisi pemindaian data.
  • Untuk mengekspor hasil pemindaian profil data ke tabel BigQuery: Peran BigQuery Data Editor (roles/bigquery.dataEditor) di tabel.
  • Untuk memublikasikan hasil pemindaian profil data ke Dataplex Universal Catalog: Peran Dataplex Catalog Editor (roles/dataplex.catalogEditor) di grup entri @bigquery.
  • Untuk melihat hasil pemindaian profil data yang dipublikasikan di BigQuery pada tab Profil data: Peran BigQuery Data Viewer (roles/bigquery.dataViewer) pada tabel.

Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses ke project, folder, dan organisasi.

Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.

Izin yang diperlukan

Jika menggunakan peran khusus, Anda harus memberikan izin IAM berikut:

  • Untuk membuat, menjalankan, memperbarui, dan menghapus pemindaian profil data:
    • dataplex.datascans.create di project—Buat DataScan
    • dataplex.datascans.update pada pemindaian data—Perbarui deskripsi DataScan
    • dataplex.datascans.delete pada pemindaian data—Menghapus DataScan
    • dataplex.datascans.run pada pemindaian data—Jalankan DataScan
    • dataplex.datascans.get pada pemindaian data—Melihat detail DataScan tanpa menyertakan hasil
    • dataplex.datascans.list di project—Mencantumkan DataScan
    • dataplex.dataScanJobs.get pada tugas pemindaian data—Membaca resource tugas DataScan
    • dataplex.dataScanJobs.list pada pemindaian data—Mencantumkan resource tugas DataScan dalam project
  • Untuk mengizinkan Dataplex Universal Catalog menjalankan pemindaian profil data terhadap data BigQuery:
    • bigquery.jobs.create di project—Menjalankan tugas
    • bigquery.tables.get pada tabel—Mendapatkan metadata tabel
    • bigquery.tables.getData pada tabel—Mendapatkan data tabel
  • Untuk menjalankan pemindaian profil data untuk tabel eksternal BigQuery yang menggunakan data Cloud Storage:
    • storage.buckets.get di bucket—Membaca metadata bucket
    • storage.objects.get pada objek—Membaca data objek
  • Untuk melihat hasil, tugas, dan histori pemindaian profil data:
    • dataplex.datascans.getData pada pemindaian data—Melihat detail DataScan termasuk hasil
    • dataplex.datascans.list di project—Mencantumkan DataScan
    • dataplex.dataScanJobs.get pada tugas pemindaian data—Membaca resource tugas DataScan
    • dataplex.dataScanJobs.list pada pemindaian data—Mencantumkan resource tugas DataScan dalam project
  • Untuk mengekspor hasil pemindaian profil data ke tabel BigQuery:
    • bigquery.tables.create pada set data—Buat tabel
    • bigquery.tables.updateData pada tabel—Menulis data ke tabel
  • Untuk memublikasikan hasil pemindaian profil data ke Dataplex Universal Catalog:
    • dataplex.entryGroups.useDataProfileAspect pada grup entri—Memungkinkan pemindaian profil data Dataplex Universal Catalog menyimpan hasilnya ke Dataplex Universal Catalog
    • Selain itu, Anda memerlukan salah satu izin berikut:
      • bigquery.tables.update pada tabel—Memperbarui metadata tabel
      • dataplex.entries.update pada entri—Memperbarui entri
  • Untuk melihat hasil profil data yang dipublikasikan untuk tabel di BigQuery atau Dataplex Universal Catalog:
    • bigquery.tables.get pada tabel—Mendapatkan metadata tabel
    • bigquery.tables.getData pada tabel—Mendapatkan data tabel

Jika tabel menggunakan keamanan tingkat baris BigQuery, Dataplex Universal Catalog hanya dapat memindai baris yang terlihat oleh akun layanan Dataplex Universal Catalog. Untuk mengizinkan Dataplex Universal Catalog memindai semua baris, tambahkan akun layanannya ke filter baris dengan predikat TRUE.

Jika tabel menggunakan keamanan tingkat kolom BigQuery, maka Dataplex Universal Catalog memerlukan akses untuk memindai kolom yang dilindungi. Untuk memberikan akses, berikan peran Data Catalog Fine-Grained Reader (roles/datacatalog.fineGrainedReader) kepada akun layanan Dataplex Universal Catalog di semua tag kebijakan yang digunakan dalam tabel. Pengguna yang membuat atau memperbarui pemindaian data juga memerlukan izin pada kolom yang dilindungi.

Memberikan peran ke akun layanan Dataplex Universal Catalog

Untuk menjalankan pemindaian profil data, Dataplex Universal Catalog menggunakan akun layanan yang memerlukan izin untuk menjalankan tugas BigQuery dan membaca data tabel BigQuery. Untuk memberikan peran yang diperlukan, ikuti langkah-langkah berikut:

  1. Dapatkan alamat email akun layanan Dataplex Universal Catalog. Jika Anda belum membuat profil data atau pemindaian kualitas data di project ini sebelumnya, jalankan perintah gcloud berikut untuk membuat identitas layanan:

    gcloud beta services identity create --service=dataplex.googleapis.com

    Perintah ini menampilkan email akun layanan, yang memiliki format berikut: service-PROJECT_NUMBER@gcp-sa-dataplex.iam.gserviceaccount.com.

    Jika akun layanan sudah ada, Anda dapat menemukan emailnya dengan melihat akun utama dengan nama Dataplex di halaman IAM di konsol Google Cloud .

  2. Berikan peran BigQuery Job User (roles/bigquery.jobUser) kepada akun layanan di project Anda. Peran ini memungkinkan akun layanan menjalankan tugas BigQuery untuk pemindaian.

    gcloud projects add-iam-policy-binding PROJECT_ID \
    --member="serviceAccount:service-PROJECT_NUMBER@gcp-sa-dataplex.iam.gserviceaccount.com" \
    --role="roles/bigquery.jobUser"

    Ganti kode berikut:

    • PROJECT_ID: Google Cloud Project ID Anda.
    • service-PROJECT_NUMBER@gcp-sa-dataplex.iam.gserviceaccount.com: email akun layanan Dataplex Universal Catalog.

  3. Beri akun layanan peran BigQuery Data Viewer (roles/bigquery.dataViewer) untuk setiap tabel yang ingin Anda buat profilnya. Peran ini memberikan akses hanya baca ke tabel.

    gcloud bigquery tables add-iam-policy-binding DATASET_ID.TABLE_ID \
    --member="serviceAccount:service-PROJECT_NUMBER@gcp-sa-dataplex.iam.gserviceaccount.com" \
    --role="roles/bigquery.dataViewer"

    Ganti kode berikut:

    • DATASET_ID: ID set data yang berisi tabel.
    • TABLE_ID: ID tabel yang akan dibuat profilnya.
    • service-PROJECT_NUMBER@gcp-sa-dataplex.iam.gserviceaccount.com: email akun layanan Dataplex Universal Catalog.

      Membuat pemindaian profil data

      Konsol

      1. Di konsol Google Cloud , pada halaman Penataan metadata BigQuery, buka tab Pembuatan profil & kualitas data.

        Buka Profil data & kualitas

      2. Klik Buat pemindaian profil data.

      3. Opsional: Masukkan Nama tampilan.

      4. Masukkan ID. Lihat Konvensi penamaan resource.

      5. Opsional: Masukkan Deskripsi..

      6. Di kolom Table, klik Browse. Pilih tabel yang akan dipindai, lalu klik Pilih.

        Untuk tabel dalam set data multi-region, pilih region tempat pemindaian data akan dibuat.

        Untuk menjelajahi tabel yang disusun dalam data lake Dataplex Universal Catalog, klik Jelajahi dalam Data Lake Dataplex.

      7. Di kolom Cakupan, pilih Inkremental atau Seluruh data.

        • Jika Anda memilih Data inkremental, di kolom Stempel waktu, pilih kolom berjenis DATE atau TIMESTAMP dari tabel BigQuery yang bertambah saat data baru ditambahkan, dan yang dapat digunakan untuk mengidentifikasi data baru. Untuk tabel yang dipartisi pada kolom jenis DATE atau TIMESTAMP, sebaiknya gunakan kolom partisi sebagai kolom stempel waktu.

      8. Opsional: Untuk memfilter data, lakukan salah satu hal berikut:

        • Untuk memfilter menurut baris, klik kotak centang Filter baris. Masukkan ekspresi SQL yang valid yang dapat digunakan dalam klausa WHERE dalam sintaksis GoogleSQL. Misalnya: col1 >= 0.

          Filter dapat berupa kombinasi kondisi SQL di beberapa kolom. Misalnya: col1 >= 0 AND col2 < 10.

        • Untuk memfilter menurut kolom, centang kotak Filter kolom.

          • Untuk menyertakan kolom dalam pemindaian profil, di kolom Sertakan kolom, klik Jelajahi. Pilih kolom yang akan disertakan, lalu klik Pilih.

          • Untuk mengecualikan kolom dari pemindaian profil, di kolom Kecualikan kolom, klik Jelajahi. Pilih kolom yang akan dikecualikan, lalu klik Pilih.

      9. Untuk menerapkan sampling ke pemindaian profil data, di daftar Ukuran sampling, pilih persentase sampling. Pilih nilai persentase yang berkisar antara 0,0% dan 100,0% dengan maksimal 3 digit desimal.

        • Untuk set data yang lebih besar, pilih persentase pengambilan sampel yang lebih rendah. Misalnya, untuk tabel 1 PB, jika Anda memasukkan nilai antara 0,1% dan 1,0%, profil data akan mengambil sampel data antara 1-10 TB.

        • Harus ada minimal 100 data dalam data yang diambil sampelnya untuk menampilkan hasil.

        • Untuk pemindaian data inkremental, pemindaian profil data menerapkan pengambilan sampel ke penambahan terbaru.

      10. Opsional: Publikasikan hasil pemindaian profil data di halaman BigQuery dan Dataplex Universal Catalog di konsolGoogle Cloud untuk tabel sumber. Centang kotak Publikasikan hasil ke BigQuery dan Katalog Dataplex.

        Anda dapat melihat hasil pemindaian terbaru di tab Profil data di halaman BigQuery dan Dataplex Universal Catalog untuk tabel sumber. Untuk mengizinkan pengguna mengakses hasil pemindaian yang dipublikasikan, lihat bagian Memberikan akses ke hasil pemindaian profil data dalam dokumen ini.

        Opsi publikasi mungkin tidak tersedia dalam kasus berikut:

        • Anda tidak memiliki izin yang diperlukan pada tabel.
        • Pemindaian kualitas data lain ditetapkan untuk memublikasikan hasil.

      11. Di bagian Jadwal, pilih salah satu opsi berikut:

        • Ulangi: Jalankan pemindaian profil data sesuai jadwal: per jam, harian, mingguan, bulanan, atau kustom. Tentukan seberapa sering pemindaian harus dijalankan dan pada pukul berapa. Jika Anda memilih kustom, gunakan format cron untuk menentukan jadwal.

        • On-demand: Jalankan pemindaian profil data sesuai permintaan.

      12. Klik Lanjutkan.

      13. Opsional: Ekspor hasil pemindaian ke tabel standar BigQuery. Di bagian Ekspor hasil pemindaian ke tabel BigQuery, lakukan hal berikut:

        1. Di kolom Select BigQuery dataset, klik Browse. Pilih set data BigQuery untuk menyimpan hasil pemindaian profil data.

        2. Di kolom Tabel BigQuery, tentukan tabel untuk menyimpan hasil pemindaian profil data. Jika Anda menggunakan tabel yang sudah ada, pastikan tabel tersebut kompatibel dengan skema tabel ekspor. Jika tabel yang ditentukan tidak ada, Dataplex Universal Catalog akan membuatnya untuk Anda.

      14. Opsional: Tambahkan label. Label adalah key-value pair yang memungkinkan Anda mengelompokkan objek terkait secara bersamaan atau dengan Google Cloud resource lainnya.

      15. Untuk membuat pemindaian, klik Buat.

        Jika Anda menyetel jadwal ke on-demand, Anda juga dapat menjalankan pemindaian sekarang dengan mengklik Jalankan pemindaian.

      gcloud

      Untuk membuat pemindaian profil data, gunakan perintah gcloud dataplex datascans create data-profile.

      Jika data sumber disusun dalam data lake Dataplex Universal Catalog, sertakan flag --data-source-entity:

      gcloud dataplex datascans create data-profile DATASCAN \
--location=LOCATION \
--data-source-entity=DATA_SOURCE_ENTITY

      Jika data sumber tidak diatur dalam data lake Dataplex Universal Catalog, sertakan flag --data-source-resource:

      gcloud dataplex datascans create data-profile DATASCAN \
--location=LOCATION \
--data-source-resource=DATA_SOURCE_RESOURCE

      Ganti variabel berikut:

      • DATASCAN: Nama pemindaian profil data.
      • LOCATION: Region Google Cloud tempat pembuatan pemindaian profil data.
      • DATA_SOURCE_ENTITY: Entitas Dataplex Universal Catalog yang berisi data untuk pemindaian profil data. Contoh, projects/test-project/locations/test-location/lakes/test-lake/zones/test-zone/entities/test-entity.
      • DATA_SOURCE_RESOURCE: Nama resource yang berisi data untuk pemindaian profil data. Contoh, //bigquery.googleapis.com/projects/test-project/datasets/test-dataset/tables/test-table.

      C#

      C#

      Sebelum mencoba contoh ini, ikuti petunjuk penyiapan C# di Panduan memulai Dataplex Universal Catalog menggunakan library klien. Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi C# API Dataplex Universal Catalog.

      Untuk melakukan autentikasi ke Katalog Universal Dataplex, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal. 

      using Google.Api.Gax.ResourceNames;
using Google.Cloud.Dataplex.V1;
using Google.LongRunning;

public sealed partial class GeneratedDataScanServiceClientSnippets
{
    /// <summary>Snippet for CreateDataScan</summary>
    /// <remarks>
    /// This snippet has been automatically generated and should be regarded as a code template only.
    /// It will require modifications to work:
    /// - It may require correct/in-range values for request initialization.
    /// - It may require specifying regional endpoints when creating the service client as shown in
    ///   https://cloud.google.com/dotnet/docs/reference/help/client-configuration#endpoint.
    /// </remarks>
    public void CreateDataScanRequestObject()
    {
        // Create client
        DataScanServiceClient dataScanServiceClient = DataScanServiceClient.Create();
        // Initialize request argument(s)
        CreateDataScanRequest request = new CreateDataScanRequest
        {
            ParentAsLocationName = LocationName.FromProjectLocation("[PROJECT]", "[LOCATION]"),
            DataScan = new DataScan(),
            DataScanId = "",
            ValidateOnly = false,
        };
        // Make the request
        Operation<DataScan, OperationMetadata> response = dataScanServiceClient.CreateDataScan(request);

        // Poll until the returned long-running operation is complete
        Operation<DataScan, OperationMetadata> completedResponse = response.PollUntilCompleted();
        // Retrieve the operation result
        DataScan result = completedResponse.Result;

        // Or get the name of the operation
        string operationName = response.Name;
        // This name can be stored, then the long-running operation retrieved later by name
        Operation<DataScan, OperationMetadata> retrievedResponse = dataScanServiceClient.PollOnceCreateDataScan(operationName);
        // Check if the retrieved long-running operation has completed
        if (retrievedResponse.IsCompleted)
        {
            // If it has completed, then access the result
            DataScan retrievedResult = retrievedResponse.Result;
        }
    }
}

      Go

      Go

      Sebelum mencoba contoh ini, ikuti petunjuk penyiapan Go di Panduan memulai Dataplex Universal Catalog menggunakan library klien. Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi Go API Dataplex Universal Catalog.

      Untuk melakukan autentikasi ke Katalog Universal Dataplex, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal. 

      
package main

import (
	"context"

	dataplex "cloud.google.com/go/dataplex/apiv1"
	dataplexpb "cloud.google.com/go/dataplex/apiv1/dataplexpb"
)

func main() {
	ctx := context.Background()
	// This snippet has been automatically generated and should be regarded as a code template only.
	// It will require modifications to work:
	// - It may require correct/in-range values for request initialization.
	// - It may require specifying regional endpoints when creating the service client as shown in:
	//   https://pkg.go.dev/cloud.google.com/go#hdr-Client_Options
	c, err := dataplex.NewDataScanClient(ctx)
	if err != nil {
		// TODO: Handle error.
	}
	defer c.Close()

	req := &dataplexpb.CreateDataScanRequest{
		// TODO: Fill request struct fields.
		// See https://pkg.go.dev/cloud.google.com/go/dataplex/apiv1/dataplexpb#CreateDataScanRequest.
	}
	op, err := c.CreateDataScan(ctx, req)
	if err != nil {
		// TODO: Handle error.
	}

	resp, err := op.Wait(ctx)
	if err != nil {
		// TODO: Handle error.
	}
	// TODO: Use resp.
	_ = resp
}

      Java

      Java

      Sebelum mencoba contoh ini, ikuti petunjuk penyiapan Java di Panduan memulai Dataplex Universal Catalog menggunakan library klien. Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi Java API Dataplex Universal Catalog.

      Untuk melakukan autentikasi ke Katalog Universal Dataplex, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal. 

      import com.google.cloud.dataplex.v1.CreateDataScanRequest;
import com.google.cloud.dataplex.v1.DataScan;
import com.google.cloud.dataplex.v1.DataScanServiceClient;
import com.google.cloud.dataplex.v1.LocationName;

public class SyncCreateDataScan {

  public static void main(String[] args) throws Exception {
    syncCreateDataScan();
  }

  public static void syncCreateDataScan() throws Exception {
    // This snippet has been automatically generated and should be regarded as a code template only.
    // It will require modifications to work:
    // - It may require correct/in-range values for request initialization.
    // - It may require specifying regional endpoints when creating the service client as shown in
    // https://cloud.google.com/java/docs/setup#configure_endpoints_for_the_client_library
    try (DataScanServiceClient dataScanServiceClient = DataScanServiceClient.create()) {
      CreateDataScanRequest request =
          CreateDataScanRequest.newBuilder()
              .setParent(LocationName.of("[PROJECT]", "[LOCATION]").toString())
              .setDataScan(DataScan.newBuilder().build())
              .setDataScanId("dataScanId1260787906")
              .setValidateOnly(true)
              .build();
      DataScan response = dataScanServiceClient.createDataScanAsync(request).get();
    }
  }
}

      Python

      Python

      Sebelum mencoba contoh ini, ikuti petunjuk penyiapan Python di Panduan memulai Dataplex Universal Catalog menggunakan library klien. Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi Python API Dataplex Universal Catalog.

      Untuk melakukan autentikasi ke Katalog Universal Dataplex, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal. 

      # This snippet has been automatically generated and should be regarded as a
# code template only.
# It will require modifications to work:
# - It may require correct/in-range values for request initialization.
# - It may require specifying regional endpoints when creating the service
#   client as shown in:
#   https://googleapis.dev/python/google-api-core/latest/client_options.html
from google.cloud import dataplex_v1


def sample_create_data_scan():
    # Create a client
    client = dataplex_v1.DataScanServiceClient()

    # Initialize request argument(s)
    data_scan = dataplex_v1.DataScan()
    data_scan.data_quality_spec.rules.dimension = "dimension_value"
    data_scan.data.entity = "entity_value"

    request = dataplex_v1.CreateDataScanRequest(
        parent="parent_value",
        data_scan=data_scan,
        data_scan_id="data_scan_id_value",
    )

    # Make the request
    operation = client.create_data_scan(request=request)

    print("Waiting for operation to complete...")

    response = operation.result()

    # Handle the response
    print(response)

      Ruby

      Ruby

      Sebelum mencoba contoh ini, ikuti petunjuk penyiapan Ruby di Panduan memulai Dataplex Universal Catalog menggunakan library klien. Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi Ruby API Dataplex Universal Catalog.

      Untuk melakukan autentikasi ke Katalog Universal Dataplex, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal. 

      require "google/cloud/dataplex/v1"

##
# Snippet for the create_data_scan call in the DataScanService service
#
# This snippet has been automatically generated and should be regarded as a code
# template only. It will require modifications to work:
# - It may require correct/in-range values for request initialization.
# - It may require specifying regional endpoints when creating the service
# client as shown in https://cloud.google.com/ruby/docs/reference.
#
# This is an auto-generated example demonstrating basic usage of
# Google::Cloud::Dataplex::V1::DataScanService::Client#create_data_scan.
#
def create_data_scan
  # Create a client object. The client can be reused for multiple calls.
  client = Google::Cloud::Dataplex::V1::DataScanService::Client.new

  # Create a request. To set request fields, pass in keyword arguments.
  request = Google::Cloud::Dataplex::V1::CreateDataScanRequest.new

  # Call the create_data_scan method.
  result = client.create_data_scan request

  # The returned object is of type Gapic::Operation. You can use it to
  # check the status of an operation, cancel it, or wait for results.
  # Here is how to wait for a response.
  result.wait_until_done! timeout: 60
  if result.response?
    p result.response
  else
    puts "No response received."
  end
end

      REST

      Untuk membuat pemindaian profil data, gunakan metode dataScans.create.

      Membuat beberapa pemindaian profil data

      Anda dapat mengonfigurasi pemindaian profil data untuk beberapa tabel dalam set data BigQuery secara bersamaan menggunakan konsol Google Cloud .

      1. Di konsol Google Cloud , pada halaman Penataan metadata BigQuery, buka tab Pembuatan profil & kualitas data.

        Buka Profil data & kualitas

      2. Klik Buat pemindaian profil data.

      3. Pilih opsi Beberapa pemindaian profil data.

      4. Masukkan awalan ID. Katalog Universal Dataplex otomatis membuat ID pemindaian menggunakan awalan yang diberikan dan akhiran unik.

      5. Masukkan Deskripsi untuk semua pemindaian profil data.

      6. Di kolom Dataset, klik Jelajahi. Pilih set data untuk memilih tabel. Klik Select.

      7. Jika set data bersifat multi-regional, pilih Region tempat pembuatan pemindaian profil data.

      8. Konfigurasi setelan umum untuk pemindaian:

        1. Di kolom Cakupan, pilih Inkremental atau Seluruh data.

        2. Untuk menerapkan sampling ke pemindaian profil data, di daftar Ukuran sampling, pilih persentase sampling.

          Pilih nilai persentase antara 0,0% dan 100,0% dengan hingga 3 digit desimal.

        3. Opsional: Publikasikan hasil pemindaian profil data di halaman BigQuery dan Dataplex Universal Catalog di konsolGoogle Cloud untuk tabel sumber. Centang kotak Publikasikan hasil ke BigQuery dan Katalog Dataplex.

          Anda dapat melihat hasil pemindaian terbaru di tab Profil data di halaman BigQuery dan Dataplex Universal Catalog untuk tabel sumber. Untuk mengizinkan pengguna mengakses hasil pemindaian yang dipublikasikan, lihat bagian Memberi akses ke hasil pemindaian profil data dalam dokumen ini.

        4. Di bagian Jadwal, pilih salah satu opsi berikut:

          • Ulangi: Jalankan pemindaian profil data sesuai jadwal: per jam, harian, mingguan, bulanan, atau kustom. Tentukan seberapa sering pemindaian harus dijalankan dan pada pukul berapa. Jika Anda memilih kustom, gunakan format cron untuk menentukan jadwal.

          • On-demand: Jalankan pemindaian profil data sesuai permintaan.

      9. Klik Lanjutkan.

      10. Di kolom Choose tables, klik Browse. Pilih satu atau beberapa tabel yang akan dipindai, lalu klik Pilih.

      11. Klik Lanjutkan.

      12. Opsional: Ekspor hasil pemindaian ke tabel standar BigQuery. Di bagian Ekspor hasil pemindaian ke tabel BigQuery, lakukan hal berikut:

        1. Di kolom Select BigQuery dataset, klik Browse. Pilih set data BigQuery untuk menyimpan hasil pemindaian profil data.

        2. Di kolom Tabel BigQuery, tentukan tabel untuk menyimpan hasil pemindaian profil data. Jika Anda menggunakan tabel yang sudah ada, pastikan tabel tersebut kompatibel dengan skema tabel ekspor. Jika tabel yang ditentukan tidak ada, Katalog Universal Dataplex akan membuatnya untuk Anda.

          Dataplex Universal Catalog menggunakan tabel hasil yang sama untuk semua pemindaian profil data.

      13. Opsional: Tambahkan label. Label adalah key-value pair yang memungkinkan Anda mengelompokkan objek terkait secara bersamaan atau dengan resource Google Cloud lainnya.

      14. Untuk membuat pemindaian, klik Buat.

        Jika menyetel jadwal ke on-demand, Anda juga dapat menjalankan pemindaian sekarang dengan mengklik Jalankan pemindaian.

      Menjalankan pemindaian profil data

      Konsol

      1. Di konsol Google Cloud , pada halaman Penataan metadata BigQuery, buka tab Pembuatan profil & kualitas data.

        Buka Data profiling & quality

      2. Klik pemindaian profil data yang akan dijalankan.
      3. Klik Jalankan sekarang.

      gcloud

      Untuk menjalankan pemindaian profil data, gunakan perintah gcloud dataplex datascans run:

      gcloud dataplex datascans run DATASCAN \
--location=LOCATION

      Ganti variabel berikut:

      • DATASCAN: Nama pemindaian profil data.
      • LOCATION: Region Google Cloud tempat pemindaian profil data dibuat.

      C#

      C#

      Sebelum mencoba contoh ini, ikuti petunjuk penyiapan C# di Panduan memulai Dataplex Universal Catalog menggunakan library klien. Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi C# API Dataplex Universal Catalog.

      Untuk melakukan autentikasi ke Katalog Universal Dataplex, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal. 

      using Google.Cloud.Dataplex.V1;

public sealed partial class GeneratedDataScanServiceClientSnippets
{
    /// <summary>Snippet for RunDataScan</summary>
    /// <remarks>
    /// This snippet has been automatically generated and should be regarded as a code template only.
    /// It will require modifications to work:
    /// - It may require correct/in-range values for request initialization.
    /// - It may require specifying regional endpoints when creating the service client as shown in
    ///   https://cloud.google.com/dotnet/docs/reference/help/client-configuration#endpoint.
    /// </remarks>
    public void RunDataScanRequestObject()
    {
        // Create client
        DataScanServiceClient dataScanServiceClient = DataScanServiceClient.Create();
        // Initialize request argument(s)
        RunDataScanRequest request = new RunDataScanRequest
        {
            DataScanName = DataScanName.FromProjectLocationDataScan("[PROJECT]", "[LOCATION]", "[DATASCAN]"),
        };
        // Make the request
        RunDataScanResponse response = dataScanServiceClient.RunDataScan(request);
    }
}

      Go

      Go

      Sebelum mencoba contoh ini, ikuti petunjuk penyiapan Go di Panduan memulai Dataplex Universal Catalog menggunakan library klien. Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi Go API Dataplex Universal Catalog.

      Untuk melakukan autentikasi ke Katalog Universal Dataplex, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal. 

      
package main

import (
	"context"

	dataplex "cloud.google.com/go/dataplex/apiv1"
	dataplexpb "cloud.google.com/go/dataplex/apiv1/dataplexpb"
)

func main() {
	ctx := context.Background()
	// This snippet has been automatically generated and should be regarded as a code template only.
	// It will require modifications to work:
	// - It may require correct/in-range values for request initialization.
	// - It may require specifying regional endpoints when creating the service client as shown in:
	//   https://pkg.go.dev/cloud.google.com/go#hdr-Client_Options
	c, err := dataplex.NewDataScanClient(ctx)
	if err != nil {
		// TODO: Handle error.
	}
	defer c.Close()

	req := &dataplexpb.RunDataScanRequest{
		// TODO: Fill request struct fields.
		// See https://pkg.go.dev/cloud.google.com/go/dataplex/apiv1/dataplexpb#RunDataScanRequest.
	}
	resp, err := c.RunDataScan(ctx, req)
	if err != nil {
		// TODO: Handle error.
	}
	// TODO: Use resp.
	_ = resp
}

      Java

      Java

      Sebelum mencoba contoh ini, ikuti petunjuk penyiapan Java di Panduan memulai Dataplex Universal Catalog menggunakan library klien. Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi Java API Dataplex Universal Catalog.

      Untuk melakukan autentikasi ke Katalog Universal Dataplex, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal. 

      import com.google.cloud.dataplex.v1.DataScanName;
import com.google.cloud.dataplex.v1.DataScanServiceClient;
import com.google.cloud.dataplex.v1.RunDataScanRequest;
import com.google.cloud.dataplex.v1.RunDataScanResponse;

public class SyncRunDataScan {

  public static void main(String[] args) throws Exception {
    syncRunDataScan();
  }

  public static void syncRunDataScan() throws Exception {
    // This snippet has been automatically generated and should be regarded as a code template only.
    // It will require modifications to work:
    // - It may require correct/in-range values for request initialization.
    // - It may require specifying regional endpoints when creating the service client as shown in
    // https://cloud.google.com/java/docs/setup#configure_endpoints_for_the_client_library
    try (DataScanServiceClient dataScanServiceClient = DataScanServiceClient.create()) {
      RunDataScanRequest request =
          RunDataScanRequest.newBuilder()
              .setName(DataScanName.of("[PROJECT]", "[LOCATION]", "[DATASCAN]").toString())
              .build();
      RunDataScanResponse response = dataScanServiceClient.runDataScan(request);
    }
  }
}

      Python

      Python

      Sebelum mencoba contoh ini, ikuti petunjuk penyiapan Python di Panduan memulai Dataplex Universal Catalog menggunakan library klien. Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi Python API Dataplex Universal Catalog.

      Untuk melakukan autentikasi ke Katalog Universal Dataplex, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal. 

      # This snippet has been automatically generated and should be regarded as a
# code template only.
# It will require modifications to work:
# - It may require correct/in-range values for request initialization.
# - It may require specifying regional endpoints when creating the service
#   client as shown in:
#   https://googleapis.dev/python/google-api-core/latest/client_options.html
from google.cloud import dataplex_v1


def sample_run_data_scan():
    # Create a client
    client = dataplex_v1.DataScanServiceClient()

    # Initialize request argument(s)
    request = dataplex_v1.RunDataScanRequest(
        name="name_value",
    )

    # Make the request
    response = client.run_data_scan(request=request)

    # Handle the response
    print(response)

      Ruby

      Ruby

      Sebelum mencoba contoh ini, ikuti petunjuk penyiapan Ruby di Panduan memulai Dataplex Universal Catalog menggunakan library klien. Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi Ruby API Dataplex Universal Catalog.

      Untuk melakukan autentikasi ke Katalog Universal Dataplex, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal. 

      require "google/cloud/dataplex/v1"

##
# Snippet for the run_data_scan call in the DataScanService service
#
# This snippet has been automatically generated and should be regarded as a code
# template only. It will require modifications to work:
# - It may require correct/in-range values for request initialization.
# - It may require specifying regional endpoints when creating the service
# client as shown in https://cloud.google.com/ruby/docs/reference.
#
# This is an auto-generated example demonstrating basic usage of
# Google::Cloud::Dataplex::V1::DataScanService::Client#run_data_scan.
#
def run_data_scan
  # Create a client object. The client can be reused for multiple calls.
  client = Google::Cloud::Dataplex::V1::DataScanService::Client.new

  # Create a request. To set request fields, pass in keyword arguments.
  request = Google::Cloud::Dataplex::V1::RunDataScanRequest.new

  # Call the run_data_scan method.
  result = client.run_data_scan request

  # The returned object is of type Google::Cloud::Dataplex::V1::RunDataScanResponse.
  p result
end

      REST

      Untuk menjalankan pemindaian profil data, gunakan metode dataScans.run.

      Melihat hasil pemindaian profil data

      Konsol

      1. Di konsol Google Cloud , pada halaman Penataan metadata BigQuery, buka tab Pembuatan profil & kualitas data.

        Buka Profil data & kualitas

      2. Klik nama pemindaian profil data.

        • Bagian Ringkasan menampilkan informasi tentang tugas terbaru, termasuk waktu pemindaian dijalankan, jumlah rekaman tabel yang dipindai, dan status tugas.

        • Bagian Konfigurasi pemindaian profil data menampilkan detail tentang pemindaian.

      3. Untuk melihat informasi mendetail tentang tugas, seperti kolom tabel yang dipindai, statistik tentang kolom yang ditemukan dalam pemindaian, dan log tugas, klik tab Histori tugas. Kemudian, klik ID tugas.

      gcloud

      Untuk melihat hasil tugas pemindaian profil data, gunakan perintah gcloud dataplex datascans jobs describe:

      gcloud dataplex datascans jobs describe JOB \
--location=LOCATION \
--datascan=DATASCAN \
--view=FULL

      Ganti variabel berikut:

      • JOB: ID tugas pemindaian profil data.
      • LOCATION: Region Google Cloud tempat pemindaian profil data dibuat.
      • DATASCAN: Nama pemindaian profil data yang menjadi bagian dari pekerjaan.
      • --view=FULL: Untuk melihat hasil tugas pemindaian, tentukan FULL.

      C#

      C#

      Sebelum mencoba contoh ini, ikuti petunjuk penyiapan C# di Panduan memulai Dataplex Universal Catalog menggunakan library klien. Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi C# API Dataplex Universal Catalog.

      Untuk melakukan autentikasi ke Katalog Universal Dataplex, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal. 

      using Google.Cloud.Dataplex.V1;

public sealed partial class GeneratedDataScanServiceClientSnippets
{
    /// <summary>Snippet for GetDataScan</summary>
    /// <remarks>
    /// This snippet has been automatically generated and should be regarded as a code template only.
    /// It will require modifications to work:
    /// - It may require correct/in-range values for request initialization.
    /// - It may require specifying regional endpoints when creating the service client as shown in
    ///   https://cloud.google.com/dotnet/docs/reference/help/client-configuration#endpoint.
    /// </remarks>
    public void GetDataScanRequestObject()
    {
        // Create client
        DataScanServiceClient dataScanServiceClient = DataScanServiceClient.Create();
        // Initialize request argument(s)
        GetDataScanRequest request = new GetDataScanRequest
        {
            DataScanName = DataScanName.FromProjectLocationDataScan("[PROJECT]", "[LOCATION]", "[DATASCAN]"),
            View = GetDataScanRequest.Types.DataScanView.Unspecified,
        };
        // Make the request
        DataScan response = dataScanServiceClient.GetDataScan(request);
    }
}

      Go

      Go

      Sebelum mencoba contoh ini, ikuti petunjuk penyiapan Go di Panduan memulai Dataplex Universal Catalog menggunakan library klien. Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi Go API Dataplex Universal Catalog.

      Untuk melakukan autentikasi ke Katalog Universal Dataplex, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal. 

      
package main

import (
	"context"

	dataplex "cloud.google.com/go/dataplex/apiv1"
	dataplexpb "cloud.google.com/go/dataplex/apiv1/dataplexpb"
)

func main() {
	ctx := context.Background()
	// This snippet has been automatically generated and should be regarded as a code template only.
	// It will require modifications to work:
	// - It may require correct/in-range values for request initialization.
	// - It may require specifying regional endpoints when creating the service client as shown in:
	//   https://pkg.go.dev/cloud.google.com/go#hdr-Client_Options
	c, err := dataplex.NewDataScanClient(ctx)
	if err != nil {
		// TODO: Handle error.
	}
	defer c.Close()

	req := &dataplexpb.GetDataScanRequest{
		// TODO: Fill request struct fields.
		// See https://pkg.go.dev/cloud.google.com/go/dataplex/apiv1/dataplexpb#GetDataScanRequest.
	}
	resp, err := c.GetDataScan(ctx, req)
	if err != nil {
		// TODO: Handle error.
	}
	// TODO: Use resp.
	_ = resp
}

      Java

      Java

      Sebelum mencoba contoh ini, ikuti petunjuk penyiapan Java di Panduan memulai Dataplex Universal Catalog menggunakan library klien. Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi Java API Dataplex Universal Catalog.

      Untuk melakukan autentikasi ke Katalog Universal Dataplex, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal. 

      import com.google.cloud.dataplex.v1.DataScan;
import com.google.cloud.dataplex.v1.DataScanName;
import com.google.cloud.dataplex.v1.DataScanServiceClient;
import com.google.cloud.dataplex.v1.GetDataScanRequest;

public class SyncGetDataScan {

  public static void main(String[] args) throws Exception {
    syncGetDataScan();
  }

  public static void syncGetDataScan() throws Exception {
    // This snippet has been automatically generated and should be regarded as a code template only.
    // It will require modifications to work:
    // - It may require correct/in-range values for request initialization.
    // - It may require specifying regional endpoints when creating the service client as shown in
    // https://cloud.google.com/java/docs/setup#configure_endpoints_for_the_client_library
    try (DataScanServiceClient dataScanServiceClient = DataScanServiceClient.create()) {
      GetDataScanRequest request =
          GetDataScanRequest.newBuilder()
              .setName(DataScanName.of("[PROJECT]", "[LOCATION]", "[DATASCAN]").toString())
              .build();
      DataScan response = dataScanServiceClient.getDataScan(request);
    }
  }
}

      Python

      Python

      Sebelum mencoba contoh ini, ikuti petunjuk penyiapan Python di Panduan memulai Dataplex Universal Catalog menggunakan library klien. Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi Python API Dataplex Universal Catalog.

      Untuk melakukan autentikasi ke Katalog Universal Dataplex, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal. 

      # This snippet has been automatically generated and should be regarded as a
# code template only.
# It will require modifications to work:
# - It may require correct/in-range values for request initialization.
# - It may require specifying regional endpoints when creating the service
#   client as shown in:
#   https://googleapis.dev/python/google-api-core/latest/client_options.html
from google.cloud import dataplex_v1


def sample_get_data_scan():
    # Create a client
    client = dataplex_v1.DataScanServiceClient()

    # Initialize request argument(s)
    request = dataplex_v1.GetDataScanRequest(
        name="name_value",
    )

    # Make the request
    response = client.get_data_scan(request=request)

    # Handle the response
    print(response)

      Ruby

      Ruby

      Sebelum mencoba contoh ini, ikuti petunjuk penyiapan Ruby di Panduan memulai Dataplex Universal Catalog menggunakan library klien. Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi Ruby API Dataplex Universal Catalog.

      Untuk melakukan autentikasi ke Katalog Universal Dataplex, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal. 

      require "google/cloud/dataplex/v1"

##
# Snippet for the get_data_scan call in the DataScanService service
#
# This snippet has been automatically generated and should be regarded as a code
# template only. It will require modifications to work:
# - It may require correct/in-range values for request initialization.
# - It may require specifying regional endpoints when creating the service
# client as shown in https://cloud.google.com/ruby/docs/reference.
#
# This is an auto-generated example demonstrating basic usage of
# Google::Cloud::Dataplex::V1::DataScanService::Client#get_data_scan.
#
def get_data_scan
  # Create a client object. The client can be reused for multiple calls.
  client = Google::Cloud::Dataplex::V1::DataScanService::Client.new

  # Create a request. To set request fields, pass in keyword arguments.
  request = Google::Cloud::Dataplex::V1::GetDataScanRequest.new

  # Call the get_data_scan method.
  result = client.get_data_scan request

  # The returned object is of type Google::Cloud::Dataplex::V1::DataScan.
  p result
end

      REST

      Untuk melihat hasil pemindaian profil data, gunakan metode dataScans.get.

      Lihat hasil yang dipublikasikan

      Jika hasil pemindaian profil data dipublikasikan ke halaman BigQuery dan Dataplex Universal Catalog di konsol Google Cloud , Anda dapat melihat hasil pemindaian terbaru di tab Profil data tabel sumber.

      1. Di konsol Google Cloud , buka halaman BigQuery.

        Buka BigQuery

      2. Di panel kiri, klik Explorer:

        Tombol yang ditandai untuk panel Explorer.

        Jika Anda tidak melihat panel kiri, klik Luaskan panel kiri untuk membuka panel.

      3. Di panel Explorer, klik Set Data, lalu klik set data Anda.

      4. Klik Ringkasan > Tabel, lalu pilih tabel yang hasil pemindaian profil datanya ingin Anda lihat.

      5. Klik tab Profil data.

        Hasil terbaru yang dipublikasikan ditampilkan.

      Melihat tugas pemindaian profil data terbaru

      Konsol

      1. Di konsol Google Cloud , pada halaman Penataan metadata BigQuery, buka tab Pembuatan profil & kualitas data.

        Buka Data profiling & quality

      2. Klik nama pemindaian profil data.

      3. Klik tab Hasil tugas terbaru.

        Tab Hasil tugas terbaru, jika ada setidaknya satu proses yang berhasil diselesaikan, memberikan informasi tentang tugas terbaru. Tab ini mencantumkan kolom tabel yang dipindai dan statistik tentang kolom yang ditemukan dalam pemindaian.

      gcloud

      Untuk melihat pemindaian profil data yang berhasil terbaru, gunakan perintah gcloud dataplex datascans describe:

      gcloud dataplex datascans describe DATASCAN \
--location=LOCATION \
--view=FULL

      Ganti variabel berikut:

      • DATASCAN: Nama pemindaian profil data yang akan dilihat untuk tugas terbaru.
      • LOCATION: Region Google Cloud tempat pemindaian profil data dibuat.
      • --view=FULL: Untuk melihat hasil tugas pemindaian, tentukan FULL.

      REST

      Untuk melihat tugas pemindaian terbaru, gunakan metode dataScans.get.

      Lihat hasil pemindaian historis

      Dataplex Universal Catalog menyimpan histori pemindaian profil data dari 300 tugas terakhir atau selama satu tahun terakhir, mana saja yang terjadi lebih dulu.

      Konsol

      1. Di konsol Google Cloud , pada halaman Penataan metadata BigQuery, buka tab Pembuatan profil & kualitas data.

        Buka Data profiling & quality

      2. Klik nama pemindaian profil data.

      3. Klik tab Histori tugas.

        Tab Histori tugas memberikan informasi tentang tugas sebelumnya, seperti jumlah catatan yang dipindai di setiap tugas, status tugas, dan waktu tugas dijalankan.

      4. Untuk melihat informasi mendetail tentang tugas, klik salah satu tugas di kolom ID Tugas.

      gcloud

      Untuk melihat tugas pemindaian profil data historis, gunakan perintah gcloud dataplex datascans jobs list:

      gcloud dataplex datascans jobs list \
--location=LOCATION \
--datascan=DATASCAN

      Ganti variabel berikut:

      • LOCATION: Region Google Cloud tempat pemindaian profil data dibuat.
      • DATASCAN: Nama pemindaian profil data untuk melihat tugas.

      C#

      C#

      Sebelum mencoba contoh ini, ikuti petunjuk penyiapan C# di Panduan memulai Dataplex Universal Catalog menggunakan library klien. Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi C# API Dataplex Universal Catalog.

      Untuk melakukan autentikasi ke Katalog Universal Dataplex, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal. 

      using Google.Api.Gax;
using Google.Cloud.Dataplex.V1;
using System;

public sealed partial class GeneratedDataScanServiceClientSnippets
{
    /// <summary>Snippet for ListDataScanJobs</summary>
    /// <remarks>
    /// This snippet has been automatically generated and should be regarded as a code template only.
    /// It will require modifications to work:
    /// - It may require correct/in-range values for request initialization.
    /// - It may require specifying regional endpoints when creating the service client as shown in
    ///   https://cloud.google.com/dotnet/docs/reference/help/client-configuration#endpoint.
    /// </remarks>
    public void ListDataScanJobsRequestObject()
    {
        // Create client
        DataScanServiceClient dataScanServiceClient = DataScanServiceClient.Create();
        // Initialize request argument(s)
        ListDataScanJobsRequest request = new ListDataScanJobsRequest
        {
            ParentAsDataScanName = DataScanName.FromProjectLocationDataScan("[PROJECT]", "[LOCATION]", "[DATASCAN]"),
            Filter = "",
        };
        // Make the request
        PagedEnumerable<ListDataScanJobsResponse, DataScanJob> response = dataScanServiceClient.ListDataScanJobs(request);

        // Iterate over all response items, lazily performing RPCs as required
        foreach (DataScanJob item in response)
        {
            // Do something with each item
            Console.WriteLine(item);
        }

        // Or iterate over pages (of server-defined size), performing one RPC per page
        foreach (ListDataScanJobsResponse page in response.AsRawResponses())
        {
            // Do something with each page of items
            Console.WriteLine("A page of results:");
            foreach (DataScanJob item in page)
            {
                // Do something with each item
                Console.WriteLine(item);
            }
        }

        // Or retrieve a single page of known size (unless it's the final page), performing as many RPCs as required
        int pageSize = 10;
        Page<DataScanJob> singlePage = response.ReadPage(pageSize);
        // Do something with the page of items
        Console.WriteLine($"A page of {pageSize} results (unless it's the final page):");
        foreach (DataScanJob item in singlePage)
        {
            // Do something with each item
            Console.WriteLine(item);
        }
        // Store the pageToken, for when the next page is required.
        string nextPageToken = singlePage.NextPageToken;
    }
}

      Go

      Go

      Sebelum mencoba contoh ini, ikuti petunjuk penyiapan Go di Panduan memulai Dataplex Universal Catalog menggunakan library klien. Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi Go API Dataplex Universal Catalog.

      Untuk melakukan autentikasi ke Katalog Universal Dataplex, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal. 

      
package main

import (
	"context"

	dataplex "cloud.google.com/go/dataplex/apiv1"
	dataplexpb "cloud.google.com/go/dataplex/apiv1/dataplexpb"
	"google.golang.org/api/iterator"
)

func main() {
	ctx := context.Background()
	// This snippet has been automatically generated and should be regarded as a code template only.
	// It will require modifications to work:
	// - It may require correct/in-range values for request initialization.
	// - It may require specifying regional endpoints when creating the service client as shown in:
	//   https://pkg.go.dev/cloud.google.com/go#hdr-Client_Options
	c, err := dataplex.NewDataScanClient(ctx)
	if err != nil {
		// TODO: Handle error.
	}
	defer c.Close()

	req := &dataplexpb.ListDataScanJobsRequest{
		// TODO: Fill request struct fields.
		// See https://pkg.go.dev/cloud.google.com/go/dataplex/apiv1/dataplexpb#ListDataScanJobsRequest.
	}
	it := c.ListDataScanJobs(ctx, req)
	for {
		resp, err := it.Next()
		if err == iterator.Done {
			break
		}
		if err != nil {
			// TODO: Handle error.
		}
		// TODO: Use resp.
		_ = resp

		// If you need to access the underlying RPC response,
		// you can do so by casting the `Response` as below.
		// Otherwise, remove this line. Only populated after
		// first call to Next(). Not safe for concurrent access.
		_ = it.Response.(*dataplexpb.ListDataScanJobsResponse)
	}
}

      Java

      Java

      Sebelum mencoba contoh ini, ikuti petunjuk penyiapan Java di Panduan memulai Dataplex Universal Catalog menggunakan library klien. Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi Java API Dataplex Universal Catalog.

      Untuk melakukan autentikasi ke Katalog Universal Dataplex, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal. 

      import com.google.cloud.dataplex.v1.DataScanJob;
import com.google.cloud.dataplex.v1.DataScanName;
import com.google.cloud.dataplex.v1.DataScanServiceClient;
import com.google.cloud.dataplex.v1.ListDataScanJobsRequest;

public class SyncListDataScanJobs {

  public static void main(String[] args) throws Exception {
    syncListDataScanJobs();
  }

  public static void syncListDataScanJobs() throws Exception {
    // This snippet has been automatically generated and should be regarded as a code template only.
    // It will require modifications to work:
    // - It may require correct/in-range values for request initialization.
    // - It may require specifying regional endpoints when creating the service client as shown in
    // https://cloud.google.com/java/docs/setup#configure_endpoints_for_the_client_library
    try (DataScanServiceClient dataScanServiceClient = DataScanServiceClient.create()) {
      ListDataScanJobsRequest request =
          ListDataScanJobsRequest.newBuilder()
              .setParent(DataScanName.of("[PROJECT]", "[LOCATION]", "[DATASCAN]").toString())
              .setPageSize(883849137)
              .setPageToken("pageToken873572522")
              .setFilter("filter-1274492040")
              .build();
      for (DataScanJob element : dataScanServiceClient.listDataScanJobs(request).iterateAll()) {
        // doThingsWith(element);
      }
    }
  }
}

      Python

      Python

      Sebelum mencoba contoh ini, ikuti petunjuk penyiapan Python di Panduan memulai Dataplex Universal Catalog menggunakan library klien. Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi Python API Dataplex Universal Catalog.

      Untuk melakukan autentikasi ke Katalog Universal Dataplex, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal. 

      # This snippet has been automatically generated and should be regarded as a
# code template only.
# It will require modifications to work:
# - It may require correct/in-range values for request initialization.
# - It may require specifying regional endpoints when creating the service
#   client as shown in:
#   https://googleapis.dev/python/google-api-core/latest/client_options.html
from google.cloud import dataplex_v1


def sample_list_data_scan_jobs():
    # Create a client
    client = dataplex_v1.DataScanServiceClient()

    # Initialize request argument(s)
    request = dataplex_v1.ListDataScanJobsRequest(
        parent="parent_value",
    )

    # Make the request
    page_result = client.list_data_scan_jobs(request=request)

    # Handle the response
    for response in page_result:
        print(response)

      Ruby

      Ruby

      Sebelum mencoba contoh ini, ikuti petunjuk penyiapan Ruby di Panduan memulai Dataplex Universal Catalog menggunakan library klien. Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi Ruby API Dataplex Universal Catalog.

      Untuk melakukan autentikasi ke Katalog Universal Dataplex, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal. 

      require "google/cloud/dataplex/v1"

##
# Snippet for the list_data_scan_jobs call in the DataScanService service
#
# This snippet has been automatically generated and should be regarded as a code
# template only. It will require modifications to work:
# - It may require correct/in-range values for request initialization.
# - It may require specifying regional endpoints when creating the service
# client as shown in https://cloud.google.com/ruby/docs/reference.
#
# This is an auto-generated example demonstrating basic usage of
# Google::Cloud::Dataplex::V1::DataScanService::Client#list_data_scan_jobs.
#
def list_data_scan_jobs
  # Create a client object. The client can be reused for multiple calls.
  client = Google::Cloud::Dataplex::V1::DataScanService::Client.new

  # Create a request. To set request fields, pass in keyword arguments.
  request = Google::Cloud::Dataplex::V1::ListDataScanJobsRequest.new

  # Call the list_data_scan_jobs method.
  result = client.list_data_scan_jobs request

  # The returned object is of type Gapic::PagedEnumerable. You can iterate
  # over elements, and API calls will be issued to fetch pages as needed.
  result.each do |item|
    # Each element is of type ::Google::Cloud::Dataplex::V1::DataScanJob.
    p item
  end
end

      REST

      Untuk melihat tugas pemindaian profil data historis, gunakan metode dataScans.jobs.list.

      Melihat pemindaian profil data untuk tabel

      Untuk melihat pemindaian profil data yang berlaku untuk tabel tertentu, lakukan hal berikut:

      1. Di konsol Google Cloud , pada halaman Penataan metadata BigQuery, buka tab Pembuatan profil & kualitas data.

        Buka Data profiling & quality

      2. Memfilter daftar menurut nama tabel dan jenis pemindaian.

      Memberikan akses ke hasil pemindaian profil data

      Agar pengguna di organisasi Anda dapat melihat hasil pemindaian, lakukan hal berikut:

      1. Di konsol Google Cloud , pada halaman Penataan metadata BigQuery, buka tab Pembuatan profil & kualitas data.

        Buka Data profiling & quality

      2. Klik pemindaian kualitas data yang hasilnya ingin Anda bagikan.

      3. Klik tab Permissions.

      4. Lakukan tindakan berikut:

        • Untuk memberikan akses ke akun utama, klik Grant access. Berikan peran Dataplex DataScan DataViewer kepada akun utama yang terkait.
        • Untuk menghapus akses dari akun utama, pilih akun utama yang ingin Anda hapus peran Dataplex DataScan DataViewer-nya. Klik Hapus akses, lalu konfirmasi saat diminta.

      Mengelola pemindaian profil data untuk tabel tertentu

      Langkah-langkah dalam dokumen ini menunjukkan cara mengelola pemindaian profil data di seluruh project Anda menggunakan halaman BigQuery Penyiapan metadata > Pemrofilan & kualitas data di konsolGoogle Cloud .

      Anda juga dapat membuat dan mengelola pemindaian profil data saat bekerja dengan tabel tertentu. Di konsol Google Cloud , pada halaman BigQuery untuk tabel, gunakan tab Profil data. Lakukan tindakan berikut:

      1. Di konsol Google Cloud , buka halaman BigQuery.

        Buka BigQuery

        Di panel Explorer (di panel kiri), klik Set data, lalu klik set data Anda. Sekarang klik Ringkasan > Tabel, lalu pilih tabel yang hasil pemindaian profil datanya ingin Anda lihat.

      2. Klik tab Profil data.

      3. Bergantung pada apakah tabel memiliki pemindaian profil data yang hasilnya dipublikasikan, Anda dapat menggunakan pemindaian profil data tabel dengan cara berikut:

        • Hasil pemindaian profil data dipublikasikan: hasil pemindaian terbaru yang dipublikasikan ditampilkan di halaman.

          Untuk mengelola pemindaian profil data untuk tabel ini, klik Pemindaian profil data, lalu pilih salah satu opsi berikut:

          • Buat pemindaian baru: membuat pemindaian profil data baru. Untuk mengetahui informasi selengkapnya, lihat bagian Membuat pemindaian profil data dalam dokumen ini. Saat Anda membuat pemindaian dari halaman detail tabel, tabel akan dipilih sebelumnya.

          • Jalankan sekarang: jalankan pemindaian.

          • Edit konfigurasi pemindaian: edit setelan termasuk nama tampilan, filter, ukuran pengambilan sampel, dan jadwal.

          • Mengelola izin pemindaian: mengontrol siapa yang dapat mengakses hasil pemindaian. Untuk mengetahui informasi selengkapnya, lihat bagian Memberikan akses ke hasil pemindaian profil data dalam dokumen ini.

          • Lihat hasil historis: melihat informasi mendetail tentang tugas pemindaian profil data sebelumnya. Untuk mengetahui informasi selengkapnya, lihat bagian Melihat hasil pemindaian profil data dan Melihat hasil pemindaian historis dalam dokumen ini.

          • Lihat semua pemindaian: melihat daftar pemindaian profil data yang berlaku untuk tabel ini.

        • Hasil pemindaian profil data tidak dipublikasikan: klik menu di samping Profil data cepat, lalu pilih salah satu opsi berikut:

          • Menyesuaikan pembuatan profil data: buat pemindaian profil data baru. Untuk mengetahui informasi selengkapnya, lihat bagian Membuat pemindaian profil data dalam dokumen ini. Saat Anda membuat pemindaian dari halaman detail tabel, tabel akan dipilih sebelumnya.

          • Lihat profil sebelumnya: melihat daftar pemindaian profil data yang berlaku untuk tabel ini.

      Memperbarui pemindaian profil data

      Konsol

      1. Di konsol Google Cloud , pada halaman Penataan metadata BigQuery, buka tab Pembuatan profil & kualitas data.

        Buka Profil data & kualitas

      2. Klik nama pemindaian profil data.

      3. Klik Edit, lalu edit nilai.

      4. Klik Simpan.

      gcloud

      Untuk memperbarui pemindaian profil data, gunakan perintah gcloud dataplex datascans update data-profile:

      gcloud dataplex datascans update data-profile DATASCAN \
--location=LOCATION \
--description=DESCRIPTION

      Ganti variabel berikut:

      • DATASCAN: Nama pemindaian profil data yang akan diperbarui.
      • LOCATION: Region Google Cloud tempat pemindaian profil data dibuat.
      • DESCRIPTION: Deskripsi baru untuk pemindaian profil data.

      C#

      C#

      Sebelum mencoba contoh ini, ikuti petunjuk penyiapan C# di Panduan memulai Dataplex Universal Catalog menggunakan library klien. Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi C# API Dataplex Universal Catalog.

      Untuk melakukan autentikasi ke Katalog Universal Dataplex, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal. 

      using Google.Cloud.Dataplex.V1;
using Google.LongRunning;
using Google.Protobuf.WellKnownTypes;

public sealed partial class GeneratedDataScanServiceClientSnippets
{
    /// <summary>Snippet for UpdateDataScan</summary>
    /// <remarks>
    /// This snippet has been automatically generated and should be regarded as a code template only.
    /// It will require modifications to work:
    /// - It may require correct/in-range values for request initialization.
    /// - It may require specifying regional endpoints when creating the service client as shown in
    ///   https://cloud.google.com/dotnet/docs/reference/help/client-configuration#endpoint.
    /// </remarks>
    public void UpdateDataScanRequestObject()
    {
        // Create client
        DataScanServiceClient dataScanServiceClient = DataScanServiceClient.Create();
        // Initialize request argument(s)
        UpdateDataScanRequest request = new UpdateDataScanRequest
        {
            DataScan = new DataScan(),
            UpdateMask = new FieldMask(),
            ValidateOnly = false,
        };
        // Make the request
        Operation<DataScan, OperationMetadata> response = dataScanServiceClient.UpdateDataScan(request);

        // Poll until the returned long-running operation is complete
        Operation<DataScan, OperationMetadata> completedResponse = response.PollUntilCompleted();
        // Retrieve the operation result
        DataScan result = completedResponse.Result;

        // Or get the name of the operation
        string operationName = response.Name;
        // This name can be stored, then the long-running operation retrieved later by name
        Operation<DataScan, OperationMetadata> retrievedResponse = dataScanServiceClient.PollOnceUpdateDataScan(operationName);
        // Check if the retrieved long-running operation has completed
        if (retrievedResponse.IsCompleted)
        {
            // If it has completed, then access the result
            DataScan retrievedResult = retrievedResponse.Result;
        }
    }
}

      Go

      Go

      Sebelum mencoba contoh ini, ikuti petunjuk penyiapan Go di Panduan memulai Dataplex Universal Catalog menggunakan library klien. Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi Go API Dataplex Universal Catalog.

      Untuk melakukan autentikasi ke Katalog Universal Dataplex, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal. 

      
package main

import (
	"context"

	dataplex "cloud.google.com/go/dataplex/apiv1"
	dataplexpb "cloud.google.com/go/dataplex/apiv1/dataplexpb"
)

func main() {
	ctx := context.Background()
	// This snippet has been automatically generated and should be regarded as a code template only.
	// It will require modifications to work:
	// - It may require correct/in-range values for request initialization.
	// - It may require specifying regional endpoints when creating the service client as shown in:
	//   https://pkg.go.dev/cloud.google.com/go#hdr-Client_Options
	c, err := dataplex.NewDataScanClient(ctx)
	if err != nil {
		// TODO: Handle error.
	}
	defer c.Close()

	req := &dataplexpb.UpdateDataScanRequest{
		// TODO: Fill request struct fields.
		// See https://pkg.go.dev/cloud.google.com/go/dataplex/apiv1/dataplexpb#UpdateDataScanRequest.
	}
	op, err := c.UpdateDataScan(ctx, req)
	if err != nil {
		// TODO: Handle error.
	}

	resp, err := op.Wait(ctx)
	if err != nil {
		// TODO: Handle error.
	}
	// TODO: Use resp.
	_ = resp
}

      Java

      Java

      Sebelum mencoba contoh ini, ikuti petunjuk penyiapan Java di Panduan memulai Dataplex Universal Catalog menggunakan library klien. Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi Java API Dataplex Universal Catalog.

      Untuk melakukan autentikasi ke Katalog Universal Dataplex, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal. 

      import com.google.cloud.dataplex.v1.DataScan;
import com.google.cloud.dataplex.v1.DataScanServiceClient;
import com.google.cloud.dataplex.v1.UpdateDataScanRequest;
import com.google.protobuf.FieldMask;

public class SyncUpdateDataScan {

  public static void main(String[] args) throws Exception {
    syncUpdateDataScan();
  }

  public static void syncUpdateDataScan() throws Exception {
    // This snippet has been automatically generated and should be regarded as a code template only.
    // It will require modifications to work:
    // - It may require correct/in-range values for request initialization.
    // - It may require specifying regional endpoints when creating the service client as shown in
    // https://cloud.google.com/java/docs/setup#configure_endpoints_for_the_client_library
    try (DataScanServiceClient dataScanServiceClient = DataScanServiceClient.create()) {
      UpdateDataScanRequest request =
          UpdateDataScanRequest.newBuilder()
              .setDataScan(DataScan.newBuilder().build())
              .setUpdateMask(FieldMask.newBuilder().build())
              .setValidateOnly(true)
              .build();
      DataScan response = dataScanServiceClient.updateDataScanAsync(request).get();
    }
  }
}

      Python

      Python

      Sebelum mencoba contoh ini, ikuti petunjuk penyiapan Python di Panduan memulai Dataplex Universal Catalog menggunakan library klien. Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi Python API Dataplex Universal Catalog.

      Untuk melakukan autentikasi ke Katalog Universal Dataplex, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal. 

      # This snippet has been automatically generated and should be regarded as a
# code template only.
# It will require modifications to work:
# - It may require correct/in-range values for request initialization.
# - It may require specifying regional endpoints when creating the service
#   client as shown in:
#   https://googleapis.dev/python/google-api-core/latest/client_options.html
from google.cloud import dataplex_v1


def sample_update_data_scan():
    # Create a client
    client = dataplex_v1.DataScanServiceClient()

    # Initialize request argument(s)
    data_scan = dataplex_v1.DataScan()
    data_scan.data_quality_spec.rules.dimension = "dimension_value"
    data_scan.data.entity = "entity_value"

    request = dataplex_v1.UpdateDataScanRequest(
        data_scan=data_scan,
    )

    # Make the request
    operation = client.update_data_scan(request=request)

    print("Waiting for operation to complete...")

    response = operation.result()

    # Handle the response
    print(response)

      Ruby

      Ruby

      Sebelum mencoba contoh ini, ikuti petunjuk penyiapan Ruby di Panduan memulai Dataplex Universal Catalog menggunakan library klien. Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi Ruby API Dataplex Universal Catalog.

      Untuk melakukan autentikasi ke Katalog Universal Dataplex, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal. 

      require "google/cloud/dataplex/v1"

##
# Snippet for the update_data_scan call in the DataScanService service
#
# This snippet has been automatically generated and should be regarded as a code
# template only. It will require modifications to work:
# - It may require correct/in-range values for request initialization.
# - It may require specifying regional endpoints when creating the service
# client as shown in https://cloud.google.com/ruby/docs/reference.
#
# This is an auto-generated example demonstrating basic usage of
# Google::Cloud::Dataplex::V1::DataScanService::Client#update_data_scan.
#
def update_data_scan
  # Create a client object. The client can be reused for multiple calls.
  client = Google::Cloud::Dataplex::V1::DataScanService::Client.new

  # Create a request. To set request fields, pass in keyword arguments.
  request = Google::Cloud::Dataplex::V1::UpdateDataScanRequest.new

  # Call the update_data_scan method.
  result = client.update_data_scan request

  # The returned object is of type Gapic::Operation. You can use it to
  # check the status of an operation, cancel it, or wait for results.
  # Here is how to wait for a response.
  result.wait_until_done! timeout: 60
  if result.response?
    p result.response
  else
    puts "No response received."
  end
end

      REST

      Untuk mengedit pemindaian profil data, gunakan metode dataScans.patch.

      Menghapus pemindaian profil data

      Konsol

      1. Di konsol Google Cloud , pada halaman Penataan metadata BigQuery, buka tab Pembuatan profil & kualitas data.

        Buka Profil data & kualitas

      2. Klik hasil pemindaian yang ingin Anda hapus.

      3. Klik Hapus, lalu konfirmasi saat diminta.

      gcloud

      Untuk menghapus pemindaian profil data, gunakan perintah gcloud dataplex datascans delete:

      gcloud dataplex datascans delete DATASCAN \
--location=LOCATION --async

      Ganti variabel berikut:

      • DATASCAN: Nama pemindaian profil data yang akan dihapus.
      • LOCATION: Region Google Cloud tempat pemindaian profil data dibuat.

      REST

      Untuk menghapus pemindaian profil data, gunakan metode dataScans.delete.

      Langkah berikutnya