Mengimpor metadata menggunakan pipeline kustom

Dokumen ini menjelaskan cara mengimpor metadata dari sistem pihak ketiga ke Knowledge Catalog (sebelumnya Dataplex Universal Catalog) menggunakan metode API impor metadata dan pipeline Anda sendiri. Metadata Knowledge Catalog terdiri dari entri dan aspeknya.

Jika Anda ingin menggunakan pipeline orkestrasi yang dikelola Google Cloud untuk mengekstrak dan mengimpor metadata, sebaiknya gunakan pipeline konektivitas terkelola. Dengan pipeline konektivitas terkelola, Anda membawa konektor Anda sendiri yang mengekstrak metadata dan menghasilkan output dalam format yang dapat digunakan sebagai input oleh metode API impor metadata (file impor metadata). Kemudian, Anda menggunakan Workflows untuk mengorkestrasi tugas pipeline.

Anda dapat menjalankan jenis tugas impor metadata berikut:

• Sinkronisasi penuh entri dengan impor inkremental aspeknya. Didukung untuk entri kustom.
• Impor inkremental aspek saja. Didukung untuk aspek yang termasuk dalam entri kustom dan entri sistem. Untuk entri kustom, Anda dapat mengubah aspek opsional dan aspek wajib. Untuk entri sistem, Anda dapat mengubah aspek opsional.

Langkah-langkah tingkat tinggi

Untuk mengimpor metadata menggunakan API impor metadata, ikuti langkah-langkah umum berikut:

1. Menentukan cakupan tugas.

   Selain itu, pahami cara Knowledge Catalog menerapkan logika perbandingan dan mode sinkronisasi untuk entri dan aspek.

2. Buat satu atau beberapa file impor metadata yang menentukan data yang akan diimpor.

3. Simpan file impor metadata di bucket Cloud Storage.

4. Menjalankan tugas impor metadata.

Langkah-langkah di halaman ini mengasumsikan bahwa Anda sudah memahami konsep metadata Knowledge Catalog, termasuk grup entri, jenis entri, dan jenis aspek. Untuk mengetahui informasi selengkapnya, lihat Tentang metadata di Knowledge Catalog.

Sebelum memulai

Sebelum mengimpor metadata, selesaikan tugas di bagian ini.

Peran yang diperlukan

Untuk memastikan bahwa akun layanan Knowledge Catalog memiliki izin yang diperlukan untuk mengakses bucket Cloud Storage, minta administrator Anda untuk memberikan peran IAM Storage Object Viewer (roles/storage.objectViewer) dan izin storage.buckets.get pada bucket kepada akun layanan Knowledge Catalog.

Untuk mendapatkan izin yang Anda perlukan untuk mengelola tugas impor metadata, minta administrator untuk memberi Anda peran IAM berikut:

• Mengubah entri dan aspeknya dalam tugas metadata sinkronisasi entri penuh:
  • Dataplex Entry Type User (roles/dataplex.entryTypeUser) pada jenis entri atau project tempat jenis entri ditentukan
  • Dataplex Aspect Type User (roles/dataplex.aspectTypeUser) pada jenis aspek atau project tempat jenis aspek ditentukan
• Mengubah aspek yang diperlukan dalam tugas metadata khusus aspek:
  • Dataplex Entry Type User (roles/dataplex.entryTypeUser) pada jenis entri atau project tempat jenis entri ditentukan
  • Dataplex Aspect Type User (roles/dataplex.aspectTypeUser) pada jenis aspek atau project tempat jenis aspek ditentukan
• Mengubah aspek opsional dalam tugas metadata khusus aspek: Dataplex Aspect Type User (roles/dataplex.aspectTypeUser) pada jenis aspek atau project tempat jenis aspek ditentukan. Perhatikan bahwa saat mengubah aspek opsional dalam tugas metadata khusus aspek, Anda tidak memerlukan izin untuk jenis entri terkait.
• Membuat tugas impor metadata:
  • Dataplex Entry Group Importer (roles/dataplex.entryGroupImporter) pada project atau resource
  • Dataplex Entry and EntryLink Owner (roles/dataplex.entryOwner) di project atau resource
• Melihat tugas metadata: Dataplex Metadata Job Viewer (roles/dataplex.metadataJobViewer) di project
• Membuat, melihat, dan membatalkan tugas metadata: Dataplex Metadata Job Owner (roles/dataplex.metadataJobOwner) di project

Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses ke project, folder, dan organisasi.

Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.

Membuat resource Google Cloud

Siapkan resource Google Cloud berikut:

1. Buat grup entri untuk entri yang ingin Anda impor.
2. Buat jenis aspek untuk aspek yang ingin Anda impor.
3. Buat jenis entri untuk entri yang ingin Anda impor.
4. Jika Anda menjalankan tugas metadata khusus aspek, buat entri untuk aspek yang ingin Anda impor.
5. Buat bucket Cloud Storage untuk menyimpan file impor metadata Anda.

Komponen tugas impor metadata

Saat Anda mengimpor metadata, pertimbangkan komponen tugas metadata berikut:

• Cakupan tugas: grup entri, jenis entri, dan jenis aspek yang akan disertakan dalam tugas.
• Mode sinkronisasi: cara entri dan aspek dalam tugas diperbarui.
• File impor metadata: file yang menentukan nilai yang akan ditetapkan untuk entri dan aspek dalam tugas. Anda dapat menyediakan beberapa file impor metadata dalam tugas metadata yang sama. Anda menyimpan file di Cloud Storage.
• Logika perbandingan: cara Knowledge Catalog menentukan entri dan aspek yang akan diubah.

Cakupan tugas

Cakupan tugas menentukan grup entri, jenis entri, dan jenis aspek yang ingin Anda sertakan dalam tugas impor metadata. Saat mengimpor metadata, Anda mengubah entri dan aspek yang termasuk dalam resource dalam cakupan tugas.

Untuk menentukan cakupan tugas, ikuti panduan berikut:

• Grup entri: tentukan satu atau beberapa grup entri yang akan disertakan dalam tugas. Tugas ini hanya mengubah entri dan aspek yang termasuk dalam grup entri ini. Grup entri dan tugas harus berada di region yang sama.

• Jenis entri: tentukan satu atau beberapa jenis entri yang akan disertakan dalam tugas. Tugas ini hanya mengubah entri dan aspek yang termasuk dalam jenis entri ini. Lokasi jenis entri harus cocok dengan lokasi tugas, atau jenis entri harus global.

• Jenis aspek: tentukan satu atau beberapa jenis aspek yang akan disertakan dalam tugas. Tugas ini hanya mengubah aspek yang termasuk dalam jenis aspek ini. Lokasi jenis aspek harus cocok dengan lokasi tugas, atau jenis aspek harus global.

  Catatan: Mengimpor aspek jenis data-rules dan data-quality-rule-template tidak didukung dari tugas metadata.

Cakupan tugas harus mencakup semua jenis entri dan jenis aspek yang Anda tentukan dalam file impor metadata.

Anda menentukan cakupan tugas saat membuat tugas metadata.

Mode sinkronisasi

Mode sinkronisasi menentukan cara entri dan aspek dalam tugas impor metadata diperbarui. Anda menyediakan mode sinkronisasi untuk entri dan aspek. Bergantung pada resource yang ingin Anda impor, kombinasi mode sinkronisasi berikut didukung.

Sasaran	Mode sinkronisasi entri	Mode sinkronisasi aspek	Hasil
Mengimpor entri dan aspeknya	FULL	INCREMENTAL	Semua entri dalam cakupan tugas akan diubah. Jika entri ada di Knowledge Catalog, tetapi tidak disertakan dalam file impor metadata, entri tersebut akan dihapus saat Anda menjalankan tugas metadata. Aspek hanya diubah jika file impor metadata menyertakan referensi ke aspek di kolom updateMask dan kolom aspectKeys. Lihat Struktur item impor.
Hanya mengimpor aspek	NONE	INCREMENTAL	Aspek akan diubah jika merupakan bagian dari cakupan tugas, dan jika file impor metadata menyertakan referensi ke aspek di kolom aspectKeys. Lihat Struktur item impor. Metadata lain yang termasuk dalam entri dalam cakupan tugas tidak diubah.

Anda menentukan mode sinkronisasi saat membuat tugas metadata.

File impor metadata

File impor metadata adalah kumpulan entri dan aspek yang ingin Anda ubah. Tabel ini menentukan nilai yang akan ditetapkan untuk semua kolom yang termasuk dalam entri dan aspek ini. Anda menyiapkan file sebelum menjalankan tugas impor metadata.

Pedoman umum berikut berlaku:

• Anda dapat memberikan beberapa file impor metadata dalam tugas metadata yang sama.

• Saat Anda menjalankan tugas metadata sinkronisasi entri penuh, entri yang Anda berikan dalam file akan sepenuhnya menggantikan semua entri yang ada untuk resource apa pun yang berada dalam cakupan tugas. Artinya, Anda harus menyertakan nilai untuk semua entri dalam tugas, bukan hanya nilai yang ingin Anda tambahkan atau perbarui. Untuk mendapatkan daftar entri saat ini dalam project Anda untuk digunakan sebagai titik awal, gunakan metode API entries.list.

  Perhatian: Jika entri ada di Knowledge Catalog, tetapi tidak disertakan dalam file impor metadata, entri tersebut akan dihapus saat Anda menjalankan tugas metadata. Jika file impor metadata tidak berisi data, semua entri dan aspek yang termasuk dalam cakupan tugas akan dihapus.

• Anda harus menyediakan file impor metadata sebagai bagian dari tugas metadata. Jika Anda ingin menghapus semua data yang ada untuk entri yang berada dalam cakupan tugas, berikan file impor metadata kosong.

• Semua entri dan aspek yang Anda sertakan dalam file harus termasuk dalam grup entri, jenis entri, dan jenis aspek yang Anda tentukan dalam cakupan tugas.

Gunakan panduan mendetail di bagian berikut untuk membuat file impor metadata.

Struktur file

Setiap baris dalam file impor metadata berisi objek JSON yang sesuai dengan satu item impor. Item impor adalah objek yang menjelaskan nilai yang akan diubah untuk entri dan aspek yang dilampirkan.

Anda dapat memberikan beberapa item impor dalam satu file impor metadata. Namun, jangan berikan item impor yang sama lebih dari sekali dalam tugas metadata. Gunakan karakter baris baru (0x0a) untuk memisahkan setiap item impor.

File impor metadata dengan karakter baris baru di antara setiap item impor terlihat seperti contoh berikut:

{ "entry": { "name": "entry 1", #Information about entry 1 }
{ "entry": { "name": "entry 2", #Information about entry 2 }

Struktur item impor

Setiap item impor dalam file impor metadata dapat menyertakan kolom berikut (lihat ImportItem). Contoh berikut diformat dengan jeda baris agar mudah dibaca, tetapi saat menyimpan file, sertakan karakter newline hanya setelah setiap item impor. Jangan sertakan jeda baris di antara kolom dari satu item impor.

{
  "entry": {
    "name": "ENTRY_NAME",
    "entryType": "ENTRY_TYPE",
    "entrySource": {
      "resource": "RESOURCE",
      "system": "SYSTEM",
      "platform": "PLATFORM",
      "displayName": "DISPLAY_NAME",
      "description": "DESCRIPTION",
      "createTime": "ENTRY_CREATE_TIMESTAMP",
      "updateTime": "ENTRY_UPDATE_TIMESTAMP"
    },
    "aspects": {
      "ASPECT": {
        "data": {
          "KEY": "VALUE"
        },
        "aspectSource": {
          "createTime": "ASPECT_CREATE_TIMESTAMP",
          "updateTime": "ASPECT_UPDATE_TIMESTAMP"
        }
      },
      # Additional aspect maps
    },
    "parentEntry": "PARENT_ENTRY",
    "fullyQualifiedName": "FULLY_QUALIFIED_NAME"
  },
  "updateMask": "UPDATE_MASK_FIELDS",
  "aspectKeys": [
    "ASPECT_KEY",
    # Additional aspect keys
  ],
}

Ganti kode berikut:

• entry: informasi tentang entri dan aspek yang dilampirkan. Dalam tugas impor metadata khusus aspek, Knowledge Catalog mengabaikan semua bidang opsional untuk entri, kecuali untuk peta aspek.

  • ENTRY_NAME: nama resource relatif entri, dalam format projects/PROJECT_ID_OR_NUMBER/locations/LOCATION_ID/entryGroups/ENTRY_GROUP_ID/entries/ENTRY_ID.
  • ENTRY_TYPE: nama resource relatif dari jenis entri yang digunakan untuk membuat entri ini, dalam format projects/PROJECT_ID_OR_NUMBER/locations/LOCATION_ID/entryTypes/ENTRY_TYPE_ID.
  • entrySource: informasi dari sistem sumber tentang resource data yang direpresentasikan oleh entri:
    • RESOURCE: nama resource di sistem sumber.
    • SYSTEM: nama sistem sumber.
    • PLATFORM: platform yang berisi sistem sumber.
    • DISPLAY_NAME: nama tampilan yang mudah digunakan.
    • DESCRIPTION: deskripsi entri.
    • ENTRY_CREATE_TIMESTAMP: waktu entri dibuat di sistem sumber.
    • ENTRY_UPDATE_TIMESTAMP: waktu entri diperbarui di sistem sumber.

  • aspects: aspek yang dilampirkan ke entri. Objek aspect dan datanya disebut peta aspek.

    • ASPECT: aspek yang dilampirkan ke entri. Bergantung pada cara aspek dilampirkan ke entri, gunakan salah satu format berikut:

      • Jika aspek dilampirkan langsung ke entri, berikan nama resource relatif dari jenis aspeknya, dalam format PROJECT_ID_OR_NUMBER.LOCATION_ID.ASPECT_TYPE_ID.
      • Jika aspek dilampirkan ke jalur entri, berikan jalur jenis aspek, dalam format PROJECT_ID_OR_NUMBER.LOCATION_ID.ASPECT_TYPE_ID@PATH.

    • KEY dan VALUE: konten aspek, sesuai dengan template metadata jenis aspeknya. Konten harus dienkode sebagai UTF-8. Ukuran maksimum kolom adalah 120 KB. Kamus data diperlukan, meskipun kosong.

    • ASPECT_CREATE_TIMESTAMP: waktu saat aspek dibuat di sistem sumber.

    • ASPECT_UPDATE_TIMESTAMP: waktu aspek diperbarui di sistem sumber.

  • PARENT_ENTRY: nama resource entri induk.

  • FULLY_QUALIFIED_NAME: nama untuk entri yang dapat dirujuk oleh sistem eksternal. Lihat Nama yang sepenuhnya memenuhi syarat.

• UPDATE_MASK_FIELDS: kolom yang akan diperbarui, di jalur yang relatif terhadap resource Entry. Pisahkan setiap kolom dengan koma.

  Dalam tugas sinkronisasi entri penuh, Knowledge Catalog menyertakan jalur semua kolom untuk entri yang dapat diubah, termasuk aspek. Kolom updateMask diabaikan saat entri dibuat atau dibuat ulang.

  Dalam tugas metadata khusus aspek, tetapkan nilai ini ke aspects.

• ASPECT_KEY: aspek yang akan diubah. Mendukung sintaksis berikut:

  • ASPECT_TYPE_REFERENCE: cocok dengan jenis aspek untuk aspek yang dilampirkan langsung ke entri.
  • ASPECT_TYPE_REFERENCE@PATH: cocok dengan jenis aspek dan jalur yang ditentukan.
  • ASPECT_TYPE_REFERENCE@*: cocok dengan jenis aspek untuk semua jalur.
  • *@PATH: mencocokkan semua jenis aspek di jalur yang ditentukan.

  Ganti ASPECT_TYPE_REFERENCE dengan referensi ke jenis aspek, dalam format PROJECT_ID_OR_NUMBER.LOCATION_ID.ASPECT_TYPE_ID.

  Dalam tugas sinkronisasi entri penuh, jika Anda membiarkan kolom ini kosong, kolom ini akan diperlakukan sebagai menentukan aspek yang ada dalam entri yang ditentukan. Knowledge Catalog secara implisit menambahkan kunci untuk semua aspek yang diperlukan dari sebuah entri.

Persyaratan file

File impor metadata memiliki persyaratan berikut:

• File harus diformat sebagai file JSON Lines, yang merupakan file JSON yang dibatasi baris baru. Gunakan karakter baris baru (0x0a) untuk memisahkan setiap item impor.
• File harus menggunakan encoding karakter UTF-8.
• Ekstensi file yang didukung adalah .jsonl dan .json.
• Ukuran file setiap file impor metadata tidak boleh lebih dari 1 GiB. Ukuran total maksimum untuk semua data dalam tugas metadata adalah 3 GB. Tindakan ini mencakup semua file dan metadata yang terkait dengan tugas.
• Jenis entri dan jenis aspek yang Anda tentukan dalam file harus menjadi bagian dari cakupan tugas metadata.
• File harus diupload ke bucket Cloud Storage. Jangan simpan file dalam folder bernama CLOUD_STORAGE_URI/deletions/.

Logika perbandingan

Knowledge Catalog menentukan entri dan aspek yang akan diubah dengan membandingkan nilai dan stempel waktu yang Anda berikan dalam file impor metadata dengan nilai dan stempel waktu yang ada dalam project Anda.

Secara umum, Knowledge Catalog memperbarui nilai dalam project Anda jika setidaknya satu perubahan yang diusulkan dalam file impor metadata akan mengubah status project Anda saat tugas berjalan, tanpa memasukkan data yang sudah tidak berlaku. Perubahan yang diusulkan harus direferensikan di kolom update mask atau kolom kunci aspek dalam file impor metadata.

Logika perbandingan bervariasi bergantung pada jenis tugas impor metadata yang Anda jalankan.

Tugas sinkronisasi entri lengkap

Dalam tugas metadata sinkronisasi entri penuh, untuk setiap entri yang merupakan bagian dari cakupan tugas, Knowledge Catalog melakukan salah satu hal berikut:

• Membuat entri dan aspek yang dilampirkan. Jika file impor metadata menyertakan entri yang tidak ada dalam project Anda, Knowledge Catalog akan membuat entri dan aspek yang dilampirkan.
• Menghapus entri dan aspek yang dilampirkan. Jika entri ada dalam project Anda, tetapi file impor metadata tidak menyertakan entri tersebut, Knowledge Catalog akan menghapus entri dan aspek yang dilampirkan dari project Anda.

• Memperbarui entri dan aspek yang dilampirkan. Jika entri ada di file impor metadata dan di project Anda, Knowledge Catalog akan mengevaluasi stempel waktu sumber entri dan stempel waktu sumber aspek yang terkait dengan entri untuk menentukan nilai yang akan diubah. Kemudian, Knowledge Catalog akan melakukan satu atau beberapa hal berikut:

  • Membuat ulang entri. Jika stempel waktu pembuatan sumber entri dalam file impor metadata lebih baru daripada stempel waktu yang sesuai dalam project Anda, Knowledge Catalog akan membuat ulang entri dalam project Anda.
  • Memperbarui entri. Jika stempel waktu pembaruan sumber entri dalam file impor metadata lebih baru daripada stempel waktu yang sesuai dalam project Anda, Knowledge Catalog akan memperbarui entri dalam project Anda.
  • Membuat aspek. Jika aspek tidak ada dalam project Anda, dan disertakan dalam peta aspek, kolom update mask, dan kolom kunci aspek dalam file impor metadata, Knowledge Catalog akan membuat aspek tersebut.
  • Menghapus aspek. Jika aspek ada dalam project Anda, dan disertakan dalam kolom update mask dan kolom kunci aspek dalam file impor metadata, tetapi tidak disertakan dalam peta aspek, Knowledge Catalog akan menghapus aspek tersebut.

  • Memperbarui aspek. Jika aspek ada dalam project Anda dan disertakan dalam peta aspek, kolom update mask, dan kolom kunci aspek dalam file impor metadata, dan stempel waktu update sumber aspek dalam file impor metadata lebih baru daripada stempel waktu yang sesuai dalam project Anda, Knowledge Catalog akan memperbarui aspek tersebut.

    Jika stempel waktu update sumber aspek tidak diberikan dalam file impor metadata, tetapi entri yang sesuai ditandai untuk diupdate, Knowledge Catalog juga akan mengupdate aspek tersebut.

    Namun, jika setidaknya satu aspek dalam file impor metadata memiliki stempel waktu yang lebih lama daripada stempel waktu yang sesuai dalam project Anda, Knowledge Catalog tidak akan melakukan update apa pun untuk entri yang dilampirkan.

Tugas khusus aspek

Dalam tugas metadata khusus aspek, untuk setiap aspek yang merupakan bagian dari cakupan tugas, Knowledge Catalog melakukan salah satu hal berikut:

• Membuat aspek. Jika aspek tidak ada dalam project Anda, dan disertakan dalam peta aspek, kolom update mask, dan kolom kunci aspek dalam file impor metadata, Knowledge Catalog akan membuat aspek tersebut.

• Menghapus aspek. Untuk aspek opsional, jika aspek tersebut ada dalam project Anda, dan disertakan dalam kolom update mask dan kolom kunci aspek dalam file impor metadata, tetapi tidak disertakan dalam peta aspek, Knowledge Catalog akan menghapus aspek tersebut.

  Aspek yang diperlukan tidak dapat dihapus.

• Memperbarui aspek. Jika aspek ada dalam project Anda dan disertakan dalam peta aspek, kolom update mask, dan kolom kunci aspek dalam file impor metadata, dan stempel waktu update sumber aspek dalam file impor metadata lebih baru daripada stempel waktu yang sesuai dalam project Anda, Knowledge Catalog akan memperbarui aspek tersebut.

  Jika stempel waktu update sumber aspek tidak diberikan dalam file impor metadata, Knowledge Catalog juga akan mengupdate aspek tersebut.

  Knowledge Catalog memperbarui aspek berdasarkan stempel waktu pembaruan sumber aspek, terlepas dari stempel waktu pembaruan sumber entri yang sesuai.

Membuat file impor metadata

Sebelum mengimpor metadata, buat file impor metadata untuk tugas Anda. Ikuti langkah-langkah ini:

1. Siapkan file impor metadata dengan mengikuti panduan yang dijelaskan sebelumnya dalam dokumen ini.
2. Upload file ke bucket Cloud Storage.

Anda dapat memberikan beberapa file impor metadata dalam tugas metadata yang sama. Untuk menyediakan beberapa file, simpan file di bucket Cloud Storage yang sama. Saat menjalankan tugas, Anda menentukan bucket, bukan file tertentu. Knowledge Catalog mengimpor metadata dari semua file yang disimpan di bucket, termasuk file yang ada di subfolder.

Menjalankan tugas impor metadata

Setelah Anda membuat file impor metadata, jalankan tugas impor metadata.

REST

Untuk mengimpor metadata, gunakan metode metadataJobs.create.

Sebelum menggunakan salah satu data permintaan, lakukan penggantian berikut:

• PROJECT_NUMBER: nomor project Google Cloud atau project ID Anda.
• LOCATION_ID: lokasi Google Cloud , seperti us-central1.
• METADATA_JOB_ID: optional. ID pekerjaan metadata.

• CLOUD_STORAGE_URI: URI bucket Cloud Storage atau folder yang berisi file impor metadata. Untuk informasi selengkapnya tentang persyaratan file, lihat File impor metadata.

• ENTRY_GROUP: nama resource relatif dari grup entri yang termasuk dalam cakupan tugas, dalam format projects/PROJECT_ID_OR_NUMBER/locations/LOCATION_ID/entryGroups/ENTRY_GROUP_ID. Untuk mengetahui informasi selengkapnya, lihat Cakupan tugas.

• ENTRY_TYPE: nama resource relatif dari jenis entri yang termasuk dalam cakupan tugas, dalam format projects/PROJECT_ID_OR_NUMBER/locations/LOCATION_ID/entryTypes/ENTRY_TYPE_ID. Untuk mengetahui informasi selengkapnya, lihat Cakupan tugas.

• ASPECT_TYPE: nama resource relatif dari jenis aspek yang berada dalam cakupan tugas, dalam format projects/PROJECT_ID_OR_NUMBER/locations/LOCATION_ID/aspectTypes/ASPECT_TYPE_ID. Opsional saat membuat tugas sinkronisasi entri lengkap, wajib saat membuat tugas khusus aspek. Untuk mengetahui informasi selengkapnya, lihat Cakupan tugas.
• ENTRY_SYNC_MODE: mode sinkronisasi entri, seperti FULL atau NONE. Untuk mengetahui informasi selengkapnya, lihat Mode sinkronisasi.
• LOG_LEVEL: tingkat log yang akan diambil, seperti INFO atau DEBUG. Untuk mengetahui informasi selengkapnya, lihat Melihat log tugas dan memecahkan masalah.

Metode HTTP dan URL:

POST https://dataplex.googleapis.com/v1/projects/TARGET_PROJECT_NUMBER/locations/LOCATION_ID/metadataJobs?metadataJobId=METADATA_JOB_ID

Meminta isi JSON:

{
  "type": "IMPORT",
  "import_spec": {
    "source_storage_uri": "gs://CLOUD_STORAGE_URI/",
    "scope": {
      "entryGroups": [
        "ENTRY_GROUP"
      ],
      "entry_types": [
        "ENTRY_TYPE"
      ],
      "aspect_types": [
        "ASPECT_TYPE"
      ]
    },
    "entry_sync_mode": "ENTRY_SYNC_MODE",
    "aspect_sync_mode": "INCREMENTAL",
    "log_level": "LOG_LEVEL"
  }
}

Untuk mengirim permintaan Anda, perluas salah satu opsi berikut:

curl (Linux, macOS, atau Cloud Shell)

Catatan: Perintah berikut mengasumsikan bahwa Anda telah login ke gcloud CLI menggunakan akun pengguna Anda dengan menjalankan gcloud init atau gcloud auth login, atau dengan menggunakan Cloud Shell, yang secara otomatis membuat Anda login ke gcloud CLI. Anda dapat memeriksa akun yang saat ini aktif dengan menjalankan gcloud auth list.

Simpan isi permintaan dalam file bernama request.json, dan jalankan perintah berikut:

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://dataplex.googleapis.com/v1/projects/TARGET_PROJECT_NUMBER/locations/LOCATION_ID/metadataJobs?metadataJobId=METADATA_JOB_ID"

PowerShell (Windows)

Catatan: Perintah berikut mengasumsikan bahwa Anda telah login ke gcloud CLI menggunakan akun pengguna Anda dengan menjalankan gcloud init atau gcloud auth login. Anda dapat memeriksa akun yang saat ini aktif dengan menjalankan gcloud auth list.

Simpan isi permintaan dalam file bernama request.json, dan jalankan perintah berikut:

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://dataplex.googleapis.com/v1/projects/TARGET_PROJECT_NUMBER/locations/LOCATION_ID/metadataJobs?metadataJobId=METADATA_JOB_ID" | Select-Object -Expand Content

Respons mengidentifikasi operasi yang berjalan lama.

Mendapatkan detail tentang tugas metadata

Untuk mendapatkan informasi tentang tugas metadata, seperti status tugas dan jumlah entri yang diubah, gunakan langkah-langkah berikut. Untuk mengetahui informasi selengkapnya tentang cara memecahkan masalah tugas yang gagal, lihat bagian Melihat log tugas dan memecahkan masalah dalam dokumen ini.

C#

C#

Sebelum mencoba contoh ini, ikuti petunjuk penyiapan C# di Panduan memulai Knowledge Catalog menggunakan library klien. Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi API Knowledge Catalog C#.

Untuk melakukan autentikasi ke Knowledge Catalog, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal.

using Google.Cloud.Dataplex.V1;

public sealed partial class GeneratedCatalogServiceClientSnippets
{
    /// <summary>Snippet for GetMetadataJob</summary>
    /// <remarks>
    /// This snippet has been automatically generated and should be regarded as a code template only.
    /// It will require modifications to work:
    /// - It may require correct/in-range values for request initialization.
    /// - It may require specifying regional endpoints when creating the service client as shown in
    ///   https://cloud.google.com/dotnet/docs/reference/help/client-configuration#endpoint.
    /// </remarks>
    public void GetMetadataJobRequestObject()
    {
        // Create client
        CatalogServiceClient catalogServiceClient = CatalogServiceClient.Create();
        // Initialize request argument(s)
        GetMetadataJobRequest request = new GetMetadataJobRequest
        {
            MetadataJobName = MetadataJobName.FromProjectLocationMetadataJob("[PROJECT]", "[LOCATION]", "[METADATAJOB]"),
        };
        // Make the request
        MetadataJob response = catalogServiceClient.GetMetadataJob(request);
    }
}

Go

Go

Sebelum mencoba contoh ini, ikuti petunjuk penyiapan Go di Panduan memulai Knowledge Catalog menggunakan library klien. Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi API Knowledge Catalog Go.

Untuk melakukan autentikasi ke Knowledge Catalog, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal.

//go:build examples

package main

import (
	"context"

	dataplex "cloud.google.com/go/dataplex/apiv1"
	dataplexpb "cloud.google.com/go/dataplex/apiv1/dataplexpb"
)

func main() {
	ctx := context.Background()
	// This snippet has been automatically generated and should be regarded as a code template only.
	// It will require modifications to work:
	// - It may require correct/in-range values for request initialization.
	// - It may require specifying regional endpoints when creating the service client as shown in:
	//   https://pkg.go.dev/cloud.google.com/go#hdr-Client_Options
	c, err := dataplex.NewCatalogClient(ctx)
	if err != nil {
		// TODO: Handle error.
	}
	defer c.Close()

	req := &dataplexpb.GetMetadataJobRequest{
		// TODO: Fill request struct fields.
		// See https://pkg.go.dev/cloud.google.com/go/dataplex/apiv1/dataplexpb#GetMetadataJobRequest.
	}
	resp, err := c.GetMetadataJob(ctx, req)
	if err != nil {
		// TODO: Handle error.
	}
	// TODO: Use resp.
	_ = resp
}

Java

Java

Sebelum mencoba contoh ini, ikuti petunjuk penyiapan Java di Panduan memulai Knowledge Catalog menggunakan library klien. Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi API Knowledge Catalog Java.

Untuk melakukan autentikasi ke Knowledge Catalog, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal.

import com.google.cloud.dataplex.v1.CatalogServiceClient;
import com.google.cloud.dataplex.v1.GetMetadataJobRequest;
import com.google.cloud.dataplex.v1.MetadataJob;
import com.google.cloud.dataplex.v1.MetadataJobName;

public class SyncGetMetadataJob {

  public static void main(String[] args) throws Exception {
    syncGetMetadataJob();
  }

  public static void syncGetMetadataJob() throws Exception {
    // This snippet has been automatically generated and should be regarded as a code template only.
    // It will require modifications to work:
    // - It may require correct/in-range values for request initialization.
    // - It may require specifying regional endpoints when creating the service client as shown in
    // https://cloud.google.com/java/docs/setup#configure_endpoints_for_the_client_library
    try (CatalogServiceClient catalogServiceClient = CatalogServiceClient.create()) {
      GetMetadataJobRequest request =
          GetMetadataJobRequest.newBuilder()
              .setName(MetadataJobName.of("[PROJECT]", "[LOCATION]", "[METADATAJOB]").toString())
              .build();
      MetadataJob response = catalogServiceClient.getMetadataJob(request);
    }
  }
}

Node.js

Node.js

Sebelum mencoba contoh ini, ikuti petunjuk penyiapan Node.js di Panduan memulai Knowledge Catalog menggunakan library klien. Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi API Knowledge Catalog Node.js.

Untuk melakukan autentikasi ke Knowledge Catalog, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal.

/**
 * This snippet has been automatically generated and should be regarded as a code template only.
 * It will require modifications to work.
 * It may require correct/in-range values for request initialization.
 * TODO(developer): Uncomment these variables before running the sample.
 */
/**
 *  Required. The resource name of the metadata job, in the format
 *  `projects/{project_id_or_number}/locations/{location_id}/metadataJobs/{metadata_job_id}`.
 */
// const name = 'abc123'

// Imports the Dataplex library
const {CatalogServiceClient} = require('@google-cloud/dataplex').v1;

// Instantiates a client
const dataplexClient = new CatalogServiceClient();

async function callGetMetadataJob() {
  // Construct request
  const request = {
    name,
  };

  // Run request
  const response = await dataplexClient.getMetadataJob(request);
  console.log(response);
}

callGetMetadataJob();

Python

Python

Sebelum mencoba contoh ini, ikuti petunjuk penyiapan Python di Panduan memulai Knowledge Catalog menggunakan library klien. Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi API Knowledge Catalog Python.

Untuk melakukan autentikasi ke Knowledge Catalog, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal.

# This snippet has been automatically generated and should be regarded as a
# code template only.
# It will require modifications to work:
# - It may require correct/in-range values for request initialization.
# - It may require specifying regional endpoints when creating the service
#   client as shown in:
#   https://googleapis.dev/python/google-api-core/latest/client_options.html
from google.cloud import dataplex_v1


def sample_get_metadata_job():
    # Create a client
    client = dataplex_v1.CatalogServiceClient()

    # Initialize request argument(s)
    request = dataplex_v1.GetMetadataJobRequest(
        name="name_value",
    )

    # Make the request
    response = client.get_metadata_job(request=request)

    # Handle the response
    print(response)

Ruby

Ruby

Sebelum mencoba contoh ini, ikuti petunjuk penyiapan Ruby di Panduan memulai Knowledge Catalog menggunakan library klien. Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi API Knowledge Catalog Ruby.

Untuk melakukan autentikasi ke Knowledge Catalog, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal.

require "google/cloud/dataplex/v1"

##
# Snippet for the get_metadata_job call in the CatalogService service
#
# This snippet has been automatically generated and should be regarded as a code
# template only. It will require modifications to work:
# - It may require correct/in-range values for request initialization.
# - It may require specifying regional endpoints when creating the service
# client as shown in https://cloud.google.com/ruby/docs/reference.
#
# This is an auto-generated example demonstrating basic usage of
# Google::Cloud::Dataplex::V1::CatalogService::Client#get_metadata_job.
#
def get_metadata_job
  # Create a client object. The client can be reused for multiple calls.
  client = Google::Cloud::Dataplex::V1::CatalogService::Client.new

  # Create a request. To set request fields, pass in keyword arguments.
  request = Google::Cloud::Dataplex::V1::GetMetadataJobRequest.new

  # Call the get_metadata_job method.
  result = client.get_metadata_job request

  # The returned object is of type Google::Cloud::Dataplex::V1::MetadataJob.
  p result
end

REST

Untuk mendapatkan informasi tentang tugas metadata, gunakan metode metadataJobs.get.

Sebelum menggunakan salah satu data permintaan, lakukan penggantian berikut:

• PROJECT_NUMBER: nomor project Google Cloud atau project ID Anda.
• LOCATION_ID: lokasi Google Cloud , seperti us-central1.
• METADATA_JOB_ID: ID pekerjaan metadata.

Metode HTTP dan URL:

GET https://dataplex.googleapis.com/v1/projects/TARGET_PROJECT_NUMBER/locations/LOCATION_ID/metadataJobs/METADATA_JOB_ID

Untuk mengirim permintaan Anda, perluas salah satu opsi berikut:

curl (Linux, macOS, atau Cloud Shell)

Catatan: Perintah berikut mengasumsikan bahwa Anda telah login ke gcloud CLI menggunakan akun pengguna Anda dengan menjalankan gcloud init atau gcloud auth login, atau dengan menggunakan Cloud Shell, yang secara otomatis membuat Anda login ke gcloud CLI. Anda dapat memeriksa akun yang saat ini aktif dengan menjalankan gcloud auth list.

Jalankan perintah berikut:

curl -X GET \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     "https://dataplex.googleapis.com/v1/projects/TARGET_PROJECT_NUMBER/locations/LOCATION_ID/metadataJobs/METADATA_JOB_ID"

PowerShell (Windows)

Catatan: Perintah berikut mengasumsikan bahwa Anda telah login ke gcloud CLI menggunakan akun pengguna Anda dengan menjalankan gcloud init atau gcloud auth login. Anda dapat memeriksa akun yang saat ini aktif dengan menjalankan gcloud auth list.

Jalankan perintah berikut:

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method GET `
    -Headers $headers `
    -Uri "https://dataplex.googleapis.com/v1/projects/TARGET_PROJECT_NUMBER/locations/LOCATION_ID/metadataJobs/METADATA_JOB_ID" | Select-Object -Expand Content

Anda akan melihat respons JSON seperti berikut:

{
  "name": "projects/123456789012/locations/us-central1/metadataJobs/my-metadata-job",
  "uid": "a1b2c3d4-e5f6-7a8b-9c0d-1e2f3a4b5c6d",
  "createTime": "2026-07-17T16:30:15Z",
  "updateTime": "2026-07-17T16:35:15Z",
  "type": "IMPORT",
  "importSpec": {
    "sourceStorageUri": "gs://my-bucket/",
    "scope": {
      "entryGroups": [
        "projects/123456789012/locations/us-central1/entryGroups/my-entry-group"
      ],
      "entryTypes": [
        "projects/123456789012/locations/us-central1/entryTypes/my-entry-type"
      ],
      "aspectTypes": [
        "projects/123456789012/locations/us-central1/aspectTypes/my-aspect-type"
      ]
    },
    "entrySyncMode": "FULL",
    "aspectSyncMode": "INCREMENTAL",
    "logLevel": "INFO"
  },
  "status": {
    "state": "SUCCEEDED"
  },
  "importResult": {
    "deletedEntries": "2",
    "updatedEntries": "5",
    "createdEntries": "10",
    "unchangedEntries": "20",
    "updateTime": "2026-07-17T16:35:15Z"
  }
}

Mendapatkan daftar tugas metadata

Anda bisa mendapatkan daftar tugas metadata terbaru. Tugas lama yang telah mencapai status terminal akan dihapus secara berkala dari sistem.

C#

C#

Sebelum mencoba contoh ini, ikuti petunjuk penyiapan C# di Panduan memulai Knowledge Catalog menggunakan library klien. Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi API Knowledge Catalog C#.

Untuk melakukan autentikasi ke Knowledge Catalog, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal.

using Google.Api.Gax;
using Google.Api.Gax.ResourceNames;
using Google.Cloud.Dataplex.V1;
using System;

public sealed partial class GeneratedCatalogServiceClientSnippets
{
    /// <summary>Snippet for ListMetadataJobs</summary>
    /// <remarks>
    /// This snippet has been automatically generated and should be regarded as a code template only.
    /// It will require modifications to work:
    /// - It may require correct/in-range values for request initialization.
    /// - It may require specifying regional endpoints when creating the service client as shown in
    ///   https://cloud.google.com/dotnet/docs/reference/help/client-configuration#endpoint.
    /// </remarks>
    public void ListMetadataJobsRequestObject()
    {
        // Create client
        CatalogServiceClient catalogServiceClient = CatalogServiceClient.Create();
        // Initialize request argument(s)
        ListMetadataJobsRequest request = new ListMetadataJobsRequest
        {
            ParentAsLocationName = LocationName.FromProjectLocation("[PROJECT]", "[LOCATION]"),
            Filter = "",
            OrderBy = "",
        };
        // Make the request
        PagedEnumerable<ListMetadataJobsResponse, MetadataJob> response = catalogServiceClient.ListMetadataJobs(request);

        // Iterate over all response items, lazily performing RPCs as required
        foreach (MetadataJob item in response)
        {
            // Do something with each item
            Console.WriteLine(item);
        }

        // Or iterate over pages (of server-defined size), performing one RPC per page
        foreach (ListMetadataJobsResponse page in response.AsRawResponses())
        {
            // Do something with each page of items
            Console.WriteLine("A page of results:");
            foreach (MetadataJob item in page)
            {
                // Do something with each item
                Console.WriteLine(item);
            }
        }

        // Or retrieve a single page of known size (unless it's the final page), performing as many RPCs as required
        int pageSize = 10;
        Page<MetadataJob> singlePage = response.ReadPage(pageSize);
        // Do something with the page of items
        Console.WriteLine($"A page of {pageSize} results (unless it's the final page):");
        foreach (MetadataJob item in singlePage)
        {
            // Do something with each item
            Console.WriteLine(item);
        }
        // Store the pageToken, for when the next page is required.
        string nextPageToken = singlePage.NextPageToken;
    }
}

Go

Go

Sebelum mencoba contoh ini, ikuti petunjuk penyiapan Go di Panduan memulai Knowledge Catalog menggunakan library klien. Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi API Knowledge Catalog Go.

Untuk melakukan autentikasi ke Knowledge Catalog, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal.

//go:build examples

package main

import (
	"context"

	dataplex "cloud.google.com/go/dataplex/apiv1"
	dataplexpb "cloud.google.com/go/dataplex/apiv1/dataplexpb"
	"google.golang.org/api/iterator"
)

func main() {
	ctx := context.Background()
	// This snippet has been automatically generated and should be regarded as a code template only.
	// It will require modifications to work:
	// - It may require correct/in-range values for request initialization.
	// - It may require specifying regional endpoints when creating the service client as shown in:
	//   https://pkg.go.dev/cloud.google.com/go#hdr-Client_Options
	c, err := dataplex.NewCatalogClient(ctx)
	if err != nil {
		// TODO: Handle error.
	}
	defer c.Close()

	req := &dataplexpb.ListMetadataJobsRequest{
		// TODO: Fill request struct fields.
		// See https://pkg.go.dev/cloud.google.com/go/dataplex/apiv1/dataplexpb#ListMetadataJobsRequest.
	}
	it := c.ListMetadataJobs(ctx, req)
	for {
		resp, err := it.Next()
		if err == iterator.Done {
			break
		}
		if err != nil {
			// TODO: Handle error.
		}
		// TODO: Use resp.
		_ = resp

		// If you need to access the underlying RPC response,
		// you can do so by casting the `Response` as below.
		// Otherwise, remove this line. Only populated after
		// first call to Next(). Not safe for concurrent access.
		_ = it.Response.(*dataplexpb.ListMetadataJobsResponse)
	}
}

Java

Java

Sebelum mencoba contoh ini, ikuti petunjuk penyiapan Java di Panduan memulai Knowledge Catalog menggunakan library klien. Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi API Knowledge Catalog Java.

Untuk melakukan autentikasi ke Knowledge Catalog, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal.

import com.google.cloud.dataplex.v1.CatalogServiceClient;
import com.google.cloud.dataplex.v1.ListMetadataJobsRequest;
import com.google.cloud.dataplex.v1.LocationName;
import com.google.cloud.dataplex.v1.MetadataJob;

public class SyncListMetadataJobs {

  public static void main(String[] args) throws Exception {
    syncListMetadataJobs();
  }

  public static void syncListMetadataJobs() throws Exception {
    // This snippet has been automatically generated and should be regarded as a code template only.
    // It will require modifications to work:
    // - It may require correct/in-range values for request initialization.
    // - It may require specifying regional endpoints when creating the service client as shown in
    // https://cloud.google.com/java/docs/setup#configure_endpoints_for_the_client_library
    try (CatalogServiceClient catalogServiceClient = CatalogServiceClient.create()) {
      ListMetadataJobsRequest request =
          ListMetadataJobsRequest.newBuilder()
              .setParent(LocationName.of("[PROJECT]", "[LOCATION]").toString())
              .setPageSize(883849137)
              .setPageToken("pageToken873572522")
              .setFilter("filter-1274492040")
              .setOrderBy("orderBy-1207110587")
              .build();
      for (MetadataJob element : catalogServiceClient.listMetadataJobs(request).iterateAll()) {
        // doThingsWith(element);
      }
    }
  }
}

Node.js

Node.js

Sebelum mencoba contoh ini, ikuti petunjuk penyiapan Node.js di Panduan memulai Knowledge Catalog menggunakan library klien. Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi API Knowledge Catalog Node.js.

Untuk melakukan autentikasi ke Knowledge Catalog, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal.

/**
 * This snippet has been automatically generated and should be regarded as a code template only.
 * It will require modifications to work.
 * It may require correct/in-range values for request initialization.
 * TODO(developer): Uncomment these variables before running the sample.
 */
/**
 *  Required. The resource name of the parent location, in the format
 *  `projects/{project_id_or_number}/locations/{location_id}`
 */
// const parent = 'abc123'
/**
 *  Optional. The maximum number of metadata jobs to return. The service might
 *  return fewer jobs than this value. If unspecified, at most 10 jobs are
 *  returned. The maximum value is 1,000.
 */
// const pageSize = 1234
/**
 *  Optional. The page token received from a previous `ListMetadataJobs` call.
 *  Provide this token to retrieve the subsequent page of results. When
 *  paginating, all other parameters that are provided to the
 *  `ListMetadataJobs` request must match the call that provided the page
 *  token.
 */
// const pageToken = 'abc123'
/**
 *  Optional. Filter request. Filters are case-sensitive.
 *  The service supports the following formats:
 *  * `labels.key1 = "value1"`
 *  * `labels:key1`
 *  * `name = "value"`
 *  You can combine filters with `AND`, `OR`, and `NOT` operators.
 */
// const filter = 'abc123'
/**
 *  Optional. The field to sort the results by, either `name` or `create_time`.
 *  If not specified, the ordering is undefined.
 */
// const orderBy = 'abc123'

// Imports the Dataplex library
const {CatalogServiceClient} = require('@google-cloud/dataplex').v1;

// Instantiates a client
const dataplexClient = new CatalogServiceClient();

async function callListMetadataJobs() {
  // Construct request
  const request = {
    parent,
  };

  // Run request
  const iterable = dataplexClient.listMetadataJobsAsync(request);
  for await (const response of iterable) {
      console.log(response);
  }
}

callListMetadataJobs();

Python

Python

Sebelum mencoba contoh ini, ikuti petunjuk penyiapan Python di Panduan memulai Knowledge Catalog menggunakan library klien. Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi API Knowledge Catalog Python.

Untuk melakukan autentikasi ke Knowledge Catalog, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal.

# This snippet has been automatically generated and should be regarded as a
# code template only.
# It will require modifications to work:
# - It may require correct/in-range values for request initialization.
# - It may require specifying regional endpoints when creating the service
#   client as shown in:
#   https://googleapis.dev/python/google-api-core/latest/client_options.html
from google.cloud import dataplex_v1


def sample_list_metadata_jobs():
    # Create a client
    client = dataplex_v1.CatalogServiceClient()

    # Initialize request argument(s)
    request = dataplex_v1.ListMetadataJobsRequest(
        parent="parent_value",
    )

    # Make the request
    page_result = client.list_metadata_jobs(request=request)

    # Handle the response
    for response in page_result:
        print(response)

Ruby

Ruby

Sebelum mencoba contoh ini, ikuti petunjuk penyiapan Ruby di Panduan memulai Knowledge Catalog menggunakan library klien. Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi API Knowledge Catalog Ruby.

Untuk melakukan autentikasi ke Knowledge Catalog, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal.

require "google/cloud/dataplex/v1"

##
# Snippet for the list_metadata_jobs call in the CatalogService service
#
# This snippet has been automatically generated and should be regarded as a code
# template only. It will require modifications to work:
# - It may require correct/in-range values for request initialization.
# - It may require specifying regional endpoints when creating the service
# client as shown in https://cloud.google.com/ruby/docs/reference.
#
# This is an auto-generated example demonstrating basic usage of
# Google::Cloud::Dataplex::V1::CatalogService::Client#list_metadata_jobs.
#
def list_metadata_jobs
  # Create a client object. The client can be reused for multiple calls.
  client = Google::Cloud::Dataplex::V1::CatalogService::Client.new

  # Create a request. To set request fields, pass in keyword arguments.
  request = Google::Cloud::Dataplex::V1::ListMetadataJobsRequest.new

  # Call the list_metadata_jobs method.
  result = client.list_metadata_jobs request

  # The returned object is of type Gapic::PagedEnumerable. You can iterate
  # over elements, and API calls will be issued to fetch pages as needed.
  result.each do |item|
    # Each element is of type ::Google::Cloud::Dataplex::V1::MetadataJob.
    p item
  end
end

REST

Untuk mendapatkan daftar tugas metadata terbaru, gunakan metode metadataJobs.list.

Membatalkan tugas metadata

Anda dapat membatalkan tugas metadata yang tidak ingin dijalankan.

Perhatian: Jika Anda membatalkan tugas impor metadata yang sedang berlangsung, perubahan dalam tugas tersebut mungkin diterapkan sebagian. Sebaiknya reset status grup entri dalam project Anda dengan menjalankan tugas metadata lain yang mengembalikan perubahan dari tugas yang dibatalkan.

C#

C#

Sebelum mencoba contoh ini, ikuti petunjuk penyiapan C# di Panduan memulai Knowledge Catalog menggunakan library klien. Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi API Knowledge Catalog C#.

Untuk melakukan autentikasi ke Knowledge Catalog, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal.

using Google.Cloud.Dataplex.V1;

public sealed partial class GeneratedCatalogServiceClientSnippets
{
    /// <summary>Snippet for CancelMetadataJob</summary>
    /// <remarks>
    /// This snippet has been automatically generated and should be regarded as a code template only.
    /// It will require modifications to work:
    /// - It may require correct/in-range values for request initialization.
    /// - It may require specifying regional endpoints when creating the service client as shown in
    ///   https://cloud.google.com/dotnet/docs/reference/help/client-configuration#endpoint.
    /// </remarks>
    public void CancelMetadataJobRequestObject()
    {
        // Create client
        CatalogServiceClient catalogServiceClient = CatalogServiceClient.Create();
        // Initialize request argument(s)
        CancelMetadataJobRequest request = new CancelMetadataJobRequest
        {
            MetadataJobName = MetadataJobName.FromProjectLocationMetadataJob("[PROJECT]", "[LOCATION]", "[METADATAJOB]"),
        };
        // Make the request
        catalogServiceClient.CancelMetadataJob(request);
    }
}

Go

Go

Sebelum mencoba contoh ini, ikuti petunjuk penyiapan Go di Panduan memulai Knowledge Catalog menggunakan library klien. Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi API Knowledge Catalog Go.

Untuk melakukan autentikasi ke Knowledge Catalog, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal.

//go:build examples

package main

import (
	"context"

	dataplex "cloud.google.com/go/dataplex/apiv1"
	dataplexpb "cloud.google.com/go/dataplex/apiv1/dataplexpb"
)

func main() {
	ctx := context.Background()
	// This snippet has been automatically generated and should be regarded as a code template only.
	// It will require modifications to work:
	// - It may require correct/in-range values for request initialization.
	// - It may require specifying regional endpoints when creating the service client as shown in:
	//   https://pkg.go.dev/cloud.google.com/go#hdr-Client_Options
	c, err := dataplex.NewCatalogClient(ctx)
	if err != nil {
		// TODO: Handle error.
	}
	defer c.Close()

	req := &dataplexpb.CancelMetadataJobRequest{
		// TODO: Fill request struct fields.
		// See https://pkg.go.dev/cloud.google.com/go/dataplex/apiv1/dataplexpb#CancelMetadataJobRequest.
	}
	err = c.CancelMetadataJob(ctx, req)
	if err != nil {
		// TODO: Handle error.
	}
}

Java

Java

Sebelum mencoba contoh ini, ikuti petunjuk penyiapan Java di Panduan memulai Knowledge Catalog menggunakan library klien. Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi API Knowledge Catalog Java.

Untuk melakukan autentikasi ke Knowledge Catalog, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal.

import com.google.cloud.dataplex.v1.CancelMetadataJobRequest;
import com.google.cloud.dataplex.v1.CatalogServiceClient;
import com.google.cloud.dataplex.v1.MetadataJobName;
import com.google.protobuf.Empty;

public class SyncCancelMetadataJob {

  public static void main(String[] args) throws Exception {
    syncCancelMetadataJob();
  }

  public static void syncCancelMetadataJob() throws Exception {
    // This snippet has been automatically generated and should be regarded as a code template only.
    // It will require modifications to work:
    // - It may require correct/in-range values for request initialization.
    // - It may require specifying regional endpoints when creating the service client as shown in
    // https://cloud.google.com/java/docs/setup#configure_endpoints_for_the_client_library
    try (CatalogServiceClient catalogServiceClient = CatalogServiceClient.create()) {
      CancelMetadataJobRequest request =
          CancelMetadataJobRequest.newBuilder()
              .setName(MetadataJobName.of("[PROJECT]", "[LOCATION]", "[METADATAJOB]").toString())
              .build();
      catalogServiceClient.cancelMetadataJob(request);
    }
  }
}

Node.js

Node.js

Sebelum mencoba contoh ini, ikuti petunjuk penyiapan Node.js di Panduan memulai Knowledge Catalog menggunakan library klien. Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi API Knowledge Catalog Node.js.

Untuk melakukan autentikasi ke Knowledge Catalog, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal.

/**
 * This snippet has been automatically generated and should be regarded as a code template only.
 * It will require modifications to work.
 * It may require correct/in-range values for request initialization.
 * TODO(developer): Uncomment these variables before running the sample.
 */
/**
 *  Required. The resource name of the job, in the format
 *  `projects/{project_id_or_number}/locations/{location_id}/metadataJobs/{metadata_job_id}`
 */
// const name = 'abc123'

// Imports the Dataplex library
const {CatalogServiceClient} = require('@google-cloud/dataplex').v1;

// Instantiates a client
const dataplexClient = new CatalogServiceClient();

async function callCancelMetadataJob() {
  // Construct request
  const request = {
    name,
  };

  // Run request
  const response = await dataplexClient.cancelMetadataJob(request);
  console.log(response);
}

callCancelMetadataJob();

Python

Python

Sebelum mencoba contoh ini, ikuti petunjuk penyiapan Python di Panduan memulai Knowledge Catalog menggunakan library klien. Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi API Knowledge Catalog Python.

Untuk melakukan autentikasi ke Knowledge Catalog, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal.

# This snippet has been automatically generated and should be regarded as a
# code template only.
# It will require modifications to work:
# - It may require correct/in-range values for request initialization.
# - It may require specifying regional endpoints when creating the service
#   client as shown in:
#   https://googleapis.dev/python/google-api-core/latest/client_options.html
from google.cloud import dataplex_v1


def sample_cancel_metadata_job():
    # Create a client
    client = dataplex_v1.CatalogServiceClient()

    # Initialize request argument(s)
    request = dataplex_v1.CancelMetadataJobRequest(
        name="name_value",
    )

    # Make the request
    client.cancel_metadata_job(request=request)

Ruby

Ruby

Sebelum mencoba contoh ini, ikuti petunjuk penyiapan Ruby di Panduan memulai Knowledge Catalog menggunakan library klien. Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi API Knowledge Catalog Ruby.

Untuk melakukan autentikasi ke Knowledge Catalog, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal.

require "google/cloud/dataplex/v1"

##
# Snippet for the cancel_metadata_job call in the CatalogService service
#
# This snippet has been automatically generated and should be regarded as a code
# template only. It will require modifications to work:
# - It may require correct/in-range values for request initialization.
# - It may require specifying regional endpoints when creating the service
# client as shown in https://cloud.google.com/ruby/docs/reference.
#
# This is an auto-generated example demonstrating basic usage of
# Google::Cloud::Dataplex::V1::CatalogService::Client#cancel_metadata_job.
#
def cancel_metadata_job
  # Create a client object. The client can be reused for multiple calls.
  client = Google::Cloud::Dataplex::V1::CatalogService::Client.new

  # Create a request. To set request fields, pass in keyword arguments.
  request = Google::Cloud::Dataplex::V1::CancelMetadataJobRequest.new

  # Call the cancel_metadata_job method.
  result = client.cancel_metadata_job request

  # The returned object is of type Google::Protobuf::Empty.
  p result
end

REST

Untuk membatalkan tugas metadata, gunakan metode metadataJobs.cancel.

Melihat log tugas dan memecahkan masalah

Gunakan Cloud Logging untuk melihat log tugas metadata. Untuk mengetahui informasi selengkapnya, lihat Memantau log Knowledge Catalog.

Anda mengonfigurasi level log saat membuat tugas metadata. Tersedia level log berikut:

• INFO: menyediakan log di tingkat tugas secara keseluruhan. Menyertakan log gabungan tentang item impor, tetapi tidak menentukan item impor mana yang mengalami error.

• DEBUG: menyediakan log mendetail untuk setiap item impor. Gunakan logging tingkat debug untuk memecahkan masalah terkait item impor tertentu. Misalnya, gunakan logging tingkat debug untuk mengidentifikasi resource yang tidak ada dalam cakupan tugas, entri atau aspek yang tidak sesuai dengan jenis entri atau jenis aspek terkait, atau kesalahan konfigurasi lainnya pada file impor metadata.

  Catatan: Bergantung pada ukuran tugas metadata dan jumlah log yang dihasilkan, logging tingkat debug mungkin akan dikenai biaya tambahan. Untuk mengetahui informasi selengkapnya, lihat Harga Google Cloud Observability.

Error validasi

Knowledge Catalog memvalidasi file impor metadata terhadap metadata saat ini dalam project Anda. Jika ada masalah validasi, status tugas mungkin menampilkan salah satu status berikut:

• FAILED: terjadi saat file impor metadata mengalami error. Knowledge Catalog tidak mengimpor metadata apa pun dan tugas akan gagal. Contoh error dalam file impor metadata mencakup hal berikut:
  • Item dalam file tidak dapat diuraikan menjadi item impor yang valid
  • Entri atau aspek dalam file termasuk dalam grup entri, jenis entri, atau jenis aspek yang bukan bagian dari cakupan tugas
  • Nama entri yang sama ditentukan lebih dari sekali dalam tugas
  • Jenis aspek yang ditentukan dalam peta aspek atau kunci aspek tidak menggunakan format PROJECT_ID_OR_NUMBER.LOCATION_ID.ASPECT_TYPE_ID@OPTIONAL_PATH
  • Aspek yang diperlukan ditandai untuk dihapus
• SUCCEEDED_WITH_ERRORS: terjadi saat file impor metadata dapat berhasil diuraikan, tetapi mengimpor item dalam file akan menyebabkan entri dalam project Anda berada dalam status yang tidak konsisten. Knowledge Catalog mengabaikan entri tersebut, tetapi mengimpor metadata lainnya dari file.

Gunakan log tugas untuk memecahkan masalah error.

Langkah berikutnya

• Menelusuri aset data di Knowledge Catalog
• Mengelola aspek dan memperkaya metadata
• Mengelola entri dan menyerap sumber kustom
• Mengekspor metadata