(Tidak Digunakan Lagi) Panduan Pengguna Mesh Data

Peringatan: Fitur Mesh Data dalam Google Cloud Cortex Framework kini tidak digunakan lagi dan dinonaktifkan. Perubahan ini didorong oleh evolusi layanan pengelolaan data Google Cloud. Solusi Data Mesh dibangun menggunakan Data Catalog untuk pengelolaan metadata, yang kini digantikan oleh Knowledge Catalog yang lebih canggih. Knowledge Catalog menyediakan API terpadu, kemampuan metadata yang ditingkatkan, dan fitur baru untuk pengalaman tata kelola data yang lebih komprehensif.

Data Mesh untuk Cortex Framework memperluas fondasi data untuk memungkinkan tata kelola data, visibilitas, dan kontrol akses melalui metadata BigQuery dan Knowledge Catalog. Hal ini diimplementasikan dengan menyediakan kumpulan dasar resource metadata dan anotasi aset BigQuery yang dapat disesuaikan dan secara opsional di-deploy bersama fondasi data. Spesifikasi dasar ini menyediakan konfigurasi yang disesuaikan yang merupakan fondasi metadata untuk melengkapi Cortex Framework Data Foundation. Lihat Konsep mesh data sebelum melanjutkan panduan ini.

Langkah-langkah yang diuraikan di halaman ini dirancang khusus untuk mengonfigurasi mesh data untuk Cortex Framework. Temukan file konfigurasi Data Mesh dalam folder khusus untuk setiap workload di bagian direktori Data Mesh.

Peringatan: Panduan mesh data ini dapat berubah seiring waktu. Hubungi tim Cortex untuk memberikan masukan atau melaporkan masalah terkait.

Gambar 1. Arsitektur Mesh Data untuk Cortex Framework.

Desain

Mesh Data Cortex dirancang mirip dengan fondasi data secara keseluruhan dan terdiri dari tiga fase dengan subkomponen berbeda yang dikelola oleh Cortex atau pengguna:

1. Pembaruan spesifikasi resource dasar: Dengan setiap rilis, Cortex memperbarui spesifikasi resource dasar, sehingga memberikan fondasi metadata standar untuk Data Mesh.
2. Penyesuaian spesifikasi resource: Sebelum deployment, pengguna dapat menyesuaikan spesifikasi resource agar sesuai dengan kasus penggunaan dan persyaratan spesifik mereka.
3. Deployment dan update Data Mesh: Pengguna dapat mengaktifkan Data Mesh di file konfigurasi Cortex. Framework ini di-deploy setelah aset data selama deployment Cortex. Selain itu, pengguna memiliki fleksibilitas untuk men-deploy Data Mesh secara independen untuk update lebih lanjut.

Gambar 2. Desain Mesh Data untuk Cortex Framework.

Direktori Mesh Data

Temukan file konfigurasi dasar Mesh Data untuk setiap workload dan sumber data di lokasi berikut. Perhatikan bahwa direktori berisi struktur file yang berbeda, tetapi semua spesifikasi berada di folder config.

Workload	Sumber data	Jalur direktori
Operasional	SAP ECC	src/SAP/SAP_REPORTING/config/ecc
	SAP S/4 HANA	src/SAP/SAP_REPORTING/config/s4
	Salesforce Sales Cloud (SFDC)	src/SFDC/config
	Oracle EBS	src/OracleEBS/config
Pemasaran	CM360	src/marketing/src/CM360/config
	Google Ads	src/marketing/src/GoogleAds/config
	Meta	src/marketing/src/Meta/config
	Salesforce Marketing Cloud (SFMC)	src/marketing/src/SFMC/config
	TikTok	src/marketing/src/TikTok/config
	YouTube (dengan DV360)	src/marketing/src/DV360/config
	Google Analytics 4	src/marketing/src/GA4/config

Catatan: Data Mesh tidak mendukung data LiveRamp, atau Dun & Bradstreet (ESG).

Resource metadata ditentukan di tingkat sumber data dengan satu file YAML per project Google Cloud dan berisi daftar semua resource. Pengguna dapat memperluas file yang ada atau membuat file YAML tambahan yang berisi spesifikasi resource tambahan dalam direktori tersebut jika diperlukan.

Anotasi Aset ditentukan di tingkat aset dan berisi banyak file YAML dalam direktori dengan satu anotasi per file.

Mengaktifkan API dan memverifikasi izin

Dengan mengubah nilai default untuk Data Mesh, Anda dapat menerapkan fitur selain deskripsi. Jika Anda perlu mengubah nilai default untuk Data Mesh di config.json untuk menerapkan fitur selain deskripsi, pastikan API yang diperlukan dan izin konfirmasi ditetapkan seperti yang diuraikan dalam tabel berikut. Saat men-deploy Data Mesh dengan fondasi data, berikan izin kepada pengguna yang men-deploy atau akun Cloud Build. Jika deployment melibatkan project sumber dan target yang berbeda, pastikan API dan izin ini diaktifkan di kedua project di mana pun fitur tersebut digunakan.

Fitur	Peran izin	Dokumentasi
Akses baris dan aset BigQuery	BigQuery Data Owner	Untuk mengetahui informasi selengkapnya, lihat Peran yang diperlukan untuk peran aset, dan Izin yang diperlukan untuk peran baris.
Akses kolom BigQuery	Admin Tag Kebijakan	Untuk mengetahui informasi selengkapnya, lihat dokumentasi Peran yang digunakan dengan kontrol akses tingkat kolom dan Membatasi akses dengan kontrol akses tingkat kolom.
Tag Katalog	Data Catalog TagTemplate Owner	Untuk mengetahui informasi selengkapnya, lihat dokumentasi Memberi tag pada tabel BigQuery menggunakan Data Catalog dan IAM Data Catalog.
Data Lake Knowledge Catalog	Dataplex Editor	Untuk mengetahui informasi selengkapnya, lihat dokumentasi Membuat data lake.

Catatan: Cortex Data Mesh tidak memerlukan integrasi Managed Service untuk Apache Spark dan API Metastore Managed Service untuk Apache Spark.

Memahami spesifikasi resource dasar

Antarmuka utama untuk mengonfigurasi Data Mesh untuk Cortex adalah melalui spesifikasi resource dasar, yang merupakan serangkaian file YAML yang disediakan secara langsung yang menentukan resource metadata dan anotasi yang di-deploy. Spesifikasi dasar memberikan rekomendasi awal dan contoh sintaksis, tetapi dimaksudkan untuk disesuaikan lebih lanjut agar sesuai dengan kebutuhan pengguna. Spesifikasi ini termasuk dalam dua kategori:

• Resource Metadata yang dapat diterapkan di berbagai aset data. Misalnya, Template Tag Katalog yang menentukan cara aset dapat diberi tag dengan domain bisnis.
• Anotasi yang menentukan cara resource metadata diterapkan ke aset data tertentu. Misalnya, Tag Katalog yang mengaitkan tabel tertentu ke domain Penjualan.

Bagian berikut akan memandu Anda melalui contoh dasar dari setiap jenis spesifikasi dan menjelaskan cara menyesuaikannya. Spesifikasi dasar diberi tag dengan ## CORTEX-CUSTOMER yang harus diubah agar sesuai dengan deployment jika opsi deployment terkait diaktifkan. Untuk penggunaan lanjutan, lihat definisi kanonis skema spesifikasi ini di src/common/data_mesh/src/data_mesh_types.py.

Resource metadata

Resource metadata adalah entity bersama yang ada dalam project yang dapat diterapkan ke banyak aset data. Sebagian besar spesifikasi menyertakan kolom display_name yang tunduk pada kriteria berikut:

• Hanya berisi huruf unicode, angka (0-9), garis bawah (_), tanda hubung (-), dan spasi ( ).
• Tidak boleh diawali atau diakhiri dengan spasi.
• Panjang maksimum 200 karakter.

Dalam beberapa kasus, display_name juga digunakan sebagai ID, yang mungkin menimbulkan persyaratan tambahan. Dalam kasus tersebut, link ke dokumentasi kanonis disertakan.

Jika deployment mereferensikan resource metadata dalam project sumber dan target yang berbeda, harus ada spesifikasi yang ditentukan untuk setiap project. Misalnya, Cortex Salesforce (SFDC) berisi dua spesifikasi Lake. Satu untuk zona mentah dan CDC, dan satu lagi untuk pelaporan.

Data Lake Knowledge Catalog

Data Lake, Zona, dan Aset Knowledge Catalog digunakan untuk mengatur data dari perspektif engineering. Lake memiliki region dan zona memiliki location_type, keduanya terkait dengan lokasi Cortex (config.json > location). Lokasi Cortex menentukan tempat Set Data BigQuery disimpan dan dapat berupa satu atau multi-region. Zona location_type harus ditetapkan ke SINGLE_REGION | MULTI_REGION agar sesuai. Namun, region Lake harus selalu berupa satu region. Jika lokasi dan zona Cortex location_type adalah multi-region, pilih satu region dalam grup tersebut untuk region Lake.

• Persyaratan
  • Danau display_name digunakan sebagai lake_id dan harus mematuhi persyaratan resmi. Hal ini juga berlaku untuk zona dan aset display_name. ID Zona harus unik di semua Lake dalam project.
  • Spesifikasi data lake harus dikaitkan dengan satu region.
  • asset_name harus cocok dengan ID set data BigQuery, tetapi display_name dapat berupa label yang lebih mudah digunakan.
• Batasan
  • Knowledge Catalog hanya mendukung pendaftaran set data BigQuery, bukan tabel individual, sebagai aset Knowledge Catalog.
  • Aset mungkin hanya terdaftar di satu zona.
  • Knowledge Catalog hanya didukung di lokasi tertentu. Untuk mengetahui informasi selengkapnya, lihat Lokasi Knowledge Catalog.

Lihat contoh berikut di lakes.yaml.

Resource ini ditentukan dalam file YAML yang menentukan data_mesh_types.Lakes.

Template Tag Katalog

Template Tag Data Catalog dapat digunakan untuk menambahkan konteks ke tabel BigQuery atau kolom individual. Aspek ini membantu Anda mengategorikan dan memahami data dari perspektif teknis dan bisnis dengan cara yang terintegrasi dengan alat penelusuran Knowledge Catalog. Label menentukan kolom tertentu yang dapat Anda gunakan untuk memberi label pada data dan jenis informasi yang dapat disimpan di setiap kolom (misalnya, teks, angka, tanggal). Tag Katalog adalah instance template dengan nilai kolom yang sebenarnya.

Kolom template display_name digunakan sebagai ID kolom dan harus mengikuti persyaratan untuk TagTemplate.fields yang ditentukan dalam Class TagTemplate. Untuk mengetahui informasi selengkapnya tentang jenis kolom yang didukung, lihat Jenis kolom Data Catalog.

Cortex Data Mesh membuat semua template tag dapat dibaca secara publik. Hal ini juga memperkenalkan konsep level tambahan untuk spesifikasi template tag, yang menentukan apakah tag harus diterapkan ke seluruh aset, setiap kolom dalam aset, atau keduanya, dengan nilai yang mungkin: ASSET | FIELD | ANY. Meskipun saat ini hal ini tidak diterapkan secara ketat, pemeriksaan validasi di masa mendatang mungkin akan memastikan tag diterapkan pada level yang sesuai selama deployment.

Lihat contoh berikut.

Template ditentukan dalam file YAML yang menentukan data_mesh_types.CatalogTagTemplates.

Tag Katalog adalah instance template, dan dibahas di bawah dalam Anotasi Aset.

Kontrol Akses Tingkat Aset dan Kolom dengan Template Tag

Cortex Framework memberikan kemampuan untuk mengaktifkan kontrol akses tingkat aset atau kolom pada semua artefak yang terkait dengan Template Tag Katalog. Misalnya, jika pengguna ingin memberikan akses ke aset berdasarkan lini bisnis, mereka dapat membuat asset_policies untuk Template Tag Katalog line_of_business dengan akun utama yang berbeda yang ditentukan untuk setiap domain bisnis. Setiap kebijakan menerima filters yang dapat digunakan untuk hanya mencocokkan tag dengan nilai tertentu. Dalam hal ini, kita dapat mencocokkan nilai domain. Perhatikan bahwa filters ini hanya mendukung pencocokan untuk kesetaraan dan tidak mendukung operator lain. Jika beberapa filter dicantumkan, hasilnya harus memenuhi semua filter (misalnya, filter_a AND filter_b). Kumpulan kebijakan aset akhir adalah gabungan dari kebijakan yang ditentukan langsung dalam anotasi, dan kebijakan dari kebijakan template.

Kontrol akses tingkat kolom dengan Tag Katalog berperilaku serupa dengan menerapkan Tag Kebijakan pada kolom yang cocok. Namun, karena hanya satu Tag Kebijakan yang dapat diterapkan ke kolom, prioritasnya adalah:

1. Tag Kebijakan Langsung: Jika Tag Kebijakan ditentukan langsung pada anotasi kolom, tag tersebut akan diprioritaskan.
2. Kebijakan Template Tag yang Cocok: Jika tidak, akses ditentukan oleh kebijakan pertama yang cocok yang ditentukan pada kolom dalam Template Tag Katalog terkait.

Saat menggunakan fitur ini, sebaiknya aktifkan atau nonaktifkan deployment Tag Katalog dan Daftar Kontrol Akses (ACL) secara bersamaan. Hal ini memastikan ACL di-deploy dengan benar.

Untuk memahami spesifikasi fitur lanjutan ini, lihat definisi parameter asset_policies dan field_policies di data_mesh_types.CatalogTagTemplate.

Glosarium Katalog

Glosarium adalah alat yang dapat digunakan untuk menyediakan kamus istilah yang digunakan oleh kolom tertentu dalam aset data yang mungkin tidak dipahami secara universal. Pengguna dapat menambahkan istilah secara manual di konsol, tetapi tidak ada dukungan melalui spesifikasi resource.

Taksonomi dan Tag Kebijakan

Taksonomi dan tag kebijakan memungkinkan kontrol akses tingkat kolom atas aset data sensitif dengan cara yang standar. Misalnya, mungkin ada taksonomi untuk tag yang mengontrol data PII pada lini bisnis tertentu, di mana hanya grup tertentu yang dapat membaca data yang disamarkan, data yang tidak disamarkan, atau tidak memiliki akses baca sama sekali.

Untuk mengetahui detail selengkapnya tentang taksonomi dan tag kebijakan, lihat dokumentasi Pengantar penyamaran data kolom. Bagian berikut sangat relevan:

• Interaksi peran
• Pewarisan otorisasi
• Aturan dan hierarki penyamaran
• Praktik terbaik tag kebijakan

Framework Cortex menyediakan contoh tag kebijakan untuk menunjukkan cara tag tersebut ditentukan dan potensi penggunaannya, tetapi resource yang memengaruhi kontrol akses tidak diaktifkan dalam deployment Data Mesh secara default.

Lihat contoh berikut.

Taksonomi Kebijakan ditentukan dalam file YAML yang menentukan data_mesh_types.PolicyTaxonomies.

Anotasi Aset

Anotasi menentukan metadata yang berlaku untuk aset tertentu dan dapat mereferensikan resource metadata bersama yang telah ditentukan. Anotasi mencakup:

• Deskripsi aset
• Deskripsi kolom
• Tag Katalog
• Kontrol akses tingkat aset, baris, dan kolom

Catatan: Jika Anda mengubah file anotasi, pertimbangkan bahwa konsol hanya merender baris baru dalam deskripsi sebagai spasi kosong.

Cortex Framework Data Foundation menawarkan anotasi (deskripsi) yang telah dikonfigurasi sebelumnya untuk workload berikut.

• SAP ECC (mentah, CDC, dan pelaporan)
• SAP S4 HANA (mentah, CDC, dan pelaporan)
• SFDC (laporan saja)
• Oracle EBS (khusus pelaporan)
• CM360 (pelaporan saja)
• Google Ads (pelaporan saja)
• Meta (laporan saja)
• SFMC (khusus pelaporan)
• TikTok (laporan saja)
• YouTube (dengan DV360) (laporan saja)
• Google Analytics 4 (pelaporan saja)

Lihat contoh berikut.

Anotasi ditentukan dalam file YAML yang menentukan data_mesh_types.BqAssetAnnotation.

Tag Katalog

Tag Katalog adalah instance dari template yang ditentukan, tempat nilai kolom ditetapkan yang berlaku untuk aset tertentu. Pastikan untuk menetapkan nilai yang cocok dengan jenis kolom yang dideklarasikan dalam template terkait.

Nilai TIMESTAMP harus dalam salah satu format berikut:

  "%Y-%m-%d %H:%M:%S%z"
  "%Y-%m-%d %H:%M:%S"
  "%Y-%m-%d"

Lihat contoh berikut.

Lihat definisi Spesifikasi di data_mesh_types.CatalogTag.

Menentukan Pembaca dan Akun Utama Kebijakan Akses

Kontrol akses ke data BigQuery Anda di Framework Cortex menggunakan kebijakan akses. Kebijakan ini menentukan siapa (akun utama) yang dapat mengakses aset data tertentu, baris dalam aset, atau bahkan kolom individual. Akun utama harus mengikuti format tertentu yang ditentukan oleh anggota Binding Kebijakan IAM.

Akses Tingkat Aset

Anda dapat memberikan akses ke seluruh aset BigQuery dengan berbagai izin:

• READER: Melihat data dalam aset.
• WRITER: Mengubah dan menambahkan data ke aset.
• OWNER : Kontrol penuh atas aset, termasuk mengelola akses.

Izin ini setara dengan pernyataan GRANT DCL di SQL.

Tidak seperti perilaku untuk sebagian besar resource dan anotasi, flag overwrite tidak menghapus akun utama yang ada dengan peran OWNERS. Saat menambahkan pemilik baru dengan penimpaan diaktifkan, pemilik baru hanya akan ditambahkan ke pemilik yang sudah ada. Tindakan ini merupakan pengamanan untuk mencegah kehilangan akses yang tidak disengaja. Untuk menghapus pemilik aset, gunakan konsol. Penimpaan akan menghapus akun utama yang ada dengan peran READER atau WRITER.

Lihat contoh berikut.

Lihat definisi Spesifikasi di data_mesh_types.BqAssetPolicy.

Akses Tingkat Baris

Anda dapat memberikan akses pada kumpulan baris berdasarkan filter nilai kolom tertentu. Saat menentukan kebijakan akses baris, string filter yang diberikan akan dimasukkan ke dalam CREATE DDL statement. Jika flag overwrite diaktifkan, flag ini akan menghapus semua kebijakan akses baris yang ada sebelum menerapkan kebijakan baru.

Pertimbangkan hal berikut tentang Akses Tingkat Baris:

• Menambahkan kebijakan akses baris berarti pengguna yang tidak ditentukan dalam kebijakan tersebut tidak akan memiliki akses untuk melihat baris apa pun.
• Kebijakan baris hanya berfungsi dengan tabel, bukan tampilan.
• Hindari penggunaan kolom berpartisi dalam filter kebijakan akses baris Anda. Lihat file YAML setelan pelaporan terkait untuk mengetahui informasi tentang jenis aset dan kolom yang dipartisi.

Untuk mengetahui informasi selengkapnya tentang kebijakan akses tingkat baris, lihat praktik terbaik keamanan tingkat baris.

Lihat contoh berikut.

Lihat definisi Spesifikasi di data_mesh_types.BqRowPolicy.

Akses Tingkat Kolom

Untuk mengaktifkan akses tingkat kolom, anotasikan setiap kolom dengan Tag Kebijakan yang diidentifikasi berdasarkan nama Tag Kebijakan dan nama Taksonomi. Perbarui resource metadata tag kebijakan untuk mengonfigurasi kontrol akses.

Lihat contoh berikut.

Lihat definisi Spesifikasi di data_mesh_types.PolicyTagId.

Men-deploy Mesh Data

Data Mesh dapat di-deploy sebagai bagian dari deployment fondasi data, atau secara mandiri. Dalam kedua kasus tersebut, alat ini menggunakan file config.json Cortex untuk menentukan variabel yang relevan, seperti nama set data BigQuery dan opsi deployment. Secara default, men-deploy Mesh Data tidak akan menghapus atau menimpa resource atau anotasi yang ada untuk mencegah kerugian yang tidak disengaja. Namun, ada juga kemampuan untuk menimpa resource yang ada saat di-deploy sendiri.

Opsi Deployment

Opsi deployment berikut dapat diaktifkan atau dinonaktifkan berdasarkan kebutuhan pengguna dan batasan pembelanjaan di config.json > DataMesh.

Catatan: Sebaiknya kontrol akses dilakukan hanya melalui spesifikasi resource ini jika deployACLs diaktifkan. Hal ini mencegah penambahan atau penghapusan akses yang tidak disengaja.

Opsi	Catatan
deployDescriptions	Ini adalah satu-satunya opsi yang diaktifkan secara default dan men-deploy anotasi BigQuery dengan deskripsi aset dan kolom. Anda tidak perlu mengaktifkan API atau izin tambahan apa pun.
deployLakes	Men-deploy Data Lake dan Zona.
deployCatalog	Men-deploy resource Template Katalog dan Tag terkaitnya dalam anotasi aset.
deployACLs	Men-deploy resource Taksonomi Kebijakan serta kebijakan kontrol akses tingkat aset, baris, dan kolom melalui anotasi aset. Log berisi pesan yang menunjukkan bagaimana kebijakan akses telah berubah.

Men-deploy dengan Fondasi Data

Secara default, config.json > deployDataMesh memungkinkan deployment deskripsi aset Data Mesh di akhir setiap langkah build workload. Konfigurasi default ini tidak memerlukan pengaktifan API atau peran tambahan apa pun. Fitur tambahan Data Mesh dapat di-deploy dengan fondasi data dengan mengaktifkan opsi deployment, API dan peran yang diperlukan, serta mengubah spesifikasi resource terkait.

Men-deploy sendiri

Untuk men-deploy Mesh data saja, pengguna dapat menggunakan file common/data_mesh/deploy_data_mesh.py. Utilitas ini digunakan selama proses build untuk men-deploy mesh data satu workload dalam satu waktu, tetapi jika dipanggil secara langsung, utilitas ini juga dapat digunakan untuk men-deploy beberapa workload sekaligus. Workload untuk spesifikasi yang akan di-deploy harus diaktifkan di file config.json. Misalnya, pastikan deploySAP=true jika men-deploy Data Mesh untuk SAP.

Untuk memastikan bahwa Anda men-deploy dengan paket dan versi yang diperlukan, Anda dapat menjalankan utilitas dari image yang sama yang digunakan oleh proses deployment Cortex dengan perintah berikut:

  # Run container interactively
  docker container run -it gcr.io/kittycorn-public/deploy-kittycorn:v2.0

  # Clone the repo
  git clone https://github.com/GoogleCloudPlatform/cortex-data-foundation

  # Navigate into the repo
  cd cortex-data-foundation

Untuk mendapatkan bantuan terkait parameter yang tersedia dan penggunaannya, jalankan perintah berikut:

  python src/common/data_mesh/deploy_data_mesh.py -h

Berikut adalah contoh pemanggilan untuk SAP ECC:

  python src/common/data_mesh/deploy_data_mesh.py \
    --config-file config/config.json \
    --lake-directories \
        src/SAP/SAP_REPORTING/config/ecc/lakes \
    --tag-template-directories \
        src/SAP/SAP_REPORTING/config/ecc/tag_templates \
    --policy-directories \
        src/SAP/SAP_REPORTING/config/ecc/policy_taxonomies \
    --annotation-directories \
        src/SAP/SAP_REPORTING/config/ecc/annotations

Lihat bagian Direktori Data Mesh untuk mengetahui informasi tentang lokasi direktori.

Timpa

Peringatan: Baca bagian ini secara menyeluruh sebelum menggunakan opsi timpa.

Secara default, men-deploy Data Mesh tidak akan menimpa resource atau anotasi yang ada. Namun, flag --overwrite dapat diaktifkan saat men-deploy Data Mesh saja untuk mengubah deployment dengan cara berikut.

Menimpa resource metadata seperti Lake, Template Tag Katalog, dan Tag Kebijakan akan menghapus resource yang ada yang memiliki nama yang sama, tetapi tidak akan mengubah resource yang ada dengan nama yang berbeda. Artinya, jika spesifikasi resource dihapus sepenuhnya dari file YAML, lalu Data Mesh di-deploy ulang dengan penimpaan diaktifkan, spesifikasi resource tersebut tidak akan dihapus karena tidak akan ada konflik nama. Hal ini dilakukan agar deployment Cortex Data Mesh tidak memengaruhi resource yang ada yang mungkin sedang digunakan.

Untuk resource bertingkat seperti Lake dan Zone, menimpa resource akan menghapus semua turunannya. Misalnya, menimpa Lake juga akan menghapus zona dan referensi aset yang ada. Untuk Template Tag Katalog dan Tag Kebijakan yang ditimpa, referensi anotasi terkait yang ada juga akan dihapus dari aset. Menimpa Tag Katalog pada anotasi aset hanya akan menimpa instance Tag Katalog yang ada yang menggunakan template yang sama.

Penimpaan deskripsi aset dan kolom hanya akan berlaku jika ada deskripsi baru yang valid dan tidak kosong yang bertentangan dengan deskripsi yang ada.

Di sisi lain, ACL berperilaku berbeda. Menimpa ACL akan menghapus semua akun utama yang ada (kecuali pemilik tingkat aset). Hal ini karena akun utama yang dihilangkan dari kebijakan akses sama pentingnya dengan akun utama yang diberi akses.

Mempelajari Mesh Data

Setelah men-deploy Data Mesh, pengguna dapat menelusuri dan melihat aset data dengan Data Catalog. Hal ini mencakup kemampuan untuk menemukan aset berdasarkan nilai Tag Katalog yang diterapkan. Pengguna juga dapat membuat dan menerapkan istilah Glosarium Katalog secara manual jika diperlukan.

Kebijakan akses yang di-deploy dapat dilihat di halaman Skema BigQuery untuk melihat kebijakan yang diterapkan pada aset tertentu di setiap level.

Silsilah Data

Pengguna mungkin merasa terbantu untuk mengaktifkan dan memvisualisasikan silsilah antara aset BigQuery. Silsilah juga dapat diakses secara terprogram melalui API. Silsilah Data hanya mendukung silsilah tingkat aset. Data Lineage tidak terkait dengan Cortex Data Mesh, tetapi fitur baru yang memanfaatkan Lineage mungkin akan diperkenalkan pada masa mendatang.

Untuk permintaan Cortex Data Mesh atau Cortex Framework, buka bagian dukungan.