Mengamankan data lake Anda

Dokumen ini menjelaskan cara mengamankan dan mengelola akses ke data lake Knowledge Catalog (sebelumnya Dataplex Universal Catalog).

Model keamanan Katalog Pengetahuan memungkinkan Anda mengelola izin pengguna untuk tugas berikut:

• Mengelola data lake (membuat dan melampirkan aset, zona, dan data lake tambahan)
• Mengakses data yang terhubung ke lake melalui aset pemetaan (misalnya,Google Cloud resource, seperti bucket Cloud Storage dan set data BigQuery)
• Mengakses metadata tentang data yang terhubung ke lake

Administrator untuk lake mengontrol akses ke resource Knowledge Catalog, seperti lake, zona, dan aset dengan memberikan peran dasar dan telah ditentukan sebelumnya.

Peran yang telah ditetapkan

Google Cloud mengelola peran bawaan yang memberikan akses terperinci untuk Knowledge Catalog.

Peran Knowledge Catalog

Peran	Deskripsi
Dataplex Viewer (roles/dataplex.viewer)	Kemampuan untuk melihat (tetapi tidak mengedit) lake dan zona serta aset yang dikonfigurasi.
Dataplex Editor (roles/dataplex.editor)	Kemampuan untuk mengedit danau. Dapat membuat dan mengonfigurasi data lake, zona, aset, dan tugas.
Dataplex Administrator (roles/dataplex.administrator)	Kemampuan untuk mengelola lake sepenuhnya.
Dataplex Developer (roles/dataplex.developer)	Kemampuan untuk menjalankan workload analisis data di lake. Hal ini mencakup pembuatan dan konfigurasi konten dan tugas, serta eksekusi kode dalam lingkungan yang dikonfigurasi. Peran ini tidak memberikan izin untuk membuat tabel BigQuery atau menjalankan tugas Spark. ^*

^* Untuk mengkueri tabel BigQuery, Anda memerlukan izin untuk menjalankan tugas BigQuery. Tetapkan izin ini di project yang ingin Anda atribusikan atau tagih untuk pembelanjaan komputasi tugas. Untuk mengetahui informasi selengkapnya, lihat Peran dan izin IAM BigQuery.
Untuk menjalankan tugas Spark, buat cluster Managed Service for Apache Spark dan kirimkan tugas Managed Service for Apache Spark di project yang ingin Anda atribusikan komputasinya.

Peran metadata

Peran metadata memiliki kemampuan untuk melihat metadata, seperti skema tabel.

Peran	Deskripsi
Dataplex Metadata Writer (roles/dataplex.metadataWriter)	Kemampuan untuk memperbarui metadata resource tertentu.
Dataplex Metadata Reader (roles/dataplex.metadataReader)	Kemampuan untuk membaca metadata (misalnya, untuk membuat kueri tabel).

Peran data

Catatan: Tentukan peran data di tingkat lake atau yang lebih rendah (ke zona atau aset). Peran data yang ditetapkan di tingkat project tidak diwarisi lebih lanjut oleh lake di project.

Memberikan peran data kepada akun utama akan memberi mereka kemampuan untuk membaca atau menulis data di resource pokok yang ditunjukkan oleh aset lake.

Katalog Pengetahuan memetakan perannya ke peran data untuk setiap resource penyimpanan pokok, seperti Cloud Storage dan BigQuery).

Knowledge Catalog menerjemahkan dan menyebarkan peran data Knowledge Catalog ke resource penyimpanan pokok, dengan menetapkan peran yang benar untuk setiap resource penyimpanan. Anda dapat memberikan satu peran data Knowledge Catalog di hierarki data lake (misalnya, data lake), dan Knowledge Catalog mempertahankan akses yang ditentukan ke data di semua resource yang terhubung ke data lake tersebut (misalnya, bucket Cloud Storage dan set data BigQuery dirujuk oleh aset di zona pokok).

Misalnya, memberikan peran dataplex.dataWriter kepada akun utama untuk sebuah lake akan memberikan akses tulis kepada akun utama tersebut ke semua data dalam lake, zona, dan aset yang mendasarinya. Peran akses data yang diberikan di tingkat yang lebih rendah (zona) diwariskan dalam hierarki lake ke aset pokok.

Catatan: Knowledge Catalog menyebarkan izin IAM ke resource yang mendasarinya. Penerapan dari peran data ke peran resource pokok dapat memerlukan waktu hingga 30 menit. Penyelesaian kebijakan, yaitu saat Knowledge Catalog mendeteksi perubahan yang dilakukan pada kebijakan yang diterapkan oleh admin Cloud Storage yang mendasarinya, dapat memerlukan waktu hingga tiga jam.

Untuk memeriksa status penerapan kebijakan, gunakan kolom API berikut:

• Untuk data lake atau zona, gunakan AssetStatus.
• Untuk aset, gunakan SecurityStatus.

Peran	Deskripsi
Dataplex Data Reader (roles/dataplex.dataReader)	Kemampuan untuk membaca data dari penyimpanan yang terpasang ke aset, termasuk bucket penyimpanan dan set data BigQuery (serta isinya). *
Dataplex Data Writer (roles/dataplex.dataWriter)	Kemampuan untuk menulis ke resource pokok yang ditunjukkan oleh aset. *
Pemilik Data Dataplex (roles/dataplex.dataOwner)	Memberikan peran Pemilik ke resource pokok, termasuk kemampuan untuk mengelola resource turunan. Misalnya, sebagai Pemilik Data set data BigQuery, Anda dapat mengelola tabel pokok.

Mengamankan data lake Anda

Anda dapat mengamankan dan mengelola akses ke lake Anda, dan data yang terlampir di dalamnya. Di konsol Google Cloud , gunakan salah satu tampilan berikut:

• Tampilan Kelola Katalog Pengetahuan di tab Izin
• Tampilan Aman Knowledge Catalog

Menggunakan tampilan Kelola

Tab Permissions memungkinkan Anda mengelola semua izin pada resource lake, dan menampilkan tampilan semua izin yang tidak difilter, termasuk izin yang diwarisi.

Untuk mengamankan danau Anda, ikuti langkah-langkah berikut:

1. Di konsol Google Cloud , buka halaman Lakes Knowledge Catalog.

   Buka Lakes

2. Klik nama lake yang Anda buat.

3. Klik tab Permissions.

4. Klik tab View by Roles.

5. Klik Tambahkan untuk menambahkan peran baru. Tambahkan peran Dataplex Data Reader, Data Writer, dan Data Owner.

6. Pastikan peran Dataplex Data Reader, Data Writer, dan Data Owner muncul.

Menggunakan tampilan Aman

Catatan: Anda dapat mengizinkan tampilan Aman Knowledge Catalog untuk melaporkan izin yang tidak ada, dengan memberikan izin cloudasset.assets.analyzeIamPolicy ke project atau project induk yang berisi lake.

Tampilan Aman Knowledge Catalog di konsol Google Cloud menyediakan hal berikut:

• Tampilan yang dapat difilter hanya untuk peran Katalog Pengetahuan yang berpusat pada resource tertentu
• Memisahkan peran data dari peran resource lake

Gambar 1: Dalam contoh lake ini, kedua prinsipal memiliki izin data pada aset yang disebut Contoh. Izin ini tidak diwarisi dari resource danau yang lebih tinggi.

Gambar 2: Contoh ini menunjukkan:

1. Akun layanan yang mewarisi peran Administrator Dataplex dari project.
2. Akun utama (alamat email) yang mewarisi peran Editor dan Viewer Dataplex dari project. Berikut adalah peran yang berlaku untuk semua resource.
3. Akun utama (alamat email) yang mewarisi peran Administrator Dataplex dari project.

Manajemen kebijakan

Setelah Anda menentukan kebijakan keamanan, Katalog Pengetahuan akan menyebarkan izin ke kebijakan IAM resource terkelola.

Kebijakan keamanan yang dikonfigurasi di tingkat lake akan diterapkan ke semua resource yang dikelola dalam lake tersebut. Katalog Pengetahuan memberikan status propagasi dan visibilitas ke propagasi skala besar ini di tab Kelola > Izin di Katalog Pengetahuan. Layanan ini terus memantau resource terkelola untuk mengetahui perubahan pada kebijakan IAM di luar Katalog Pengetahuan.

Pengguna yang sudah memiliki izin pada resource akan terus memilikinya setelah resource dilampirkan ke danau Knowledge Catalog. Demikian pula, binding peran non-Knowledge Catalog yang dibuat atau diperbarui setelah melampirkan resource ke Knowledge Catalog tetap sama.

Menetapkan kebijakan tingkat kolom, tingkat baris, dan tingkat tabel

Aset bucket Cloud Storage memiliki tabel eksternal BigQuery terkait yang terlampir.

Anda dapat mengupgrade aset bucket Cloud Storage, yang berarti Knowledge Catalog menghapus tabel eksternal yang terlampir dan melampirkan tabel BigLake sebagai gantinya.

Anda dapat menggunakan tabel BigLake, bukan tabel eksternal, untuk memberi Anda kontrol akses terperinci, termasuk kontrol tingkat baris, kontrol tingkat kolom, dan penyamaran data kolom.

Keamanan metadata

Metadata terutama merujuk pada informasi skema yang terkait dengan data pengguna yang ada di resource yang dikelola oleh lake.

Penemuan Knowledge Catalog memeriksa data dalam resource terkelola dan mengekstrak informasi skema tabel. Tabel ini dipublikasikan ke sistem BigQuery, Dataproc Metastore, dan Data Catalog (Tidak digunakan lagi).

Catatan: Data pokok yang sebenarnya berada di resource yang dikelola oleh aset dan dilindungi oleh izin data melalui peran Dataplex Data Reader (roles/dataplex.dataReader) dan peran Dataplex Data Writer (roles/dataplex.dataWriter). Anda bertanggung jawab untuk mengelola izin metadata dalam setiap sistem metadata.

BigQuery

Setiap tabel yang ditemukan memiliki tabel terkait yang terdaftar di BigQuery. Untuk setiap zona, ada set data BigQuery terkait yang digunakan untuk mendaftarkan semua tabel eksternal yang terkait dengan tabel yang ditemukan di zona data tersebut.

Tabel yang dihosting di Cloud Storage yang ditemukan didaftarkan di set data yang dibuat untuk zona tersebut.

Catatan: Knowledge Catalog mendukung upgrade tabel eksternal menjadi tabel BigLake. Untuk mengetahui informasi selengkapnya, lihat Keamanan metadata.

Dataproc Metastore

Database dan tabel tersedia di Dataproc Metastore yang terkait dengan instance lake Knowledge Catalog. Setiap zona data memiliki database terkait, dan setiap aset dapat memiliki satu atau beberapa tabel terkait.

Data dalam layanan Dataproc Metastore diamankan dengan mengonfigurasi jaringan VPC-SC Anda. Instance Dataproc Metastore disediakan untuk Knowledge Catalog selama pembuatan lake, yang sudah menjadikannya resource yang dikelola pengguna.

Data Catalog

Setiap tabel yang ditemukan memiliki entri terkait di Data Catalog (Tidak digunakan lagi), untuk mengaktifkan penelusuran dan penemuan.

Data Catalog memerlukan nama kebijakan IAM selama pembuatan entri. Oleh karena itu, Katalog Pengetahuan memberikan nama kebijakan IAM dari resource aset Katalog Pengetahuan yang entri harus dikaitkan dengannya. Akibatnya, izin pada entri Knowledge Catalog didasarkan pada izin pada resource aset. Berikan peran Dataplex Metadata Reader (roles/dataplex.metadataReader) dan peran Dataplex Metadata Writer (roles/dataplex.metadataWriter) pada resource aset.

Langkah berikutnya

• Pelajari lebih lanjut IAM Knowledge Catalog.
• Pelajari lebih lanjut peran IAM Knowledge Catalog.
• Pelajari lebih lanjut izin IAM Knowledge Catalog.