Membangun mesh data

Anda dapat menggunakan Knowledge Catalog (sebelumnya Dataplex Universal Catalog) untuk membangun arsitektur mesh data. Panduan memulai ini menunjukkan cara menggunakan fitur Knowledge Catalog, seperti data lake, zona, dan aset, untuk membangun mesh data.

Mesh data adalah pendekatan organisasi dan teknis yang mendesentralisasi kepemilikan data di antara pemilik data domain. Pemilik ini menyediakan data sebagai produk dengan cara standar dan memfasilitasi komunikasi antarberbagai bagian organisasi untuk mendistribusikan set data di berbagai lokasi. Pelajari arsitektur mesh data lebih lanjut .

Tujuan

Dalam panduan ini, Anda akan menggunakan entity Knowledge Catalog untuk membangun arsitektur mesh data:

  • Membuat data lake Knowledge Catalog yang berfungsi sebagai domain untuk mesh data Anda.
  • Menambahkan zona ke data lake Anda yang mewakili tim perorangan dalam setiap domain dan menyediakan kontrak data terkelola.
  • Melampirkan aset yang dipetakan ke data yang disimpan di Cloud Storage.

Biaya

Dalam dokumen ini, Anda akan menggunakan komponen yang dapat ditagih sebagai berikut Google Cloud:

Untuk membuat perkiraan biaya berdasarkan proyeksi penggunaan Anda, gunakan kalkulator harga.

Pengguna baru mungkin memenuhi syarat untuk mendapatkan uji coba gratis. Google Cloud

Setelah menyelesaikan tugas yang dijelaskan dalam dokumen ini, Anda dapat menghindari penagihan berkelanjutan dengan menghapus resource yang Anda buat. Untuk mengetahui informasi selengkapnya, baca bagian Pembersihan.

Sebelum memulai

  1. Di Google Cloud konsol, pada halaman pemilih project, pilih atau buat Google Cloud project.

    Peran yang diperlukan untuk memilih atau membuat project

    • Memilih project: Memilih project tidak memerlukan peran IAM tertentu Anda dapat memilih project mana pun yang telah diberi peran.
    • Membuat project: Untuk membuat project, Anda memerlukan peran Project Creator (roles/resourcemanager.projectCreator), yang berisi izin resourcemanager.projects.create. Pelajari cara memberikan peran.

    Buka pemilih project

  2. Pastikan penagihan diaktifkan untuk Google Cloud project Anda.

  3. Aktifkan Dataplex API.

    Peran yang diperlukan untuk mengaktifkan API

    Untuk mengaktifkan API, Anda memerlukan izin serviceusage.services.enable. Jika Anda membuat project, kemungkinan Anda sudah memiliki izin ini melalui peran Pemilik (roles/owner). Jika tidak, Anda bisa mendapatkan izin ini melalui peran Admin Penggunaan Layanan (roles/serviceusage.serviceUsageAdmin). Pelajari cara memberikan peran.

    Mengaktifkan API

  4. Buat layanan Dataproc Metastore.

Membuat bucket Cloud Storage

Anda memerlukan bucket Cloud Storage untuk menyimpan aset data mesh data Anda.

Untuk membuat bucket Cloud Storage, ikuti petunjuk di bagian membuat bucket Cloud Storage. Saat melakukannya, perhatikan hal berikut:

  • Beri nama bucket Anda.
  • Untuk Location type, pilih Region, lalu pilih us-central1 (Iowa) dari menu.

Membuat domain

  1. Di Google Cloud konsol, buka halaman Knowledge Catalog Lakes.

    Buka Lakes

  2. Klik Create untuk membuat data lake baru, yang berfungsi sebagai mesh data Anda.

  3. Di kolom Display name, masukkan My data mesh.

  4. Untuk Region, pilih us-central1.

  5. Pilih layanan Dataproc Metastore yang Anda buat dan konfigurasi sebelumnya sebagai metastore terkait.

  6. Klik Create.

Membuat zona di data lake Anda

Setelah membuat domain dengan membuat data lake Knowledge Catalog, Anda dapat menghosting kontrak data terkelola dan tim perorangan dalam domain menggunakan zona. Ada dua jenis zona:

  • Zona mentah biasanya digunakan untuk menyimpan data dalam format apa pun dari sumber eksternal di Cloud Storage. Zona mentah berguna untuk data yang memerlukan pemrosesan lebih lanjut sebelum siap digunakan.

  • Zona terkurasi digunakan untuk data terstruktur di Cloud Storage yang harus sesuai dengan format file tertentu, dan diatur dalam tata letak direktori yang kompatibel dengan Hive. Zona ini paling berguna untuk data yang siap digunakan dan dianalisis.

Setiap domain (misalnya, sales, customers, products) harus memiliki setidaknya satu zona mentah dan satu zona terkurasi.

Zona tambahan digunakan untuk mengelola kontrak data antar-tim atau untuk memberikan perincian yang lebih mendetail bagi tim dalam domain tertentu. Misalnya, pengelolaan inventaris dalam domain produk. Pemilik data dapat mengelola data dalam domain mereka dan mengaksesnya.

  1. Di Google Cloud konsol, buka tampilan Knowledge Catalog Manage.

  2. Klik nama data lake (My data mesh) yang ingin Anda tambahi zona.

  3. Di tab Zones, klik Add Zone.

  4. Di kolom Display name, masukkan My sub domain. Knowledge Catalog otomatis membuat ID untuk zona Anda.

    Google Cloud

  5. Untuk Type, pilih Raw zone.

  6. Klik Create.

Melampirkan aset ke zona Anda

Lampirkan aset data ke zona Anda. Aset data, resource penyimpanan yang berisi data Anda, dapat berupa bucket Cloud Storage atau set data BigQuery. Ini adalah langkah terakhir dalam membuat arsitektur mesh data Anda.

  1. Di tampilan Knowledge Catalog Manage, klik data lake yang Anda buat (My data mesh).

  2. Di tab Zones, klik zona (My sub domain) untuk menambahkan aset.

  3. Di tab Assets, klik Add assets

  4. Klik Add an Asset.

  5. Untuk Type, pilih bucket Cloud Storage.

  6. Di kolom Display name , masukkan Data mesh asset. Knowledge Catalog otomatis membuat ID aset untuk Anda.

  7. Di kolom Bucket, klik Browse.

    1. Pilih bucket Anda dari daftar.
    2. Klik Select.

  8. Klik Done , lalu klik Continue.

  9. Klik Continue untuk menerima Advanced settings default.

  10. Klik Submit.

Pembersihan

Agar tidak perlu membayar biaya pada akun Google Cloud Anda untuk resource yang digunakan dalam tutorial ini, hapus project yang berisi resource tersebut, atau simpan project dan hapus setiap resource.

Menghapus project

  1. Di Google Cloud konsol, buka halaman Manage resources.

    Buka Kelola resource

  2. Pada daftar project, pilih project yang Anda ingin Anda hapus, lalu klik Delete.
  3. Pada dialog, ketik project ID, lalu klik Shut down untuk menghapus project.

Menghapus arsitektur mesh data Anda

  1. Di Google Cloud konsol, buka tampilan Knowledge Catalog Manage.

  2. Untuk data lake yang ingin Anda hapus, klik View more, lalu klik Delete.

  3. Untuk mengonfirmasi tindakan, masukkan delete, lalu klik Delete lake.

Langkah berikutnya