Tentang produk data

Produk data di Knowledge Catalog (sebelumnya Dataplex Universal Catalog) memungkinkan Anda mengemas aset katalog terkait ke dalam satu unit pilihan untuk memecahkan masalah bisnis tertentu. Kemudian, Anda dapat menambahkan konteks dan kontrak untuk membantu konsumen data menemukan, mengevaluasi, dan meminta akses layanan mandiri ke data tepercaya.

Kemampuan utama

Produk data menyediakan kemampuan utama berikut:

  • Atur aset katalog ke dalam unit logis yang memecahkan masalah bisnis tertentu dan mempercepat waktu untuk mendapatkan insight.
  • Distribusikan aset data dengan konteks yang mencakup deskripsi, dokumentasi, dan aspek.
  • Membangun kepercayaan dengan kontrak yang memungkinkan produsen data memberikan jaminan kepada konsumen data.
  • Menyediakan alur kerja layanan mandiri bagi konsumen data untuk mengevaluasi produk data dan mendapatkan akses ke data.

Konsep utama

Bagian ini menjelaskan konsep dan terminologi utama yang terkait dengan produk data.

Produk data

Pengelompokan aset data yang dikurasi dan logis, yang dikemas secara formal agar dapat ditemukan, dipercaya, dan diakses untuk memecahkan masalah bisnis tertentu.

Aset

Pointer ke resource data fisik, seperti set data, tabel, atau tampilan BigQuery. Produk data berisi satu atau beberapa aset.

Grup akses

Grup akses menyederhanakan pengelolaan izin untuk produk data Anda. Grup ini memetakan peran yang mudah digunakan (seperti Reader atau Analyst) ke Google Grup atau akun layanan yang mendasarinya. Abstraksi ini memungkinkan pemilik produk data mengelola akses di tingkat konseptual, dan membantu konsumen produk data meminta tingkat akses yang sesuai.

  • Pemilik produk data mengonfigurasi grup akses dan dapat menetapkan peran IAM default, yang otomatis diterapkan ke semua aset yang didukung dalam produk data. Jika peran default tidak ditetapkan, pemilik dapat menetapkan peran IAM tertentu ke aset secara langsung.

  • Konsumen produk data menggunakan grup ini untuk meminta akses ke produk data.

Pemilik produk data atau produsen data

Individu atau tim yang bertanggung jawab atas pembuatan dan pengelolaan produk data. Hal ini mencakup pengelolaan kualitas, akses, dan dokumentasi.

Konsumen produk data

Individu, tim, atau agen AI yang menggunakan produk data untuk menghasilkan insight.

Kontrak

Perjanjian antara pemilik produk data dan konsumennya. Perjanjian ini menetapkan ekspektasi yang jelas dengan menentukan persyaratan khusus tentang cara data akan disediakan dan digunakan, seperti jadwal pembaruan dan standar kualitasnya.

Contoh kasus penggunaan

Bayangkan seorang data scientist yang menganalisis bisnis e-commerce. Tujuannya adalah menemukan nilai pesanan rata-rata (AOV) berdasarkan sumber traffic dan melihat apakah ada korelasi antara usia pengguna dan ukuran pesanan. Untuk melakukannya, mereka perlu menggabungkan data dari beberapa tabel, seperti order_details, user_traffic, dan user_demographics.

Dalam penyiapan konvensional, proses ini menimbulkan hambatan. Untuk menghasilkan insight, data scientist harus terlebih dahulu menemukan tabel yang benar dalam lanskap data organisasi yang luas, lalu menghubungi setiap pemilik data, memberikan alasan permintaan akses, dan menunggu persetujuan.

Dengan produk data, pemilik data dapat menyederhanakan pengalaman ini dengan mengemas aset yang relevan ke dalam satu produk bernama "Data Bisnis E-commerce". Paket ini mencakup hal berikut:

  • Aset

    • Tabel BigQuery order_details dan user_traffic (berisi data pesanan historis dan sumber traffic)
    • Tampilan BigQuery user_demographics (memberikan detail pengguna tanpa PII)

  • Grup akses

    • Grup Reader dan Writer yang telah ditetapkan untuk menyederhanakan permintaan akses

  • Kontrak

    • Kontrak yang menentukan frekuensi pemuatan ulang data (misalnya, setiap minggu pada pukul 08.00 PST)

  • Konteks

    • Dokumentasi dengan contoh kueri dan detail lainnya
    • Metadata tambahan untuk menggambarkan sensitivitas data

Data scientist kini dapat menemukan produk data ini sebagai satu unit logis. Dengan demikian, mereka dapat dengan yakin menghasilkan insight untuk menjawab pertanyaan seperti, 'Berapa nilai pesanan rata-rata untuk setiap sumber traffic?'—yang pada akhirnya mengungkapkan sumber mana yang menghasilkan pelanggan bernilai tertinggi.

Alur pengguna produk data

Siklus proses produk data di Knowledge Catalog melibatkan dua perjalanan pengguna utama: satu untuk pemilik (atau produsen) produk data yang membuat dan mengelola data, dan satu untuk konsumen produk data yang menemukan dan menggunakannya.

Perjalanan pemilik produk data

Perjalanan ini berfokus pada pengemasan, pengamanan, dan pengelolaan produk data untuk memastikan produk tersebut tepercaya dan dapat diakses.

  • Membuat: Menentukan produk data dan menyertakan aset. Tahap ini melibatkan tindakan berikut:

    • Konfigurasikan nama unik, project, region, dan deskripsi.
    • Tambahkan aset seperti tabel, set data, atau tampilan BigQuery.
    • Konfigurasikan grup akses (misalnya, Analyst atau Reader) dan petakan ke Google Grup atau akun layanan yang mendasarinya untuk menyederhanakan pengelolaan izin.
    • Jika perlu, tetapkan peran IAM default ke grup akses untuk otomatis memberikan izin di semua aset yang didukung dalam produk data.
    • Tetapkan peran IAM yang diperlukan ke grup akses ini untuk aset tertentu.
    • Tambahkan kontrak (aspek sistem) untuk mengomunikasikan secara formal ritme, frekuensi, dan batas pemuatan ulang data yang disepakati.

    Untuk mengetahui informasi selengkapnya, lihat Membuat produk data.

  • Mengelola: Memperbarui produk data dan memastikan visibilitasnya. Tahap ini melibatkan tindakan berikut:

    • Memperbarui detail dasar, aset, izin, dan aspek tambahan (metadata), serta dokumentasi rich text.
    • Memberikan akses kepada konsumen untuk menemukan dan meminta akses ke produk data.

    Untuk mengetahui informasi selengkapnya, lihat Mengelola produk data.

Perjalanan konsumen produk data

Perjalanan ini berfokus pada menemukan data tepercaya dengan cepat dan mendapatkan izin yang diperlukan untuk menggunakannya.

  • Menemukan: Menemukan data yang relevan dan tepercaya untuk masalah bisnis tertentu. Tahap ini melibatkan tindakan berikut:

    • Gunakan Knowledge Catalog Search dengan kata kunci atau bahasa alami untuk menemukan produk data yang dipaketkan.
    • Tinjau ringkasan, aset, kontrak, dan aspek lain dari produk data untuk menentukan kesesuaiannya untuk digunakan.

    Untuk mengetahui informasi selengkapnya, lihat Menelusuri produk data.

  • Meminta akses: Minta izin kepada pemilik produk data untuk mengakses data.

    Untuk mengetahui informasi selengkapnya, lihat Meminta akses ke produk data.

  • Penggunaan: Mengakses aset yang mendasarinya untuk menghasilkan insight. Tahap ini melibatkan tindakan berikut:

    • Setelah disetujui, Anda dapat mengakses produk dan asetnya. Misalnya, jika asetnya adalah tabel BigQuery, Anda dapat membuka BigQuery Studio dan membuat kueri data secara langsung.

    • Untuk aplikasi dan alur kerja pengembangan yang beroperasi di luar Google Cloud, Anda dapat mengekspos produk data menggunakan gateway metadata eksternal. Untuk mengetahui informasi selengkapnya, lihat Menggunakan server MCP jarak jauh Knowledge Catalog.

    Untuk mengetahui informasi selengkapnya, lihat Menggunakan produk data.

Aset yang didukung

Produk data dapat terdiri dari satu atau beberapa aset data. Aset data berikut didukung:

  • Set data BigQuery
  • Tabel BigQuery
  • Tampilan BigQuery
  • Rutinitas BigQuery
  • Model BigQuery
  • Tabel eksternal BigQuery
  • Set data Gemini Enterprise Agent Platform
  • Model Gemini Enterprise Agent Platform
  • Bucket Cloud Storage
  • Katalog Iceberg REST Catalog
  • Namespace Iceberg REST Catalog
  • Tabel Katalog REST Iceberg
  • Dasbor Looker (Google Cloud core)
  • Elemen dasbor Looker (Google Cloud core)
  • Look di Looker (Google Cloud core)
  • Eksplorasi Looker (Google Cloud core)
  • Project LookML Looker (Google Cloud core)
  • Model LookML Looker (Google Cloud core)
  • Tampilan LookML Looker (Google Cloud core)

Batasan

  • Lokasi: Produk data dan aset pokoknya harus berada di lokasiGoogle Cloud yang sama.
  • Model BigQuery: Akses ke model BigQuery dalam produk data dikelola melalui kondisi IAM yang diterapkan ke kebijakan IAM set data induk. Berbagi model BigQuery tunduk pada batasan kondisi IAM.

  • Aset Looker (Google Cloud core): Penggunaan aset Looker (Google Cloud core) dalam produk data memiliki batasan berikut:

    • Akun layanan tidak didukung: Pencerminan Google Grup di Looker (Google Cloud core) hanya mendukung identitas pengguna manusia. Grup akses yang dikonfigurasi di aset Looker (Google Cloud core) tidak dapat menyertakan akun utama akun layanan.
    • Peran IAM grup akses default tidak didukung: Peran IAM default yang ditetapkan di tingkat grup akses tidak diterapkan ke aset Looker (Google Cloud core) dan ditandai sebagai unsupported. Anda harus mengonfigurasi izin grup akses secara eksplisit di setiap aset Looker (Google Cloud core).
    • Sinkronisasi izin manual di dalam Looker (Google Cloud core): Nama peran yang dikonfigurasi pada aset Looker (Google Cloud core) dalam produk data adalah placeholder informasi bagi konsumen. Produsen data harus mengonfigurasi dan mengelola tingkat akses folder dan peran Looker secara manual untuk grup yang diduplikasi di dalam instance Looker (Google Cloud core).

  • Kuota dan batas: Untuk mengetahui daftar lengkap batas kapasitas API dan kuota kapasitas, lihat Kuota untuk permintaan API produk data.

  • Bucket zona tidak didukung.

Langkah berikutnya