Tentang insight data untuk data terstruktur

Data insights Knowledge Catalog (sebelumnya Dataplex Universal Catalog) otomatis membuat deskripsi, diagram hubungan, dan kueri SQL dari metadata tabel dan set data Anda. Informasi ini membantu Anda memahami struktur, konten, dan hubungan data dengan cepat tanpa penyiapan manual yang ekstensif. Untuk menyelidiki lebih lanjut, Anda dapat mengajukan pertanyaan lanjutan di kanvas data.

Saat menjelajahi tabel baru yang tidak dikenal, analis data sering kali menghadapi masalah cold start tentang cara memulai penulisan kueri. Masalah ini dapat melibatkan ketidakpastian tentang struktur data dan pola utama dalam data. Fitur data insights Knowledge Catalog menawarkan cara otomatis untuk menjelajahi dan memahami data Anda. Hal ini membantu Anda menemukan pola, menilai kualitas data, dan melakukan analisis statistik.

Ringkasan

Data insights menggunakan Gemini untuk menganalisis metadata Anda dan membuat hal berikut:

  • Deskripsi: Ringkasan yang dibuat AI yang menjelaskan tujuan set data, struktur tabel, dan detail kolom tertentu.

  • Contoh kueri: Kueri SQL yang disesuaikan dan dirancang khusus untuk skema dan konten set data atau tabel Anda.

  • Diagram hubungan: Visualisasi yang menunjukkan koneksi dan dependensi antara tabel yang berbeda dalam set data Anda.

Resource yang didukung

Data insights tersedia untuk jenis data terstruktur berikut:

  • Set data, tabel, dan tampilan BigQuery
  • Tabel Google Cloud Lakehouse (termasuk Apache Iceberg)
  • Tabel eksternal
  • Tabel Katalog REST Iceberg

Contoh menjalankan insights

Data insights otomatis membuat kueri bahasa alami dan kueri SQL yang setara berdasarkan metadata tabel.

Pertimbangkan tabel bernama telco_churn dengan metadata berikut:

Nama kolom Jenis
CustomerID STRING
Gender STRING
Tenure INT64
InternetService STRING
StreamingTV STRING
OnlineBackup STRING
Contract STRING
TechSupport STRING
PaymentMethod STRING
MonthlyCharges FLOAT
Churn BOOLEAN

Berikut beberapa contoh kueri yang dibuat data insights untuk tabel ini:

  • Mengidentifikasi pelanggan yang telah berlangganan semua layanan premium dan telah menjadi pelanggan selama lebih dari 50 bulan.

    SELECT
  CustomerID,
  Contract,
  Tenure
FROM
  agentville_datasets.telco_churn
WHERE
  OnlineBackup = 'Yes'
  AND TechSupport = 'Yes'
  AND StreamingTV = 'Yes'
  AND Tenure > 50;

  • Mengidentifikasi layanan internet mana yang memiliki pelanggan keluar-masuk terbanyak.

    SELECT
  InternetService,
  COUNT(DISTINCT CustomerID) AS total_customers
FROM
  agentville_datasets.telco_churn
WHERE
  Churn = TRUE
GROUP BY
  InternetService
ORDER BY
  total_customers DESC
LIMIT 1;

  • Mengidentifikasi tingkat keluar-masuk berdasarkan segmen di antara pelanggan bernilai tinggi.

    SELECT
  Contract,
  InternetService,
  Gender,
  PaymentMethod,
  COUNT(DISTINCT CustomerID) AS total_customers,
  SUM(CASE WHEN Churn = TRUE THEN 1 ELSE 0 END) AS churned_customers,
  (SUM(CASE WHEN Churn = TRUE THEN 1 ELSE 0 END) / COUNT(DISTINCT CustomerID))
  * 100 AS churn_rate
FROM
  agentville_datasets.telco_churn
WHERE
  MonthlyCharges > 100
GROUP BY
  Contract,
  InternetService,
  Gender,
  PaymentMethod;

Mode untuk membuat data insights

Saat membuat data insights, Knowledge Catalog menyediakan dua mode:

Mode Deskripsi Penggunaan
Buat dan publikasikan

Mempertahankan data insights yang dibuat ke Knowledge Catalog sebagai aspek metadata. Anda harus memiliki izin yang diperlukan untuk memublikasikan. Saat Anda menggunakan Buat dan publikasikan, tindakan berikut akan terjadi:

  • Menyimpan deskripsi tabel dan kolom di Knowledge Catalog.
  • Merekam kueri dan pertanyaan yang disarankan sebagai aspek yang dapat digunakan kembali.
  • Membuat insight yang dipublikasikan dapat diakses oleh semua pengguna yang memiliki akses Knowledge Catalog yang sesuai, sehingga memastikan pengetahuan organisasi dibagikan.
  • Memungkinkan Anda mengedit dan menyimpan deskripsi langsung di Knowledge Catalog.

Gunakan mode ini untuk dokumentasi data di seluruh perusahaan yang dipertahankan dan dapat digunakan kembali, atau saat membuat alur kerja tata kelola berbasis katalog

Buat tanpa memublikasikan

Membuat data insights seperti deskripsi, pertanyaan bahasa alami, dan kueri SQL sesuai permintaan. Buat tanpa memublikasikan tidak memublikasikan insight ke Knowledge Catalog.

Gunakan mode ini untuk eksplorasi ad hoc yang cepat guna menghindari katalog yang berantakan.

Harga

Untuk mengetahui detail harga fitur ini, lihat Ringkasan harga Gemini di BigQuery.

Lokasi

Anda dapat menggunakan data insights di semua lokasi BigQuery. Untuk mempelajari tempat Gemini di BigQuery memproses data Anda, lihat Tempat Gemini di BigQuery memproses data Anda.

Batasan

  • Untuk pelanggan multi-cloud, data dari cloud lain tidak tersedia.
  • Data insights tidak mendukung jenis kolom Geo atau JSON.
  • Menjalankan insights tidak menjamin presentasi kueri setiap saat. Untuk meningkatkan kemungkinan pembuatan kueri yang lebih menarik, buat ulang insights di BigQuery Studio.

Langkah berikutnya