Ringkasan insight data

Dokumen ini memberikan ringkasan tentang insight data, fitur Gemini in BigQuery yang membantu mempercepat eksplorasi dan analisis awal saat menghadapi data baru atau yang tidak dikenal. Insight data otomatis membuat deskripsi, grafik hubungan, dan kueri SQL, beserta saran pertanyaan dalam natural language, dari metadata tabel dan set data Anda. Informasi ini membantu Anda memahami struktur, konten, dan hubungan data dengan cepat tanpa penyiapan manual yang ekstensif.

Sebelum memulai

Insight data dihasilkan menggunakan Gemini di BigQuery. Untuk mulai membuat insight, Anda harus menyiapkan Gemini di BigQuery terlebih dahulu.

Jenis insight data

Anda dapat membuat insight data di tingkat tabel atau set data:

  • Untuk tabel: Gemini membuat pertanyaan bahasa alami dan padanannya dalam SQL untuk membantu Anda memahami data dalam satu tabel. Melalui insight tabel, Anda dapat mendeteksi pola data, anomali, pencilan, atau masalah kualitas dalam tabel. Gemini juga membuat deskripsi tabel dan kolom.

  • Untuk set data: (Pratinjau) Gemini membuat grafik hubungan interaktif yang menampilkan hubungan antar-tabel dan kueri SQL antar-tabel untuk membantu Anda memahami hubungan antar-tabel dalam set data. Melalui grafik hubungan, Anda dapat menemukan cara data diperoleh, yang dapat membantu mengatasi masalah kualitas, konsistensi, atau redundansi. Melalui kueri antar-tabel, Anda dapat menemukan hubungan yang lebih luas. Misalnya, Anda dapat menghitung pendapatan menurut segmen pelanggan dengan memanfaatkan data dalam tabel penjualan dan tabel pelanggan.

Untuk menyelidiki lebih lanjut, Anda dapat mengajukan pertanyaan lanjutan di kanvas data.

Insight tabel

Insight tabel membantu Anda memahami konten, kualitas, dan pola dalam satu tabel BigQuery. Misalnya, dengan membuat kueri yang melakukan analisis statistik, Anda dapat menggunakan insight tabel untuk mendeteksi pola, anomali, dan pencilan data. Insight tabel juga dapat membantu Anda mendeteksi masalah kualitas, terutama jika pemindaian profil data tersedia untuk tabel. Saat Anda membuat insight untuk tabel, Gemini memberikan deskripsi tabel, deskripsi kolom, dan output pemindaian profil berdasarkan metadata tabel. Tersedia opsi-opsi berikut:

  • Membuat kueri: menyarankan pertanyaan bahasa alami dan memberikan kueri SQL yang sesuai untuk menjawabnya. Hal ini membantu Anda menemukan pola, menilai kualitas data, dan melakukan analisis statistik tanpa menulis SQL dari awal.
  • Buat deskripsi: membuat deskripsi untuk tabel dan kolomnya. Gemini menggunakan output pemindaian profil (jika tersedia) untuk mendasari deskripsi yang dibuat. Anda dapat meninjau, mengedit, dan memublikasikan deskripsi ini ke Dataplex Universal Catalog untuk meningkatkan penemuan dan dokumentasi data.

Insight set data

Insight set data membantu Anda memahami hubungan dan jalur gabungan di beberapa tabel dalam set data BigQuery, yang memberikan tampilan holistik konten set data. Saat Anda membuat insight untuk set data, Gemini akan memberikan hal berikut:

  • Deskripsi set data: memberikan ringkasan set data yang dibuat AI.
  • Hubungan: menampilkan peta visual interaktif yang menunjukkan hubungan antar tabel dalam set data. Anda dapat mengarahkan kursor ke koneksi untuk melihat detail hubungan, seperti kunci gabungan.
  • Tabel hubungan: menyajikan tampilan tabel hubungan antar-tabel, termasuk kunci asing dan gabungan yang disimpulkan. Hubungan dapat ditentukan oleh skema (dari batasan kunci utama dan kunci asing), berdasarkan penggunaan (dari log kueri), atau disimpulkan oleh Gemini berdasarkan nama dan deskripsi tabel dan kolom.
  • Rekomendasi kueri: menawarkan contoh kueri SQL yang menunjukkan cara menggabungkan data di berbagai tabel, berdasarkan hubungan yang diidentifikasi.

Contoh insight data tabel

Pertimbangkan tabel bernama telco_churn dengan kolom seperti CustomerID, Tenure, InternetService, Contract, MonthlyCharges, dan Churn. Tabel berikut menjelaskan metadata tabel.

Nama kolom Jenis
CustomerID STRING
Gender STRING
Tenure INT64
InternetService STRING
StreamingTV STRING
OnlineBackup STRING
Contract STRING
TechSupport STRING
PaymentMethod STRING
MonthlyCharges FLOAT64
Churn BOOL

Insight data menghasilkan contoh kueri berikut untuk tabel ini:

  • Identifikasi pelanggan yang telah berlangganan semua layanan premium dan telah menjadi pelanggan selama lebih dari 50 bulan.

    SELECT
  CustomerID,
  Contract,
  Tenure
FROM
  agentville_datasets.telco_churn
WHERE
  OnlineBackup = 'Yes'
  AND TechSupport = 'Yes'
  AND StreamingTV = 'Yes'
  AND Tenure > 50;

  • Identifikasi layanan internet mana yang memiliki pelanggan yang berhenti berlangganan paling banyak.

    SELECT
  InternetService,
  COUNT(DISTINCT CustomerID) AS customers
FROM
  agentville_datasets.telco_churn
WHERE
  Churn = TRUE
GROUP BY
  InternetService
ORDER BY
  customers DESC
LIMIT 1;

Contoh insight data set data

Pertimbangkan set data yang berisi tabel order_items dan inventory_items. Insight set data dapat menyimpulkan bahwa order_items.inventory_item_id terkait dengan inventory_items.id.

Berdasarkan hubungan ini, Gemini dapat membuat kueri lintas tabel berikut:

Identifikasi 5 kategori produk teratas dengan harga promo rata-rata tertinggi dan biaya rata-rata yang sesuai.

SELECT
  ii.product_category,
  AVG(oi.sale_price) AS avg_sale_price,
  AVG(ii.cost) AS avg_cost
FROM
  `ecommerce_data.order_items` AS oi
JOIN
  `ecommerce_data.inventory_items` AS ii
ON oi.inventory_item_id = ii.id
GROUP BY
  ii.product_category
ORDER BY
  avg_sale_price DESC
LIMIT 5;

Alur kerja insight data

Bagian ini menguraikan alur kerja utama yang dapat dilakukan oleh berbagai peran pengguna menggunakan fitur insight data di BigQuery.

Alur kerja untuk konsumen data

Alur kerja ini berfokus pada tugas untuk analis data, analis bisnis, dan pengguna lain yang perlu menemukan, memahami, dan menganalisis data.

  • Memahami tabel BigQuery: pahami dengan cepat skema, konten, dan potensi penggunaan tabel tertentu. Anda dapat melakukan tugas berikut setelah memilih tabel di BigQuery Studio:

    • Tinjau deskripsi tabel dan kolom yang dibuat otomatis.

    • Periksa saran pertanyaan bahasa alami dan kueri SQL yang setara untuk memahami nuansa data.

    • Sesuaikan dan jalankan kueri yang disarankan untuk memulai analisis.

    Untuk mengetahui informasi selengkapnya tentang cara membuat dan melihat insight tabel, lihat Membuat insight tabel.

  • Menjelajahi seluruh set data: temukan hubungan antar-tabel dalam set data dan pahami struktur keseluruhannya. Anda dapat melakukan tugas berikut setelah memilih set data di BigQuery Studio:

    • Membuat dan melihat insight set data.

    • Gunakan grafik hubungan interaktif untuk memvisualisasikan koneksi tabel.

    • Analisis tabel hubungan untuk kunci gabungan dan jenis koneksi (ditentukan skema, berbasis penggunaan, disimpulkan LLM).

    • Gunakan kueri SQL lintas tabel yang disarankan untuk mengkueri beberapa tabel secara efektif.

    Untuk mengetahui informasi selengkapnya tentang cara membuat dan melihat insight set data, lihat Membuat insight set data.

Alur kerja untuk produsen data

Alur kerja ini ditujukan untuk data engineer, analytics engineer, dan orang lain yang membangun dan mengelola aset data.

  • Buat dokumentasi data dasar: buat dan kelola deskripsi metadata penting secara otomatis. Anda dapat melakukan tugas berikut:

    • Setelah pembuatan atau modifikasi tabel, picu insight data untuk membuat deskripsi tabel dan kolom. Anda juga dapat membuat deskripsi ini dalam skala besar menggunakan API pembuatan metadata otomatis Dataplex Universal Catalog.

    • Tinjau dan sesuaikan teks yang dihasilkan AI untuk memastikan akurasi teknis dan relevansi bisnis.

    Untuk mengetahui informasi selengkapnya tentang cara membuat deskripsi tabel dan kolom, lihat Membuat insight tabel.

  • Meningkatkan pemahaman pengguna tentang set data: Memudahkan konsumen memahami dan menggunakan set data yang disediakan. Anda dapat melakukan tugas berikut:

    • Buat insight set data untuk set data utama, terutama yang memiliki hubungan yang kompleks.

    • Pastikan pemindaian profil data dijalankan pada tabel untuk memberikan konteks yang kaya guna mendapatkan insight yang lebih akurat dan berguna.

    Untuk mengetahui informasi selengkapnya, lihat Membuat insight set data dan Mendasarkan insight pada hasil pembuatan profil data.

Alur kerja untuk pengelola data

Alur kerja ini mendukung pengelola data dan tim tata kelola dalam menjaga integritas dan kepercayaan data.

  • Memvalidasi dan mengaudit metadata yang dihasilkan AI: memastikan akurasi dan keandalan metadata yang dihasilkan oleh insight data. Anda dapat melakukan tugas berikut:

    • Tinjau secara rutin deskripsi dan hubungan yang dihasilkan oleh fitur insight.

    • Lakukan referensi silang hubungan yang disimpulkan dalam grafik hubungan dengan model data dan logika bisnis yang sudah ada.

    • Tinjau dan perbaiki ketidakakuratan dalam metadata yang dibuat AI.

    Untuk mengetahui informasi selengkapnya, lihat Membuat insight tabel dan Membuat insight set data.

Harga

Untuk mengetahui detail tentang harga fitur ini, lihat Ringkasan harga Gemini in BigQuery.

Kuota dan batas

Untuk mengetahui informasi tentang kuota dan batas untuk fitur ini, lihat Kuota untuk Gemini di BigQuery.

Batasan

Insight data memiliki batasan berikut:

  • Insight data tersedia untuk tabel BigQuery, tabel BigLake, tabel eksternal, dan tampilan.

  • Untuk pelanggan multi-cloud, data dari cloud lain tidak tersedia.

  • Insight data tidak mendukung jenis kolom GEO atau JSON.

  • Eksekusi insight tidak menjamin presentasi kueri setiap saat. Untuk meningkatkan kemungkinan menghasilkan kueri yang lebih menarik, mulai ulang pipeline insight.

  • Untuk tabel dengan kontrol akses tingkat kolom dan izin pengguna yang dibatasi, Anda dapat membuat insight jika memiliki akses baca ke semua kolom tabel. Untuk menjalankan kueri yang dihasilkan, Anda harus memiliki izin yang memadai.

  • Gemini membuat deskripsi kolom untuk maksimal 350 kolom dalam tabel.

  • Untuk insight set data, Anda tidak dapat mengedit relasi dalam grafik relasi.

  • Membuat insight set data baru akan menggantikan insight sebelumnya untuk set data tersebut.

  • Insight set data tidak mendukung set data tertaut.

Lokasi

Anda dapat menggunakan insight data di semua lokasi BigQuery. Untuk mempelajari tempat Gemini in BigQuery memproses data Anda, lihat Tempat Gemini in BigQuery memproses data Anda.

Langkah berikutnya