Ringkasan insight data

Dokumen ini memberikan ringkasan insight data, fitur Gemini in BigQuery yang membantu mempercepat eksplorasi dan analisis awal saat menghadapi data baru atau tidak dikenal. Insight data otomatis membuat deskripsi, diagram hubungan, dan kueri SQL, beserta pertanyaan yang disarankan dalam bahasa alami, dari metadata tabel dan set data Anda. Informasi ini membantu Anda memahami struktur, konten, dan hubungan data dengan cepat tanpa penyiapan manual yang ekstensif.

Sebelum memulai

Insight data dibuat menggunakan Gemini in BigQuery. Untuk mulai membuat insight, Anda harus terlebih dahulu menyiapkan Gemini in BigQuery.

Jenis insight data

Anda dapat membuat insight data di tingkat tabel atau set data:

  • Untuk tabel: Gemini membuat pertanyaan dalam bahasa alami dan kueri SQL yang setara untuk membantu Anda memahami data dalam satu tabel. Melalui insight tabel, Anda dapat mendeteksi pola data, anomali, pencilan, atau masalah kualitas dalam tabel. Gemini juga membuat deskripsi tabel dan kolom.

  • Untuk set data: (Pratinjau) Gemini membuat diagram hubungan interaktif yang menampilkan hubungan antar-tabel dan kueri SQL antar-tabel untuk membantu Anda memahami hubungan antar-tabel dalam set data. Melalui diagram hubungan, Anda dapat menemukan cara data diturunkan, yang dapat membantu mengatasi masalah kualitas, konsistensi, atau redundansi. Melalui kueri antar-tabel, Anda dapat menemukan hubungan yang lebih luas. Misalnya, Anda dapat menghitung pendapatan berdasarkan segmen pelanggan dengan memanfaatkan data dalam tabel penjualan dan tabel pelanggan.

Untuk menyelidiki lebih lanjut, Anda dapat mengajukan pertanyaan lanjutan di data canvas.

Insight tabel

Insight tabel membantu Anda memahami konten, kualitas, dan pola dalam satu tabel BigQuery. Misalnya, dengan membuat kueri yang melakukan analisis statistik, Anda dapat menggunakan insight tabel untuk mendeteksi pola data, anomali, dan pencilan. Insight tabel juga dapat membantu Anda mendeteksi masalah kualitas, terutama jika pemindaian profil data tersedia untuk tabel. Saat Anda membuat insight untuk tabel, Gemini akan memberikan deskripsi tabel, deskripsi kolom, dan output pemindaian profil berdasarkan metadata tabel. Tersedia opsi-opsi berikut:

  • Buat kueri: menyarankan pertanyaan dalam bahasa alami dan memberikan kueri SQL yang sesuai untuk menjawabnya. Hal ini membantu Anda menemukan pola, menilai kualitas data, dan melakukan analisis statistik tanpa menulis SQL dari awal.
  • Buat deskripsi: membuat deskripsi untuk tabel dan kolomnya. Gemini menggunakan output pemindaian profil (jika tersedia) untuk mendasari deskripsi yang dibuat. Anda dapat meninjau, mengedit, dan memublikasikan deskripsi ini ke Knowledge Catalog untuk meningkatkan kemampuan penemuan dan dokumentasi data.

Insight set data

Insight set data membantu Anda memahami hubungan dan jalur gabungan di beberapa tabel dalam set data BigQuery, yang memberikan tampilan holistik konten set data. Saat Anda membuat insight untuk set data, Gemini akan memberikan hal berikut:

  • Deskripsi set data: memberikan ringkasan set data yang dibuat AI.
  • Hubungan: menampilkan peta visual interaktif yang menunjukkan hubungan antar-tabel dalam set data. Anda dapat mengarahkan kursor ke koneksi untuk melihat detail hubungan, seperti kunci gabungan.
  • Tabel hubungan: menyajikan tampilan tabel hubungan antar-tabel, termasuk kunci asing dan gabungan yang disimpulkan. Hubungan dapat ditentukan oleh skema (dari batasan kunci utama dan kunci asing), berbasis penggunaan (dari log kueri), atau Gemini menyimpulkannya berdasarkan nama dan deskripsi tabel dan kolom.
  • Rekomendasi kueri: menawarkan contoh kueri SQL yang menunjukkan cara menggabungkan data di berbagai tabel, berdasarkan hubungan yang diidentifikasi.

Contoh insight data tabel

Pertimbangkan tabel bernama telco_churn dengan kolom seperti CustomerID, Tenure, InternetService, Contract, MonthlyCharges, dan Churn. Tabel berikut menjelaskan metadata tabel.

Nama kolom Jenis
CustomerID STRING
Gender STRING
Tenure INT64
InternetService STRING
StreamingTV STRING
OnlineBackup STRING
Contract STRING
TechSupport STRING
PaymentMethod STRING
MonthlyCharges FLOAT64
Churn BOOL

Insight data membuat contoh kueri berikut untuk tabel ini:

  • Identifikasi pelanggan yang telah berlangganan semua layanan premium dan telah menjadi pelanggan selama lebih dari 50 bulan.

    SELECT
  CustomerID,
  Contract,
  Tenure
FROM
  agentville_datasets.telco_churn
WHERE
  OnlineBackup = 'Yes'
  AND TechSupport = 'Yes'
  AND StreamingTV = 'Yes'
  AND Tenure > 50;

  • Identifikasi layanan internet mana yang memiliki pelanggan paling banyak yang berhenti berlangganan.

    SELECT
  InternetService,
  COUNT(DISTINCT CustomerID) AS customers
FROM
  agentville_datasets.telco_churn
WHERE
  Churn = TRUE
GROUP BY
  InternetService
ORDER BY
  customers DESC
LIMIT 1;

Contoh insight data set data

Pertimbangkan set data yang berisi tabel order_items dan inventory_items. Insight set data dapat menyimpulkan bahwa order_items.inventory_item_id terkait dengan inventory_items.id.

Berdasarkan hubungan ini, Gemini dapat membuat kueri antar-tabel berikut:

Identifikasi 5 kategori produk teratas dengan harga jual rata-rata tertinggi dan biaya rata-rata yang sesuai.

SELECT
  ii.product_category,
  AVG(oi.sale_price) AS avg_sale_price,
  AVG(ii.cost) AS avg_cost
FROM
  `ecommerce_data.order_items` AS oi
JOIN
  `ecommerce_data.inventory_items` AS ii
ON oi.inventory_item_id = ii.id
GROUP BY
  ii.product_category
ORDER BY
  avg_sale_price DESC
LIMIT 5;

Alur kerja insight data

Bagian ini menguraikan alur kerja utama yang dapat dilakukan oleh berbagai peran pengguna menggunakan fitur insight data di BigQuery.

Alur kerja untuk konsumen data

Alur kerja ini berfokus pada tugas untuk analis data, analis bisnis, dan pengguna lain yang perlu menemukan, memahami, dan menganalisis data.

  • Memahami tabel BigQuery: memahami skema, konten, dan potensi penggunaan tabel tertentu dengan cepat. Anda dapat melakukan tugas berikut setelah memilih tabel di BigQuery Studio:

    • Tinjau deskripsi tabel dan kolom yang dibuat secara otomatis.

    • Periksa pertanyaan dalam bahasa alami yang disarankan dan kueri SQL yang setara untuk memahami nuansa data.

    • Sesuaikan dan jalankan kueri yang disarankan untuk memulai analisis.

    Untuk mengetahui informasi selengkapnya tentang cara membuat dan melihat insight tabel, lihat Membuat insight tabel.

  • Menjelajahi seluruh set data: menemukan hubungan antar-tabel dalam set data dan memahami struktur keseluruhannya. Anda dapat melakukan tugas berikut setelah memilih set data di BigQuery Studio:

    • Buat dan lihat insight set data.

    • Gunakan diagram hubungan interaktif untuk memvisualisasikan koneksi tabel.

    • Analisis tabel hubungan untuk kunci gabungan dan jenis koneksi (ditentukan oleh skema, berbasis penggunaan, disimpulkan LLM).

    • Gunakan kueri SQL antar-tabel yang disarankan untuk membuat kueri beberapa tabel secara efektif.

    Untuk mengetahui informasi selengkapnya tentang cara membuat dan melihat insight set data, lihat Membuat insight set data.

Alur kerja untuk produsen data

Alur kerja ini ditujukan untuk data engineer, analytics engineer, dan orang lain yang membuat dan mengelola aset data.

  • Membuat dokumentasi data dasar: membuat dan mempertahankan deskripsi metadata penting secara otomatis. Anda dapat melakukan tugas berikut:

    • Setelah pembuatan atau modifikasi tabel, picu insight data untuk membuat deskripsi tabel dan kolom. Anda juga dapat membuat deskripsi ini dalam skala besar menggunakan Knowledge Catalog automated metadata generation API.

    • Tinjau dan sempurnakan teks yang dibuat AI untuk memastikan akurasi teknis dan relevansi bisnis.

    Untuk mengetahui informasi selengkapnya tentang cara membuat deskripsi tabel dan kolom, lihat Membuat insight tabel.

  • Meningkatkan pemahaman set data bagi pengguna: Memudahkan konsumen memahami dan menggunakan set data yang disediakan. Anda dapat melakukan tugas berikut:

    • Buat insight set data untuk set data utama, terutama yang memiliki hubungan kompleks.

    • Pastikan pemindaian profil data berjalan di tabel untuk memberikan konteks yang kaya guna mendapatkan insight yang lebih akurat dan berguna.

    Untuk mengetahui informasi selengkapnya, lihat Membuat insight set data dan Mendapatkan insight dari hasil pembuatan profil data.

Alur kerja untuk data steward

Alur kerja ini mendukung data steward dan tim tata kelola dalam mempertahankan integritas dan kepercayaan data.

  • Memvalidasi dan mengaudit metadata yang dibuat AI: memastikan akurasi dan keandalan metadata yang dihasilkan oleh insight data. Anda dapat melakukan tugas berikut:

    • Tinjau secara rutin deskripsi dan hubungan yang dibuat oleh fitur insight.

    • Referensi silang hubungan yang disimpulkan dalam diagram hubungan dengan model data dan logika bisnis yang ditetapkan.

    • Tinjau dan perbaiki ketidakakuratan dalam metadata yang dibuat AI.

    Untuk mengetahui informasi selengkapnya, lihat Membuat insight tabel dan Membuat insight set data.

Harga

Untuk mengetahui detail harga fitur ini, lihat Ringkasan harga Gemini in BigQuery.

Kuota dan batas

Untuk mengetahui informasi tentang kuota dan batas fitur ini, lihat Kuota untuk Gemini in BigQuery.

Batasan

Insight data memiliki batasan berikut:

  • Insight data tersedia untuk tabel BigQuery, tabel BigLake, tabel eksternal, dan tampilan.

  • Untuk pelanggan multi-cloud, data dari cloud lain tidak tersedia.

  • Insight data tidak mendukung jenis kolom GEO atau JSON.

  • Jalannya insight tidak menjamin presentasi kueri setiap saat. Untuk meningkatkan kemungkinan pembuatan kueri yang lebih menarik, mulai ulang pipeline insight.

  • Untuk tabel dengan kontrol akses tingkat kolom dan izin pengguna yang dibatasi, Anda dapat membuat insight jika memiliki akses baca ke semua kolom tabel. Untuk menjalankan kueri yang dibuat, Anda harus memiliki izin yang memadai permissions.

  • Gemini membuat deskripsi kolom untuk maksimal 350 kolom dalam tabel.

  • Untuk insight set data, Anda tidak dapat mengedit hubungan dalam diagram hubungan.

  • Membuat insight set data baru akan menimpa insight sebelumnya untuk set data tersebut.

  • Insight set data tidak mendukung set data tertaut.

Lokasi

Anda dapat menggunakan insight data di semua lokasi BigQuery. Untuk mempelajari tempat Gemini in BigQuery memproses data Anda, lihat Tempat Gemini in BigQuery memproses data Anda.

Langkah berikutnya