Tentang insight data tidak terstruktur

Pemindaian profil data untuk data tidak terstruktur di Knowledge Catalog mengubah data gelap atau file tidak terstruktur seperti PDF di Cloud Storage menjadi aset terstruktur yang dapat dikueri di BigQuery. Meskipun alat penemuan standar terbatas pada metadata tingkat file seperti ukuran dan jenis, pemindaian profil data untuk data tidak terstruktur yang didukung oleh model Gemini Vertex AI menganalisis konten file. Fitur ini secara otomatis mengekstrak konteks bisnis yang diperlukan untuk membatasi agen AI dan mendukung analisis lanjutan.

Otomatisasi ini menghilangkan kebutuhan akan penguraian dokumen manual dan kode ETL kustom, sehingga Anda dapat menemukan, mengklasifikasikan, dan menggunakan data yang sebelumnya tidak dapat diakses.

Pemindaian profil data untuk data tidak terstruktur menganalisis konten file tidak terstruktur untuk mengekstrak informasi dan menyimpulkan skema. Hal ini berbeda dengan fitur insight data untuk data terstruktur, yang membuat deskripsi dan kueri SQL berdasarkan metadata tabel terstruktur yang ada, dan dari pemrofilan data statistik standar, yang menghitung metrik seperti jumlah null dan distribusi nilai.

Penemuan otomatis dan pembuatan profil semantik

Anda dapat melakukan pembuatan profil data tidak terstruktur menggunakan dua alur kerja yang berbeda, bergantung pada titik awal Anda:

  • Selama pemindaian penemuan Cloud Storage: Pemindaian penemuan secara otomatis menemukan file tidak terstruktur Anda di Cloud Storage dan mengatanya ke dalam satu atau beberapa tabel objek di BigQuery untuk dianalisis. Tabel objek adalah tabel hanya baca di atas objek data tidak terstruktur yang berada di Cloud Storage. Saat Anda menjalankan pemindaian penemuan dengan Aktifkan inferensi semantik diaktifkan, pemindaian tersebut berfungsi sebagai titik entri otomatis untuk pembuatan profil data tidak terstruktur.

  • Sebagai pemindaian profil data mandiri untuk data tidak terstruktur: Jika sudah memiliki tabel objek BigQuery, Anda dapat menjalankan pemindaian profil data untuk data tidak terstruktur langsung di tabel tersebut. Dalam alur kerja mandiri ini, Anda juga dapat memandu ekstraksi dengan memberikan perintah yang disesuaikan dalam spesifikasi DataScan.

Saat pembuatan profil data tidak terstruktur dilakukan (baik secara otomatis selama pemindaian penemuan atau sebagai pemindaian mandiri), sistem akan mendaftarkan tabel objek sebagai entri di Knowledge Catalog. Entri merepresentasikan aset data yang metadata-nya Anda kumpulkan. Jika beberapa tabel dibuat karena pemindaian penemuan, setiap entri memiliki tab insight-nya sendiri. Kemudian, Anda dapat membuka entri ini untuk mempelajari insight data yang dihasilkan. Sistem melakukan tindakan berikut:

  1. Mengidentifikasi dan mengelompokkan file (Khusus pemindaian Penemuan). Mengidentifikasi dan mengatur file tidak terstruktur di Cloud Storage secara otomatis ke dalam tabel objek. Tabel objek ini adalah tabel hanya baca yang menyediakan antarmuka terstruktur untuk data tidak terstruktur Anda.

  2. Melakukan pemindaian profil data untuk data tidak terstruktur. Menggunakan model Gemini Vertex AI untuk menganalisis konten dalam file guna memahami arti dan strukturnya. Hal ini mencakup inferensi entitas, yang menggunakan AI generatif untuk mengekstrak atribut tertentu, misalnya, Company, Product, atau Serial Number, dari konten file. Hal ini juga mencakup ekstraksi hubungan, yang mengidentifikasi cara entitas ini terhubung, misalnya, Component is_part_of Product, untuk membuat grafik semantik. Jika menjalankan pemindaian profil mandiri, Anda dapat memandu ekstraksi ini dengan memberikan perintah yang disesuaikan dalam spesifikasi DataScan.

  3. Membuat skema dan profil grafik. Menyediakan skema relasional yang disarankan AI dan melampirkan aspek Graph Profile (dataplex-types.global.graph-profile) ke entri katalog yang merepresentasikan tabel objek. Aspek memungkinkan Anda menyimpan metadata dalam entri. Aspek metadata ini berisi skema yang disimpulkan untuk entitas (NodeType) dan hubungan (EdgeType).

  4. Memperkaya metadata. Mengisi Knowledge Catalog secara otomatis dengan metadata yang dihasilkan AI. Hal ini membuat data dapat dicari dan siap diekstrak.

Daripada mendesain skema database secara manual, Anda dapat melakukan ekstraksi data menggunakan SQL sekali klik atau orkestrasi pipeline. Proses ini mewujudkan entitas dan hubungan yang disimpulkan ke dalam format terstruktur, seperti tabel atau tampilan BigQuery fisik.

Metode API

Anda dapat mengonfigurasi, menjalankan, dan mengelola pemindaian profil data untuk data tidak terstruktur dan entri katalog yang dihasilkan menggunakan metode REST API berikut:

Metode API Deskripsi
projects.locations.dataScans.create Membuat pemindaian penemuan (menggunakan dataDiscoverySpec) atau pemindaian profil data mandiri untuk data tidak terstruktur (menggunakan unstructuredDataProfileSpec).
projects.locations.dataScans.run Memicu tugas pemindaian profil data atau pemindaian penemuan sesuai permintaan untuk menganalisis file tidak terstruktur dan menghasilkan insight semantik.
projects.locations.dataScans.get Mengambil detail konfigurasi dan hasil tugas terbaru dari pemindaian profil data yang ada.
projects.locations.dataScans.jobs.list Mencantumkan tugas pemindaian historis untuk pemindaian profil data atau pemindaian penemuan tertentu.
projects.locations.dataScans.jobs.get Mengambil hasil dan log eksekusi mendetail untuk tugas pemindaian profil data tertentu.
projects.locations.entryGroups.entries.get Mengambil entri katalog yang merepresentasikan tabel objek, termasuk aspek metadata buatan AI yang dilampirkan (seperti GraphProfile).
projects.locations.entryGroups.entries.patch Memperbarui entri katalog untuk melampirkan, mengubah, atau menata aspek metadata (seperti dataplex-types.global.graph-profile).

Kasus penggunaan

Anda dapat menggunakan pemindaian profil data untuk data tidak terstruktur untuk berbagai tujuan di berbagai domain industri, termasuk berikut ini:

  • Penyiapan pipeline dan normalisasi zero-ETL. Mempermudah ekstraksi data dari Cloud Storage ke BigQuery dengan mengganti parser kustom dengan saran skema otomatis dan deployment sekali klik untuk mewujudkan data ke dalam tabel, tampilan, atau grafik semantik BigQuery.

    Misalnya, di e-commerce dan retail, marketplace dapat secara otomatis menormalisasi invoice dan pesanan pembelian pemasok dalam ratusan tata letak PDF yang berbeda ke dalam skema BigQuery yang kohesif dan terpadu (memetakan Unit Pr., Price/Pkg, dan Item Cost ke satu kolom Unit_Price) tanpa menulis kode parsing kustom. Di bidang kesehatan, ahli biostatistik dapat menyerap protokol uji klinis multi-pusat dan formulir laporan kasus (CRF) ke dalam tabel terstruktur untuk analisis kelompok yang cepat.

  • Klasifikasi dan validasi konten. Mengelompokkan data gelap secara otomatis menjadi aset yang dapat ditelusuri dan diperkaya dengan metadata yang dihasilkan AI, sehingga memungkinkan pengelola data melakukan validasi dan pemantauan entitas yang diekstrak dalam skala besar dengan intervensi manusia.

    Misalnya, dalam layanan keuangan, bank investasi yang melakukan uji tuntas M&A dapat secara otomatis mengklasifikasikan repositori besar berisi kontrak dan perjanjian kredit historis, mengekstrak entitas hukum yang kompleks (Contracting_Parties, Indemnity_Cap, Governing_Law). Pengelola data dapat menjelajahi grafik pengetahuan visual di tab Insight untuk mengidentifikasi kewajiban berisiko tinggi sebelum mengekspor data ke laporan eksekutif.

  • Dasar-dasar agen AI. Melakukan grounding agen Retrieval-Augmented Generation (RAG) dengan grafik terverifikasi. Hal ini memberikan "rantai ketertelusuran" yang jelas yang menghubungkan file mentah ke logika bisnis terstruktur, sehingga mengurangi halusinasi, yang memungkinkan agen AI menavigasi gabungan multi-tabel tanpa ambiguitas.

    Misalnya, dalam operasi manufaktur dan industri, perusahaan alat berat dapat mengekstrak hubungan peralatan dari log pemeliharaan lapangan dan laporan insiden yang tidak terstruktur selama beberapa dekade. Saat teknisi di lokasi bertanya kepada agen AI percakapan tentang cara mengatasi penurunan tekanan hidraulik yang tidak biasa, agen tersebut menggunakan grafik hubungan yang terverifikasi (Error_Code indicates_failure Hydraulic_Valve) untuk memberikan rencana perbaikan langkah demi langkah yang akurat dengan mengutip laporan insiden historis yang tepat.

Batasan

Tinjau batasan berikut sebelum menggunakan pemindaian profil data untuk data tidak terstruktur:

  • Format yang didukung. Meskipun pemindaian penemuan secara otomatis mengidentifikasi dan mengelompokkan berbagai jenis file tidak terstruktur ke dalam tabel objek BigQuery, mesin inferensi semantik untuk pemindaian profil data untuk data tidak terstruktur dioptimalkan terutama untuk dokumen PDF.

  • Lokasi. Pemindaian profil data untuk data tidak terstruktur hanya tersedia di lokasi yang mendukung model Gemini 2.5 Pro Vertex AI (misalnya, us-central1, europe-west1, asia-southeast1). Untuk mengetahui daftar region yang didukung, lihat bagian Region yang didukung di Gemini 2.5 Pro. Pemindaian yang dibuat di wilayah yang tidak didukung akan menampilkan error validasi atau eksekusi.

  • Cakupan resource. Pemindaian profil data untuk data tidak terstruktur beroperasi secara eksklusif di tabel objek BigQuery. Tabel ini tidak mendukung tabel terstruktur BigQuery standar, tabel eksternal melalui data terstruktur, atau tampilan BigQuery.

Harga

Selama fase Pratinjau Publik, pemindaian profil data untuk data tidak terstruktur tersedia untuk eksperimen dan pengujian berdasarkan persyaratan promosi khusus:

  • Inferensi semantik. Tidak ada biaya untuk menggunakan model Gemini Vertex AI guna mengekstrak informasi semantik dan menyimpulkan profil grafik selama pemindaian penemuan di sepanjang periode pratinjau.

  • Biaya resource pokok. Biaya standar berlaku untuk resource yang diperlukan untuk menyimpan dan memproses data Anda:

    • Knowledge Catalog

      • Pemindaian penemuan ditagih berdasarkan SKU pemrosesan Premium Knowledge Catalog (jam DCU) untuk pemindaian dasar dan pengelompokan file tidak terstruktur. Untuk mengetahui informasi selengkapnya, lihat Harga Knowledge Catalog.

      • Aspek metadata yang dihasilkan AI, termasuk profil grafik, dikenai biaya penyimpanan katalog Knowledge Catalog standar.

    • BigQuery dan Dataform

      • Jika menggunakan metode ekstraksi pipeline, biaya standar untuk eksekusi Dataform dan tugas BigQuery berlaku.

      • Jika menggunakan metode SQL, biaya BigQuery ML standar (ML.PROCESS_DOCUMENT) dan biaya pemrosesan kueri BigQuery berlaku.

      • Setiap data yang diwujudkan ke dalam BigQuery, termasuk tabel objek, metadata yang disimpulkan, dan entitas yang diekstrak, akan dikenai biaya penyimpanan dan kueri BigQuery standar. Untuk mengetahui informasi selengkapnya, lihat Harga BigQuery.

Struktur penagihan khusus resmi untuk pemindaian profil data untuk data tidak terstruktur dan inferensi semantik dimulai setelah Ketersediaan Umum (GA).

Kuota

Kuota API dan resource DataScan standar berlaku untuk setiap tugas pemindaian penemuan atau pemindaian profil data. Kouta tertentu mengatur volume inferensi semantik: Total eksekusi harian pemindaian profil data untuk data tidak terstruktur pada tabel objek BigQuery dibatasi hingga 140 eksekusi per project per hari.

Saat pembuatan profil data tidak terstruktur dilakukan selama pemindaian penemuan, batas jumlah tabel yang didukung oleh pemindaian penemuan juga berlaku. Untuk mengetahui informasi selengkapnya, lihat Kuota dan batas BigQuery.

Langkah berikutnya