Menggunakan pemindaian penemuan untuk data tidak terstruktur

Pemindaian profil data untuk data tidak terstruktur menggunakan model Vertex AI Gemini 2.5 Pro selama pemindaian penemuan Cloud Storage untuk mengubah file mentah yang tidak terstruktur di Cloud Storage (seperti PDF) menjadi aset terstruktur yang dapat dikueri di BigQuery. Alur kerja otomatis ini dirancang untuk pengguna yang memulai dengan file mentah di Cloud Storage. Jika Anda sudah memiliki tabel objek BigQuery atau ingin memandu ekstraksi menggunakan perintah yang disesuaikan, lihat Menggunakan profil data untuk data tidak terstruktur.

Dokumen ini menjelaskan cara menyiapkan izin yang diperlukan, menyiapkan file tidak terstruktur, membuat pemindaian penemuan Cloud Storage dengan inferensi semantik yang diaktifkan menggunakan REST API, melihat hasil analisis yang dihasilkan, mengelola profil grafik, dan mengekstrak data ke BigQuery.

Sebelum memulai

Sebelum membuat pemindaian penemuan, pastikan Anda memiliki izin yang diperlukan dan API diaktifkan.

Mengaktifkan API

Aktifkan API berikut di project Anda:

  • dataplex.googleapis.com
  • bigquery.googleapis.com
  • aiplatform.googleapis.com (Vertex AI)

Peran yang diperlukan untuk mengaktifkan API

Untuk mengaktifkan API, Anda memerlukan peran IAM Service Usage Admin (roles/serviceusage.serviceUsageAdmin), yang berisi izin serviceusage.services.enable. Pelajari cara memberikan peran.

Aktifkan API

Peran dan izin yang diperlukan

Untuk mengonfigurasi dan menjalankan pemindaian profil data untuk data tidak terstruktur, Anda harus memenuhi izin dasar untuk pemindaian penemuan, lalu memberikan peran tambahan untuk inferensi semantik di beberapa agen layanan.

Peran pemindaian penemuan titik referensi

Pastikan Anda dan akun layanan yang digunakan oleh Knowledge Catalog memiliki izin dasar yang diperlukan untuk pemindaian penemuan standar. Untuk daftar lengkapnya, lihat Menemukan dan membuat katalog data Cloud Storage.

Peran tambahan untuk inferensi semantik

Selain peran penemuan dasar, pastikan Anda dan akun layanan memiliki peran Identity and Access Management (IAM) tambahan berikut.

Ringkasan identitas dan peran tambahan

Jenis identitas Format utama standar Peran IAM yang diperlukan Tujuan inti
Pengguna akhir Akun pengguna Google Cloud Anda
  • Editor Dataplex DataScan
  • Editor Katalog Dataplex
  • Editor Data BigQuery
  • BigQuery Job User
 Anda menggunakan peran tambahan ini untuk mengonfigurasi pemindaian, melihat hasil yang dibuat AI, mengatur profil grafik, dan memicu ekstraksi data akhir.
Agen penemuan Dataplex Universal Catalog service-<var>PROJECT_NUMBER</var>@gcp-sa-dataplex.iam.gserviceaccount.com
  • Pengguna Agent Platform
  • BigQuery Job User
  • BigQuery Data Viewer
 Agen layanan yang dikelola Google ini menggunakan peran tambahan ini untuk memanggil Vertex AI guna membuat skema dan metadata yang disimpulkan.
Akun layanan koneksi BigQuery Identitas unik yang terkait dengan koneksi Anda (misalnya, bqcx-<var>PROJECT_NUMBER</var>-<var>ID</var>@gcp-sa-bigquery-condel.iam.gserviceaccount.com)
  • Storage Object Viewer (di bucket sumber)
  • Pengguna Agent Platform (di project)
 BigQuery Connection API menghubungkan BigQuery ke penyimpanan eksternal, sehingga BigQuery dapat membaca file mentah, membuat tabel objek, dan menjalankan inferensi AI tanpa mengekspos kredensial pengguna pribadi Anda.
Akun layanan eksekusi pipeline (Opsional) Akun layanan yang dikelola pengguna
  • Editor Data BigQuery
  • BigQuery Job User
  • BigQuery User
  • Pengguna Agent Platform
 Jika Anda memilih untuk mengekstrak data menggunakan pipeline otomatis, identitas ini akan menjalankan tugas latar belakang untuk mewujudkan entitas yang dihasilkan AI ke dalam tabel BigQuery.
Akun layanan Dataform default (Opsional) service-<var>PROJECT_NUMBER</var>@gcp-sa-dataform.iam.gserviceaccount.com
  • Service Account Token Creator (diberikan di akun layanan eksekusi pipeline)
 Saat menggunakan metode ekstraksi pipeline, Dataform memerlukan izin untuk menirukan identitas akun layanan eksekusi pipeline Anda guna mengatur alur kerja.

Peran dan izin pengguna akhir

Untuk memastikan bahwa akun pengguna Anda memiliki izin yang diperlukan untuk membuat pemindaian, melihat insight, menata profil grafik, dan mengekstrak data, minta administrator untuk memberi akun pengguna Anda peran IAM berikut di project:

Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses ke project, folder, dan organisasi.

Peran bawaan ini berisi izin yang diperlukan untuk membuat pemindaian, melihat insight, menyeleksi profil grafik, dan mengekstrak data. Untuk melihat izin yang benar-benar diperlukan, perluas bagian Izin yang diperlukan:

Izin yang diperlukan

Izin berikut diperlukan untuk membuat pemindaian, melihat insight, mengatur profil grafik, dan mengekstrak data:

  • DataScans:
    • dataplex.datascans.create
    • dataplex.datascans.get
    • dataplex.datascans.getData
    • dataplex.datascans.list
    • dataplex.datascans.update
  • Ekstraksi data:
    • bigquery.tables.create
    • bigquery.tables.update
    • bigquery.tables.getData
    • bigquery.jobs.create

Administrator Anda mungkin juga dapat memberi akun pengguna Anda izin ini dengan peran khusus atau peran bawaan lainnya.

Peran dan izin agen layanan penemuan Dataplex

Agen layanan penemuan Dataplex adalah agen layanan yang memerlukan akses untuk menjalankan pemindaian dan melakukan inferensi semantik menggunakan Vertex AI.

Untuk memastikan bahwa agen layanan penemuan Dataplex (biasanya service-PROJECT_NUMBER@gcp-sa-dataplex.iam.gserviceaccount.com) memiliki izin yang diperlukan untuk menjalankan pemindaian dan melakukan inferensi semantik menggunakan Vertex AI, minta administrator Anda untuk memberikan peran IAM berikut kepada agen layanan penemuan Dataplex (biasanya service-PROJECT_NUMBER@gcp-sa-dataplex.iam.gserviceaccount.com) di project:

Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses ke project, folder, dan organisasi.

Peran bawaan ini berisi izin yang diperlukan untuk menjalankan pemindaian dan melakukan inferensi semantik menggunakan Vertex AI. Untuk melihat izin yang benar-benar diperlukan, perluas bagian Izin yang diperlukan:

Izin yang diperlukan

Izin berikut diperlukan untuk menjalankan pemindaian dan melakukan inferensi semantik menggunakan Vertex AI:

  • Semua:
    • aiplatform.endpoints.predict
    • bigquery.datasets.create
    • bigquery.datasets.get
    • bigquery.tables.get
    • bigquery.tables.getData
    • storage.buckets.get
    • storage.objects.get
    • storage.objects.list

Administrator Anda mungkin juga dapat memberikan izin ini kepada agen layanan penemuan Dataplex (biasanya service-PROJECT_NUMBER@gcp-sa-dataplex.iam.gserviceaccount.com) dengan peran khusus atau peran bawaan lainnya.

Peran dan izin akun layanan koneksi BigQuery

Koneksi resource Cloud BigQuery memungkinkan Knowledge Catalog mengakses data tidak terstruktur yang disimpan di Cloud Storage. Saat Anda membuat koneksi, BigQuery akan otomatis membuat akun layanan khusus atas nama Anda. Akun layanan ini berfungsi sebagai identitas yang digunakan untuk terhubung ke sumber data eksternal Anda.

Secara default, akun layanan ini tidak memiliki izin apa pun. Anda harus memberikan peran IAM yang diperlukan secara eksplisit ke akun layanan ini di bucket Cloud Storage yang berisi data Anda. Anda dapat menggunakan koneksi BigQuery yang ada atau membuat koneksi baru di lokasi yang sama dengan bucket Cloud Storage sumber Anda. Untuk mengetahui informasi selengkapnya tentang berbagi koneksi, lihat Berbagi koneksi dengan pengguna.

Untuk memastikan akun layanan koneksi BigQuery (ambil ID dari bagian Info koneksi di detail koneksi Anda) memiliki izin yang diperlukan untuk membaca tabel objek dan menjalankan inferensi, minta administrator Anda untuk memberikan peran IAM berikut kepada akun layanan koneksi BigQuery (ambil ID dari bagian Info koneksi di detail koneksi Anda):

Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses ke project, folder, dan organisasi.

Peran bawaan ini berisi izin yang diperlukan untuk membaca tabel objek dan menjalankan inferensi. Untuk melihat izin yang benar-benar diperlukan, perluas bagian Izin yang diperlukan:

Izin yang diperlukan

Izin berikut diperlukan untuk membaca tabel objek dan menjalankan inferensi:

  • Semua:
    • storage.buckets.get pada bucket yang berisi data tidak terstruktur
    • storage.objects.get pada bucket yang berisi data tidak terstruktur
    • aiplatform.endpoints.predict dalam project

Administrator Anda mungkin juga dapat memberikan izin ini kepada akun layanan koneksi BigQuery (ambil ID dari bagian Info koneksi di detail koneksi Anda) dengan peran khusus atau peran bawaan lainnya.

Peran dan izin akun layanan eksekusi pipeline (Opsional)

Jika Anda memilih untuk mengekstrak data yang disimpulkan menggunakan pipeline otomatis, Anda harus membuat atau menyediakan akun layanan khusus untuk menjalankan pipeline. Akun layanan eksekusi ini bertindak sebagai identitas yang mengautentikasi dan menjalankan tugas ekstraksi dan analisis data di latar belakang di BigQuery. Selain itu, Anda harus memberikan izin ke akun layanan Dataform default untuk meniru identitas akun layanan eksekusi ini.

Untuk memastikan bahwa akun layanan eksekusi pipeline memiliki izin yang diperlukan untuk mengekstrak entitas dan hubungan yang disimpulkan menggunakan pipeline, minta administrator untuk memberikan peran IAM berikut kepada akun layanan eksekusi pipeline di project:

Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses ke project, folder, dan organisasi.

Peran bawaan ini berisi izin yang diperlukan untuk mengekstrak entitas dan hubungan yang disimpulkan menggunakan pipeline. Untuk melihat izin yang benar-benar diperlukan, perluas bagian Izin yang diperlukan:

Izin yang diperlukan

Izin berikut diperlukan untuk mengekstrak entitas dan hubungan yang disimpulkan menggunakan pipeline:

  • Semua:
    • bigquery.tables.create
    • bigquery.tables.update
    • bigquery.tables.get
    • bigquery.tables.getData
    • bigquery.jobs.create
    • aiplatform.endpoints.predict

Administrator Anda mungkin juga dapat memberikan izin ini kepada akun layanan eksekusi pipeline dengan peran khusus atau peran bawaan lainnya.

Untuk memastikan akun layanan Dataform default (service-PROJECT_NUMBER@gcp-sa-dataform.iam.gserviceaccount.com) memiliki izin yang diperlukan untuk meniru akun layanan eksekusi pipeline, minta administrator Anda untuk memberikan peran IAM berikut kepada akun layanan Dataform default (service-PROJECT_NUMBER@gcp-sa-dataform.iam.gserviceaccount.com) di akun layanan eksekusi pipeline:

Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses ke project, folder, dan organisasi.

Peran bawaan ini berisi izin yang diperlukan untuk meniru akun layanan eksekusi pipeline. Untuk melihat izin yang benar-benar diperlukan, perluas bagian Izin yang diperlukan:

Izin yang diperlukan

Izin berikut diperlukan untuk meniru identitas akun layanan eksekusi pipeline:

  • Semua: iam.serviceAccounts.getAccessToken

Administrator Anda mungkin juga dapat memberikan izin ini kepada akun layanan Dataform default (service-PROJECT_NUMBER@gcp-sa-dataform.iam.gserviceaccount.com) dengan peran khusus atau peran bawaan lainnya.

Menyiapkan data tidak terstruktur

Sebelum menjalankan pemindaian penemuan, Anda harus mengupload data tidak terstruktur ke bucket Cloud Storage. Pemindaian profil data untuk data tidak terstruktur dioptimalkan untuk menganalisis dokumen PDF.

Untuk mengetahui informasi selengkapnya tentang cara menyimpan dan mengelola file di Cloud Storage, lihat Mengupload objek.

Membuat koneksi resource Cloud

Untuk memublikasikan hasil pemindaian penemuan sebagai tabel objek BigQuery, Anda harus membuat koneksi resource Cloud dan memberikan akses akun layanannya ke data tidak terstruktur Anda di Cloud Storage.

  1. Buat koneksi resource Cloud.
  2. Berikan peran Storage Object Viewer (roles/storage.objectViewer) ke akun layanan yang terkait dengan koneksi di bucket Cloud Storage yang berisi data tidak terstruktur Anda. Untuk mengetahui informasi selengkapnya, lihat Memberikan akses ke akun layanan.

Membuat pemindaian penemuan untuk data tidak terstruktur

Untuk mengekstrak insight semantik dari data tidak terstruktur, Anda harus membuat pemindaian penemuan Cloud Storage terlebih dahulu. Pemindaian ini secara otomatis menemukan file tidak terstruktur Anda di Cloud Storage dan mengatanya ke dalam tabel objek. Dengan mengaktifkan inferensi semantik selama proses ini, Knowledge Catalog menggunakan model Gemini 2.5 Pro Vertex AI untuk menganalisis file dan menghasilkan metadata, skema, dan hubungan yang disimpulkan.

Anda dapat membuat pemindaian penemuan Cloud Storage dengan inferensi semantik yang diaktifkan menggunakan konsol Google Cloud atau REST API.

Konsol

  1. Di konsol Google Cloud , buka halaman Kurasi metadata.

    Buka Seleksi metadata

  2. Di tab Cloud Storage discovery, klik Create.

  3. Masukkan nama untuk pemindaian.

  4. Untuk memilih bucket Cloud Storage yang berisi data tidak terstruktur, klik Browse.

  5. Untuk Unstructured data options, centang kotak Enable semantic inference.

  6. Di kolom Connection ID, tentukan koneksi BigQuery yang digunakan untuk mengakses file.

    Pemindaian penemuan secara otomatis membuat katalog data tidak terstruktur ke dalam BigQuery dengan membuat tabel objek. Karena tabel objek secara aman memisahkan kredensial akses data dari pengguna yang menjalankan kueri, koneksi diperlukan untuk mengautentikasi dengan Cloud Storage dan membaca file.

  7. Klik Jalankan sekarang (untuk pemindaian sesuai permintaan) atau Buat (untuk pemindaian terjadwal).

    Untuk mengetahui detail semua konfigurasi yang tersedia, lihat Menemukan dan membuat katalog data Cloud Storage.

Knowledge Catalog membuat tabel objek dan memperkaya entri katalog dengan metadata yang dihasilkan AI. Proses ini biasanya memerlukan waktu beberapa menit untuk set data standar.

REST

Untuk membuat pemindaian penemuan Cloud Storage dengan inferensi semantik yang diaktifkan menggunakan REST API, gunakan metode dataScans.create dengan dataDiscoverySpec.

POST https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/dataScans?dataScanId=DATASCAN
{
"description": "Cloud Storage discovery scan with semantic inference",
"data": {
"resource": "//storage.googleapis.com/BUCKET_NAME"
},
"executionSpec": {
"trigger": {
  "onDemand": {}
}
},
"dataDiscoverySpec": {
"bigqueryPublishingConfig": {
  "tableType": "OBJECT_TABLE",
  "connection": "projects/PROJECT_ID/locations/LOCATION/connections/CONNECTION_ID"
},
"unstructuredDataEventsConfig": {
  "enabled": true
}
}
}

Ganti kode berikut:

  • PROJECT_ID: ID project Google Cloud Anda.
  • LOCATION: wilayah (harus mendukung Gemini 2.5 Pro). Google Cloud
  • DATASCAN: nama pemindaian penemuan.
  • BUCKET_NAME: bucket Cloud Storage yang berisi data tidak terstruktur.
  • CONNECTION_ID: ID koneksi BigQuery.

Menjalankan pemindaian penemuan

Jika Anda mengonfigurasi pemindaian penemuan untuk dijalankan sesuai permintaan, Anda harus memicu pemindaian secara manual untuk menemukan data tidak terstruktur dan menghasilkan insight.

Anda dapat memicu pemindaian penemuan menggunakan konsol Google Cloud atau REST API.

Konsol

  1. Di konsol Google Cloud , buka halaman BigQuery.

    Buka BigQuery

  2. Di menu navigasi, klik Tata Kelola > Kurasi metadata.

  3. Di panel Cloud Storage discovery, klik pemindaian penemuan yang ingin Anda jalankan.

  4. Klik Jalankan sekarang.

REST

Untuk menjalankan pemindaian penemuan sesuai permintaan menggunakan REST API, gunakan metode dataScans.run:

curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
"https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/dataScans/DATASCAN:run"

Ganti Variabel berikut:

  • PROJECT_ID: ID project Google Cloud Anda.
  • LOCATION: Google Cloud region tempat pemindaian penemuan berada.
  • DATASCAN: nama pemindaian penemuan.

Knowledge Catalog menjalankan pemindaian penemuan, membuat tabel objek, dan memperkaya entri katalog dengan metadata yang dihasilkan AI. Proses ini biasanya memerlukan waktu beberapa menit untuk set data standar.

Menemukan tabel objek

Setelah pemindaian penemuan selesai, Knowledge Catalog akan membuat satu atau beberapa tabel objek dan mengisi Knowledge Catalog dengan entri yang sesuai yang diperkaya dengan metadata yang dihasilkan AI. Jika beberapa entri dibuat karena pemindaian penemuan, setiap entri memiliki tab insight-nya sendiri. Anda dapat melihat deskripsi tabel otomatis, skema yang disimpulkan, dan grafik hubungan.

  1. Di konsol Google Cloud , buka halaman BigQuery.

    Buka BigQuery

  2. Di menu navigasi, klik Tata Kelola > Kurasi metadata.

  3. Di panel Penemuan Cloud Storage, klik pemindaian penemuan yang Anda jalankan untuk data tidak terstruktur.

    • Bagian Detail pemindaian menampilkan detail tentang pemindaian penemuan.
    • Bagian Status pemindaian menampilkan hasil penemuan tugas pemindaian terbaru.

  4. Klik link untuk Set data yang dipublikasikan.

  5. Dalam daftar tabel yang ditampilkan untuk set data BigQuery, pilih tabel objek yang dibuat untuk pemindaian data penemuan.

  6. Salin ID tabel. Anda akan membutuhkannya di bagian berikutnya.

Menjelajahi hasil pemindaian penemuan

Anda dapat melihat tabel objek dan grafik semantiknya yang disimpulkan di Knowledge Catalog.

  1. Di konsol Google Cloud , buka halaman Penelusuran Knowledge Catalog.

    Buka Penelusuran

  2. Tempel dan telusuri tabel objek yang ID-nya Anda pilih di bagian sebelumnya.

  3. Di hasil penelusuran, klik tabel untuk membuka halaman entri.

  4. Di tab Details, di bagian Aspects, verifikasi keberadaan aspek Graph Profile (dataplex-types.global.graph-profile). Aspek ini berisi skema yang disimpulkan untuk entitas dan hubungan.

  5. Klik tab Insights. Di tab Insight, Anda dapat melihat informasi berikut:

    • Ekstraksi semantik. Banner menunjukkan bahwa entitas dan hubungan yang dapat diekstrak terdeteksi. Bagian ini mencakup tombol Ekstrak untuk mewujudkan data menggunakan SQL atau deployment pipeline.

    • Deskripsi. Ringkasan yang dibuat AI dan dapat dibaca manusia menjelaskan isi data tidak terstruktur. Bagian ini menjelaskan node (entitas) utama yang ditemukan dan cara node tersebut dipetakan satu sama lain melalui edge (hubungan).

    • Pipelines. Daftar pipeline ekstraksi data yang di-deploy sebelumnya yang terkait dengan resource ini. Anda dapat melihat nama tampilan, region, waktu pembuatan, dan pengguna yang membuat pipeline.

    • Entity dan hubungan yang disimpulkan. Grafik visual dan interaktif menampilkan struktur semantik yang ditemukan dari data tidak terstruktur Anda. Grafik berisi node yang merepresentasikan entity yang berbeda, misalnya, Recipe dan Ingredient, serta edge yang merepresentasikan koneksi di antara keduanya, misalnya, HasAllergenStatus. Anda dapat menggunakan legenda untuk memfilter dan menjelajahi node dan tepi tertentu.

    • Entitas. Daftar mendetail entitas utama yang ditemukan. Anda dapat meluaskan setiap entitas untuk melihat deskripsi yang dibuat AI dan skema yang disimpulkan, yang mencakup nama kolom, jenis data, dan deskripsi kolom.

    • Hubungan. Daftar mendetail koneksi yang ditemukan antar-entitas. Anda dapat meluaskan setiap hubungan untuk melihat deskripsinya dan skema yang menentukan cara pemetaan antar-entitas.

Memperbarui insight yang disimpulkan

Insight yang disimpulkan disimpan di Katalog Knowledge Catalog sebagai aspek yang dilampirkan ke tabel objek. Anda dapat memperbarui insight ini secara manual menggunakan REST API.

REST

Untuk memperbarui insight yang disimpulkan menggunakan REST API, ikuti langkah-langkah berikut:

  1. Buat file bernama payload.json dan tambahkan konten JSON dari aspek yang ingin Anda perbarui. Contoh:

    {
  "aspects": {
    "dataplex-types.global.graph-profile": {
      "data": {
        "nodeTypes": [],
        "edgeTypes": []
      }
    }
  }
}

  2. Jalankan perintah berikut di terminal.

    curl -X PATCH \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-d @payload.json \
"https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/entryGroups/ENTRY_GROUP_ID/entries/ENTRY_ID?updateMask=aspects"

    Ganti kode berikut:

    • PROJECT_ID: ID project Anda—misalnya, example-project
    • LOCATION: lokasi entri—misalnya, us-central1
    • ENTRY_GROUP_ID: ID grup entri—misalnya, example-entry-group (untuk tabel objek BigQuery, gunakan @bigquery)
    • ENTRY_ID: ID entri—misalnya, example-entry (ambil ini dari tab Ringkasan di halaman detail entri di konsol Google Cloud )

Untuk mengetahui informasi selengkapnya dan contoh kode dalam bahasa lain, lihat Memperbarui aspek entri.

Mengekstrak data ke BigQuery

Anda dapat mewujudkan entitas dan hubungan yang disimpulkan ke dalam tabel atau tampilan terstruktur di BigQuery menggunakan SQL atau pipeline otomatis.

  1. Di konsol Google Cloud , buka halaman Penelusuran Knowledge Catalog.

    Buka Penelusuran

  2. Telusuri tabel objek yang dihasilkan oleh pemindaian Anda.

  3. Di hasil penelusuran, klik tabel untuk membuka halaman entri.

  4. Klik tab Insights.

  5. Di tab Insights, klik Ekstraksi.

  6. Pilih salah satu metode berikut berdasarkan kebutuhan analisis dan skala data tidak terstruktur Anda:

    • Ekstrak dengan SQL: Pilih opsi ini untuk analisis ad hoc yang cepat, set data kecil hingga sedang, atau saat Anda menginginkan pendekatan tanpa infrastruktur menggunakan model jarak jauh BigQuery.

      Untuk mengekstrak menggunakan SQL, ikuti langkah-langkah berikut:

      1. Pilih Ekstrak menurut SQL.
      2. Di panel Ekstrak dengan SQL, pilih set data tujuan. Set data harus berada di lokasi yang sama dengan sumber.
      3. Klik Ekstrak.
      4. Di Editor BigQuery, kueri yang telah diisi sebelumnya akan terbuka menggunakan fungsi ML.PROCESS_DOCUMENT. Jalankan kueri untuk membuat tabel dan tampilan standar.

      Untuk mengetahui informasi selengkapnya tentang penggunaan SQL untuk mengekstrak insight dokumen, lihat Memproses dokumen dengan fungsi ML.PROCESS_DOCUMENT.

    • Ekstrak menurut pipeline: Pilih opsi ini untuk pemrosesan data skala besar atau saat Anda memerlukan logika percobaan ulang, penanganan error, dan orkestrasi otomatis yang andal untuk menangani volume dokumen yang besar.

      Untuk mengekstrak menggunakan pipeline, ikuti langkah-langkah berikut:

      1. Pilih Ekstrak menurut pipeline.
      2. Di panel Ekstrak dengan pipeline, masukkan nama tampilan untuk pipeline.
      3. Pilih region.
      4. Pilih set data tujuan. Set data harus berada di lokasi yang sama dengan sumber.
      5. Klik Ekstrak. Tindakan ini akan membuat pipeline BigQuery yang mengatur materialisasi data menggunakan Dataform.
      6. Jalankan semua tugas di pipeline untuk membuat tampilan node dan edge terstruktur.

      Untuk mengetahui informasi selengkapnya tentang menjalankan alur kerja data, lihat Pengantar Dataform.

Setelah mengekstrak dan mewujudkan insight semantik ke BigQuery, Anda dapat melakukan tugas berikut:

  • Buat kueri data terstruktur. Jalankan kueri SQL standar terhadap tabel yang baru dibuat untuk menganalisis entitas dan hubungan yang diekstrak.

  • Gabungkan dengan data yang ada. Gabungkan insight kualitatif yang diekstrak dari file tidak terstruktur dengan set data BigQuery terstruktur yang ada (seperti menggabungkan data invoice yang diurai dengan tabel akuntansi Anda).

  • Jelajahi insight data. Gunakan fitur Insight data di BigQuery Studio untuk membuat pertanyaan dalam bahasa alami dan kueri SQL secara otomatis untuk aset terstruktur baru Anda.

  • Analisis dengan Gemini. Gunakan Gemini di BigQuery untuk melakukan analisis percakapan, meringkas tren, atau membuat dasbor di Data Studio berdasarkan data yang diekstrak.

Langkah berikutnya