Tentang aplikasi dan penyimpanan data

Halaman ini menjelaskan aplikasi dan penyimpanan data Agent Search.

Dengan Agent Search, Anda membuat aplikasi penelusuran atau rekomendasi dan menghubungkannya ke penyimpanan data. Sebuah project Google Cloud dapat berisi beberapa aplikasi.

Hubungan antara aplikasi dan penyimpanan data

Hubungan antara aplikasi dan penyimpanan data bergantung pada jenis aplikasi:

  • Aplikasi penelusuran kustom memiliki hubungan many-to-many dengan penyimpanan data. Jika beberapa penyimpanan data terhubung ke satu aplikasi penelusuran kustom, hal ini disebut sebagai penelusuran gabungan. Untuk mengetahui informasi tentang batasan menghubungkan aplikasi penelusuran ke lebih dari satu penyimpanan data, lihat Tentang penelusuran gabungan.

  • Aplikasi rekomendasi kustom memiliki koneksi one-to-one dengan penyimpanan datanya.

  • Sebuah aplikasi media memiliki hubungan many-to-one dengan penyimpanan datanya. Sebuah aplikasi hanya dapat terhubung ke satu penyimpanan data, sedangkan sebuah penyimpanan data dapat terhubung ke beberapa aplikasi. Misalnya, aplikasi penelusuran media dan aplikasi rekomendasi media dapat berbagi penyimpanan data.

  • Sebuah aplikasi penelusuran layanan kesehatan memiliki hubungan many-to-one dengan penyimpanan datanya. Sebuah aplikasi hanya dapat terhubung ke satu penyimpanan data, sedangkan sebuah penyimpanan data dapat terhubung ke beberapa aplikasi. Misalnya, aplikasi yang ditampilkan kepada pasien dan aplikasi yang ditampilkan kepada penyedia layanan dapat terhubung ke penyimpanan data yang sama.

    Untuk impor data batch data layanan kesehatan, data diimpor ke penyimpanan data yang ada dalam aplikasi. Untuk impor data streaming (Pratinjau) data layanan kesehatan, data diimpor ke entity, yang merupakan jenis penyimpanan data yang ada dalam konektor data. Konektor data juga merupakan jenis penyimpanan data yang ada dalam aplikasi.

Setelah penyimpanan data terhubung ke aplikasi, hubungan tersebut tidak dapat diputus.

Metode pembuatan aplikasi dan penyerapan data

Cara Anda membuat aplikasi dan menyerap data bergantung pada jenis data yang Anda miliki:

  • Untuk data situs, Anda dapat menggunakan konsol Google Cloud atau API. Untuk menggunakan data situs yang dibuat dengan API, Anda harus melampirkannya ke aplikasi dengan fitur Enterprise yang diaktifkan di konsol Google Cloud .

  • Untuk data terstruktur atau tidak terstruktur, Anda dapat menggunakan konsolGoogle Cloud atau API.

  • Untuk data layanan kesehatan, Anda dapat menggunakan konsol Google Cloud atau API.

Dokumen

Tiap penyimpanan data memiliki satu atau beberapa kumpulan data, yang disebut dokumen. Hal yang diwakilkan oleh dokumen bervariasi sesuai jenis data dalam penyimpanan data tersebut:

  • Situs. Dokumen adalah halaman web.

  • Data terstruktur. Dokumen adalah baris dalam tabel atau kumpulan data JSON yang mengikuti skema tertentu. Anda dapat memberikan skema ini sendiri atau membiarkan Agent Search menentukan skema dari data yang diserap.

  • Data terstruktur untuk media. Dokumen adalah baris dalam tabel atau kumpulan data JSON yang mengikuti skema khusus untuk media. Dokumennya adalah data yang berkaitan dengan konten media, seperti video, artikel berita, file musik, dan podcast. Dokumen berisi informasi yang menjelaskan item media, minimal: judul, URI ke lokasi konten, kategori, durasi, dan tanggal tersedia.

  • Data tidak terstruktur. Dokumen adalah file dalam salah satu format berikut: TXT, PDF, HTML, DOCX, PPTX, XLSX, dan XLSM.

  • Data FHIR layanan kesehatan. Dokumen adalah resource FHIR R4 yang didukung. Untuk daftar resource FHIR R4 yang didukung Agent Search, lihat Referensi skema data FHIR R4 Healthcare.

Operasi CRUD pada penyimpanan data

Untuk penyimpanan data terstruktur dan tidak terstruktur, Agent Search mendukung operasi pembuatan, pembacaan, pembaruan, dan penghapusan (CRUD) pada data dokumen. Anda tidak perlu menghapus atau membuat ulang seluruh penyimpanan data untuk memperbarui konten; Anda dapat mengelola setiap data di sepanjang siklus prosesnya.

Anda dapat mengelola dokumen atau data individual di penyimpanan data menggunakan API:

  • Create: Menambahkan dokumen satu per satu ke cabang penyimpanan data menggunakan metode documents.create.
  • Membaca (Mendapatkan dan membuat daftar): Ambil dokumen tertentu berdasarkan ID-nya menggunakan metode documents.get, atau buat daftar dokumen di cabang menggunakan metode documents.list.
  • Update: Mengubah kolom, konten, atau metadata dokumen yang ada menggunakan metode documents.patch. Anda juga dapat melakukan upsert (sisipkan jika tidak ditemukan) dengan menetapkan kolom allowMissing ke true.
  • Penghapusan selektif: Hapus data satu per satu secara selektif menggunakan metode documents.delete, bukan menghapus seluruh penyimpanan data.

Penyimpanan data dan aplikasi

Di Agent Search, ada berbagai jenis penyimpanan data. Penyimpanan data hanya dapat berisi satu jenis data.

Data situs

Penyimpanan data dengan data situs menggunakan data yang diindeks dari situs publik. Anda dapat menyediakan kumpulan pola URL yang ingin disertakan dalam penyimpanan data. Halaman web yang sesuai dengan pola URL disebut halaman web yang disertakan. Kemudian, Anda dapat menyiapkan penelusuran atas data yang di-crawl dari halaman web yang disertakan.

Misalnya, Anda dapat memberikan pola URL seperti example.com/faq/* dan example.com/events/* serta mengaktifkan penelusuran atas data yang di-crawl dari halaman web ini yang sesuai dengan pola. Data ini mencakup teks, gambar yang diberi tag dengan metadata, dan data terstruktur lainnya seperti tag meta, atribut PageMap, dan data schema.org.

Anda juga dapat memberikan pola URL untuk bagian situs yang ingin dikecualikan, misalnya, example.com/events/members-only/* atau example.com/events/past-*. URL yang dikecualikan lebih diprioritaskan daripada URL yang disertakan.

Ada dua jenis penyimpanan data situs:

  • Penelusuran situs dasar:

    • Menyediakan kemampuan penelusuran di indeks Google Penelusuran yang ada untuk situs yang disertakan.
    • Tidak memerlukan verifikasi domain.

  • Pengindeksan situs lanjutan:

    • Menyediakan kemampuan penelusuran lanjutan atas indeks yang dibuat berdasarkan salah satu hal berikut:
      • Pemilik aplikasi Agent Search dapat mengontrol halaman web mana yang diindeks dengan mengirimkan peta situs dan mengelolanya. Untuk mengetahui informasi selengkapnya, lihat Mengindeks dan memuat ulang halaman web menggunakan peta situs. Proses ini menjaga indeks tetap baru tanpa intervensi manual.
      • Pemilik aplikasi Agent Search dapat melakukan pengindeksan awal yang mencerminkan indeks Google Penelusuran, lalu memperluas cakupan indeks dengan meng-crawl ulang situs kapan pun diperlukan, sehingga indeks tetap baru. Untuk mengetahui informasi selengkapnya, lihat Memuat ulang halaman web. Kemampuan lanjutan dari pengindeksan situs lanjutan tercantum dalam Pengindeksan situs lanjutan.
    • Mengharuskan pemilik penyimpanan data Penelusuran Agen untuk memverifikasi domain yang dimiliki situs yang disertakan. Untuk mengetahui informasi selengkapnya, lihat Memverifikasi domain situs.
    • Memberikan kemampuan untuk menambahkan data terstruktur ke skema penyimpanan data. Situs berisi data tidak terstruktur, tetapi Anda dapat menambahkan data terstruktur dalam bentuk tag meta, atribut PageMap, dan data schema.org ke halaman web Anda. Kemudian, Anda dapat menggunakan data terstruktur ini untuk mengedit skema penyimpanan data seperti yang dijelaskan dalam Menggunakan data terstruktur untuk pengindeksan situs lanjutan.

Langkah berikutnya

Untuk penelusuran situs:

Data terstruktur

Penyimpanan data dengan data terstruktur memungkinkan penelusuran semantik atau rekomendasi dari data terstruktur. Anda dapat mengimpor data dari BigQuery atau Cloud Storage. Anda juga dapat mengupload data JSON terstruktur secara manual melalui API.

Misalnya, Anda dapat mengaktifkan penelusuran atau rekomendasi terhadap katalog produk untuk pengalaman e-commerce atau direktori dokter untuk penelusuran atau rekomendasi penyedia layanan.

Penelusuran Agen otomatis mendeteksi skema dari data yang Anda impor. Secara opsional, Anda dapat memberikan skema untuk data Anda. Menyediakan skema untuk data Anda biasanya akan meningkatkan kualitas hasil.

Langkah berikutnya

Untuk penelusuran kustom:

Untuk rekomendasi kustom:

Data terstruktur untuk media

Aplikasi media hanya dapat dihubungkan ke penyimpanan data media. Penyimpanan data media adalah penyimpanan data terstruktur dengan skema yang ditentukan Google atau dengan skema kustom Anda sendiri yang berisi kumpulan lima kolom terkait media tertentu. Untuk mengetahui informasi selengkapnya tentang skema, lihat Tentang dokumen media dan penyimpanan data.

Misalnya, Anda dapat mengaktifkan rekomendasi dengan membuat aplikasi rekomendasi media untuk katalog film atau situs berita sehingga pengguna akan mendapatkan saran yang sesuai dan dipersonalisasi untuk mereka.

Selain dokumen media, penyimpanan data media juga berisi informasi peristiwa pengguna yang memungkinkan Penelusuran Agen menyesuaikan rekomendasi dan penelusuran untuk pengguna Anda. Peristiwa pengguna diperlukan untuk aplikasi media. Untuk mengetahui informasi tentang peristiwa pengguna, lihat Merekam peristiwa pengguna real-time.

Langkah berikutnya

Data tidak terstruktur

Penyimpanan data tidak terstruktur memungkinkan penelusuran semantik atas data seperti dokumen dan gambar.

Penyimpanan data tidak terstruktur mendukung dokumen dalam format TXT, PDF, HTML, DOCX, PPTX, XLSX, dan XLSM.

Penelusuran memberikan hasil dalam bentuk 10 URL dan ringkasan jawaban untuk kueri bahasa alami. Dokumen harus diupload ke bucket Cloud Storage dengan izin akses yang sesuai. Misalnya, lembaga keuangan dapat mengaktifkan penelusuran atas korpus pribadi publikasi riset keuangan, atau perusahaan bioteknologi dapat mengaktifkan penelusuran atau rekomendasi atas repositori pribadi riset medis.

Langkah berikutnya

Untuk penelusuran:

Data FHIR layanan kesehatan

Aplikasi penelusuran layanan kesehatan menggunakan data FHIR R4 yang diimpor dari penyimpanan FHIR Cloud Healthcare API. Untuk daftar resource FHIR R4 yang didukung Agent Search, lihat Referensi skema data FHIR R4 Layanan kesehatan. Penyimpanan data FHIR R4 harus memenuhi beberapa persyaratan sebelum dapat digunakan sebagai sumber data untuk penyimpanan data Agent Search. Untuk mengetahui informasi selengkapnya, lihat cara menyiapkan data FHIR layanan kesehatan untuk penyerapan.

Langkah berikutnya

Tentang penelusuran gabungan

Anda dapat membuat aplikasi penelusuran gabungan, yang memungkinkan beberapa penyimpanan data terhubung ke satu aplikasi penelusuran kustom. Fitur ini memungkinkan Anda menggunakan satu aplikasi untuk menelusuri berbagai sumber dan jenis data.

Untuk membuat aplikasi penelusuran gabungan, pilih beberapa penyimpanan data saat membuat aplikasi penelusuran kustom baru. Jika Anda tidak memilih beberapa penyimpanan data selama pembuatan, Anda tidak dapat menambahkan penyimpanan data tambahan nanti.

Saat mendapatkan hasil penelusuran, Anda dapat menelusuri di semua penyimpanan data, atau memfilter hasil dari satu penyimpanan data.

Batasan berikut berlaku:

  • Menambahkan dan menghapus penyimpanan data:
    • Untuk mengaktifkan penelusuran gabungan untuk aplikasi, Anda harus menghubungkan minimal dua penyimpanan data ke aplikasi tersebut selama pembuatan aplikasi.
    • Anda dapat menambahkan atau menghapus penyimpanan data dari aplikasi penelusuran gabungan, tetapi aplikasi tersebut tidak boleh memiliki kurang dari dua penyimpanan data yang terhubung kapan saja.
    • Jika Anda menghubungkan satu penyimpanan data ke aplikasi penelusuran selama pembuatan aplikasi, Anda tidak dapat menambahkan atau menghapus penyimpanan data tersebut.
  • Penyimpanan data situs harus mengaktifkan pengindeksan situs lanjutan agar dapat digunakan untuk penelusuran campuran. Untuk mengetahui informasi selengkapnya, lihat Pengindeksan situs lanjutan.
  • Penyimpanan data yang berisi data tidak terstruktur yang diimpor menggunakan BigQuery tidak didukung.
  • Penelusuran gambar (menggunakan kolom params dengan searchType: 1) tidak didukung.
  • Penelusuran gabungan memungkinkan kolom berikut dalam permintaan penelusuran:
    • boostSpec
    • contentSearchSpec
    • dataStoreSpecs
    • facetSpecs
    • filter
    • languageCode
    • offset
    • oneBoxPageSize
    • orderBy
    • query
    • pageSize
    • pageToken
    • relevanceScoreSpec
    • relevanceThreshold
    • session
    • sessionSpec
    • spellCorrectionSpec
    • userInfo
    • userPseudoId
  • Penelusuran gabungan memungkinkan kolom berikut di DataStoreSpec:
    • dataStore
    • boostSpec: Jika ada spesifikasi penguatan yang ditentukan untuk SearchRequest dan dataStoreSpecs, kedua spesifikasi penguatan akan diterapkan ke hasil penelusuran
    • filter: Jika ada filter yang ditentukan untuk SearchRequest dan dataStoreSpecs, kedua filter akan diterapkan ke hasil penelusuran
  • Operasi Create, Read, Update, dan Delete (CRUD) pada konfigurasi penayangan didukung untuk aplikasi campuran. Hanya kolom berikut yang dapat ditambahkan atau diperbarui dalam konfigurasi penayangan:
    • boostControlIds
    • displayName
    • filterControlIds
    • genericConfig:
      • contentSearchSpec
    • name
    • solutionType
    • synonymsControlIds
  • Operasi CRUD pada kontrol berikut didukung untuk aplikasi penelusuran gabungan:
    • boostAction
    • synonymAction
    • filterAction
  • Ada batas 50 penyimpanan data per aplikasi penelusuran.
  • Jika satu penyimpanan data menggunakan konfigurasi CMEK, semua penyimpanan data lainnya juga harus menggunakan konfigurasi CMEK yang sama.