Penyimpanan data

Alat penyimpanan data menggunakan penyimpanan data untuk menemukan jawaban atas pertanyaan pengguna akhir dari data Anda. Penyimpanan data adalah kumpulan situs, dokumen, atau data dalam sistem pihak ketiga, yang masing-masing mereferensikan data Anda.

Saat Anda mengajukan pertanyaan kepada agen, agen akan menelusuri jawaban dari konten sumber tertentu dan merangkum temuan tersebut menjadi respons yang koheren. Di sini juga tersedia link dukungan ke sumber respons untuk membantu Anda mempelajari lebih lanjut. Agen dapat memberikan hingga lima cuplikan jawaban untuk pertanyaan tertentu.

Sumber penyimpanan data

Anda dapat menggunakan berbagai sumber untuk data Anda:

  • URL situs: Meng-crawl konten situs secara otomatis dari daftar domain atau halaman web.
  • BigQuery: Impor data dari tabel BigQuery Anda.
  • Cloud Storage: Impor data dari bucket Cloud Storage Anda.
  • AlloyDB: Impor data dari cluster AlloyDB untuk PostgreSQL Anda.
  • Bigtable: Mengimpor data dari tabel Bigtable.
  • Firestore: Mengimpor data dari koleksi Firestore Anda.
  • Cloud SQL: Impor data dari tabel Cloud SQL Anda.
  • Spanner: Mengimpor data dari tabel Spanner Anda.

Sumber penyimpanan data dengan akses terbatas

Google menawarkan banyak sumber penyimpanan data pihak pertama dan ketiga tambahan sebagai fitur akses terbatas. Untuk melihat sumber yang tersedia dan meminta akses, lihat sumber penyimpanan data tambahan.

Konten situs

Saat menambahkan konten situs sebagai sumber, Anda dapat menambahkan dan mengecualikan beberapa situs. Saat menentukan situs, Anda dapat menggunakan halaman individual atau * sebagai karakter pengganti untuk pola. Sistem akan memproses semua konten HTML dan PDF.

Verifikasi domain Anda saat menggunakan konten situs sebagai sumber.

Batasan:

  • File dari URL publik harus telah di-crawl oleh pengindeks Google Penelusuran agar ada dalam indeks penelusuran. Anda dapat memeriksanya menggunakan Google Search Console.
  • Hingga 200.000 halaman diindeks. Jika penyimpanan data berisi lebih banyak halaman, pengindeksan akan gagal pada saat itu, tetapi konten yang sudah diindeks akan tetap ada.

Mengimpor data

Anda dapat mengimpor data dari BigQuery atau Cloud Storage. Data ini dapat berupa data FAQ, data tidak terstruktur, data dengan metadata, atau data tanpa metadata.

Opsi Impor Data berikut tersedia:

  • Tambahkan/Perbarui Data: Menambahkan dokumen yang disediakan ke penyimpanan data. Jika dokumen baru memiliki ID yang sama dengan dokumen yang sudah ada, dokumen baru akan menggantikan dokumen lama.
  • Ganti Data yang Ada: Menghapus semua data yang ada dan mengupload data baru. Tindakan ini tidak dapat diurungkan.

Penyimpanan data FAQ

Penyimpanan data dapat menyimpan jawaban atas pertanyaan umum (FAQ). Jika agen mencocokkan pertanyaan pengguna dengan keyakinan tinggi dengan pertanyaan yang diupload, agen akan menampilkan jawaban atas pertanyaan tersebut tanpa modifikasi. Anda dapat memberikan judul dan URL untuk setiap pasangan pertanyaan dan jawaban yang ditampilkan agen.

Upload data ke penyimpanan data dalam format CSV. Setiap file harus menyertakan baris header yang mendeskripsikan kolom.

Contoh:

"question","answer","title","url"
"Why is the sky blue?","The sky is blue because of Rayleigh scattering.","Rayleigh scattering","https://en.wikipedia.org/wiki/Rayleigh_scattering"
"What is the meaning of life?","42","",""

Anda dapat menghilangkan kolom title dan url:

"answer","question"
"42","What is the meaning of life?"

Selama proses upload, Anda dapat memilih folder tempat setiap file diproses sebagai file CSV, terlepas dari ekstensi filenya.

Batasan:

  • Karakter spasi tambahan setelah koma akan menyebabkan error.
  • Baris kosong (bahkan di akhir file) akan menyebabkan error.

Penyimpanan data tidak terstruktur

Penyimpanan data tidak terstruktur dapat berisi konten dalam format berikut:

  • HTML
  • PDF
  • TXT
  • CSV

Anda dapat mengimpor file dari bucket Cloud Storage project lain. Untuk melakukannya, berikan akses eksplisit ke proses impor. Ikuti petunjuk dalam pesan error, yang berisi nama pengguna yang memerlukan akses baca ke bucket untuk melakukan impor.

Batasan:

  • Ukuran file maksimum adalah 2,5 MB untuk format berbasis teks dan 100 MB untuk format lainnya.

Penyimpanan data dengan metadata

Anda dapat memberikan judul dan url sebagai metadata. Selama percakapan, agen dapat memberikan informasi ini untuk membantu Anda menautkan dengan cepat ke halaman web internal yang tidak dapat diakses oleh pengindeks Google Penelusuran.

Untuk mengimpor konten dengan metadata, Anda harus menyediakan satu atau beberapa file JSON Lines. Setiap baris file ini menjelaskan satu dokumen. Anda tidak mengupload dokumen yang sebenarnya secara langsung; URI yang tertaut ke jalur Cloud Storage disediakan dalam file JSON Lines.

Untuk mengirimkan file JSON Lines, sediakan folder Cloud Storage yang berisi file tersebut. Jangan letakkan file lain di folder ini.

Deskripsi kolom:

Kolom Jenis Deskripsi
id string ID unik dokumen.
content.mimeType string Jenis MIME dokumen. "application/pdf" dan "text/html" didukung.
content.uri string URI untuk dokumen di Cloud Storage.
structData string Objek JSON satu baris dengan kolom title dan url opsional.

Contoh:

{ "id": "d001", "content": {"mimeType": "application/pdf", "uri": "gs://example-import/unstructured/first_doc.pdf"}, "structData": {"title": "First Document", "url": "https://internal.example.com/documents/first_doc.pdf"} }
{ "id": "d002", "content": {"mimeType": "application/pdf", "uri": "gs://example-import/unstructured/second_doc.pdf"}, "structData": {"title": "Second Document", "url": "https://internal.example.com/documents/second_doc.pdf"} }
{ "id": "d003", "content": {"mimeType": "text/html", "uri": "gs://example-import/unstructured/mypage.html"}, "structData": {"title": "My Page", "url": "https://internal.example.com/mypage.html"} }

Penyimpanan data tanpa metadata

Konten ini tidak memiliki metadata. Sebagai gantinya, Anda memberikan link URI ke setiap dokumen. Jenis konten ditentukan oleh ekstensi file.

Konfigurasi penguraian dan pemotongan

Bergantung pada sumber data, Anda dapat mengonfigurasi setelan penguraian dan pengelompokan yang ditentukan Agent Search.

Menggunakan Cloud Storage untuk dokumen penyimpanan data

Jika konten Anda tidak bersifat publik, sebaiknya simpan di Cloud Storage. Saat membuat dokumen penyimpanan data, Anda memberikan URL untuk objek Cloud Storage dalam bentuk: gs://bucket-name/folder-name. Setiap dokumen dalam folder ditambahkan ke penyimpanan data.

Saat Anda membuat bucket Cloud Storage:

Buat bucket dan upload file menggunakan panduan memulai Cloud Storage.

Bahasa

Untuk mengetahui informasi selengkapnya tentang bahasa yang didukung, lihat kolom penyimpanan data di referensi bahasa.

Untuk mendapatkan performa terbaik, buat penyimpanan data dalam satu bahasa.

Setelah membuat penyimpanan data, Anda dapat menentukan bahasa penyimpanan data (opsional). Jika Anda menetapkan bahasa penyimpanan data, Anda dapat menghubungkan penyimpanan data ke agen yang dikonfigurasi untuk bahasa yang berbeda. Misalnya, Anda dapat membuat penyimpanan data bahasa Prancis yang terhubung ke agen bahasa Inggris.

Region yang didukung

Untuk mengetahui informasi tentang wilayah yang didukung, lihat referensi region.

(Akses terbatas) Sumber penyimpanan data tambahan

Jenis penyimpanan data tambahan tercantum dalam tabel berikut. Fitur ini tersedia sebagai fitur akses terbatas. Anda dapat mengisi formulir permintaan akses untuk meminta akses. Setelah disetujui, Anda dapat melihat opsi ini saat membuat penyimpanan data di Vertex AI Agent Builder.

Sumber penyimpanan data pihak ketiga

Sumber Penyimpanan Data Deskripsi
Box Mengimpor data dari situs Box organisasi Anda.
Confluence Cloud Mengimpor data dari ruang kerja Confluence Cloud Anda.
Dropbox Impor data dari penyimpanan Dropbox Anda.
EntraID Impor data dari sistem EntraID organisasi Anda.
Jira Cloud Mengimpor data dari sistem pengelolaan tugas Jira Anda.
OneDrive Impor data dari penyimpanan OneDrive organisasi Anda.
Microsoft Outlook Impor data dari Microsoft Outlook.
Salesforce Mengimpor data dari Salesforce.
ServiceNow Mengimpor data dari ServiceNow.
SharePoint Mengimpor data dari sistem SharePoint organisasi Anda.
Slack Mengimpor data dari Slack.
Microsoft Teams Impor data dari Microsoft Teams.

Menyiapkan penyimpanan data pihak ketiga menggunakan konektor

Bagian ini menjelaskan cara menyiapkan penyimpanan data menggunakan data pihak ketiga. Untuk petunjuk khusus bagi setiap sumber data pihak ketiga, lihat dokumentasi Vertex AI Agent Builder.

Penyedia identitas

Penyedia identitas memungkinkan Anda mengelola pengguna, grup, dan autentikasi. Saat menyiapkan penyimpanan data pihak ketiga, Anda dapat menggunakan penyedia identitas Google atau penyedia identitas pihak ketiga.

Penyedia identitas Google:

  • Pengguna agen login menggunakan kredensial Google mereka. Ini adalah alamat email @gmail.com atau akun apa pun yang menggunakan Google sebagai penyedia identitas (misalnya, Google Workspace). Langkah ini dilewati jika pengguna berbicara dengan agen menggunakan Google Cloud secara langsung, karena identitas Google otomatis disertakan dalam sistem.
  • Anda dapat menetapkan akses ke Akun Google menggunakan Identity and Access Management (IAM).

Penyedia identitas pihak ketiga:

  • Pengguna agen login menggunakan kredensial non-Google, misalnya, alamat email Microsoft.
  • Anda harus membuat Workforce Pool menggunakan Google Cloud yang berisi penyedia identitas non-Google. Kemudian, Anda dapat menggunakan IAM untuk memberikan akses ke seluruh pool atau pengguna individual dalam pool tersebut.
  • Metode ini tidak dapat digunakan dengan project Google Cloud yang disiapkan di organisasi @google.com.

Konektor

Penyimpanan data pihak ketiga diimplementasikan menggunakan konektor. Setiap konektor dapat berisi beberapa penyimpanan data, yang disimpan sebagai entity dalam sistem Dialogflow CX.

  • Sebelum membuat penyimpanan data, Anda harus menyiapkan setiap region dengan satu penyedia identitas di Google Cloud > Agent Builder > Settings. Semua penyimpanan data di region tersebut menggunakan penyedia identitas yang sama. Anda dapat memilih identitas Google atau identitas pihak ketiga di workforce pool. Kredensial Google yang sama dianggap sebagai identitas yang berbeda jika berada di workforce pool. Misalnya, test@gmail.com dianggap sebagai identitas yang berbeda dengan workforcePools/test-pool/subject/test@gmail.com.
    • Buat workforce pool (jika diperlukan).
    • Buka Agent Builder Settings, lalu pilih Google Identity atau 3rd Party Identity. Klik Save untuk menyimpan identitas ke region.
    • Sekarang Anda dapat membuat penyimpanan data di region tersebut.
  • Setiap penyimpanan data menyimpan data Daftar Kontrol Akses (ACL) dengan setiap dokumen. Data ini melacak pengguna atau grup mana yang memiliki akses baca ke entitas mana. Selama runtime, pengguna atau anggota grup hanya akan menerima respons dari agen jika respons tersebut berasal dari entity yang akses bacanya mereka miliki. Jika pengguna tidak memiliki akses baca ke entity apa pun di penyimpanan data, agen akan menampilkan respons kosong.
  • Karena data di penyimpanan data adalah salinan instance pihak ketiga, data tersebut perlu diperbarui secara berkala. Anda dapat mengonfigurasi interval pemuatan ulang pada skala waktu jam atau hari.
  • Setelah Anda mengonfigurasi penyimpanan data dan mengklik Create, mungkin perlu waktu hingga satu jam agar penyimpanan data muncul di daftar penyimpanan data Anda.

Pelacakan penyimpanan data

Fitur ini mencakup dua bagian:

  • Menampilkan pelacakan eksekusi internal penyimpanan data dan latensi langkah di simulator agen.
  • Mengekspor pelacakan eksekusi internal dan latensi langkah penyimpanan data ke Cloud Logging dan BigQuery.

Melihat data di simulator

Untuk menampilkan data pelacakan dan eksekusi di simulator agen, luaskan detail tentang giliran percakapan dengan mengklik panah peluas di sebelah kanan respons agen.

Tab execution menampilkan trace eksekusi penyimpanan data internal, termasuk elemen berikut:

  • Input pengguna asli.
  • Kueri yang ditulis ulang oleh mesin penyimpanan data.
  • Sinyal kualitas dari langkah-langkah eksekusi, termasuk status pemeriksaan keamanan, status pemeriksaan stabilitas, hasil pemeriksaan grounding, dan status pemeriksaan keamanan.
  • Cuplikan penelusuran dari penelusuran penyimpanan data.
  • Daftar dokumen pendukung untuk cuplikan.

Tab latensi menampilkan grafik waktu untuk berbagai langkah eksekusi penyimpanan data. Daftar langkah bervariasi bergantung pada cara Anda mengonfigurasi penyimpanan data dan alur eksekusi. Tab ini dapat menampilkan data berikut:

  • FAQ match: Melakukan langkah pencocokan FAQ.
  • Penulisan ulang kueri: Menulis ulang kueri pengguna asli.
  • Search: Melakukan penelusuran cuplikan.
  • Peringkasan: Meringkas respons.
  • Pemeriksaan keamanan: Melakukan langkah-langkah pemeriksaan keamanan.

Melihat data pelacakan di lokasi lain

  • Jika Anda mengonfigurasi agen percakapan dengan logging histori percakapan, Anda dapat melihat pelacakan penyimpanan data di Conversation History.
  • Jika Anda mengonfigurasi agen percakapan dengan Logging, Anda dapat melihat pelacakan dan latensi di Logs Explorer cloud.
  • Jika Anda mengonfigurasi agen percakapan dengan BigQuery Export, Anda dapat melihat pelacakan dan latensi dalam tabel BigQuery yang diekspor.

Langkah berikutnya

Untuk mengetahui informasi selengkapnya tentang cara membuat dan menggunakan penyimpanan data dengan agen, lihat Dokumentasi alat penyimpanan data.

Sebelumnya
Evaluasi playbook
Berikutnya
Alat penyimpanan data