Pilihan database vektor di RAG Engine

Halaman ini memperkenalkan database vektor yang didukung di RAG Engine. Anda juga dapat melihat cara menghubungkan database vektor (penyimpanan vektor) ke korpus RAG Anda.

Database vektor memainkan peran penting dalam memungkinkan pengambilan untuk aplikasi RAG. Database vektor menawarkan cara khusus untuk menyimpan dan mengkueri embedding vektor, yang merupakan representasi matematis dari teks atau data lain yang menangkap makna dan hubungan semantik. Embedding vektor memungkinkan sistem RAG menemukan informasi yang paling relevan dengan cepat dan akurat dalam pusat informasi yang luas, bahkan saat menangani kueri yang kompleks atau bernuansa. Jika digabungkan dengan model embedding, database vektor dapat membantu mengatasi batasan LLM, serta memberikan respons yang lebih akurat, relevan, dan komprehensif.

Database vektor yang didukung

Saat membuat korpus RAG, RAG Engine menawarkan RagManagedDb yang siap digunakan perusahaan sebagai database vektor default, yang tidak memerlukan penyediaan atau pengelolaan tambahan. RagManagedDb menawarkan opsi penelusuran KNN dan ANN serta memungkinkan peralihan ke paket dasar untuk pembuatan prototipe dan eksperimen cepat. Untuk mempelajari lebih lanjut cara memilih strategi pengambilan di RagManagedDb atau untuk mengupdate paket, lihat Menggunakan RagManagedDb dengan RAG. Agar RAG Engine membuat dan mengelola database vektor secara otomatis untuk Anda, lihat Resource REST: projects.locations.ragCorpora .

Selain RagManagedDb default, RAG Engine memungkinkan Anda menyediakan dan menggunakan database vektor dalam korpus RAG. Dalam hal ini, Anda bertanggung jawab atas siklus proses dan skalabilitas database vektor Anda.

Membandingkan opsi database vektor

Tabel ini mencantumkan pilihan database vektor yang didukung dalam RAG Engine dan menyediakan link ke halaman yang menjelaskan cara menggunakan database vektor dalam korpus RAG Anda.

Database vektor   Manfaat   Paling cocok untuk   Kekurangan Metrik jarak yang didukung Jenis penelusuran Tahap peluncuran
RagManagedDb (default) adalah layanan database skalabel yang didistribusikan secara regional yang menawarkan konsistensi dan ketersediaan tinggi serta dapat digunakan untuk penelusuran vektor. easy simple fast quick
  • Tidak perlu penyiapan.
  • Cocok untuk kasus penggunaan skala perusahaan dan skala kecil.
  • Konsistensi sangat tinggi.
  • Ketersediaan tinggi.
  • Latensi rendah.
  • Sangat baik untuk workload transaksional.
  • CMEK diaktifkan.
  • Membuat dokumen bervolume tinggi.
  • Membangun RAG berskala perusahaan.
  • Mengembangkan bukti konsep dengan cepat.
  • Memberikan overhead penyediaan dan pemeliharaan yang rendah.
  • Penggunaan dengan bot chat.
  • Membangun aplikasi RAG.
  • Untuk perolehan yang optimal, fitur ANN mengharuskan indeks dibangun ulang setelah perubahan besar pada data Anda.
 cosine KNN (default) dan ANN Tersedia secara umum
Penelusuran Vektor adalah layanan database vektor dalam Agent Platform yang dioptimalkan untuk tugas machine learning.
  • Terintegrasi dengan layanan Google Cloud lainnya.
  • Skalabilitas dan keandalan didukung oleh infrastruktur Google Cloud .
  • Menggunakan harga bayar sesuai penggunaan.
  • Membuat dokumen bervolume tinggi.
  • Membangun RAG berskala perusahaan.
  • Mengelola infrastruktur database vektor.
  • Pelanggan Google Cloud lama atau siapa pun yang ingin menggunakan beberapa Google Cloud layanan.
  • Pembaruan tidak langsung ditampilkan.
  • Keterikatan pada vendor dengan Google Cloud.
  • Bisa lebih mahal, bergantung pada kasus penggunaan Anda.
 cosine

dot-product		 ANN Tersedia secara umum
Feature Store di Gemini Enterprise Agent Platform adalah layanan terkelola untuk mengatur, menyimpan, dan menyajikan fitur machine learning.
  • Terintegrasi dengan Gemini Enterprise Agent Platform dan layanan Google Cloud lainnya.
  • Skalabilitas dan keandalan didukung oleh infrastruktur Google Cloud .
  • Memanfaatkan infrastruktur BigQuery yang ada.
  • Membuat dokumen bervolume tinggi.
  • Membangun RAG berskala perusahaan.
  • Mengelola infrastruktur database vektor.
  • Pelanggan Google Cloud lama atau pelanggan yang ingin menggunakan beberapa layanan Google Cloud .
  • Perubahan hanya tersedia di toko online setelah sinkronisasi manual dilakukan.
  • Keterikatan pada vendor dengan Google Cloud.
 cosine

dot-product

L2 squared		 ANN Pratinjau
Weaviate adalah database vektor open source yang fleksibel dan modular.
  • Mendukung berbagai jenis data dan menawarkan kemampuan grafik bawaan.
  • Menyediakan open source dan komunitas yang aktif.
  • Sangat fleksibel dan dapat disesuaikan.
  • Mendukung beragam jenis data dan modul untuk berbagai modalitas, seperti teks dan gambar.
  • Dapat memilih di antara penyedia Cloud, seperti Google Cloud, AWS, dan Azure.
  • Membuat dokumen bervolume tinggi.
  • Membangun RAG berskala perusahaan.
  • Mengelola infrastruktur database vektor.
  • Pelanggan lama Weaviate.
  • Pembaruan tidak langsung ditampilkan.
  • Bisa lebih rumit untuk disiapkan dan dikelola.
  • Performa dapat bervariasi bergantung pada konfigurasi.
 cosine

dot-product

L2 squared

hamming

manhattan		 Dukungan penelusuran ANN + Hybrid Pratinjau
Pinecone adalah database vektor berbasis cloud yang terkelola sepenuhnya dan dirancang untuk penelusuran kesamaan berperforma tinggi.
  • Mulai dengan cepat.
  • Skalabilitas dan performa yang luar biasa.
  • Fokus pada penelusuran vektor dengan fitur lanjutan seperti pemfilteran dan penelusuran metadata.
  • Dapat memilih di antara penyedia Cloud, seperti Google Cloud, AWS, dan Azure.
  • Membuat dokumen bervolume tinggi.
  • Membangun RAG berskala perusahaan.
  • Mengelola infrastruktur database vektor.
  • Pelanggan Pinecone yang sudah ada.
  • Pembaruan tidak langsung ditampilkan.
  • Bisa lebih mahal daripada opsi lainnya.
  • Kuota dan batas membatasi skala dan performa.
  • Kontrol terbatas atas infrastruktur yang mendasarinya.
 cosine

euclidean

dot-product		 ANN Tersedia secara umum

Langkah berikutnya