Pilihan database vektor di RAG Engine

Halaman ini memperkenalkan database vektor yang didukung di RAG Engine. Anda juga dapat melihat cara menghubungkan database vektor (penyimpanan vektor) ke korpus RAG.

Database vektor memainkan peran penting dalam mengaktifkan pengambilan untuk aplikasi RAG. Database vektor menawarkan cara khusus untuk menyimpan dan membuat kueri embedding vektor, yang merupakan representasi matematika dari teks atau data lain yang menangkap makna dan hubungan semantik. Embedding vektor memungkinkan sistem RAG menemukan informasi yang paling relevan dengan cepat dan akurat dalam pusat informasi yang luas, bahkan saat menangani kueri yang kompleks atau bernuansa. Jika digabungkan dengan model embedding, database vektor dapat membantu mengatasi batasan LLM, dan memberikan respons yang lebih akurat, relevan, dan komprehensif.

Database vektor yang didukung

Saat membuat korpus RAG, RAG Engine menawarkan RagManagedDb yang siap digunakan perusahaan sebagai database vektor default, yang tidak memerlukan penyediaan atau pengelolaan tambahan. RagManagedDb menawarkan opsi penelusuran KNN dan ANN serta memungkinkan beralih ke paket dasar untuk beberapa pembuatan prototipe dan eksperimen cepat. Untuk mempelajari lebih lanjut cara memilih strategi pengambilan di RagManagedDb atau untuk memperbarui paket, lihat Menggunakan RagManagedDb dengan RAG. Agar RAG Engine otomatis membuat dan mengelola database vektor untuk Anda, lihat Resource REST: projects.locations.ragCorpora .

Selain RagManagedDb default, RAG Engine memungkinkan Anda menyediakan dan menggunakan database vektor dalam korpus RAG. Dalam hal ini, Anda bertanggung jawab atas siklus proses dan skalabilitas database vektor.

Membandingkan opsi database vektor

Tabel ini mencantumkan pilihan database vektor yang didukung dalam RAG Engine dan menyediakan link ke halaman yang menjelaskan cara menggunakan database vektor dalam korpus RAG.

Database vektor Manfaat Terbaik untuk Kekurangan Metrik jarak yang didukung Jenis penelusuran Tahap peluncuran
RagManagedDb (default) adalah layanan database skalabel yang didistribusikan secara regional yang menawarkan konsistensi sangat tinggi dan ketersediaan tinggi serta dapat digunakan untuk penelusuran vektor. mudah sederhana cepat
  • Tidak diperlukan penyiapan.
  • Cocok untuk kasus penggunaan skala perusahaan dan skala kecil.
  • Konsistensi sangat tinggi.
  • Ketersediaan tinggi.
  • Latensi rendah.
  • Sangat baik untuk workload transaksional.
  • CMEK diaktifkan.
  • Membuat dokumen bervolume tinggi.
  • Membangun RAG skala perusahaan.
  • Mengembangkan bukti konsep yang cepat.
  • Menyediakan overhead penyediaan dan pemeliharaan yang rendah.
  • Menggunakan dengan chatbot.
  • Membangun aplikasi RAG.
  • Untuk perolehan optimal, fitur ANN mengharuskan indeks dibangun kembali setelah perubahan besar pada data Anda.
 cosine KNN (default) dan ANN Tersedia secara umum
Penelusuran Vektor adalah layanan database vektor dalam Agent Platform yang dioptimalkan untuk tugas machine learning.
  • Terintegrasi dengan layanan lain Google Cloud .
  • Skalabilitas dan keandalan didukung oleh Google Cloud infrastruktur.
  • Menggunakan harga bayar sesuai penggunaan.
  • Membuat dokumen bervolume tinggi.
  • Membangun RAG skala perusahaan.
  • Mengelola infrastruktur database vektor.
  • Pelanggan lama Google Cloud atau siapa pun yang ingin menggunakan beberapa Google Cloud layanan.
  • Update tidak langsung ditampilkan.
  • Keterikatan pada vendor dengan Google Cloud.
  • Mungkin lebih mahal, bergantung pada kasus penggunaan Anda.
 cosine

dot-product		 ANN Tersedia secara umum
Vertex AI Feature Store adalah layanan terkelola untuk mengatur, menyimpan, dan menyalurkan fitur machine learning.
  • Terintegrasi dengan Platform Agen Gemini Enterprise dan layanan lain Google Cloud .
  • Skalabilitas dan keandalan didukung oleh Google Cloud infrastruktur.
  • Memanfaatkan infrastruktur BigQuery yang ada.
  • Membuat dokumen bervolume tinggi.
  • Membangun RAG skala perusahaan.
  • Mengelola infrastruktur database vektor.
  • Pelanggan lama Google Cloud atau pelanggan yang ingin menggunakan beberapa Google Cloud layanan.
  • Perubahan hanya tersedia di toko online setelah sinkronisasi manual dilakukan.
  • Keterikatan pada vendor dengan Google Cloud.
 cosine

dot-product

L2 squared		 ANN Pratinjau
Weaviate adalah database vektor open source yang fleksibel dan modular.
  • Mendukung berbagai jenis data dan menawarkan kemampuan grafik bawaan.
  • Menyediakan open source dan komunitas yang aktif.
  • Sangat fleksibel dan dapat disesuaikan.
  • Mendukung berbagai jenis data dan modul untuk berbagai modalitas, seperti teks dan gambar.
  • Dapat memilih di antara penyedia Cloud, seperti Google CloudAWS dan Azure.
  • Membuat dokumen bervolume tinggi.
  • Membangun RAG skala perusahaan.
  • Mengelola infrastruktur database vektor.
  • Pelanggan Weaviate lama.
  • Update tidak langsung ditampilkan.
  • Dapat lebih kompleks untuk disiapkan dan dikelola.
  • Performa dapat bervariasi bergantung pada konfigurasi.
 cosine

dot-product

L2 squared

hamming

manhattan		 Dukungan penelusuran campuran + ANN Pratinjau
Pinecone adalah database vektor berbasis cloud yang terkelola sepenuhnya dan dirancang untuk penelusuran kesamaan berperforma tinggi.
  • Mulai dengan cepat.
  • Skalabilitas dan performa yang sangat baik.
  • Fokus pada penelusuran vektor dengan fitur lanjutan seperti pemfilteran dan penelusuran metadata.
  • Dapat memilih di antara penyedia Cloud, seperti Google CloudAWS dan Azure.
  • Membuat dokumen bervolume tinggi.
  • Membangun RAG skala perusahaan.
  • Mengelola infrastruktur database vektor.
  • Pelanggan Pinecone lama.
  • Update tidak langsung ditampilkan.
  • Mungkin lebih mahal daripada opsi lainnya.
  • Kuota dan batas membatasi skala dan performa.
  • Kontrol terbatas atas infrastruktur dasar.
 cosine

euclidean

dot-product		 ANN Tersedia secara umum

Langkah berikutnya