Halaman ini memberikan detail tentang fitur dan batasan penelusuran vektor.
Ketersediaan
Penelusuran vektor tersedia di semua versi Memorystore for Redis Cluster di semua paket dan semua region yang didukung.
Hanya cluster yang Anda buat setelah 13 September 2024 yang mengaktifkan penelusuran vektor.
Batasan indeks
Berikut ini batasan indeks:
- Jumlah maksimum atribut dalam indeks tidak boleh melebihi 10.
- Dimensi vektor tidak boleh melebihi 32.768.
- Nilai M untuk HNSW tidak boleh melebihi 2M.
- Nilai EF Construct untuk HNSW tidak boleh melebihi 4096.
- Nilai EF Runtime untuk HNSW juga tidak boleh melebihi 4096.
Dampak performa
Saat mempertimbangkan performa penelusuran vektor, ada beberapa variabel penting yang perlu dipertimbangkan.
Jenis node
Penelusuran vektor memfasilitasi penskalaan vertikal melalui integrasi kumpulan thread yang didedikasikan untuk menjalankan operasi penelusuran vektor. Artinya, performa akan terikat dengan jumlah vCPU di setiap node dalam cluster Anda. Untuk mengetahui detail jumlah vCPU yang tersedia di setiap jenis node, lihat Karakteristik node.
Jumlah shard
Memorystore for Redis Cluster menerapkan teknik pengindeksan lokal untuk semua vektor. Artinya, indeks yang disimpan di setiap shard hanya berisi dokumen yang terdapat di shard tersebut. Karena hal ini, kecepatan pengindeksan dan jumlah total vektor akan diskalakan secara linear dengan jumlah shard dalam cluster.
Karena setiap indeks lokal hanya berisi konten satu shard, penelusuran cluster memerlukan penelusuran setiap shard dalam cluster dan menggabungkan hasilnya. Dengan jumlah vektor yang stabil, peningkatan jumlah shard akan meningkatkan performa penelusuran secara logaritmik untuk indeks HNSW dan secara linear untuk indeks FLAT karena lebih sedikit vektor yang terdapat di setiap indeks lokal.
Perhatikan bahwa karena peningkatan jumlah pekerjaan yang diperlukan untuk menelusuri semua shard, latensi yang dapat diamati untuk menyelesaikan permintaan penelusuran tertentu dapat meningkat seiring dengan penambahan shard. Meskipun demikian, cluster terbesar pun mendukung latensi milidetik satu digit.
Jumlah replika
Menambahkan replika tambahan akan meningkatkan throughput penelusuran secara linear dengan memungkinkan load balancing permintaan penelusuran untuk membaca replika.
Peristiwa penskalaan
Setelah mengubah ukuran cluster Redis, dokumen dalam indeks Anda akan dipindahkan untuk mendistribusikan data secara merata di seluruh jumlah shard baru. Saat hal ini terjadi, dokumen yang dipindahkan antar-node akan diindeks di latar belakang. Setelah operasi penskalaan selesai, Anda dapat memantau nilai
mutation_queue_size dalam output FT.INFO
untuk melihat progres pengindeksan ulang karena mengubah ukuran cluster.
Konsumsi memori
Vektor diduplikasi, disimpan dalam keyspace Redis dan algoritma penelusuran vektor.
Transaksi
Karena sifat asinkron dari eksekusi tugas oleh kumpulan thread, operasi penelusuran vektor tidak mematuhi semantik transaksional.