Ringkasan Vertex AI Vector Search

AlloyDB AI adalah ekstensi canggih dari AlloyDB untuk PostgreSQL, yang dirancang untuk mengintegrasikan pemrosesan vektor berperforma tinggi langsung dalam database relasional tingkat perusahaan. Solusi ini memungkinkan developer membangun aplikasi cerdas dan canggih yang memahami makna semantik data dalam format terstruktur dan tidak terstruktur. Dengan menyatukan kemampuan SQL dan teknologi penelusuran vektor canggih, AlloyDB AI menyediakan platform tunggal yang siap AI untuk pengelolaan data dan alur kerja retrieval-augmented generation (RAG), sehingga tidak perlu men-deploy dan mengelola database vektor terpisah.

Arsitektur dan Performa Inti

AlloyDB menggunakan ekstensi pgvector PostgreSQL untuk fungsi vektor. Layanan ini mendukung indeks HNSW yang populer, serta indeks Scalable Nearest Neighbors (ScaNN), algoritma penelusuran vektor canggih yang berasal dari riset Google Penelusuran selama bertahun-tahun. Integrasi mendalam ke lingkungan PostgreSQL ini memungkinkan operasi berkecepatan tinggi yang kompatibel dengan pgvector dan kueri semantik tingkat lanjut.

Performa Indeks ScaNN

Indeks ScaNN menawarkan keunggulan kecepatan yang signifikan dibandingkan indeks HNSW (Hierarchical Navigable Small Worlds) PostgreSQL standar, sehingga memberikan operasi vektor cepat yang diperlukan untuk workload AI yang menuntut:

Operasi Peningkatan Performa (vs. Indeks HNSW PostgreSQL standar) Fitur
Pembuatan Indeks Hingga 10x lebih cepat Build indeks paralel
Kueri Vector Search Hingga 4x lebih cepat Pemeliharaan otomatis indeks
Kueri Vector Search yang Difilter Hingga 10x lebih cepat Kemampuan observasi tingkat perusahaan

Pemfilteran Adaptif dan Pengoptimalan Kueri

Indeks ScaNN terintegrasi secara mendalam dengan perencana kueri PostgreSQL untuk memastikan performa optimal untuk kueri hybrid yang melibatkan kesamaan vektor dan filter metadata terstruktur standar.

  • Pemfilteran Adaptif: Mekanisme ini memastikan performa optimal saat filter, gabungan, dan indeks vektor digunakan secara bersamaan. Fungsinya adalah dengan mengamati statistik eksekusi kueri saat runtime, mempelajari selektivitas filter, dan menyesuaikan rencana eksekusi secara adaptif untuk menentukan urutan penerapan filter dan penelusuran vektor yang paling efisien.
  • Pemfilteran Inline: Khusus untuk algoritma ScaNN, pemfilteran inline adalah strategi pengoptimalan yang menjalankan evaluasi filter metadata dan penelusuran vektor secara bersamaan. Fitur ini memanfaatkan indeks PostgreSQL sekunder (seperti B-tree, GIN, atau GiST) untuk membuat daftar singkat (bitmap) baris yang memenuhi kriteria filter. Pemindaian vektor berikutnya hanya menghitung jarak untuk vektor yang ada dalam kumpulan yang telah difilter sebelumnya, sehingga mengurangi overhead komputasi secara drastis, terutama saat filter cukup selektif.

Integrasi yang Lancar dengan Vertex AI

AlloyDB AI dirancang untuk integrasi bawaan dengan ekosistem Vertex AI, sehingga memungkinkan transformasi dan pengayaan data langsung dalam database menggunakan SQL.

Pembuatan Embedding Otomatis

Platform ini mendukung pembuatan penyematan otomatis menggunakan ekstensi google_ml_integration. Kemampuan ini memungkinkan data operasional (teks, gambar, dan video) dikonversi menjadi embedding vektor menggunakan model Vertex AI, seperti text-embedding-005.

  • Pendaftaran Model: Model Vertex AI (embedding dan generatif) didaftarkan dalam database menggunakan prosedur google_ml.create_model.
  • Kolom Virtual: Sematan dapat dibuat dan dipertahankan secara otomatis dalam kolom yang dibuat menggunakan fungsi embedding(), sehingga memastikan data vektor tetap disinkronkan dengan data kolom sumber:
ALTER TABLE my_table
ADD COLUMN embedding vector(768)
GENERATED ALWAYS AS (embedding('text-embedding-005', source_column)) STORED;

Kueri dan Pengayaan AI Generatif

Dengan embedding vektor yang disimpan, developer dapat melakukan penelusuran semantik canggih menggunakan operator kemiripan vektor (<=>) di SQL standar. Selain itu, hasil penelusuran ini dapat diteruskan langsung ke model AI generatif, seperti gemini-2.0-flash-001, menggunakan fungsi seperti google_ml.generate_content untuk pengayaan kueri berbasis RAG dan pembuatan output yang mudah digunakan.