Vector Search adalah mesin penelusuran vektor canggih yang dibangun dengan teknologi inovatif yang dikembangkan oleh Tim Riset Google. Dengan memanfaatkan algoritma ScaNN, Vector Search memungkinkan Anda membangun sistem rekomendasi dan penelusuran generasi berikutnya serta aplikasi AI generatif.
Anda dapat memanfaatkan riset dan teknologi yang sama yang mendukung produk inti Google, termasuk Google Penelusuran, YouTube, dan Google Play. Artinya, Anda mendapatkan skalabilitas, ketersediaan, dan performa yang tepercaya untuk menangani set data besar dan memberikan hasil secepat kilat dalam skala global. Dengan Penelusuran Vektor, Anda memiliki solusi tingkat perusahaan untuk menerapkan kemampuan penelusuran semantik canggih di aplikasi Anda sendiri.
|
|
Infinite Fleurs: Temukan kreativitas yang dibantu AI dalam bentuk yang paling indah |
|
Mulai
Demo interaktif Vector Search: Lihat demo live untuk contoh realistis tentang kemampuan teknologi penelusuran vektor dan mulai menggunakan Vector Search.
Mulai cepat Vector Search: Coba Vector Search dalam 30 menit dengan membangun, men-deploy, dan mengkueri indeks Vector Search menggunakan set data contoh. Tutorial ini mencakup penyiapan, penyiapan data, pembuatan indeks, deployment, kueri, dan pembersihan.
Sebelum memulai: Siapkan embedding Anda dengan memilih dan melatih model, serta menyiapkan data Anda. Kemudian, pilih endpoint publik atau pribadi untuk men-deploy indeks kueri Anda.
Harga Vector Search dan kalkulator harga: Harga Vector Search mencakup biaya mesin virtual yang digunakan untuk menghosting indeks yang di-deploy, serta biaya untuk membuat dan mengupdate indeks. Konfigurasi minimal (di bawah $100 per bulan) dapat mengakomodasi throughput tinggi untuk kasus penggunaan berukuran sedang. Untuk memperkirakan biaya bulanan Anda:
- Buka kalkulator harga Google Cloud.
- Klik Tambahkan ke estimasi.
- Telusuri Vertex AI.
- Klik tombol Vertex AI.
- Pilih Vertex AI Vector Search dari drop-down Service type.
- Pertahankan setelan default atau konfigurasi sendiri. Estimasi biaya per bulan ditampilkan di panel Detail biaya.
Dokumentasi
Mengelola indeks dan endpoint
Topik lanjutan
Kasus penggunaan dan blog
Teknologi penelusuran vektor menjadi hub pusat bagi bisnis yang menggunakan AI. Mirip dengan cara kerja database relasional dalam sistem IT, database ini menghubungkan berbagai elemen bisnis seperti dokumen, konten, produk, pengguna, acara, dan entitas lainnya berdasarkan relevansinya. Selain menelusuri media konvensional seperti dokumen dan gambar, Penelusuran Vektor juga dapat mendukung rekomendasi cerdas, mencocokkan masalah bisnis dengan solusi, dan bahkan menautkan sinyal IoT ke pemberitahuan pemantauan. Alat ini adalah alat serbaguna yang penting untuk memahami lanskap data perusahaan yang semakin berkembang dan didukung AI.
|
Penelusuran / Pengambilan Informasi
Sistem |
Cara penelusuran vektor Vertex AI membantu membuka aplikasi AI generatif berperforma tinggi: Vector Search mendukung berbagai aplikasi, termasuk e-commerce, sistem RAG, dan mesin rekomendasi, bersama chatbot, penelusuran multimodal, dan banyak lagi. Penelusuran campuran lebih meningkatkan kualitas hasil untuk istilah khusus. Pelanggan seperti Bloomreach, eBay, dan Mercado Libre menggunakan Vertex AI karena performa, skalabilitas, dan efektivitas biayanya, sehingga mendapatkan manfaat seperti penelusuran yang lebih cepat dan peningkatan konversi. eBay menggunakan Vector Search untuk rekomendasi: Menyoroti cara eBay menggunakan Vector Search untuk sistem rekomendasinya. Teknologi ini memungkinkan eBay menemukan produk serupa dalam katalognya yang luas, sehingga meningkatkan pengalaman pengguna. Mercari memanfaatkan teknologi penelusuran vektor Google untuk menciptakan marketplace baru: Menjelaskan cara Mercari menggunakan Penelusuran Vektor untuk meningkatkan platform marketplace barunya. Vector Search mendukung rekomendasi platform, membantu pengguna menemukan produk yang relevan dengan lebih efektif. Vertex AI Embeddings untuk Teks: Cara mudah Grounding LLM: Berfokus pada grounding LLM menggunakan Vertex AI Embeddings untuk data teks. Penelusuran Vektor berperan penting dalam menemukan bagian teks yang relevan yang memastikan respons model didasarkan pada informasi faktual. Apa itu Penelusuran Multimodal: "LLM dengan visi" mengubah bisnis: Membahas Penelusuran Multimodal, yang menggabungkan LLM dengan pemahaman visual. Dokumen ini menjelaskan cara Pemrosesan Vektor memproses dan membandingkan data teks dan gambar, sehingga memungkinkan pengalaman penelusuran yang lebih komprehensif. Membuka penelusuran multimodal dalam skala besar: Menggabungkan kemampuan teks & gambar dengan Vertex AI: Menjelaskan cara membangun mesin penelusuran multimodal dengan Vertex AI yang menggabungkan penelusuran teks dan gambar menggunakan metode ensemble Weighted Rank-Biased Reciprocal Rank. Hal ini meningkatkan kualitas pengalaman pengguna dan memberikan hasil yang lebih relevan. Menskalakan deep retrieval dengan Pemberi Rekomendasi TensorFlow dan Vector Search: Menjelaskan cara membuat sistem rekomendasi playlist menggunakan Pemberi Rekomendasi TensorFlow dan Vector Search, yang mencakup model deep retrieval, pelatihan, deployment, dan penskalaan. |
|
AI Generatif: pengambilan untuk RAG dan Agen |
Vertex AI dan Denodo membuka akses ke data perusahaan dengan AI Generatif: Menunjukkan bagaimana integrasi Vertex AI dengan Denodo memungkinkan bisnis menggunakan AI generatif untuk mendapatkan insight dari data mereka. Vector Search sangat penting untuk mengakses dan menganalisis data yang relevan secara efisien dalam lingkungan perusahaan. Infinite Nature dan sifat industri: Demo 'liar' ini menunjukkan berbagai kemungkinan AI: Menampilkan demo yang menggambarkan potensi AI di berbagai industri. API ini menggunakan Vector Search untuk mendukung rekomendasi generatif dan penelusuran semantik multimodal. Infinite Fleurs: Temukan kreativitas yang dibantu AI dalam keindahan penuh: Infinite Fleurs Google, sebuah eksperimen AI yang menggunakan model Vector Search, Gemini, dan Imagen, menghasilkan buket bunga unik berdasarkan perintah pengguna. Teknologi ini menunjukkan potensi AI untuk menginspirasi kreativitas di berbagai industri. LlamaIndex untuk RAG di Google Cloud: Menjelaskan cara menggunakan LlamaIndex untuk memfasilitasi Retrieval Augmented Generation (RAG) dengan model bahasa besar. LlamaIndex menggunakan Vector Search untuk mengambil informasi yang relevan dari pusat informasi, sehingga menghasilkan respons yang lebih akurat dan sesuai konteks. RAG dan perujukan di Vertex AI: Mempelajari teknik RAG dan perujukan di Vertex AI. Vector Search membantu mengidentifikasi informasi perujukan yang relevan selama pengambilan, sehingga konten yang dihasilkan lebih akurat dan andal. Vector Search di LangChain: memberikan panduan untuk menggunakan Vector Search dengan LangChain untuk membangun dan men-deploy indeks database vektor untuk data teks, termasuk pemrosesan PDF dan menjawab pertanyaan. |
|
BI, analisis data, pemantauan, dan lainnya |
Mengaktifkan AI real-time dengan Penyerapan Streaming di Vertex AI: Mempelajari Pembaruan Streaming di Vector Search dan cara Pembaruan Streaming memberikan kemampuan AI real-time. Teknologi ini memungkinkan pemrosesan dan analisis aliran data yang masuk secara real-time. |
Referensi terkait
Anda dapat menggunakan referensi berikut untuk mulai menggunakan Penelusuran Vektor:
- Notebook dan solusi
- Tutorial dan pelatihan
- Produk terkait
- Materi pembahasan mendalam yang komprehensif
Notebook dan solusi
|
|
|
Mulai Cepat Vertex AI Vector Search: Memberikan ringkasan Vector Search. Fitur ini didesain untuk pengguna yang baru menggunakan platform dan ingin segera memulai. |
Memulai Penggunaan Embedding Teks dan Penelusuran Vektor: Memperkenalkan embedding teks dan penelusuran vektor. Dokumen ini menjelaskan cara kerja teknologi tersebut dan cara menggunakannya untuk meningkatkan hasil penelusuran. |
|
|
|
Menggabungkan Penelusuran Semantik & Kata Kunci: Tutorial Penelusuran Campuran dengan Vertex AI Vector Search: Memberikan petunjuk tentang cara menggunakan Vector Search untuk penelusuran campuran. Bagian ini mencakup langkah-langkah yang diperlukan dalam menyiapkan dan mengonfigurasi sistem penelusuran hibrida. |
Mesin RAG Vertex AI dengan Vector Search: Mempelajari penggunaan Mesin RAG Vertex AI dengan Vector Search. Dokumen ini membahas manfaat penggunaan kedua teknologi ini secara bersamaan dan memberikan contoh cara penggunaannya dalam aplikasi di dunia nyata. |
|
|
|
Infrastruktur untuk aplikasi AI generatif berkemampuan RAG menggunakan Vertex AI dan Penelusuran Vektor: Menjelaskan arsitektur untuk membangun aplikasi AI generatif dan RAG menggunakan Penelusuran Vektor, Cloud Run, dan Cloud Storage, yang mencakup kasus penggunaan, pilihan desain, dan pertimbangan utama. |
Menerapkan pengambilan dua menara untuk pembuatan kandidat skala besar: Menyediakan arsitektur referensi yang menunjukkan cara menerapkan alur kerja pembuatan kandidat dua menara end-to-end dengan Vertex AI. Framework pemodelan dua menara adalah teknik pengambilan yang efektif untuk kasus penggunaan personalisasi karena mempelajari kesamaan semantik antara dua entitas yang berbeda, seperti kueri web dan item kandidat. |
Pelatihan
Mulai Menggunakan Penelusuran Vektor dan Embedding Penelusuran Vektor digunakan untuk menemukan item serupa atau terkait. Model ini dapat digunakan untuk rekomendasi, penelusuran, chatbot, dan klasifikasi teks. Proses ini melibatkan pembuatan embedding, menguploadnya ke Google Cloud, dan mengindeksnya untuk membuat kueri. Lab ini berfokus pada embedding teks menggunakan Vertex AI, tetapi embedding dapat dibuat untuk jenis data lainnya.
Vector Search dan Embedding Kursus ini memperkenalkan Vector Search dan menjelaskan cara penggunaannya untuk membangun aplikasi penelusuran dengan API model bahasa besar (LLM) untuk embedding. Kursus ini terdiri atas materi konseptual terkait Vector Search dan embedding teks, demo praktis tentang cara membangun Vector Search di Vertex AI, serta lab latihan.
Memahami dan Menerapkan Embedding Teks
Vertex AI Embeddings API menghasilkan embedding teks, yang merupakan
representasi numerik teks yang digunakan untuk tugas seperti mengidentifikasi item serupa.
Dalam kursus ini, Anda akan menggunakan embedding teks untuk tugas seperti klasifikasi dan penelusuran semantik, serta menggabungkan penelusuran semantik dengan LLM untuk membangun sistem question answering menggunakan Vertex AI.
Kursus Singkat Machine Learning: Embedding Kursus ini memperkenalkan embedding kata, membandingkannya dengan representasi renggang. Bagian ini membahas metode untuk mendapatkan embedding dan membedakan antara embedding statis dan kontekstual.
Produk terkait
Vertex AI Embeddings Memberikan ringkasan Embeddings API. Kasus penggunaan penyematan multimodal dan teks, beserta link ke resource tambahan dan layanan Google Cloud terkait.
Vertex AI Search Ranking API Ranking API mengurutkan ulang dokumen berdasarkan relevansinya dengan kueri menggunakan model bahasa yang telah dilatih sebelumnya, sehingga memberikan skor yang akurat. Ideal untuk meningkatkan hasil penelusuran dari berbagai sumber, termasuk Penelusuran Vektor.
Vertex AI Feature Store Memungkinkan Anda mengelola dan menyajikan data fitur menggunakan BigQuery sebagai sumber data. Fitur ini menyediakan resource untuk penyajian online, yang berfungsi sebagai lapisan metadata untuk menyajikan nilai fitur terbaru langsung dari BigQuery. Feature Store memungkinkan pengambilan nilai fitur secara instan untuk item yang ditampilkan Vector Store untuk kueri.
Vertex AI Pipelines Vertex AI Pipelines memungkinkan otomatisasi, pemantauan, dan tata kelola sistem ML Anda secara serverless dengan mengorkestrasi alur kerja ML dengan pipeline ML. Anda dapat menjalankan pipeline ML yang ditentukan menggunakan Kubeflow Pipelines atau framework TensorFlow Extended (TFX) dalam batch. Pipelines memungkinkan pembuatan pipeline otomatis untuk menghasilkan penyematan, membuat dan memperbarui indeks Vector Search, serta membentuk penyiapan MLOps untuk penelusuran dan sistem rekomendasi produksi.
Referensi pembahasan mendalam
Meningkatkan kasus penggunaan AI generatif Anda dengan embedding Vertex AI dan jenis tugas Berfokus pada peningkatan kualitas aplikasi AI Generatif menggunakan embedding Vertex AI dan jenis tugas. Vector Search dapat digunakan dengan sematan jenis tugas untuk meningkatkan konteks dan akurasi konten yang dihasilkan dengan menemukan informasi yang lebih relevan.
TensorFlow Recommenders Library open source untuk membangun sistem rekomendasi. Hal ini menyederhanakan proses dari persiapan data hingga deployment dan mendukung pembuatan model yang fleksibel. TFRS menawarkan tutorial dan sumber daya serta memungkinkan pembuatan model rekomendasi yang canggih.
TensorFlow Ranking TensorFlow Ranking adalah library open source untuk membangun model neural learning-to-rank (LTR) yang skalabel. Library ini mendukung berbagai fungsi kerugian dan metrik peringkat, dengan aplikasi dalam penelusuran, rekomendasi, dan bidang lainnya. Library ini dikembangkan secara aktif oleh AI Google.
Mengumumkan ScaNN: Penelusuran Kesamaan Vektor yang Efisien ScaNN Google, algoritma untuk penelusuran kesamaan vektor yang efisien, menggunakan teknik baru untuk meningkatkan akurasi dan kecepatan dalam menemukan tetangga terdekat. Model ini mengungguli metode yang ada dan memiliki penerapan yang luas dalam tugas machine learning yang memerlukan penelusuran semantik. Upaya riset Google mencakup berbagai bidang, termasuk ML fundamental dan dampak AI terhadap masyarakat.
SOAR: Algoritma baru untuk Penelusuran Vektor yang lebih cepat dengan ScaNN Algoritma SOAR Google meningkatkan efisiensi Penelusuran Vektor dengan memperkenalkan redundansi yang terkontrol, sehingga memungkinkan penelusuran yang lebih cepat dengan indeks yang lebih kecil. SOAR menetapkan vektor ke beberapa cluster, sehingga membuat jalur penelusuran "cadangan" untuk meningkatkan performa.
Video terkait
Mulai Menggunakan Vector Search dengan Vertex AI
Vector Search adalah alat canggih untuk membangun aplikasi dengan teknologi AI. Video ini memperkenalkan teknologi tersebut dan memberikan panduan langkah demi langkah untuk mulai menggunakannya.
Mempelajari Penelusuran Hibrida dengan Penelusuran Vektor
Vector Search dapat digunakan untuk penelusuran campuran, sehingga Anda dapat menggabungkan kecanggihan penelusuran vektor dengan fleksibilitas dan kecepatan mesin telusur konvensional. Video ini memperkenalkan penelusuran campuran dan menunjukkan cara menggunakan Vector Search untuk penelusuran campuran.
Anda Sudah Menggunakan Penelusuran Vektor! Berikut Cara Menjadi Pakar
Tahukah Anda bahwa Anda mungkin menggunakan penelusuran vektor setiap hari tanpa menyadarinya? Mulai dari menemukan produk yang sulit ditemukan di media sosial hingga melacak lagu yang terngiang-ngiang di kepala Anda, penelusuran vektor adalah keajaiban AI di balik pengalaman sehari-hari ini.
Embedding "jenis tugas" baru dari tim DeepMind meningkatkan kualitas penelusuran RAG
Tingkatkan akurasi dan relevansi sistem RAG Anda dengan embedding jenis tugas baru yang dikembangkan oleh tim Google DeepMind. Tonton dan pelajari tantangan umum dalam kualitas penelusuran RAG dan cara embedding jenis tugas secara efektif menjembatani kesenjangan semantik antara pertanyaan dan jawaban, sehingga menghasilkan pengambilan yang lebih efektif dan peningkatan performa RAG.
Terminologi Vector Search
Daftar ini berisi beberapa terminologi penting yang perlu Anda pahami untuk menggunakan Penelusuran Vektor:
Vektor: Vektor adalah daftar nilai float yang memiliki magnitudo dan arah. Atribut ini dapat digunakan untuk merepresentasikan jenis data apa pun, seperti angka, titik dalam ruang, dan arah.
Embedding: Embedding adalah jenis vektor yang digunakan untuk merepresentasikan data dengan cara menangkap makna semantiknya. Embedding biasanya dibuat menggunakan teknik machine learning, dan sering digunakan dalam natural language processing (NLP) dan aplikasi machine learning lainnya.
Embedding padat: Embedding padat merepresentasikan makna semantik teks, menggunakan array yang sebagian besar berisi nilai non-nol. Dengan embedding padat, hasil penelusuran serupa dapat ditampilkan berdasarkan kemiripan semantik.
Embedding renggang: Embedding renggang merepresentasikan sintaksis teks, menggunakan array berdimensi tinggi yang berisi sangat sedikit nilai bukan nol dibandingkan dengan embedding padat. Embedding jarang sering digunakan untuk penelusuran kata kunci.
Penelusuran campuran: Penelusuran campuran menggunakan embedding padat dan renggang, yang memungkinkan Anda melakukan penelusuran berdasarkan kombinasi penelusuran kata kunci dan penelusuran semantik. Vector Search mendukung penelusuran berdasarkan embedding padat, embedding renggang, dan penelusuran campuran.
Indeks: Kumpulan vektor yang di-deploy secara bersamaan untuk penelusuran kemiripan. Vektor dapat ditambahkan ke atau dihapus dari indeks. Kueri penelusuran kemiripan dikeluarkan pada indeks tertentu dan menelusuri vektor dalam indeks tersebut.
Kebenaran nyata: Istilah yang mengacu pada verifikasi machine learning untuk memastikan akurasinya terhadap dunia nyata, seperti set data kebenaran nyata.
Perolehan: Persentase tetangga terdekat yang ditampilkan oleh indeks yang sebenarnya merupakan tetangga terdekat. Misalnya, jika kueri tetangga terdekat untuk 20 tetangga terdekat menampilkan 19 tetangga terdekat dari kebenaran nyata, maka perolehannya adalah 19/20x100 = 95%.
Batasi: Fitur yang membatasi penelusuran ke sebagian indeks dengan menggunakan aturan Boolean. Membatasi disebut juga sebagai "pemfilteran". Dengan Vector Search, Anda dapat menggunakan pemfilteran numerik dan pemfilteran atribut teks.