Vector Search adalah mesin penelusuran vektor canggih yang dibangun dengan teknologi inovatif yang dikembangkan oleh Google Research. Dengan memanfaatkan algoritma ScaNN, Vector Search memungkinkan Anda membangun sistem penelusuran dan rekomendasi generasi berikutnya serta aplikasi AI generatif.
Anda dapat memanfaatkan riset dan teknologi yang sama yang mendukung produk inti Google, termasuk Google Penelusuran, YouTube, dan Google Play. Artinya, Anda mendapatkan skalabilitas, ketersediaan, dan performa yang tepercaya untuk menangani set data besar dan memberikan hasil secepat kilat dalam skala global. Dengan Vector Search, Anda memiliki solusi tingkat perusahaan untuk menerapkan kemampuan penelusuran semantik canggih di aplikasi Anda sendiri.
|
|
Infinite Fleurs: Temukan kreativitas yang dibantu AI dalam kondisi terbaik |
|
Mulai
Demo interaktif Vector Search: Lihat demo live untuk contoh realistis tentang kemampuan teknologi penelusuran vektor dan dapatkan keunggulan dengan Vector Search.
Panduan memulai Vector Search: Coba Vector Search dalam 30 menit dengan membangun, men-deploy, dan membuat kueri indeks Vector Search menggunakan set data contoh. Tutorial ini mencakup penyiapan, persiapan data, pembuatan indeks, deployment, pembuatan kueri, dan pembersihan.
Sebelum memulai: Siapkan embedding Anda dengan memilih dan melatih model, serta menyiapkan data Anda. Kemudian, pilih endpoint publik atau pribadi untuk men-deploy indeks kueri Anda.
Harga Vector Search dan kalkulator harga: Harga Vector Search mencakup biaya mesin virtual yang digunakan untuk menghosting indeks yang di-deploy, serta biaya untuk membangun dan memperbarui indeks. Bahkan penyiapan minimal (di bawah $100 per bulan) dapat mengakomodasi throughput tinggi untuk kasus penggunaan berukuran sedang. Untuk memperkirakan biaya bulanan Anda:
- Buka kalkulator harga Google Cloud.
- Klik Tambahkan ke estimasi.
- Telusuri Gemini Enterprise Agent Platform.
- Klik tombol Gemini Enterprise Agent Platform.
- Pilih Gemini Enterprise Agent Platform Vector Search dari menu drop-down Jenis layanan.
- Pertahankan setelan default atau konfigurasi setelan Anda sendiri. Perkiraan biaya per bulan ditampilkan di panel Detail biaya.
Dokumentasi
Mengelola indeks dan endpoint
Topik lanjutan
Kasus penggunaan dan blog
Teknologi penelusuran vektor menjadi hub pusat bagi bisnis yang menggunakan AI. Mirip dengan fungsi database relasional dalam sistem IT, teknologi ini menghubungkan berbagai elemen bisnis seperti dokumen, konten, produk, pengguna, peristiwa, dan entity lainnya berdasarkan relevansinya. Selain menelusuri media konvensional seperti dokumen dan gambar, Vector Search juga dapat mendukung rekomendasi cerdas, mencocokkan masalah bisnis dengan solusi, dan bahkan menautkan sinyal IoT ke peringatan pemantauan. Alat ini serbaguna dan penting untuk menavigasi lanskap data perusahaan yang didukung AI dan terus berkembang.
|
Penelusuran / Pengambilan Informasi
Sistem |
Cara penelusuran vektor Gemini Enterprise Agent Platform membantu membuka aplikasi AI generatif berperforma tinggi: Vector Search mendukung berbagai aplikasi, termasuk e-commerce, sistem RAG, dan mesin rekomendasi, serta chatbot, penelusuran multimodal dan lainnya. Penelusuran hybrid lebih meningkatkan hasil untuk istilah khusus. Pelanggan seperti Bloomreach, eBay, dan Mercado Libre menggunakan Gemini Enterprise Agent Platform karena performa, skalabilitas, dan efektivitas biayanya, sehingga mendapatkan manfaat seperti penelusuran yang lebih cepat dan peningkatan konversi. **eBay menggunakan Vector Search untuk rekomendasi**: Menjelaskan cara eBay menggunakan Vector Search untuk sistem rekomendasinya. Teknologi ini memungkinkan eBay menemukan produk serupa dalam katalognya yang luas, sehingga meningkatkan pengalaman pengguna. **Mercari memanfaatkan teknologi penelusuran vektor Google untuk menciptakan marketplace baru**: Menjelaskan cara Mercari menggunakan Vector Search untuk meningkatkan platform marketplace barunya. Vector Search mendukung rekomendasi platform, sehingga membantu pengguna menemukan produk yang relevan dengan lebih efektif. **Embedding Gemini Enterprise Agent Platform untuk Teks: Grounding LLM menjadi mudah**: Berfokus pada grounding LLM menggunakan Embedding Gemini Enterprise Agent Platform untuk data teks. Vector Search berperan penting dalam menemukan bagian teks yang relevan yang memastikan respons model didasarkan pada informasi faktual. Apa itu Penelusuran Multimodal: "LLM dengan visi" mengubah bisnis: Membahas Penelusuran Multimodal, yang menggabungkan LLM dengan pemahaman visual. Penelusuran ini menjelaskan cara Vector Search memproses dan membandingkan data teks dan gambar, sehingga memungkinkan pengalaman penelusuran yang lebih komprehensif. Membuka penelusuran multimodal dalam skala besar: Gabungkan kemampuan teks & gambar dengan Gemini Enterprise Agent Platform: Menjelaskan cara membangun mesin penelusuran multimodal dengan Gemini Enterprise Agent Platform yang menggabungkan penelusuran teks dan gambar menggunakan metode ensemble Rank-Biased Reciprocal Rank berbobot. Hal ini meningkatkan pengalaman pengguna dan memberikan hasil yang lebih relevan results. Menskalakan deep retrieval dengan Pemberi Rekomendasi TensorFlow dan Vector Search: Menjelaskan cara membangun sistem rekomendasi playlist menggunakan Pemberi Rekomendasi TensorFlow dan Vector Search, yang mencakup model deep retrieval, pelatihan, deployment, dan penskalaan. |
|
AI Generatif: pengambilan untuk RAG dan Agen |
**Gemini Enterprise Agent Platform dan Denodo membuka data perusahaan dengan AI Generatif**: Menunjukkan cara integrasi Gemini Enterprise Agent Platform dengan Denodo memungkinkan bisnis menggunakan AI generatif untuk mendapatkan insight dari data mereka. Vector Search adalah kunci untuk mengakses dan menganalisis data yang relevan secara efisien dalam lingkungan perusahaan. Infinite Nature dan sifat industri: Demo 'wild' ini menunjukkan beragam kemungkinan AI: Menampilkan demo yang mengilustrasikan potensi AI di berbagai industri. Demo ini menggunakan Vector Search untuk mendukung rekomendasi generatif dan penelusuran semantik multimodal. Infinite Fleurs: Temukan kreativitas yang dibantu AI dalam kondisi terbaik: Infinite Fleurs Google, eksperimen AI yang menggunakan Vector Search, model Gemini, menghasilkan buket bunga unik berdasarkan perintah pengguna. Teknologi ini menunjukkan potensi AI untuk menginspirasi kreativitas di berbagai industri. LlamaIndex untuk RAG di Google Cloud: Menjelaskan cara menggunakan LlamaIndex untuk memfasilitasi Retrieval Augmented Generation (RAG) dengan model bahasa besar. LlamaIndex menggunakan Vector Search untuk mengambil informasi yang relevan dari pusat informasi, sehingga menghasilkan respons yang lebih akurat dan sesuai konteks. **RAG dan grounding di Gemini Enterprise Agent Platform**: Memeriksa teknik RAG dan grounding di Gemini Enterprise Agent Platform. Vector Search membantu mengidentifikasi informasi grounding yang relevan selama pengambilan, sehingga membuat konten yang dihasilkan lebih akurat dan andal. **Vector Search di LangChain:** memberikan panduan untuk menggunakan Vector Search dengan LangChain untuk membangun dan men-deploy indeks database vektor untuk data teks, termasuk pemrosesan PDF dan tanya jawab. |
|
BI, analisis data, pemantauan, dan lainnya |
Mengaktifkan AI real-time dengan Streaming Ingestion di Agent Platform: Menjelaskan Streaming Update di Vector Search dan cara teknologi ini menyediakan kemampuan AI real-time. Teknologi ini memungkinkan pemrosesan real-time dan analisis untuk aliran data yang masuk. |
Referensi terkait
Anda dapat menggunakan referensi berikut untuk memulai Vector Search:
Notebook dan solusi
|
|
|
Panduan Memulai Penelusuran Vektor Platform Agen: Memberikan ringkasan Vector Search. Panduan ini dirancang untuk pengguna yang baru menggunakan platform dan ingin segera memulai. |
**Memulai Embedding Teks dan Penelusuran Vektor**: Memperkenalkan embedding teks dan penelusuran vektor. Panduan ini menjelaskan cara kerja teknologi ini dan cara teknologi ini dapat digunakan untuk meningkatkan hasil penelusuran. |
|
|
|
Menggabungkan Penelusuran Semantik & Kata Kunci: Tutorial Penelusuran Hybrid dengan Platform Agen Gemini Enterprise Penelusuran Vektor: Memberikan petunjuk tentang cara menggunakan Vector Search untuk penelusuran hybrid. Tutorial ini mencakup langkah-langkah yang diperlukan untuk menyiapkan dan mengonfigurasi sistem penelusuran hybrid. |
**Mesin RAG Platform Agen Gemini Enterprise dengan Vector Search**: Menjelaskan penggunaan Mesin RAG Platform Agen Gemini Enterprise dengan Vector Search. Tutorial ini membahas manfaat penggunaan kedua teknologi ini bersama-sama dan memberikan contoh cara teknologi ini dapat digunakan dalam aplikasi dunia nyata. |
|
|
|
Infrastruktur untuk aplikasi AI generatif berkemampuan RAG menggunakan Platform Agen Gemini Enterprise dan Vector Search: Menjelaskan arsitektur untuk membangun aplikasi AI generatif dan RAG menggunakan Vector Search, Cloud Run, dan Cloud Storage, yang mencakup kasus penggunaan, pilihan desain, dan pertimbangan utama. |
Menerapkan pengambilan dua tower untuk pembuatan kandidat skala besar: Menyediakan arsitektur referensi yang menunjukkan cara menerapkan alur kerja pembuatan kandidat dua tower end-to-end dengan Platform Agen Gemini Enterprise. Framework pemodelan dua tower adalah teknik pengambilan yang canggih untuk kasus penggunaan personalisasi karena mempelajari kemiripan semantik antara dua entity yang berbeda, seperti kueri web dan item kandidat. |
Pelatihan
Memulai Penelusuran Vektor dan Embedding Vector Search digunakan untuk menemukan item yang serupa atau terkait. Teknologi ini dapat digunakan untuk rekomendasi, penelusuran, chatbot, dan klasifikasi teks. Prosesnya melibatkan pembuatan embedding, menguploadnya ke Google Cloud, dan mengindeksnya untuk kueri. Lab ini berfokus pada embedding teks menggunakan Platform Agen Gemini Enterprise, tetapi embedding dapat dibuat untuk jenis data lainnya.
Penelusuran Vektor dan Embedding Kursus ini memperkenalkan Vector Search dan menjelaskan cara layanan ini dapat digunakan untuk membangun aplikasi penelusuran dengan API model bahasa besar (LLM) untuk embedding. Kursus ini terdiri atas materi konseptual terkait Vector Search dan embedding teks, demo praktis tentang cara membangun Vector Search di Platform Agen Gemini Enterprise, serta lab praktik.
Memahami dan Menerapkan Embedding Teks
Gemini Enterprise Agent Platform Embeddings API menghasilkan embedding teks, yang merupakan
representasi numerik teks yang digunakan untuk tugas seperti mengidentifikasi item yang serupa.
Dalam kursus ini, Anda akan menggunakan embedding teks untuk tugas seperti klasifikasi dan penelusuran semantik, serta menggabungkan penelusuran semantik dengan LLM untuk membangun sistem tanya jawab menggunakan Platform Agen Gemini Enterprise.
**Kursus Singkat Machine Learning: Embedding** Kursus ini memperkenalkan embedding kata, yang membandingkannya dengan representasi renggang. Kursus ini membahas metode untuk mendapatkan embedding dan membedakan antara embedding statis dan kontekstual.
Produk terkait
Embedding Platform Agen Gemini Enterprise Memberikan ringkasan Embeddings API. Kasus penggunaan embedding teks dan multimodal, beserta link ke referensi tambahan dan layanan terkait Google Cloud
API peringkat Agent Search API peringkat memberi peringkat ulang dokumen berdasarkan relevansi dengan kueri menggunakan model bahasa yang telah dilatih sebelumnya, sehingga memberikan skor yang akurat. API ini ideal untuk meningkatkan hasil penelusuran dari berbagai sumber, termasuk Vector Search.
Feature Store Platform Agen Gemini Enterprise Memungkinkan Anda mengelola dan menyajikan data fitur menggunakan BigQuery sebagai sumber data. Layanan ini menyediakan resource untuk penyaluran online, yang bertindak sebagai lapisan metadata untuk menyajikan nilai fitur terbaru langsung dari BigQuery. Feature Store memungkinkan pengambilan nilai fitur secara instan untuk item yang ditampilkan Vector Store untuk kueri.
Pipeline Platform Agen Gemini Enterprise Pipeline Platform Agen Gemini Enterprise memungkinkan otomatisasi, pemantauan, dan pengelolaan sistem ML Anda secara tanpa server dengan mengorkestrasi alur kerja ML dengan pipeline ML. Anda dapat menjalankan pipeline ML yang ditentukan menggunakan Kubeflow Pipelines atau framework TensorFlow Extended (TFX) dalam batch. Pipeline memungkinkan pembuatan pipeline otomatis untuk menghasilkan embedding, membuat dan memperbarui indeks Vector Search, serta membentuk penyiapan MLOps untuk sistem penelusuran dan rekomendasi produksi.
Referensi pembahasan mendalam
Meningkatkan kasus penggunaan AI generatif Anda dengan embedding dan jenis tugas Platform Agen Gemini Enterprise Berfokus pada peningkatan aplikasi AI Generatif menggunakan Embedding dan jenis tugas Platform Agen Gemini Enterprise. Vector Search dapat digunakan dengan embedding jenis tugas untuk meningkatkan konteks dan akurasi konten yang dihasilkan dengan menemukan informasi yang lebih relevan.
Pemberi Rekomendasi TensorFlow Library open source untuk membangun sistem rekomendasi. Library ini menyederhanakan proses dari persiapan data hingga deployment dan mendukung pembuatan model yang fleksibel. TFRS menawarkan tutorial dan referensi serta memungkinkan pembuatan model rekomendasi yang canggih.
Peringkat TensorFlow Peringkat TensorFlow adalah library open source untuk membangun model neural learning-to-rank (LTR) yang skalabel. Library ini mendukung berbagai fungsi kerugian dan metrik peringkat, dengan aplikasi dalam penelusuran, rekomendasi, dan bidang lainnya. Library ini dikembangkan secara aktif oleh Google AI.
Mengumumkan ScaNN: Penelusuran Kesamaan Vektor yang Efisien ScaNN Google, algoritma untuk penelusuran kesamaan vektor yang efisien, menggunakan teknik baru untuk meningkatkan akurasi dan kecepatan dalam menemukan tetangga terdekat. Algoritma ini mengungguli metode yang ada dan memiliki aplikasi yang luas dalam tugas machine learning yang memerlukan penelusuran semantik. Upaya riset Google mencakup berbagai bidang, termasuk ML dasar dan dampak AI terhadap masyarakat.
SOAR: Algoritma baru untuk Vector Search yang lebih cepat dengan ScaNN Algoritma SOAR Google meningkatkan efisiensi Vector Search dengan memperkenalkan redundansi terkontrol, sehingga memungkinkan penelusuran yang lebih cepat dengan indeks yang lebih kecil. SOAR menetapkan vektor ke beberapa cluster, sehingga membuat jalur penelusuran "cadangan" untuk meningkatkan performa.
Video terkait
Memulai Vector Search menggunakan Agent Platform
Vector Search adalah alat yang canggih untuk membangun aplikasi yang didukung AI. Video ini memperkenalkan teknologi tersebut dan memberikan panduan langkah demi langkah untuk memulai.
Mempelajari Penelusuran Hybrid dengan Vector Search
Vector Search dapat digunakan untuk penelusuran hybrid, sehingga Anda dapat menggabungkan kemampuan penelusuran vektor dengan fleksibilitas dan kecepatan mesin telusur konvensional. Video ini memperkenalkan penelusuran hybrid dan menunjukkan cara menggunakan Vector Search untuk penelusuran hybrid.
Anda Sudah Menggunakan Vector Search! Berikut Cara Menjadi Ahli
Tahukah Anda bahwa Anda mungkin menggunakan penelusuran vektor setiap hari tanpa menyadarinya? Mulai dari menemukan produk yang sulit ditemukan di media sosial hingga menemukan lagu yang terngiang di kepala Anda, penelusuran vektor adalah keajaiban AI di balik pengalaman sehari-hari ini.
Embedding "jenis tugas" baru dari tim DeepMind meningkatkan kualitas penelusuran RAG
Tingkatkan akurasi dan relevansi sistem RAG Anda dengan embedding jenis tugas baru yang dikembangkan oleh tim Google DeepMind. Tonton dan pelajari tantangan umum dalam kualitas penelusuran RAG dan cara embedding jenis tugas dapat secara efektif menjembatani kesenjangan semantik antara pertanyaan dan jawaban, sehingga menghasilkan pengambilan yang lebih efektif dan meningkatkan performa RAG.
Terminologi Vector Search
Daftar ini berisi beberapa terminologi penting yang perlu Anda pahami untuk menggunakan Vector Search:
Vektor: Vektor adalah daftar nilai float yang memiliki magnitudo dan arah. Atribut ini dapat digunakan untuk merepresentasikan jenis data apa pun, seperti angka, titik dalam ruang, dan arah.
Embedding: Embedding adalah jenis vektor yang digunakan untuk merepresentasikan data dengan cara menangkap makna semantiknya. Embedding biasanya dibuat menggunakan teknik machine learning, dan sering digunakan dalam natural language processing (NLP) dan aplikasi machine learning lainnya.
Embedding padat: Embedding padat merepresentasikan makna semantik teks, menggunakan array yang sebagian besar berisi nilai bukan nol. Dengan embedding padat, hasil penelusuran yang serupa dapat ditampilkan berdasarkan kemiripan semantik.
Embedding renggang: Embedding renggang merepresentasikan sintaksis teks, menggunakan array berdimensi tinggi yang berisi sangat sedikit nilai bukan nol dibandingkan dengan embedding padat. Embedding renggang sering digunakan untuk penelusuran kata kunci.
Penelusuran hybrid: Penelusuran hybrid menggunakan embedding padat dan renggang, yang memungkinkan Anda menelusuri berdasarkan kombinasi penelusuran kata kunci dan penelusuran semantik. Vector Search mendukung penelusuran berdasarkan embedding padat, embedding renggang, dan penelusuran hybrid.
Indeks: Kumpulan vektor yang di-deploy secara bersamaan untuk penelusuran kemiripan. Vektor dapat ditambahkan ke atau dihapus dari indeks. Kueri penelusuran kemiripan dikeluarkan pada indeks tertentu dan menelusuri vektor dalam indeks tersebut.
Kebenaran nyata: Istilah yang mengacu pada verifikasi machine learning untuk memastikan akurasinya terhadap dunia nyata, seperti set data kebenaran nyata.
Perolehan: Persentase tetangga terdekat yang ditampilkan oleh indeks yang sebenarnya merupakan tetangga terdekat yang benar. Misalnya, jika kueri tetangga terdekat untuk 20 tetangga terdekat menampilkan 19 tetangga terdekat dari kebenaran nyata, maka perolehannya adalah 19/20x100 = 95%.
Batasi: Fitur yang membatasi penelusuran ke sebagian indeks dengan menggunakan aturan Boolean. Membatasi disebut juga sebagai "pemfilteran". Dengan Vector Search, Anda dapat menggunakan pemfilteran numerik dan pemfilteran atribut teks.