Vector Search adalah mesin penelusuran vektor canggih yang dibangun di atas teknologi inovatif yang dikembangkan oleh Tim Riset Google. Dengan memanfaatkan algoritma ScaNN, Vector Search memungkinkan Anda membangun sistem penelusuran dan rekomendasi generasi berikutnya serta aplikasi AI generatif.
Anda dapat memanfaatkan riset dan teknologi yang sama yang mendukung produk inti Google, termasuk Google Penelusuran, YouTube, dan Google Play. Artinya, Anda mendapatkan skalabilitas, ketersediaan, dan performa yang tepercaya untuk menangani set data besar dan memberikan hasil secepat kilat dalam skala global. Dengan Vector Search, Anda memiliki solusi tingkat perusahaan untuk menerapkan kemampuan penelusuran semantik canggih di aplikasi Anda sendiri.
|
|
Infinite Fleurs: Temukan kreativitas yang dibantu AI dalam keindahan penuh |
|
Mulai
Demo interaktif Vector Search: Lihat demo live untuk contoh realistis tentang kemampuan teknologi penelusuran vektor dan mulai menggunakan Vector Search.
Mulai cepat Vector Search: Coba Vector Search dalam 30 menit dengan membangun, men-deploy, dan mengkueri indeks Vector Search menggunakan set data contoh. Tutorial ini mencakup penyiapan, penyiapan data, pembuatan indeks, deployment, pembuatan kueri, dan pembersihan.
Sebelum memulai: Siapkan embedding Anda dengan memilih dan melatih model, serta menyiapkan data Anda. Kemudian, pilih endpoint publik atau pribadi untuk men-deploy indeks kueri Anda.
Harga dan kalkulator harga Vector Search: Harga Vector Search mencakup biaya mesin virtual yang digunakan untuk menghosting indeks yang di-deploy, serta biaya untuk membuat dan memperbarui indeks. Bahkan penyiapan minimal (di bawah $100 per bulan) dapat mengakomodasi throughput tinggi untuk kasus penggunaan berukuran sedang. Untuk memperkirakan biaya bulanan Anda:
- Buka kalkulator harga Google Cloud.
- Klik Tambahkan ke estimasi.
- Cari Gemini Enterprise Agent Platform.
- Klik tombol Gemini Enterprise Agent Platform.
- Pilih Gemini Enterprise Agent Platform Vector Search dari drop-down Service type.
- Tetap gunakan setelan default atau konfigurasikan setelan Anda sendiri. Estimasi biaya per bulan ditampilkan di panel Detail biaya.
Dokumentasi
Mengelola indeks dan endpoint
Topik lanjutan
Kasus penggunaan dan blog
Teknologi penelusuran vektor menjadi hub utama bagi bisnis yang menggunakan AI. Mirip dengan cara kerja database relasional dalam sistem IT, teknologi ini menghubungkan berbagai elemen bisnis seperti dokumen, konten, produk, pengguna, acara, dan entitas lainnya berdasarkan relevansinya. Selain menelusuri media konvensional seperti dokumen dan gambar, Penelusuran Vektor juga dapat mendukung rekomendasi cerdas, mencocokkan masalah bisnis dengan solusi, dan bahkan menghubungkan sinyal IoT ke pemberitahuan pemantauan. Ini adalah alat serbaguna yang penting untuk menavigasi lanskap data perusahaan yang didukung AI yang terus berkembang.
|
Penelusuran / Pengambilan Informasi
Sistem |
Cara penelusuran vektor Platform Agen Gemini Enterprise membantu membuka aplikasi AI generatif berperforma tinggi: Penelusuran Vektor mendukung berbagai aplikasi, termasuk e-commerce, sistem RAG, dan mesin pemberi rekomendasi, bersama dengan chatbot, penelusuran multimodal, dan banyak lagi. Penelusuran campuran lebih meningkatkan hasil untuk istilah khusus. Pelanggan seperti Bloomreach, eBay, dan Mercado Libre menggunakan Gemini Enterprise Agent Platform karena performa, skalabilitas, dan efektivitas biayanya, sehingga mendapatkan manfaat seperti penelusuran yang lebih cepat dan peningkatan konversi. eBay menggunakan Vector Search untuk rekomendasi: Menyoroti cara eBay menggunakan Vector Search untuk sistem rekomendasinya. Teknologi ini memungkinkan eBay menemukan produk serupa dalam katalognya yang luas, sehingga meningkatkan pengalaman pengguna. Mercari memanfaatkan teknologi penelusuran vektor Google untuk menciptakan marketplace baru: Menjelaskan cara Mercari menggunakan Penelusuran Vektor untuk meningkatkan kualitas platform marketplace barunya. Vector Search mendukung rekomendasi platform, membantu pengguna menemukan produk yang relevan dengan lebih efektif. Gemini Enterprise Agent Platform Embeddings untuk Teks: Cara mudah melakukan grounding LLM: Berfokus pada grounding LLM menggunakan Gemini Enterprise Agent Platform Embeddings untuk data teks. Penelusuran Vektor memainkan peran penting dalam menemukan bagian teks yang relevan yang memastikan respons model didasarkan pada informasi faktual. Apa yang dimaksud dengan Penelusuran Multimodal: "LLM dengan kemampuan visual" mengubah bisnis: Membahas Penelusuran Multimodal, yang menggabungkan LLM dengan pemahaman visual. Artikel ini menjelaskan cara Pemrosesan Vektor memproses dan membandingkan data teks dan gambar, sehingga memungkinkan pengalaman penelusuran yang lebih komprehensif. Membuka penelusuran multimodal dalam skala besar: Menggabungkan kecanggihan teks & penelusuran gambar dengan Gemini Enterprise Agent Platform: Menjelaskan cara membangun mesin telusur multimodal dengan Gemini Enterprise Agent Platform yang menggabungkan penelusuran teks dan penelusuran gambar menggunakan metode ansambel Rank-Biased Reciprocal Rank yang diberi bobot. Hal ini meningkatkan pengalaman pengguna dan memberikan hasil yang lebih relevan. Menskalakan deep retrieval dengan TensorFlow Recommenders dan Vector Search: Menjelaskan cara membuat sistem rekomendasi playlist menggunakan TensorFlow Recommenders dan Vector Search, yang mencakup model deep retrieval, pelatihan, deployment, dan penskalaan. |
|
AI Generatif: pengambilan untuk RAG dan Agen |
Gemini Enterprise Agent Platform dan Denodo membuka data perusahaan dengan AI Generatif: Menunjukkan cara integrasi Gemini Enterprise Agent Platform dengan Denodo memungkinkan bisnis menggunakan AI generatif untuk mendapatkan insight dari data mereka. Vector Search adalah kunci untuk mengakses dan menganalisis data yang relevan secara efisien dalam lingkungan perusahaan. Infinite Nature dan sifat industri: Demo 'liar' ini menunjukkan beragam kemungkinan AI: Menampilkan demo yang mengilustrasikan potensi AI di berbagai industri. Demo ini menggunakan Penelusuran Vektor untuk mendukung rekomendasi generatif dan penelusuran semantik multimodal. Infinite Fleurs: Temukan kreativitas yang dibantu AI dalam keindahan yang sempurna: Infinite Fleurs dari Google, sebuah eksperimen AI yang menggunakan Vector Search dan model Gemini, menghasilkan buket bunga unik berdasarkan perintah pengguna. Teknologi ini menunjukkan potensi AI untuk menginspirasi kreativitas di berbagai industri. LlamaIndex untuk RAG di Google Cloud: Menjelaskan cara menggunakan LlamaIndex untuk memfasilitasi Retrieval-Augmented Generation (RAG) dengan model bahasa besar. LlamaIndex menggunakan Vector Search untuk mengambil informasi yang relevan dari pusat informasi, sehingga menghasilkan respons yang lebih akurat dan sesuai konteks. RAG dan perujukan di Gemini Enterprise Agent Platform: Mempelajari teknik RAG dan perujukan di Gemini Enterprise Agent Platform. Penelusuran Vektor membantu mengidentifikasi informasi perujukan yang relevan selama pengambilan, sehingga konten yang dihasilkan lebih akurat dan andal. Vector Search di LangChain: memberikan panduan untuk menggunakan Vector Search dengan LangChain untuk membangun dan men-deploy indeks database vektor untuk data teks, termasuk pemrosesan PDF dan menjawab pertanyaan. |
|
BI, analisis data, pemantauan, dan lainnya |
Mengaktifkan AI real-time dengan Penyerapan Streaming di Agent Platform: Mempelajari Pembaruan Streaming di Penelusuran Vektor dan cara memberikan kapabilitas AI real-time. Teknologi ini memungkinkan pemrosesan dan analisis aliran data yang masuk secara real-time. |
Referensi terkait
Anda dapat menggunakan referensi berikut untuk mulai menggunakan Penelusuran Vektor:
- Notebook dan solusi
- Tutorial dan pelatihan
- Produk terkait
- Materi pembahasan mendalam yang komprehensif
Notebook dan solusi
|
|
|
Panduan Memulai Penelusuran Vektor Agent Platform: Memberikan ringkasan Vector Search. Dirancang untuk pengguna yang baru menggunakan platform dan ingin segera memulai. |
Memulai Penggunaan Embedding Teks dan Penelusuran Vektor: Memperkenalkan embedding teks dan penelusuran vektor. Dokumen ini menjelaskan cara kerja teknologi tersebut dan cara menggunakannya untuk meningkatkan hasil penelusuran. |
|
|
|
Menggabungkan Penelusuran Semantik & Kata Kunci: Tutorial Penelusuran Hybrid dengan Platform Agen Gemini Enterprise Vector Search: Memberikan petunjuk tentang cara menggunakan Vector Search untuk penelusuran hybrid. Bagian ini mencakup langkah-langkah yang diperlukan dalam menyiapkan dan mengonfigurasi sistem penelusuran hibrida. |
Mesin RAG di Platform Agen Gemini Enterprise dengan Vector Search: Mempelajari penggunaan Mesin RAG dengan Vector Search. Bagian ini membahas manfaat penggunaan kedua teknologi ini bersama-sama dan memberikan contoh cara penggunaannya dalam aplikasi dunia nyata. |
|
|
|
Infrastruktur untuk aplikasi AI generatif berkemampuan RAG menggunakan Gemini Enterprise Agent Platform dan Vector Search: Menjelaskan arsitektur untuk membangun aplikasi AI generatif dan RAG menggunakan Vector Search, Cloud Run, dan Cloud Storage, yang mencakup kasus penggunaan, pilihan desain, dan pertimbangan utama. |
Menerapkan pengambilan dua menara untuk pemilihan kandidat skala besar: Menyediakan arsitektur referensi yang menunjukkan cara menerapkan alur kerja pemilihan kandidat dua menara end-to-end dengan Gemini Enterprise Agent Platform. Framework pemodelan dua menara adalah teknik pengambilan yang efektif untuk kasus penggunaan personalisasi karena mempelajari kesamaan semantik antara dua entitas yang berbeda, seperti kueri web dan item kandidat. |
Pelatihan
Mulai Menggunakan Penelusuran Vektor dan Embedding Penelusuran Vektor digunakan untuk menemukan item yang serupa atau terkait. Penelusuran ini dapat digunakan untuk rekomendasi, penelusuran, chatbot, dan klasifikasi teks. Prosesnya melibatkan pembuatan embedding, menguploadnya ke Google Cloud, dan mengindeksnya untuk membuat kueri. Lab ini berfokus pada embedding teks menggunakan Gemini Enterprise Agent Platform, tetapi embedding dapat dibuat untuk jenis data lainnya.
Penelusuran Vektor dan Embedding Kursus ini memperkenalkan Penelusuran Vektor dan menjelaskan cara menggunakannya untuk membangun aplikasi penelusuran dengan API model bahasa besar (LLM) untuk embedding. Kursus ini terdiri dari materi konseptual tentang Penelusuran Vektor dan embedding teks, demo praktis tentang cara membangun Penelusuran Vektor di Gemini Enterprise Agent Platform, dan lab latihan.
Memahami dan Menerapkan Penyematan Teks
Gemini Enterprise Agent Platform Embeddings API menghasilkan penyematan teks, yang merupakan
representasi numerik teks yang digunakan untuk tugas seperti mengidentifikasi item serupa.
Dalam kursus ini, Anda akan menggunakan embedding teks untuk tugas seperti klasifikasi dan penelusuran semantik, serta menggabungkan penelusuran semantik dengan LLM untuk membangun sistem tanya jawab menggunakan Gemini Enterprise Agent Platform.
Kursus Singkat Machine Learning: Embedding Kursus ini memperkenalkan embedding kata, membandingkannya dengan representasi renggang. Bagian ini membahas metode untuk mendapatkan embedding dan membedakan antara embedding statis dan kontekstual.
Produk terkait
Penyematan Gemini Enterprise Agent Platform Memberikan ringkasan Embeddings API. Kasus penggunaan penyematan multimodal dan teks, beserta link ke resource tambahan dan layanan terkait. Google Cloud
Agent Search ranking API Ranking API mengurutkan ulang dokumen berdasarkan relevansinya dengan kueri menggunakan model bahasa terlatih, sehingga memberikan skor yang akurat. Ideal untuk meningkatkan hasil penelusuran dari berbagai sumber, termasuk Penelusuran Vektor.
Gemini Enterprise Agent Platform Feature Store Memungkinkan Anda mengelola dan menyajikan data fitur menggunakan BigQuery sebagai sumber data. Layanan ini menyediakan resource untuk penyajian online, yang berfungsi sebagai lapisan metadata untuk menyajikan nilai fitur terbaru langsung dari BigQuery. Feature Store memungkinkan pengambilan nilai fitur secara instan untuk item yang ditampilkan Vector Store untuk kueri.
Agent Platform Pipelines Agent Platform Pipelines memungkinkan otomatisasi, pemantauan, dan tata kelola sistem ML Anda tanpa server dengan mengorkestrasi alur kerja ML dengan pipeline ML. Anda dapat menjalankan pipeline ML yang ditentukan menggunakan Kubeflow Pipelines atau framework TensorFlow Extended (TFX) dalam batch. Pipelines memungkinkan pembuatan pipeline otomatis untuk menghasilkan penyematan, membuat dan memperbarui indeks Vector Search, serta membentuk penyiapan MLOps untuk sistem rekomendasi dan penelusuran produksi.
Referensi pembahasan mendalam
Meningkatkan kasus penggunaan AI generatif Anda dengan embedding dan jenis tugas Gemini Enterprise Agent Platform Berfokus pada peningkatan aplikasi AI Generatif menggunakan embedding dan jenis tugas Gemini Enterprise Agent Platform. Vector Search dapat digunakan dengan embedding jenis tugas untuk meningkatkan konteks dan akurasi konten yang dihasilkan dengan menemukan informasi yang lebih relevan.
TensorFlow Recommenders Library open source untuk membangun sistem rekomendasi. Hal ini menyederhanakan proses dari persiapan data hingga deployment dan mendukung pembuatan model yang fleksibel. TFRS menawarkan tutorial dan resource serta memungkinkan pembuatan model rekomendasi yang canggih.
TensorFlow Ranking TensorFlow Ranking adalah library open source untuk membangun model neural learning-to-rank (LTR) yang skalabel. Library ini mendukung berbagai fungsi kerugian dan metrik peringkat, dengan aplikasi dalam penelusuran, rekomendasi, dan bidang lainnya. Library ini dikembangkan secara aktif oleh AI Google.
Mengumumkan ScaNN: Penelusuran Kesamaan Vektor yang Efisien ScaNN Google, sebuah algoritma untuk penelusuran kesamaan vektor yang efisien, menggunakan teknik baru untuk meningkatkan akurasi dan kecepatan dalam menemukan tetangga terdekat. Algoritma ini mengungguli metode yang ada dan memiliki aplikasi yang luas dalam tugas machine learning yang memerlukan penelusuran semantik. Upaya riset Google mencakup berbagai bidang, termasuk ML dasar dan dampak AI terhadap masyarakat.
SOAR: Algoritma baru untuk Penelusuran Vektor yang lebih cepat dengan ScaNN Algoritma SOAR Google meningkatkan efisiensi Penelusuran Vektor dengan memperkenalkan redundansi yang terkontrol, sehingga memungkinkan penelusuran yang lebih cepat dengan indeks yang lebih kecil. SOAR menetapkan vektor ke beberapa cluster, sehingga membuat jalur penelusuran "cadangan" untuk meningkatkan performa.
Video terkait
Mulai Menggunakan Vector Search dengan Agent Platform
Vector Search adalah alat canggih untuk membangun aplikasi dengan teknologi AI. Video ini memperkenalkan teknologi tersebut dan memberikan panduan langkah demi langkah untuk mulai menggunakannya.
Mempelajari Penelusuran Hybrid dengan Penelusuran Vektor
Vector Search dapat digunakan untuk penelusuran campuran, sehingga Anda dapat menggabungkan kecanggihan penelusuran vektor dengan fleksibilitas dan kecepatan mesin telusur konvensional. Video ini memperkenalkan penelusuran campuran dan menunjukkan cara menggunakan Vector Search untuk penelusuran campuran.
Anda Sudah Menggunakan Penelusuran Vektor! Berikut Cara Menjadi Pakar
Tahukah Anda bahwa Anda mungkin menggunakan penelusuran vektor setiap hari tanpa menyadarinya? Mulai dari menemukan produk yang sulit ditemukan di media sosial hingga melacak lagu yang terngiang-ngiang di kepala Anda, penelusuran vektor adalah keajaiban AI di balik pengalaman sehari-hari ini.
Embedding "jenis tugas" baru dari tim DeepMind meningkatkan kualitas penelusuran RAG
Tingkatkan akurasi dan relevansi sistem RAG Anda dengan embedding jenis tugas baru yang dikembangkan oleh tim Google DeepMind. Tonton dan pelajari tantangan umum dalam kualitas penelusuran RAG dan cara embedding jenis tugas dapat secara efektif menjembatani kesenjangan semantik antara pertanyaan dan jawaban, sehingga menghasilkan pengambilan informasi yang lebih efektif dan peningkatan performa RAG.
Terminologi Vector Search
Daftar ini berisi beberapa terminologi penting yang perlu Anda pahami untuk menggunakan Penelusuran Vektor:
Vektor: Vektor adalah daftar nilai float yang memiliki magnitudo dan arah. Atribut ini dapat digunakan untuk merepresentasikan jenis data apa pun, seperti angka, titik dalam ruang, dan arah.
Embedding: Embedding adalah jenis vektor yang digunakan untuk merepresentasikan data dengan cara menangkap makna semantiknya. Embedding biasanya dibuat menggunakan teknik machine learning, dan sering digunakan dalam natural language processing (NLP) dan aplikasi machine learning lainnya.
Embedding padat: Embedding padat merepresentasikan makna semantik teks, menggunakan array yang sebagian besar berisi nilai non-nol. Dengan embedding padat, hasil penelusuran serupa dapat ditampilkan berdasarkan kesamaan semantik.
Embedding renggang: Embedding renggang merepresentasikan sintaksis teks, menggunakan array berdimensi tinggi yang berisi sangat sedikit nilai bukan nol dibandingkan dengan embedding padat. Embedding jarang sering digunakan untuk penelusuran kata kunci.
Penelusuran hybrid: Penelusuran hybrid menggunakan embedding padat dan renggang, yang memungkinkan Anda melakukan penelusuran berdasarkan kombinasi penelusuran kata kunci dan penelusuran semantik. Vector Search mendukung penelusuran berdasarkan embedding padat, embedding jarang, dan penelusuran campuran.
Indeks: Kumpulan vektor yang di-deploy secara bersamaan untuk penelusuran kemiripan. Vektor dapat ditambahkan ke atau dihapus dari indeks. Kueri penelusuran kemiripan dikeluarkan pada indeks tertentu dan menelusuri vektor dalam indeks tersebut.
Kebenaran nyata: Istilah yang mengacu pada verifikasi machine learning untuk memastikan akurasinya terhadap dunia nyata, seperti set data kebenaran nyata.
Perolehan: Persentase tetangga terdekat yang ditampilkan oleh indeks yang sebenarnya merupakan tetangga terdekat yang benar. Misalnya, jika kueri tetangga terdekat untuk 20 tetangga terdekat menampilkan 19 tetangga terdekat dari kebenaran nyata, maka perolehannya adalah 19/20x100 = 95%.
Batasi: Fitur yang membatasi penelusuran ke sebagian indeks dengan menggunakan aturan Boolean. Membatasi disebut juga sebagai "pemfilteran". Dengan Vector Search, Anda dapat menggunakan pemfilteran numerik dan pemfilteran atribut teks.