Penelusuran Vektor adalah mesin telusur vektor canggih yang dibangun di atas teknologi inovatif yang dikembangkan oleh Google Riset. Dengan memanfaatkan algoritma ScaNN, Penelusuran Vektor memungkinkan Anda membangun sistem penelusuran dan rekomendasi generasi berikutnya serta aplikasi AI generatif.
Anda dapat memanfaatkan riset dan teknologi yang sama dengan yang mendukung produk inti Google, termasuk Google Penelusuran, YouTube, dan Google Play. Artinya, Anda mendapatkan skalabilitas, ketersediaan, dan performa yang tepercaya untuk menangani set data yang sangat besar dan memberikan hasil secepat kilat dalam skala global. Dengan Penelusuran Vektor, Anda memiliki solusi tingkat perusahaan untuk menerapkan kemampuan penelusuran semantik yang canggih di aplikasi Anda sendiri.
|
|
Infinite Fleurs: Temukan kreativitas yang dibantu AI dalam mekar penuh |
|
Mulai
Demo interaktif Penelusuran Vektor: Lihat demo langsung untuk mengetahui contoh realistis kemampuan teknologi penelusuran vektor dan memulai Penelusuran Vektor.
Panduan memulai Penelusuran Vektor: Coba Penelusuran Vektor dalam 30 menit dengan membangun, men-deploy, dan mengkueri indeks Penelusuran Vektor menggunakan set data contoh. Tutorial ini membahas penyiapan, persiapan data, pembuatan indeks, deployment, pembuatan kueri, dan pembersihan.
Sebelum memulai: Siapkan embedding Anda dengan memilih dan melatih model, serta menyiapkan data Anda. Kemudian, pilih endpoint publik atau pribadi untuk men-deploy indeks kueri Anda.
Harga dan kalkulator harga Penelusuran Vektor: Harga Penelusuran Vektor mencakup biaya virtual machine yang digunakan untuk menghosting indeks yang di-deploy, serta biaya untuk membangun dan mengupdate indeks. Bahkan penyiapan minimal (di bawah $100 per bulan) dapat mengakomodasi throughput tinggi untuk kasus penggunaan berukuran sedang. Untuk memperkirakan biaya bulanan Anda:
- Buka kalkulator hargaGoogle Cloud.
- Klik Tambahkan ke estimasi.
- Telusuri Gemini Enterprise Agent Platform.
- Klik tombol Gemini Enterprise Agent Platform.
- Pilih Gemini Enterprise Agent Platform Penelusuran Vektor dari menu drop-down Service type.
- Tetap gunakan setelan default atau konfigurasikan setelan Anda sendiri. Perkiraan biaya per bulan ditampilkan di panel Cost details.
Dokumentasi
Mengelola indeks dan endpoint
Topik lanjutan
Kasus penggunaan dan blog
Teknologi penelusuran vektor menjadi hub pusat bagi bisnis yang menggunakan AI. Mirip dengan cara kerja database relasional dalam sistem IT, grafik ini menghubungkan berbagai elemen bisnis seperti dokumen, konten, produk, pengguna, peristiwa, dan entitas lainnya berdasarkan relevansinya. Selain menelusuri media konvensional seperti dokumen dan gambar, Penelusuran Vektor juga dapat mendukung rekomendasi cerdas, mencocokkan masalah bisnis dengan solusi, dan bahkan menautkan sinyal IoT ke pemberitahuan pemantauan. Alat ini serbaguna dan penting untuk mengelola lanskap data perusahaan yang didukung AI yang terus berkembang.
|
Penelusuran/Pengambilan Informasi
Sistem |
Cara penelusuran vektor Gemini Enterprise Agent Platform membantu mendukung aplikasi AI generatif berperforma tinggi: Penelusuran Vektor mendukung beragam aplikasi, termasuk e-commerce, sistem RAG, dan mesin pemberi saran, serta chatbot, penelusuran multimodal, dan lainnya. Penelusuran campuran makin meningkatkan kualitas hasil untuk istilah khusus. Pelanggan seperti Bloomreach, eBay, dan Mercado Libre menggunakan Gemini Enterprise Agent Platform karena performa, skalabilitas, dan efektivitas biayanya, sehingga memperoleh manfaat seperti penelusuran yang lebih cepat dan peningkatan konversi. eBay menggunakan Penelusuran Vektor untuk rekomendasi: Menyoroti cara eBay menggunakan Penelusuran Vektor untuk sistem rekomendasinya. Teknologi ini memungkinkan eBay menemukan produk serupa dalam katalognya yang luas, sehingga meningkatkan pengalaman pengguna. Mercari memanfaatkan teknologi penelusuran vektor Google untuk menciptakan marketplace baru: Menjelaskan cara Mercari menggunakan Penelusuran Vektor untuk meningkatkan platform marketplace barunya. Penelusuran Vektor mendukung rekomendasi platform, sehingga membantu pengguna menemukan produk yang relevan secara lebih efektif. Embedding Gemini Enterprise Agent Platform untuk Teks: Grounding LLM menjadi mudah: Berfokus pada grounding LLM menggunakan Embedding Gemini Enterprise Agent Platform untuk data teks. Penelusuran Vektor berperan penting dalam menemukan bagian teks yang relevan yang memastikan respons model didasarkan pada informasi faktual. What is Multimodal Search: "LLMs with vision" change businesses: Membahas Penelusuran Multimodal, yang menggabungkan LLM dengan pemahaman visual. Video ini menjelaskan cara Penelusuran Vektor memproses dan membandingkan data teks dan gambar, sehingga memungkinkan pengalaman penelusuran yang lebih komprehensif. Membuka penelusuran multimodal dalam skala besar: Menggabungkan kekuatan teks & gambar dengan Gemini Enterprise Agent Platform: Menjelaskan cara membangun mesin telusur multimodal dengan Gemini Enterprise Agent Platform yang menggabungkan penelusuran teks dan gambar menggunakan metode ensemble Rank-Biased Reciprocal Rank berbobot. Hal ini akan meningkatkan pengalaman pengguna dan memberikan hasil yang lebih relevan. Menskalakan deep retrieval dengan TensorFlow Recommenders dan Penelusuran Vektor: Menjelaskan cara membangun sistem rekomendasi playlist menggunakan TensorFlow Recommenders dan Penelusuran Vektor, yang mencakup model deep retrieval, pelatihan, deployment, dan penskalaan. |
|
AI Generatif: pengambilan untuk RAG dan Agen |
Gemini Enterprise Agent Platform dan Denodo membuka data perusahaan dengan AI Generatif: Menunjukkan cara integrasi Gemini Enterprise Agent Platform dengan Denodo memungkinkan bisnis menggunakan AI generatif untuk mendapatkan insight dari data mereka. Penelusuran Vektor adalah kunci untuk mengakses dan menganalisis data yang relevan secara efisien dalam lingkungan perusahaan. Infinite Nature dan sifat industri: Demo 'liar' ini menunjukkan berbagai kemungkinan AI: Menampilkan demo yang menggambarkan potensi AI di berbagai industri. Alat ini menggunakan Penelusuran Vektor untuk mendukung rekomendasi generatif dan penelusuran semantik multimodal. Infinite Fleurs: Temukan kreativitas yang dibantu AI dalam mekar penuh: Infinite Fleurs dari Google, eksperimen AI yang menggunakan Penelusuran Vektor, model Gemini, menghasilkan buket bunga unik berdasarkan perintah pengguna. Teknologi ini menunjukkan potensi AI untuk menginspirasi kreativitas di berbagai industri. LlamaIndex untuk RAG di Google Cloud: Menjelaskan cara menggunakan LlamaIndex untuk memfasilitasi Retrieval Augmented Generation (RAG) dengan model bahasa besar. LlamaIndex menggunakan Penelusuran Vektor untuk mengambil informasi yang relevan dari pusat informasi, sehingga menghasilkan respons yang lebih akurat dan sesuai konteks. RAG dan grounding di Gemini Enterprise Agent Platform: Mempelajari teknik RAG dan grounding di Gemini Enterprise Agent Platform. Penelusuran Vektor membantu mengidentifikasi informasi grounding yang relevan selama pengambilan, sehingga membuat konten yang dihasilkan lebih akurat dan andal. Penelusuran Vektor di LangChain: menyediakan panduan penggunaan Penelusuran Vektor dengan LangChain untuk membangun dan men-deploy indeks database vektor untuk data teks, termasuk tanya jawab dan pemrosesan PDF. |
|
BI, analisis data, pemantauan, dan lainnya |
Mengaktifkan AI real-time dengan Penyerapan Streaming di Agent Platform: Mengeksplorasi Update Streaming di Penelusuran Vektor dan cara update ini menyediakan kemampuan AI real-time. Teknologi ini memungkinkan pemrosesan dan analisis aliran data masuk secara real-time. |
Referensi terkait
Anda dapat menggunakan referensi berikut untuk mulai menggunakan Penelusuran Vektor:
Notebook dan solusi
|
|
|
Panduan Memulai Penelusuran Vektor Agent Platform: Memberikan ringkasan tentang Penelusuran Vektor. Panduan ini dirancang untuk pengguna yang baru mengenal platform ini dan ingin memulai dengan cepat. |
Memulai Embeddings Teks dan Penelusuran Vektor: Memperkenalkan embeddings teks dan penelusuran vektor. Artikel ini menjelaskan cara kerja teknologi tersebut dan cara penggunaannya untuk meningkatkan hasil penelusuran. |
|
|
|
Menggabungkan Penelusuran Semantik & Kata Kunci: Tutorial Penelusuran Hybrid dengan Penelusuran Vektor Gemini Enterprise Agent Platform: Memberikan petunjuk tentang cara menggunakan Penelusuran Vektor untuk penelusuran hybrid. Tutorial ini membahas langkah-langkah yang diperlukan dalam menyiapkan dan mengonfigurasi sistem penelusuran campuran. |
Mesin RAG di Gemini Enterprise Agent Platform dengan Penelusuran Vektor: Mengeksplorasi penggunaan Mesin RAG dengan Penelusuran Vektor. Artikel ini membahas manfaat penggunaan kedua teknologi ini secara bersamaan dan memberikan contoh cara penggunaannya dalam aplikasi dunia nyata. |
|
|
|
Infrastruktur untuk aplikasi AI generatif berkemampuan RAG menggunakan Gemini Enterprise Agent Platform dan Penelusuran Vektor: Menjelaskan arsitektur untuk membangun aplikasi AI generatif dan RAG menggunakan Penelusuran Vektor, Cloud Run, dan Cloud Storage, yang mencakup kasus penggunaan, pilihan desain, dan pertimbangan utama. |
Menerapkan pengambilan dua menara untuk pembuatan kandidat skala besar: Menyediakan arsitektur referensi yang menunjukkan cara menerapkan alur kerja pembuatan kandidat dua menara end-to-end dengan Gemini Enterprise Agent Platform. Framework pemodelan dua menara adalah teknik pengambilan yang efektif untuk kasus penggunaan personalisasi karena mempelajari kesamaan semantik antara dua entity yang berbeda, seperti kueri web dan item kandidat. |
Pelatihan
Memulai Penelusuran Vektor dan Embedding Penelusuran Vektor digunakan untuk menemukan item yang serupa atau terkait. Layanan ini dapat digunakan untuk rekomendasi, penelusuran, chatbot, dan klasifikasi teks. Prosesnya melibatkan pembuatan embedding, menguploadnya ke Google Cloud, dan mengindeksnya untuk membuat kueri. Lab ini berfokus pada embedding teks menggunakan Gemini Enterprise Agent Platform, tetapi embedding dapat dibuat untuk jenis data lainnya.
Penelusuran Vektor dan Embedding Kursus ini memperkenalkan Penelusuran Vektor dan menjelaskan bagaimana layanan ini dapat digunakan untuk membangun aplikasi penelusuran dengan API model bahasa besar (LLM) untuk embedding. Kursus ini terdiri atas materi konseptual terkait Penelusuran Vektor dan embedding teks, demo praktis tentang cara membangun Penelusuran Vektor di Gemini Enterprise Agent Platform, serta lab latihan.
Memahami dan Menerapkan Embedding Teks
Embeddings API Gemini Enterprise Agent Platform menghasilkan embedding teks, yang merupakan
representasi numerik teks yang digunakan untuk tugas seperti mengidentifikasi item serupa.
Dalam kursus ini, Anda akan menggunakan embedding teks untuk tugas seperti klasifikasi dan penelusuran semantik, serta menggabungkan penelusuran semantik dengan LLM untuk membangun sistem tanya jawab menggunakan Gemini Enterprise Agent Platform.
Kursus Singkat Machine Learning: Embedding Kursus ini memperkenalkan embedding kata, yang membedakannya dengan representasi renggang. Bagian ini membahas metode untuk memperoleh embedding dan membedakan antara embedding statis dan kontekstual.
Produk terkait
Embedding Gemini Enterprise Agent Platform Memberikan ringkasan Embeddings API. Kasus penggunaan embedding teks dan multimodal, beserta link ke referensi tambahan dan layanan Google Cloud terkait.
Agent Search ranking API Ranking API memberi peringkat ulang dokumen berdasarkan relevansi dengan kueri menggunakan model bahasa terlatih, sehingga memberikan skor yang akurat. Model ini ideal untuk meningkatkan hasil penelusuran dari berbagai sumber, termasuk Penelusuran Vektor.
Gemini Enterprise Agent Platform Feature Store Memungkinkan Anda mengelola dan menyajikan data fitur menggunakan BigQuery sebagai sumber data. Layanan ini menyediakan resource untuk penyaluran online, yang berfungsi sebagai lapisan metadata untuk menyalurkan nilai fitur terbaru langsung dari BigQuery. Agent Platform Feature Store memungkinkan pengambilan nilai fitur secara instan untuk item yang ditampilkan Vector Store untuk kueri.
Agent Platform Pipelines Agent Platform Pipelines memungkinkan otomatisasi, pemantauan, dan tata kelola sistem ML Anda secara serverless dengan mengorkestrasi alur kerja ML dengan pipeline ML. Anda dapat menjalankan pipeline ML yang ditentukan menggunakan Kubeflow Pipelines atau framework TensorFlow Extended (TFX) dalam batch. Pipelines memungkinkan pembuatan pipeline otomatis untuk menghasilkan embedding, membuat dan memperbarui indeks Penelusuran Vektor, serta membentuk penyiapan MLOps untuk sistem penelusuran dan sistem rekomendasi produksi.
Referensi pembahasan mendalam
Meningkatkan kasus penggunaan AI generatif Anda dengan embedding dan jenis tugas Gemini Enterprise Agent Platform Berfokus pada peningkatan aplikasi AI Generatif menggunakan Embedding dan jenis tugas Gemini Enterprise Agent Platform. Penelusuran Vektor dapat digunakan dengan embedding jenis tugas untuk meningkatkan konteks dan akurasi konten yang dihasilkan dengan menemukan informasi yang lebih relevan.
TensorFlow Recommenders Library open source untuk membangun sistem rekomendasi. Vertex AI menyederhanakan proses mulai dari persiapan data hingga deployment dan mendukung pembuatan model yang fleksibel. TFRS menawarkan tutorial dan referensi serta memungkinkan pembuatan model rekomendasi yang canggih.
TensorFlow Ranking TensorFlow Ranking adalah library open source untuk membangun model neural learning-to-rank (LTR) yang skalabel. TF-Ranking mendukung berbagai fungsi kerugian dan metrik peringkat, dengan aplikasi dalam penelusuran, rekomendasi, dan bidang lainnya. Library ini dikembangkan secara aktif oleh AI Google.
Mengumumkan ScaNN: Penelusuran Kesamaan Vektor yang Efisien ScaNN Google, algoritma untuk penelusuran kesamaan vektor yang efisien, menggunakan teknik baru untuk meningkatkan akurasi dan kecepatan dalam menemukan tetangga terdekat. Model ini mengungguli metode yang ada dan memiliki aplikasi yang luas dalam tugas machine learning yang memerlukan penelusuran semantik. Upaya riset Google mencakup berbagai bidang, termasuk ML dasar dan dampak sosial AI.
SOAR: Algoritma baru untuk Penelusuran Vektor yang lebih cepat dengan ScaNN Algoritma SOAR Google meningkatkan efisiensi Penelusuran Vektor dengan memperkenalkan redundansi terkontrol, sehingga memungkinkan penelusuran yang lebih cepat dengan indeks yang lebih kecil. SOAR menetapkan vektor ke beberapa cluster, sehingga membuat jalur penelusuran "cadangan" untuk meningkatkan performa.
Video terkait
Memulai Penggunaan Penelusuran Vektor menggunakan Agent Platform
Penelusuran Vektor adalah alat yang canggih untuk membangun aplikasi yang didukung AI. Video ini memperkenalkan teknologi tersebut dan memberikan panduan langkah demi langkah untuk memulai.
Mempelajari Penelusuran Campuran dengan Penelusuran Vektor
Penelusuran Vektor dapat digunakan untuk penelusuran campuran, sehingga Anda dapat menggabungkan kemampuan penelusuran vektor dengan fleksibilitas dan kecepatan mesin telusur konvensional. Video ini memperkenalkan penelusuran campuran dan menunjukkan cara menggunakan Penelusuran Vektor untuk penelusuran campuran.
Anda Sudah Menggunakan Penelusuran Vektor. Berikut Cara Menjadi Pakar
Tahukah Anda bahwa Anda mungkin menggunakan penelusuran vektor setiap hari tanpa menyadarinya? Mulai dari menemukan produk yang sulit ditemukan di media sosial hingga melacak lagu yang terngiang-ngiang di kepala Anda, penelusuran vektor adalah keajaiban AI di balik pengalaman sehari-hari ini.
Embedding "jenis tugas" baru dari tim DeepMind meningkatkan kualitas penelusuran RAG
Tingkatkan akurasi dan relevansi sistem RAG Anda dengan embedding jenis tugas baru yang dikembangkan oleh tim Google DeepMind. Tonton dan pelajari tantangan umum dalam kualitas penelusuran RAG dan cara embedding jenis tugas dapat secara efektif menjembatani kesenjangan semantik antara pertanyaan dan jawaban, sehingga menghasilkan pengambilan yang lebih efektif dan performa RAG yang lebih baik.
Terminologi Penelusuran Vektor
Daftar ini berisi beberapa terminologi penting yang perlu Anda pahami untuk menggunakan Penelusuran Vektor:
Vektor: Vektor adalah daftar nilai float yang memiliki magnitudo dan arah. Atribut ini dapat digunakan untuk merepresentasikan jenis data apa pun, seperti angka, titik dalam ruang, dan arah.
Embedding: Embedding adalah jenis vektor yang digunakan untuk merepresentasikan data dengan cara menangkap makna semantiknya. Embedding biasanya dibuat menggunakan teknik machine learning, dan sering digunakan dalam natural language processing (NLP) dan aplikasi machine learning lainnya.
Embedding rapat: Embedding rapat merepresentasikan makna semantik teks, menggunakan array yang sebagian besar berisi nilai bukan nol. Dengan embedding padat, hasil penelusuran yang serupa dapat ditampilkan berdasarkan kemiripan semantik.
Embedding renggang: Embedding renggang merepresentasikan sintaksis teks, menggunakan array berdimensi tinggi yang berisi sangat sedikit nilai bukan nol dibandingkan dengan embedding rapat. Embedding sparse sering digunakan untuk penelusuran kata kunci.
Penelusuran campuran: Penelusuran campuran menggunakan embedding padat dan renggang, yang memungkinkan Anda menelusuri berdasarkan kombinasi penelusuran kata kunci dan penelusuran semantik. Penelusuran Vektor mendukung penelusuran berdasarkan embedding rapat, embedding sparse, dan penelusuran campuran.
Indeks: Kumpulan vektor yang di-deploy secara bersamaan untuk penelusuran kemiripan. Vektor dapat ditambahkan ke atau dihapus dari indeks. Kueri penelusuran kemiripan dikeluarkan pada indeks tertentu dan menelusuri vektor dalam indeks tersebut.
Kebenaran nyata: Istilah yang mengacu pada verifikasi machine learning untuk memastikan akurasinya terhadap dunia nyata, seperti set data kebenaran nyata.
Perolehan: Persentase tetangga terdekat yang ditampilkan oleh indeks yang sebenarnya merupakan tetangga terdekat yang sebenarnya. Misalnya, jika kueri tetangga terdekat untuk 20 tetangga terdekat menampilkan 19 tetangga terdekat dari kebenaran nyata, maka perolehannya adalah 19/20x100 = 95%.
Batasi: Fitur yang membatasi penelusuran ke sebagian indeks dengan menggunakan aturan Boolean. Membatasi disebut juga sebagai "pemfilteran". Dengan Penelusuran Vektor, Anda dapat menggunakan pemfilteran numerik dan pemfilteran atribut teks.