Vector Search è un potente motore di ricerca vettoriale basato su una tecnologia all'avanguardia sviluppata da Google Research. Sfruttando l' ScaNN , Vector Search ti consente di creare sistemi di ricerca e suggerimenti di nuova generazione, nonché applicazioni di AI generativa.
Puoi usufruire della stessa ricerca e tecnologia alla base dei prodotti Google principali, tra cui la Ricerca Google, YouTube e Google Play. Ciò significa che ottieni la scalabilità, la disponibilità e le prestazioni affidabili per gestire set di dati di grandi dimensioni e fornire risultati rapidissimi su scala globale. Con Vector Search, hai a disposizione una soluzione di livello enterprise per implementare funzionalità di ricerca semantica all'avanguardia nelle tue applicazioni.
|
|
Infinite Fleurs: scopri la creatività assistita dall'AI in piena fioritura |
|
Inizia
Demo interattiva di Vector Search: dai un'occhiata alla demo dal vivo per un esempio realistico di ciò che la tecnologia di ricerca vettoriale può fare e inizia a utilizzare Vector Search.
Guida rapida di Vector Search: prova Vector Search in 30 minuti creando, eseguendo il deployment e interrogando un indice della Ricerca vettoriale utilizzando un set di dati di esempio. Questo tutorial tratta la configurazione, la preparazione dei dati, la creazione dell'indice, il deployment, l'esecuzione di query e la pulizia.
Prima di iniziare: prepara gli embedding scegliendo e addestrando un modello e preparando i dati. Poi, scegli un endpoint pubblico o privato in cui eseguire il deployment dell'indice di query.
Prezzi e calcolatore prezzi di Vector Search: i prezzi di Vector Search includono il costo delle macchine virtuali utilizzate per ospitare gli indici di cui è stato eseguito il deployment, nonché le spese per la creazione e l'aggiornamento degli indici. Anche una configurazione minima (meno di 100 $al mese) può supportare un throughput elevato per casi d'uso di dimensioni moderate. Per stimare i costi mensili:
- Vai al Calcolatore prezzi di Google Cloud.
- Fai clic su Aggiungi alla stima.
- Cerca Vertex AI.
- Fai clic sul pulsante Vertex AI.
- Scegli Vertex AI Vector Search dal menu a discesa Tipo di servizio.
- Mantieni le impostazioni predefinite o configura le tue. Il costo mensile stimato viene visualizzato nel riquadro Dettagli dei costi.
Documentazione
Casi d'uso e blog
La tecnologia di ricerca vettoriale sta diventando un hub centrale per le aziende che utilizzano l'AI. Analogamente al funzionamento dei database relazionali nei sistemi IT, collega vari elementi aziendali come documenti, contenuti, prodotti, utenti, eventi e altre entità in base alla loro pertinenza. Oltre a cercare contenuti multimediali convenzionali come documenti e immagini, Vector Search può anche fornire suggerimenti intelligenti, abbinare problemi aziendali a soluzioni e persino collegare i segnali IoT agli avvisi di monitoraggio. È uno strumento versatile essenziale per orientarsi nel panorama in crescita dei dati aziendali basati sull'AI.
|
Ricerca / recupero di informazioni
Sistemi di suggerimenti |
In che modo la ricerca vettoriale di Vertex AI aiuta a sbloccare app di AI generativa ad alte prestazioni: Vector Search supporta diverse applicazioni, tra cui e-commerce, sistemi RAG e motori per suggerimenti, oltre a chatbot, ricerca multimodale e altro ancora. La ricerca ibrida migliora ulteriormente i risultati per i termini di nicchia. Clienti come Bloomreach, eBay e Mercado Libre utilizzano Vertex AI per le sue prestazioni, la scalabilità e la convenienza, ottenendo vantaggi come ricerche più rapide e un aumento delle conversioni. **eBay utilizza Vector Search per i suggerimenti**: evidenzia in che modo eBay utilizza Vector Search per il suo sistema di suggerimenti. Questa tecnologia consente a eBay di trovare prodotti simili all'interno del suo ampio catalogo, migliorando l'esperienza utente. **Mercari sfrutta la tecnologia di ricerca vettoriale di Google per creare un nuovo marketplace**: spiega in che modo Mercari utilizza Vector Search per migliorare la sua nuova piattaforma di marketplace. Vector Search supporta i suggerimenti della piattaforma, aiutando gli utenti a trovare i prodotti pertinenti in modo più efficace. Vertex AI Embeddings per i testi: grounding degli LLM semplificato: si concentra sul grounding degli LLM utilizzando Vertex AI Embeddings per i dati di testo. Vector Search svolge un ruolo importante nella ricerca di passaggi di testo pertinenti che garantiscono che le risposte del modello siano basate su informazioni oggettive. Che cos'è la ricerca multimodale: gli "LLM con visione" cambiano le aziende: tratta della ricerca multimodale, che combina gli LLM con la comprensione visiva. Spiega in che modo Vector Search elabora e confronta i dati di testo e immagine, consentendo esperienze di ricerca più complete. Sblocca la ricerca multimodale su larga scala: combina la potenza di testo e ricerca immagini con Vertex AI: descrive la creazione di un motore di ricerca multimodale con Vertex AI che combina la ricerca di testo e ricerca immagini utilizzando un metodo di insieme di classificazione reciproca con bias di rango ponderato. Ciò migliora l'esperienza utente e fornisce risultati più pertinenti. **Scalare il deep retrieval con TensorFlow Recommenders e Vector Search**: spiega come creare un sistema di suggerimenti per le playlist utilizzando TensorFlow Recommenders e Vector Search, trattando i modelli di deep retrieval, l'addestramento, il deployment e la scalabilità. |
|
AI generativa: recupero per RAG e agenti |
Vertex AI e Denodo sbloccano i dati aziendali con l'AI generativa: mostra in che modo l'integrazione di Vertex AI con Denodo consente alle aziende di utilizzare l'AI generativa per ottenere insight dai propri dati. Vector Search è fondamentale per accedere e analizzare in modo efficiente i dati pertinenti all'interno di un ambiente aziendale. Infinite Nature e la natura dei settori: questa demo 'selvaggia' mostra le diverse possibilità dell'AI: mostra una demo che illustra il potenziale dell'AI in diversi settori. Utilizza Vector Search per fornire suggerimenti generativi e ricerca semantica multimodale. Infinite Fleurs: scopri la creatività assistita dall'AI in piena fioritura: Infinite Fleurs di Google, un esperimento di AI che utilizza i modelli Vector Search, Gemini e Imagen, genera bouquet di fiori unici in base ai prompt degli utenti. Questa tecnologia dimostra il potenziale dell'AI per ispirare la creatività in vari settori. LlamaIndex per RAG su Google Cloud: descrive come utilizzare LlamaIndex per facilitare la generazione aumentata dal recupero (RAG) con modelli linguistici di grandi dimensioni. LlamaIndex utilizza Vector Search per recuperare informazioni pertinenti da una knowledge base, ottenendo risposte più accurate e contestualmente appropriate. **RAG e grounding su Vertex AI**: esamina le tecniche RAG e di grounding su Vertex AI. Vector Search aiuta a identificare le informazioni di grounding pertinenti durante il recupero, il che rende i contenuti generati più accurati e affidabili. **Vector Search su LangChain:** fornisce una guida all'utilizzo di Vector Search con LangChain per creare ed eseguire il deployment di un indice di database vettoriale per i dati di testo, inclusi il question answering e l'elaborazione dei PDF. |
|
BI, analisi dei dati, monitoraggio e altro ancora |
Abilitare l'AI in tempo reale con l'importazione in streaming in Vertex AI: esplora l'aggiornamento in streaming in Vector Search e in che modo fornisce funzionalità di AI in tempo reale. Questa tecnologia consente l'elaborazione e l'analisi in tempo reale dei flussi di dati in entrata. |
Risorse correlate
Puoi utilizzare le seguenti risorse per iniziare a utilizzare Vector Search:
Notebooks e soluzioni
|
|
|
Guida rapida di Vertex AI Vector Search: fornisce una panoramica di Vector Search. È progettata per gli utenti che non hanno familiarità con la piattaforma e vogliono iniziare rapidamente. |
Inizia a utilizzare gli embedding di testo e la ricerca vettoriale: introduce gli embedding di testo e la ricerca vettoriale. Spiega come funzionano queste tecnologie e come possono essere utilizzate per migliorare i risultati di ricerca. |
|
|
|
Combinare la ricerca semantica e per parole chiave: un tutorial sulla ricerca ibrida con Vertex AI Vector Search: fornisce istruzioni su come utilizzare Vector Search per la ricerca ibrida. Tratta i passaggi necessari per configurare e configurare un sistema di ricerca ibrida. |
**Vertex AI RAG Engine con Vector Search**: esplora l'utilizzo di Vertex AI RAG Engine con Vector Search. Tratta i vantaggi dell'utilizzo congiunto di queste due tecnologie e fornisce esempi di come possono essere utilizzate in applicazioni reali. |
|
|
|
Infrastruttura per un'applicazione di AI generativa compatibile con RAG utilizzando Vertex AI e Vector Search: descrive in dettaglio l'architettura per la creazione di un'applicazione di AI generativa e RAG utilizzando Vector Search, Cloud Run e Cloud Storage, trattando casi d'uso, scelte di progettazione e considerazioni chiave. |
Implementare il recupero a due torri per la generazione di candidati su larga scala: fornisce un'architettura di riferimento che mostra come implementare un flusso di lavoro di generazione di candidati a due torri end-to-end con Vertex AI. Il framework di modellazione a due torri è una potente tecnica di recupero per i casi d'uso di personalizzazione perché apprende la similarità semantica tra due entità diverse, come le query web e gli elementi candidati. |
Formazione
Inizia a utilizzare Vector Search ed embedding Vector Search viene utilizzato per trovare elementi simili o correlati. Può essere utilizzato per suggerimenti, ricerca, chatbot e classificazione del testo. La procedura prevede la creazione di embedding, il loro caricamento Google Cloud, e l'indicizzazione per l'esecuzione di query. Questo lab si concentra sugli embedding di testo utilizzando Vertex AI, ma gli embedding possono essere generati per altri tipi di dati.
Ricerca vettoriale ed embedding Questo corso introduce la Ricerca vettoriale e descrive come può essere utilizzato per creare un'applicazione di ricerca con le API dei modelli linguistici di grandi dimensioni (LLM) per gli embedding. Il corso è composto da lezioni concettuali su Vector Search e sugli embedding di testo, demo pratiche su come creare Vector Search su Vertex AI e un lab pratico.
Comprendere e applicare gli embedding di testo
L'API Vertex AI Embeddings genera embedding di testo, che sono
rappresentazioni numeriche del testo utilizzate per attività come l'identificazione di elementi simili.
In questo corso, utilizzerai gli embedding di testo per attività come la classificazione e la ricerca semantica e combinerai la ricerca semantica con gli LLM per creare sistemi di question answering utilizzando Vertex AI.
Machine Learning Crash Course: embedding Questo corso introduce gli embedding di parole, mettendoli a confronto con le rappresentazioni sparse. Esplora i metodi per ottenere gli embedding e distingue tra embedding statici e contestuali.
Prodotti correlati
Vertex AI Embeddings Fornisce una panoramica dell'API Embeddings. Casi d'uso di embedding di testo e multimodali, insieme a link ad altre risorse e servizi correlati. Google Cloud
API di classificazione di Vertex AI Search L'API di classificazione riordina i documenti in base alla pertinenza di una query utilizzando un modello linguistico preaddestrato, fornendo punteggi precisi. È ideale per migliorare i risultati di ricerca da varie fonti, inclusa Vector Search.
Vertex AI Feature StoreConsente di gestire e pubblicare i dati delle caratteristiche utilizzando BigQuery come origine dati. Fornisce risorse per l'erogazione online, fungendo da livello di metadati per erogare i valori delle caratteristiche più recenti direttamente da BigQuery. Feature Store consente il recupero immediato dei valori delle caratteristiche per gli elementi restituiti da Vector Store per le query.
Vertex AI Pipelines Vertex AI Pipelines consente l'automazione, il monitoraggio e la governance dei tuoi sistemi ML in modo serverless orchestrando i flussi di lavoro ML con le pipeline ML. Puoi eseguire le pipeline ML definite utilizzando Kubeflow Pipelines o il framework TensorFlow Extended (TFX) in batch. Le pipeline consentono di creare pipeline automatizzate per generare embedding, creare e aggiornare gli indici di Vector Search e formare una configurazione MLOps per i sistemi di ricerca e suggerimenti di produzione.
Risorse di approfondimento
Migliorare il caso d'uso dell'AI generativa con gli embedding e i tipi di attività di Vertex AI Si concentra sul miglioramento delle applicazioni di AI generativa utilizzando gli embedding e i tipi di attività di Vertex AI. Vector Search può essere utilizzato con gli embedding di tipo di attività per migliorare il contesto e l'accuratezza dei contenuti generati trovando informazioni più pertinenti.
TensorFlow Recommenders Una libreria open source per la creazione di sistemi di suggerimenti. Semplifica la procedura dalla preparazione dei dati al deployment e supporta la creazione di modelli flessibili. TFRS offre tutorial e risorse e consente la creazione di modelli di suggerimenti sofisticati.
TensorFlow Ranking TensorFlow Ranking è una libreria open source per la creazione di modelli di apprendimento neurale learning-to-rank (LTR) scalabili. Supporta varie funzioni di perdita e metriche di classificazione, con applicazioni in ricerca, suggerimenti e altri campi. La libreria è sviluppata attivamente da Google AI.
Annuncio di ScaNN: ricerca efficiente della similarità vettoriale ScaNN di Google, un algoritmo per la ricerca efficiente della similarità vettoriale, utilizza una tecnica innovativa per migliorare l'accuratezza e la velocità nella ricerca dei vicini più prossimi. Supera i metodi esistenti e ha ampie applicazioni nelle attività di machine learning che richiedono la ricerca semantica. Gli sforzi di ricerca di Google riguardano varie aree, tra cui l'ML di base e gli impatti sociali dell'AI.
SOAR: nuovi algoritmi per una ricerca vettoriale ancora più veloce con ScaNN L'algoritmo SOAR di Google migliora l'efficienza di Vector Search introducendo la ridondanza controllata, consentendo ricerche più rapide con indici più piccoli. SOAR assegna i vettori a più cluster, creando percorsi di ricerca di "backup" per migliorare le prestazioni.
Video correlati
Inizia a utilizzare Vector Search con Vertex AI
Vector Search è un potente strumento per la creazione di applicazioni basate sull'AI. Questo video introduce la tecnologia e fornisce una guida passo passo per iniziare.
Scopri la ricerca ibrida con Vector Search
Vector Search può essere utilizzato per la ricerca ibrida, consentendoti di combinare la potenza della ricerca vettoriale con la flessibilità e la velocità di un motore di ricerca convenzionale. Questo video introduce la ricerca ibrida e mostra come utilizzare Vector Search per la ricerca ibrida.
Stai già utilizzando Vector Search! Ecco come diventare un esperto
Sapevi che probabilmente utilizzi la ricerca vettoriale ogni giorno senza rendertene conto? Dalla ricerca di quel prodotto sfuggente sui social media al ritrovamento di una canzone che ti è rimasta in testa, la ricerca vettoriale è la magia dell'AI dietro queste esperienze quotidiane.
Il nuovo embedding di "tipo di attività" del team di DeepMind migliora la qualità della ricerca RAG
Migliora l'accuratezza e la pertinenza dei tuoi sistemi RAG con i nuovi embedding di tipo di attività sviluppati dal team di Google DeepMind. Guarda e scopri le sfide comuni nella qualità della ricerca RAG e in che modo gli embedding di tipo di attività possono colmare efficacemente il divario semantico tra domande e risposte, portando a un recupero più efficace e a prestazioni RAG migliorate.
Terminologia di Vector Search
Questo elenco contiene alcuni termini importanti che dovrai comprendere per utilizzare Vector Search:
Vettore: un vettore è un elenco di valori float con magnitudine e direzione. Può essere utilizzato per rappresentare qualsiasi tipo di dati, come numeri, punti nello spazio e direzioni.
Embedding: un embedding è un tipo di vettore utilizzato per rappresentare i dati in modo da acquisirne il significato semantico. Gli embedding vengono in genere creati utilizzando tecniche di machine learning e vengono spesso utilizzati nell'elaborazione del linguaggio naturale (NLP) e in altre applicazioni di machine learning.
Embedding densi: gli embedding densi rappresentano il significato semantico del testo, utilizzando array che contengono principalmente valori diversi da zero. Con gli embedding densi, è possibile restituire risultati di ricerca simili in base alla similarità semantica.
Embedding sparsi: gli embedding sparsi rappresentano la sintassi del testo, utilizzando array ad alta dimensionalità che contengono pochissimi valori diversi da zero rispetto agli embedding densi. Gli embedding sparsi vengono spesso utilizzati per le ricerche per parole chiave.
Ricerca ibrida: la ricerca ibrida utilizza sia gli embedding densi sia quelli sparsi, il che ti consente di eseguire ricerche in base a una combinazione di ricerca per parole chiave e ricerca semantica. Vector Search supporta la ricerca basata su embedding densi, embedding sparsi e ricerca ibrida.
Indice: una raccolta di vettori di cui è stato eseguito il deployment insieme per la ricerca di similarità. I vettori possono essere aggiunti o rimossi da un indice. Le query di ricerca di similarità vengono inviate a un indice specifico e cercano i vettori in quell'indice.
Dati di fatto: un termine che si riferisce alla verifica dell'accuratezza del machine learning rispetto al mondo reale, come un set di dati di fatto.
Richiamo: la percentuale di vicini più prossimi restituiti dall'indice che sono effettivamente i vicini più prossimi reali. Ad esempio, se una query per i 20 vicini più prossimi ha restituito 19 dei vicini più prossimi di fatto, il richiamo è 19/20x100 = 95%.
Limitazione: funzionalità che limita le ricerche a un sottoinsieme dell'indice utilizzando regole booleane. La limitazione è detta anche "filtraggio". Con Vector Search, puoi utilizzare il filtro numerico e il filtro degli attributi di testo.