Gli embedding sono rappresentazioni numeriche di testo, immagini o video che acquisiscono le relazioni tra gli input. I modelli di machine learning, in particolare i modelli di AI generativa, sono adatti alla creazione di embedding identificando i pattern all'interno di set di dati di grandi dimensioni. Le applicazioni possono utilizzare gli embedding per elaborare e produrre il linguaggio, riconoscendo significati complessi e relazioni semantiche specifiche per i tuoi contenuti.
Vertex AI su Google Distributed Cloud (GDC) con air gap supporta le API Text Embedding per l'input di testo in inglese e multilingue. Text Embedding funziona convertendo il testo in array di numeri in rappresentazione in virgola mobile chiamati vettori. Questi vettori sono progettati per acquisire il significato del testo. La lunghezza dell'array di embedding è chiamata dimensionalità del vettore. Ad esempio, un passaggio di testo potrebbe essere rappresentato da un vettore contenente centinaia di dimensioni. Quindi, calcolando la distanza numerica tra le rappresentazioni vettoriali di due brani di testo, un'applicazione può determinare la somiglianza tra gli oggetti.
Per un elenco dei modelli supportati, consulta la pagina Modelli di embedding.
Per un elenco delle lingue multilingue supportate, consulta la pagina Lingue di embedding di testo supportate.
Casi d'uso degli embedding di testo
Ecco alcuni casi d'uso comuni per gli embedding di testo:
- Ricerca semantica: ricerca di testo classificato in base alla somiglianza semantica.
- Classificazione: restituisce la classe di elementi con attributi simili al testo fornito.
- Clustering: raggruppa gli elementi i cui attributi di testo sono simili al testo fornito.
- Rilevamento di valori anomali: restituisce gli elementi in cui gli attributi di testo sono meno correlati al testo fornito.
- Interfaccia conversazionale: raggruppa gruppi di frasi che possono portare a risposte simili, come in uno spazio di embedding a livello di conversazione.
Esempio di caso d'uso: sviluppare una chat bot per i consigli sui libri
Se vuoi sviluppare una chat bot per i consigli sui libri, la prima cosa da fare è utilizzare una rete neurale profonda (DNN) per convertire ogni libro in un vettore di embedding, dove un vettore di embedding rappresenta un libro. Puoi inserire il titolo del libro o il contenuto del testo come input nella DNN. In alternativa, puoi utilizzare entrambi questi input insieme a eventuali altri metadati che descrivono il libro, ad esempio il genere.
Gli embedding in questo esempio potrebbero includere migliaia di titoli di libri con riepiloghi e il loro genere. Potrebbe avere rappresentazioni per libri come Cime tempestose di Emily Brontë e Persuasione di Jane Austen che sono simili tra loro (piccola distanza tra la rappresentazione numerica). Al contrario, la rappresentazione numerica del libro Il grande Gatsby di F. Scott Fitzgerald sarebbe più lontana, poiché il periodo di tempo, il genere e il riepilogo sono meno simili.
Gli input sono l'influenza principale sull'orientamento dello spazio di embedding. Ad esempio, se avessimo solo input di titoli di libri, due libri con titoli simili ma riepiloghi molto diversi potrebbero essere vicini. Tuttavia, se includiamo il titolo e il riepilogo, questi stessi libri sono meno simili (più distanti) nello spazio di embedding.
Utilizzando l'AI generativa, questa chat bot per i suggerimenti sui libri potrebbe riassumere, suggerire e mostrarti i libri che ti potrebbero piacere (o non piacere) in base alla tua query.
Passaggi successivi
- Scopri come ottenere gli embedding di testo.