Genera embedding

Seleziona una versione della documentazione:

Questa pagina mostra come utilizzare AlloyDB come strumento di modello linguistico di grandi dimensioni (LLM) e generare vector embedding basati su un LLM.

Per saperne di più sull'utilizzo dei modelli di machine learning con AlloyDB Omni, consulta Creare applicazioni di AI generativa.

AlloyDB ti consente di utilizzare un LLM ospitato da Vertex AI per tradurre una stringa di testo in un embedding, ovvero la rappresentazione del modello del significato semantico del testo fornito come vettore numerico. Per saperne di più sul supporto di Vertex AI per i text embedding, consulta Text embedding.

Prima di iniziare

Per consentire ad AlloyDB di generare embedding, assicurati di soddisfare i seguenti requisiti:

Restrizioni regionali

Puoi generare embedding nelle regioni in cui è disponibile l'AI generativa su Vertex AI. Per un elenco delle regioni, consulta Località dell'AI generativa su Vertex AI .

Per AlloyDB, assicurati che sia il cluster AlloyDB sia il modello Vertex AI su cui stai eseguendo query si trovino nella stessa regione.

Estensione del database richiesta

  • Assicurati che l'estensione google_ml_integration sia installata nel database AlloyDB.

    CREATE EXTENSION google_ml_integration;
    

    Questa estensione è inclusa in AlloyDB. Puoi installarla su qualsiasi database del cluster.

  • Imposta il flag del database google_ml_integration.enable_model_support su off.

Configurare l'accesso al modello

Prima di poter generare embedding da un database AlloyDB, devi configurare AlloyDB in modo che funzioni con un modello di text embedding.

Per utilizzare il modello basato su cloud textembeddings-gecko, devi installare AlloyDB Omni con AlloyDB AI.

Concedere agli utenti del database l'accesso per generare embedding

Concedi agli utenti del database l'autorizzazione a eseguire la funzione embedding per eseguire le previsioni:

  1. Connetti un client psql all'istanza principale del cluster, come descritto in Eseguire e connettersi ad AlloyDB Omni.

  2. Al prompt dei comandi psql, connettiti al database e concedi le autorizzazioni:

    \c DB_NAME
    
    GRANT EXECUTE ON FUNCTION embedding TO USER_NAME;
    

    Sostituisci quanto segue:

    • DB_NAME: il nome del database su cui devono essere concesse le autorizzazioni

    • USER_NAME: il nome dell'utente a cui devono essere concesse le autorizzazioni

Generare un embedding

AlloyDB fornisce una funzione che consente di tradurre il testo in un vector embedding. Puoi quindi archiviare l'embedding nel database come dati vettoriali e, facoltativamente, utilizzare le funzioni pgvector per basare le query su di esso.

Per generare un embedding utilizzando AlloyDB, utilizza la funzione embedding() fornita dall'estensione google_ml_integration:

SELECT embedding( 'MODEL_IDVERSION_TAG', 'TEXT');

Sostituisci quanto segue:

  • MODEL_ID: l'ID del modello su cui eseguire la query.

    Se utilizzi Vertex AI Model Garden, specifica textembedding-gecko@003 come ID modello. Questi sono i modelli basati su cloud che AlloyDB può utilizzare per i text embedding. Per saperne di più, consulta Text embedding.

  • (Facoltativo) VERSION_TAG: il tag della versione del modello su cui eseguire la query. Anteponi il tag con @.

    Se utilizzi uno dei modelli in inglese textembedding-gecko con Vertex AI, specifica uno dei tag della versione, ad esempio textembedding-gecko@003, elencati in Versioni del modello.

    Google consiglia vivamente di specificare sempre il tag della versione. Se non specifichi il tag della versione, AlloyDB utilizza sempre la versione più recente del modello, il che potrebbe portare a risultati imprevisti.

  • TEXT: il testo da tradurre in un vector embedding.

L'esempio seguente utilizza la versione 003 dei modelli in inglese textembedding-gecko per generare un embedding basato su una stringa letterale fornita:

SELECT embedding('textembedding-gecko@003', 'AlloyDB is a managed, cloud-hosted SQL database service.');

Archiviare gli embedding

Gli embedding generati utilizzando l'google_ml_integration estensione vengono implementati come array di valori real. Questi embedding generati vengono passati come input per le funzioni di estensione pgvector.

Per archiviare questo valore in una tabella, aggiungi una colonna real[]:

ALTER TABLE TABLE ADD COLUMN EMBEDDING_COLUMN real[DIMENSIONS];

Dopo aver creato una colonna per archiviare gli embedding, puoi popolarla in base ai valori già archiviati in un'altra colonna della stessa tabella:

UPDATE TABLE SET EMBEDDING_COLUMN = embedding('MODEL_IDVERSION_TAG', SOURCE_TEXT_COLUMN);

Sostituisci quanto segue:

  • TABLE: il nome della tabella

  • EMBEDDING_COLUMN: il nome della colonna di embedding

  • MODEL_ID: l'ID del modello su cui eseguire la query.

    Se utilizzi Vertex AI Model Garden, specifica textembedding-gecko@003 come ID modello. Questi sono i modelli basati su cloud che AlloyDB può utilizzare per i text embedding. Per saperne di più, consulta Text embedding.

  • (Facoltativo) VERSION_TAG: il tag della versione del modello su cui eseguire la query. Anteponi il tag con @.

    Se utilizzi uno dei modelli in inglese textembedding-gecko con Vertex AI, specifica uno dei tag della versione, ad esempio textembedding-gecko@003, elencati in Versioni del modello.

    Google consiglia vivamente di specificare sempre il tag della versione. Se non specifichi il tag della versione, AlloyDB utilizza sempre la versione più recente del modello, il che potrebbe portare a risultati imprevisti.

  • SOURCE_TEXT_COLUMN: il nome della colonna che memorizza il testo da tradurre in embedding

Puoi utilizzare anche la embedding() funzione per tradurre il testo in un vettore. Applica il vettore all' pgvectoroperatore di ricerca del vicino più prossimo, <->, per trovare le righe del database con gli embedding semanticamente più simili.

Poiché embedding() restituisce un array real, devi eseguire il cast esplicito della chiamata embedding() a vector per utilizzare questi valori con gli operatori pgvector.

  CREATE EXTENSION google_ml_integration;
  CREATE EXTENSION IF NOT EXISTS vector;

  SELECT * FROM TABLE
    ORDER BY EMBEDDING_COLUMN::vector
    <-> embedding('MODEL_IDVERSION_TAG', 'TEXT')
    LIMIT ROW_COUNT

Utilizzare i tag della versione del modello per evitare errori

Google consiglia vivamente di utilizzare sempre una versione stabile del modello di embedding scelto. Per la maggior parte dei modelli, ciò significa impostare esplicitamente un tag della versione.

La chiamata alla funzione embedding() senza specificare il tag della versione del modello è sintatticamente valida, ma è anche soggetta a errori.

Se ometti il tag della versione quando utilizzi un modello in Vertex AI Model Garden, Vertex AI utilizza la versione più recente del modello. Potrebbe non essere l'ultima versione stabile. Per saperne di più sulle versioni dei modelli Vertex AI disponibili, consulta Versioni del modello.

Una determinata versione del modello Vertex AI restituisce sempre la stessa risposta embedding() all'input di testo fornito. Se non specifichi le versioni del modello nelle chiamate a embedding(), una nuova versione del modello pubblicata può modificare improvvisamente il vettore restituito per un determinato input, causando errori o altri comportamenti imprevisti nelle tue applicazioni.

Per evitare questi problemi, specifica sempre la versione del modello.

Risoluzione dei problemi

ERRORE: Modello non trovato per model_id

Messaggio di errore

Quando provi a generare un embedding utilizzando la funzione embedding() o google_ml.embedding(), si verifica il seguente errore:

ERROR: 'Model not found for model_id:

  • Esegui l'upgrade dell'estensione google_ml_integration e riprova a generare gli embedding.

    ALTER EXTENSION google_ml_integration UPDATE;
    

    Puoi anche eliminare l'estensione e poi ricrearla.

    DROP extension google_ml_integration;
    CREATE EXTENSION google_ml_integration;
    
  • Se generi embedding utilizzando la funzione google_ml.embedding(), assicurati che il modello sia registrato e che tu stia utilizzando il model_id corretto nella query.

Passaggi successivi