Genera embedding

Seleziona una versione della documentazione:

Questa pagina mostra come utilizzare AlloyDB Omni come strumento di modello linguistico di grandi dimensioni (LLM) e generare vector embedding basati su un LLM.

Per saperne di più sull'utilizzo dei modelli di ML con AlloyDB Omni, consulta Crea applicazioni di AI generativa utilizzando AlloyDB AI.

AlloyDB Omni ti consente di utilizzare un LLM ospitato da Vertex AI per tradurre una stringa di testo in un embedding, ovvero la rappresentazione del modello del significato semantico del testo fornito come vettore numerico. Per saperne di più sul supporto di Vertex AI per i text embedding, consulta Text embedding.

Prima di iniziare

Per consentire ad AlloyDB Omni di generare embedding, assicurati di soddisfare i seguenti requisiti:

Restrizioni regionali

Puoi generare embedding nelle regioni in cui è disponibile l'AI generativa su Vertex AI. Per un elenco delle regioni, consulta Località dell'AI generativa su Vertex AI .

Per AlloyDB Omni, assicurati che sia il cluster AlloyDB Omni sia il modello Vertex AI su cui stai eseguendo query si trovino nella stessa regione.

Estensione del database richiesta

  • Assicurati che l'estensione google_ml_integration sia installata nel database AlloyDB Omni.

    CREATE EXTENSION IF NOT EXISTS google_ml_integration;

    Questa estensione è inclusa in AlloyDB Omni. Puoi installarla su qualsiasi database del cluster.

  • Imposta il flag del database google_ml_integration.enable_model_support su off.

Configurare l'accesso al modello

Prima di poter generare embedding da un database AlloyDB Omni, devi configurare AlloyDB Omni in modo che funzioni con un modello di text embedding.

Per utilizzare il modello text-embedding basato su cloud, devi integrare il database con con Vertex AI.

Concedere agli utenti del database l'accesso per generare embedding

Concedi agli utenti del database l'autorizzazione a eseguire la funzione embedding per eseguire le previsioni:

  1. Connetti un client psql all'istanza principale del cluster, come descritto in Connettersi utilizzando psql in container.

  2. Al prompt dei comandi psql, connettiti al database e concedi le autorizzazioni:

    \c DB_NAME

GRANT EXECUTE ON FUNCTION embedding TO USER_NAME;

    Sostituisci quanto segue:

    • DB_NAME: il nome del database su cui devono essere concesse le autorizzazioni

    • USER_NAME: il nome dell'utente a cui devono essere concesse le autorizzazioni

Generare un embedding

AlloyDB Omni fornisce una funzione che ti consente di tradurre il testo in un vector embedding. Puoi quindi archiviare l'embedding nel database come dati vettoriali e, facoltativamente, utilizzare le funzioni pgvector per basare le query su di esso.

Per generare un embedding utilizzando AlloyDB Omni, utilizza la funzione embedding() fornita dall'estensione google_ml_integration:

SELECT embedding( 'MODEL_IDVERSION_TAG', 'TEXT');

Sostituisci quanto segue:

  • MODEL_ID: l'ID del modello su cui eseguire query.

    Se utilizzi Vertex AI Model Garden, specifica text-embedding-005 come ID modello. Questi sono i modelli basati su cloud che AlloyDB Omni può utilizzare per i text embedding. Per saperne di più, consulta Text embedding.

  • (Facoltativo) VERSION_TAG: il tag della versione del modello su cui eseguire query. Anteponi il tag con @.

    Se utilizzi uno dei modelli in inglese text-embedding con Vertex AI, specifica uno dei tag della versione, ad esempio text-embedding-005, elencati in Versioni del modello.

    Google consiglia vivamente di specificare sempre il tag della versione. Se non specifichi il tag della versione, AlloyDB utilizza sempre la versione più recente del modello, il che potrebbe portare a risultati imprevisti.

  • TEXT: il testo da tradurre in un vector embedding.

L'esempio seguente utilizza la versione 005 dei modelli in inglese text-embedding per generare un embedding basato su una stringa letterale fornita:

SELECT embedding('text-embedding-005', 'AlloyDB is a managed, cloud-hosted SQL database service.');

Archiviare gli embedding

Gli embedding generati utilizzando l'google_ml_integration estensione vengono implementati come array di valori real. Questi embedding generati vengono passati come input per le funzioni di estensione pgvector.

Per archiviare questo valore in una tabella, aggiungi una colonna real[]:

ALTER TABLE TABLE ADD COLUMN EMBEDDING_COLUMN real[DIMENSIONS];

Dopo aver creato una colonna per archiviare gli embedding, puoi popolarla in base ai valori già archiviati in un'altra colonna della stessa tabella:

UPDATE TABLE SET EMBEDDING_COLUMN = embedding('MODEL_IDVERSION_TAG', SOURCE_TEXT_COLUMN);

Sostituisci quanto segue:

  • TABLE: il nome della tabella

  • EMBEDDING_COLUMN: il nome della colonna di embedding

  • MODEL_ID: l'ID del modello su cui eseguire query.

    Se utilizzi Vertex AI Model Garden, specifica text-embedding-005 come ID modello. Questi sono i modelli basati su cloud che AlloyDB Omni può utilizzare per i text embedding. Per saperne di più, consulta Text embedding.

  • (Facoltativo) VERSION_TAG: il tag della versione del modello su cui eseguire query. Anteponi il tag con @.

    Se utilizzi uno dei modelli in inglese text-embedding con Vertex AI, specifica uno dei tag della versione, ad esempio text-embedding-005, elencati in Versioni del modello.

    Google consiglia vivamente di specificare sempre il tag della versione. Se non specifichi il tag della versione, AlloyDB utilizza sempre la versione più recente del modello, il che potrebbe portare a risultati imprevisti.

  • SOURCE_TEXT_COLUMN: il nome della colonna che memorizza il testo da tradurre in embedding

Puoi utilizzare anche la embedding() funzione per tradurre il testo in un vettore. Applica il vettore all' pgvectoroperatore di ricerca del vicino più prossimo, <->, per trovare le righe del database con gli embedding semanticamente più simili.

Poiché embedding() restituisce un array real, devi eseguire il cast esplicito della chiamata embedding() a vector per utilizzare questi valori con gli operatori pgvector.

  CREATE EXTENSION IF NOT EXISTS google_ml_integration;
  CREATE EXTENSION IF NOT EXISTS vector;

  SELECT * FROM TABLE
    ORDER BY EMBEDDING_COLUMN::vector
    <-> embedding('MODEL_IDVERSION_TAG', 'TEXT')::vector
    LIMIT ROW_COUNT

Utilizzare i tag della versione del modello per evitare errori

Google consiglia vivamente di utilizzare sempre una versione stabile del modello di embedding scelto. Per la maggior parte dei modelli, questo significa impostare esplicitamente un tag della versione.

La chiamata alla funzione embedding() senza specificare il tag della versione del modello è sintatticamente valida, ma è anche soggetta a errori.

Se ometti il tag della versione quando utilizzi un modello in Vertex AI Model Garden, Vertex AI utilizza la versione più recente del modello. Potrebbe non essere l'ultima versione stabile. Per saperne di più sulle versioni del modello Vertex AI disponibili, consulta Versioni del modello.

Una determinata versione del modello Vertex AI restituisce sempre la stessa risposta embedding() all'input di testo fornito. Se non specifichi le versioni del modello nelle chiamate a embedding(), una nuova versione del modello pubblicata può modificare improvvisamente il vettore restituito per un determinato input, causando errori o altri comportamenti imprevisti nelle tue applicazioni.

Per evitare questi problemi, specifica sempre la versione del modello.

Risoluzione dei problemi

ERRORE: Model not found for model_id

Messaggio di errore

Quando provi a generare un embedding utilizzando la funzione embedding() o google_ml.embedding(), si verifica il seguente errore:

ERROR: 'Model not found for model_id:

  • Esegui l'upgrade dell'estensione google_ml_integration e riprova a generare gli embedding.

    ALTER EXTENSION google_ml_integration UPDATE;

    Puoi anche eliminare l'estensione e poi ricrearla.

    DROP extension google_ml_integration;
CREATE EXTENSION IF NOT EXISTS google_ml_integration;

  • Se generi embedding utilizzando la funzione google_ml.embedding(), assicurati che il modello sia registrato e di utilizzare il model_id corretto nella query.

Passaggi successivi