Crea una pipeline di vector embedding in tempo reale per AlloyDB con Dataflow

L'integrazione di AlloyDB con Dataflow, un servizioGoogle Cloud completamente gestito per le pipeline di trattamento dati, ti consente di creare pipeline di estrazione, trasformazione e caricamento (ETL) in streaming che importano dati e generano vector embedding per i workload di ricerca semantica e Retrieval-Augmented Generation (RAG). Utilizzando il notebook di Colab Vector Embedding Ingestion with Apache Beam and AlloyDB, puoi configurare una pipeline di streaming Python (basic_ingestion_pipeline.py) che connette Dataflow ad AlloyDB, genera text embedding con il gestore VertexAITextEmbeddings di Apache Beam e i modelli di text embedding di Gemini Enterprise Agent Platform e scrive gli embedding nel tuo database.

Prima di iniziare

Prima di creare la pipeline Dataflow utilizzando Colab, completa questi prerequisiti:

Configura l'istanza AlloyDB e i componenti della pipeline

Innanzitutto, configura la pipeline per connetterti a un'istanza AlloyDB. Questa configurazione include la definizione dell'ID progetto Google Cloud , dell'URI dell'istanza AlloyDB, dell'utente e della password per la connessione utilizzando l'AlloyDB Language Connector. Per saperne di più sulla configurazione della connessione, consulta Configurazione del database.

I moduli Apache Beam specifici per la Retrieval-Augmented Generation (RAG) forniscono classi per le seguenti attività:

  • Importazione dei dati da AlloyDB
  • Generazione degli embedding
  • Scrittura di questi vector embedding in AlloyDB

Importa le classi richieste nel codice della pipeline prima di creare la logica della pipeline. Per saperne di più sui componenti della pipeline, consulta Importazione dei componenti della pipeline.

Crea dati di esempio

Colab Vector Embedding Ingestion with Apache Beam and AlloyDB fornisce dati products_data di esempio per l'esecuzione della pipeline. La pipeline utilizza questi dati campionati come input, insieme al modello di embedding, per generare gli embedding.

Per saperne di più, consulta Crea dati di esempio.

Crea una tabella per archiviare gli embedding

La pipeline archivia gli incorporamenti generati nella tabella default_dataflow_product_embeddings. Per saperne di più sulla creazione dello schema della tabella, consulta Crea una tabella con lo schema predefinito.

(Facoltativo) Prepara i dati per l'importazione degli embedding

In base al tuo set di dati, puoi suddividere i dati in metadati e testo che il modello di embedding deve convertire in embedding. Le classi MLTransform() e VectorDatabaseWriteTransform() elaborano i dati di input in una dimensione supportata dal modello di embedding. Includi i metadati e formatta i dati di input in base alle specifiche del modello di embedding che stai utilizzando.

Per saperne di più sulla preparazione dei dati, consulta Mappa i dati dei prodotti in blocchi.

Configura il gestore degli embedding per generare gli embedding

La classe VertexAITextEmbeddings() definisce il modello di text embedding che crea i vector embedding. Questo modello di embedding converte i dati suddivisi in blocchi in embedding.

Per saperne di più, consulta Configura il gestore di embedding.

Puoi anche utilizzare un modello preaddestrato creato con il framework Huggingface SentenceTransformers per generare vector embedding. Per saperne di più, consulta Genera embedding con HuggingFace.

Crea una pipeline di importazione

La pipeline basic_ingestion_pipeline.py, fornita in Vector Embedding Ingestion with Apache Beam and AlloyDB Colab, incorpora le configurazioni delle sezioni precedenti, tra cui la configurazione di AlloyDB, il caricamento dei dati in AlloyDB, il chunking facoltativo dei dati e la configurazione del gestore degli embedding.

La pipeline di importazione esegue le seguenti operazioni:

  • Crea tabelle di dati di prodotto
  • Converte i dati in blocchi
  • Genera embedding
  • Scrive gli embedding convertiti nella tabella products_data in AlloyDB

Puoi eseguire questa pipeline utilizzando un runner locale diretto o un runner basato su cloud come Dataflow.

Per saperne di più sulla creazione della pipeline di importazione, consulta Salva la pipeline in un file Python.

Esegui la pipeline Dataflow

Puoi eseguire una pipeline Dataflow dalla riga di comando. Passa le credenziali, come l'ID progetto, i dettagli della connessione AlloyDB, la posizione del bucket Cloud Storage, i dettagli dell'ambiente di esecuzione, le informazioni di rete e il nome della pipeline di importazione (basic_ingestion_pipeline.py).

In Colab Vector Embedding Ingestion with Apache Beam and AlloyDB, l'istanza AlloyDB e i job Dataflow vengono eseguiti nella stessa rete e subnet Virtual Private Cloud (VPC).

Per saperne di più sull'esecuzione di una pipeline in Dataflow, consulta Esegui una pipeline su Dataflow.

Nella console Google Cloud , nella dashboard di Dataflow, puoi visualizzare grafici di esecuzione, log e metriche durante l'esecuzione della pipeline.

(Facoltativo) Esegui la pipeline Dataflow in modalità flusso

Per i dati che dovrebbero cambiare spesso, come le ricerche di somiglianza o i motori per suggerimenti, valuta la possibilità di creare una pipeline di streaming utilizzando Dataflow e Pub/Sub.

Anziché elaborare un batch di dati, questa pipeline legge continuamente i messaggi in arrivo da un argomento Pub/Sub, li converte in blocchi, genera embedding utilizzando un modello specificato (come Hugging Face o Agent Platform) e aggiorna la tabella AlloyDB.

Per saperne di più, consulta Aggiornamenti degli embedding in modalità flusso da Pub/Sub.

Verifica i vector embedding in AlloyDB

Dopo l'esecuzione della pipeline, verifica che abbia scritto gli embedding nel database AlloyDB.

Per saperne di più, consulta Verifica gli embedding scritti.

Passaggi successivi