Créer un pipeline d'embedding vectoriel en temps réel pour AlloyDB avec Dataflow

L'intégration d'AlloyDB à Dataflow, un serviceGoogle Cloud entièrement géré pour les pipelines de traitement de données, vous permet de créer des pipelines d'extraction, de transformation et de chargement (ETL) en flux continu qui ingèrent des données et génèrent des embeddings vectoriels pour la recherche sémantique et les charges de travail de génération augmentée par récupération (RAG). À l'aide du notebook Colab Ingestion d'embeddings vectoriels avec Apache Beam et AlloyDB, vous pouvez configurer un pipeline de streaming Python (basic_ingestion_pipeline.py) qui connecte Dataflow à AlloyDB, génère des embeddings textuels avec le gestionnaire VertexAITextEmbeddings d'Apache Beam et les modèles d'embeddings textuels de Gemini Enterprise Agent Platform, et écrit les embeddings dans votre base de données.

Avant de commencer

Avant de créer le pipeline Dataflow à l'aide de Colab, procédez comme suit :

Configurer votre instance AlloyDB et les composants du pipeline

Commencez par configurer votre pipeline pour qu'il se connecte à une instance AlloyDB. Cette configuration inclut la définition de l'ID du projet Google Cloud , de l'URI de l'instance AlloyDB, de l'utilisateur et du mot de passe pour se connecter à l'aide du connecteur de langage AlloyDB. Pour en savoir plus sur la configuration de la connexion, consultez Configurer la base de données.

Les modules Apache Beam spécifiques à la génération augmentée par récupération (RAG) fournissent des classes pour les tâches suivantes :

  • Ingérer des données depuis AlloyDB
  • Générer des embeddings
  • Réécrire ces embeddings vectoriels dans AlloyDB

Importez les classes requises dans le code de votre pipeline avant de créer la logique du pipeline. Pour en savoir plus sur les composants de pipeline, consultez Importer des composants de pipeline.

Créer des exemples de données

Le notebook Colab Ingestion d'embeddings vectoriels avec Apache Beam et AlloyDB fournit des exemples de données products_data pour exécuter le pipeline. Le pipeline utilise ces exemples de données comme entrée, ainsi que le modèle d'embedding, pour générer des embeddings.

Pour en savoir plus, consultez Créer des exemples de données.

Créer une table pour stocker les embeddings

Le pipeline stocke les embeddings générés dans la table default_dataflow_product_embeddings. Pour en savoir plus sur la création du schéma de table, consultez Créer une table avec un schéma par défaut.

Facultatif : Préparer les données pour l'ingestion d'embeddings

En fonction de votre ensemble de données, vous pouvez diviser vos données en métadonnées et en texte que le modèle d'embedding doit convertir en embeddings. Les classes MLTransform() et VectorDatabaseWriteTransform() traitent les données d'entrée pour les adapter à une taille compatible avec le modèle d'embedding. Incluez les métadonnées et formatez les données d'entrée conformément aux spécifications du modèle d'embedding que vous utilisez.

Pour en savoir plus sur la préparation des données, consultez Mapper les données produit sur des fragments.

Configurer le gestionnaire d'embeddings pour générer des embeddings

La classe VertexAITextEmbeddings() définit le modèle d'embedding textuel qui crée des embeddings vectoriels. Ce modèle d'embedding convertit les données segmentées en embeddings.

Pour en savoir plus, consultez Configurer le gestionnaire d'embeddings.

Vous pouvez également utiliser un modèle pré-entraîné créé avec le framework Hugging Face SentenceTransformers pour générer des embeddings vectoriels. Pour en savoir plus, consultez Générer des embeddings avec HuggingFace.

Créer un pipeline d'ingestion

Le pipeline basic_ingestion_pipeline.py, fourni dans le notebook Colab Ingestion d'embeddings vectoriels avec Apache Beam et AlloyDB, intègre les configurations des sections précédentes, y compris la configuration d'AlloyDB, le chargement des données dans AlloyDB, la segmentation facultative des données et la configuration du gestionnaire d'embeddings.

Le pipeline d'ingestion effectue les opérations suivantes :

  • Créer des tables de données produit
  • Convertit les données en fragments
  • Génère des embeddings
  • Écrit les embeddings convertis dans la table products_data d'AlloyDB.

Vous pouvez exécuter ce pipeline à l'aide d'un exécuteur local direct ou dans le cloud, tel que Dataflow.

Pour en savoir plus sur la création du pipeline d'ingestion, consultez Enregistrer notre pipeline dans un fichier Python.

Exécuter le pipeline Dataflow

Vous pouvez exécuter un pipeline Dataflow à partir de la ligne de commande. Transmettez les identifiants, tels que l'ID de votre projet, les détails de connexion AlloyDB, l'emplacement du bucket Cloud Storage, les détails de l'environnement d'exécution, les informations réseau et le nom du pipeline d'ingestion (basic_ingestion_pipeline.py).

Dans le Colab Ingestion d'embeddings vectoriels avec Apache Beam et AlloyDB, l'instance AlloyDB et les jobs Dataflow s'exécutent dans le même réseau et sous-réseau de cloud privé virtuel (VPC).

Pour en savoir plus sur l'exécution d'un pipeline dans Dataflow, consultez Exécuter un pipeline sur Dataflow.

Dans la console Google Cloud , sur le tableau de bord Dataflow, vous pouvez afficher les graphiques d'exécution, les journaux et les métriques pendant l'exécution de votre pipeline.

Facultatif : Exécuter le pipeline Dataflow de flux de données

Pour les données qui devraient changer souvent, comme les recherches de similarité ou les moteurs de recommandations, envisagez de créer un pipeline de streaming à l'aide de Dataflow et Pub/Sub.

Au lieu de traiter un lot de données, ce pipeline lit en continu les messages entrants d'un sujet Pub/Sub, les convertit en fragments, génère des embeddings à l'aide d'un modèle spécifié (comme Hugging Face ou Agent Platform) et met à jour la table AlloyDB.

Pour en savoir plus, consultez Diffuser des mises à jour d'embeddings à partir de Pub/Sub.

Vérifier les embeddings vectoriels dans AlloyDB

Une fois le pipeline exécuté, vérifiez qu'il a écrit les embeddings dans votre base de données AlloyDB.

Pour en savoir plus, consultez Vérifier les embeddings écrits.

Étapes suivantes