L'intégration d'AlloyDB à Dataflow, un serviceGoogle Cloud entièrement géré pour les pipelines de traitement de données, vous permet de créer des pipelines d'extraction, de transformation et de chargement (ETL) en flux continu qui ingèrent des données et génèrent des embeddings vectoriels pour la recherche sémantique et les charges de travail de génération augmentée par récupération (RAG). À l'aide du notebook Colab Ingestion d'embeddings vectoriels avec Apache Beam et AlloyDB, vous pouvez configurer un pipeline de streaming Python (basic_ingestion_pipeline.py) qui connecte Dataflow à AlloyDB, génère des embeddings textuels avec le gestionnaire VertexAITextEmbeddings d'Apache Beam et les modèles d'embeddings textuels de Gemini Enterprise Agent Platform, et écrit les embeddings dans votre base de données.
Avant de commencer
Avant de créer le pipeline Dataflow à l'aide de Colab, procédez comme suit :
- Configurez votre environnement pour créer un pipeline Dataflow.
Activez l'API AlloyDB et les autres API requises :
gcloud services enable alloydb.googleapis.com cloudresourcemanager.googleapis.com \ servicenetworking.googleapis.comInstallez l'extension vector AlloyDB dans votre base de données.
Attribuez le rôle d'administrateur AlloyDB (roles/alloydb.admin) au compte utilisateur Dataflow.
Configurer votre instance AlloyDB et les composants du pipeline
Commencez par configurer votre pipeline pour qu'il se connecte à une instance AlloyDB. Cette configuration inclut la définition de l'ID du projet Google Cloud , de l'URI de l'instance AlloyDB, de l'utilisateur et du mot de passe pour se connecter à l'aide du connecteur de langage AlloyDB. Pour en savoir plus sur la configuration de la connexion, consultez Configurer la base de données.
Les modules Apache Beam spécifiques à la génération augmentée par récupération (RAG) fournissent des classes pour les tâches suivantes :
- Ingérer des données depuis AlloyDB
- Générer des embeddings
- Réécrire ces embeddings vectoriels dans AlloyDB
Importez les classes requises dans le code de votre pipeline avant de créer la logique du pipeline. Pour en savoir plus sur les composants de pipeline, consultez Importer des composants de pipeline.
Créer des exemples de données
Le notebook Colab Ingestion d'embeddings vectoriels avec Apache Beam et AlloyDB fournit des exemples de données products_data pour exécuter le pipeline. Le pipeline utilise ces exemples de données comme entrée, ainsi que le modèle d'embedding, pour générer des embeddings.
Pour en savoir plus, consultez Créer des exemples de données.
Créer une table pour stocker les embeddings
Le pipeline stocke les embeddings générés dans la table default_dataflow_product_embeddings. Pour en savoir plus sur la création du schéma de table, consultez Créer une table avec un schéma par défaut.
Facultatif : Préparer les données pour l'ingestion d'embeddings
En fonction de votre ensemble de données, vous pouvez diviser vos données en métadonnées et en texte que le modèle d'embedding doit convertir en embeddings. Les classes MLTransform() et VectorDatabaseWriteTransform() traitent les données d'entrée pour les adapter à une taille compatible avec le modèle d'embedding. Incluez les métadonnées et formatez les données d'entrée conformément aux spécifications du modèle d'embedding que vous utilisez.
Pour en savoir plus sur la préparation des données, consultez Mapper les données produit sur des fragments.
Configurer le gestionnaire d'embeddings pour générer des embeddings
La classe VertexAITextEmbeddings() définit le modèle d'embedding textuel qui crée des embeddings vectoriels. Ce modèle d'embedding convertit les données segmentées en embeddings.
Pour en savoir plus, consultez Configurer le gestionnaire d'embeddings.
Vous pouvez également utiliser un modèle pré-entraîné créé avec le framework Hugging Face SentenceTransformers pour générer des embeddings vectoriels. Pour en savoir plus, consultez Générer des embeddings avec HuggingFace.
Créer un pipeline d'ingestion
Le pipeline basic_ingestion_pipeline.py, fourni dans le notebook Colab Ingestion d'embeddings vectoriels avec Apache Beam et AlloyDB, intègre les configurations des sections précédentes, y compris la configuration d'AlloyDB, le chargement des données dans AlloyDB, la segmentation facultative des données et la configuration du gestionnaire d'embeddings.
Le pipeline d'ingestion effectue les opérations suivantes :
- Créer des tables de données produit
- Convertit les données en fragments
- Génère des embeddings
- Écrit les embeddings convertis dans la table
products_datad'AlloyDB.
Vous pouvez exécuter ce pipeline à l'aide d'un exécuteur local direct ou dans le cloud, tel que Dataflow.
Pour en savoir plus sur la création du pipeline d'ingestion, consultez Enregistrer notre pipeline dans un fichier Python.
Exécuter le pipeline Dataflow
Vous pouvez exécuter un pipeline Dataflow à partir de la ligne de commande. Transmettez les identifiants, tels que l'ID de votre projet, les détails de connexion AlloyDB, l'emplacement du bucket Cloud Storage, les détails de l'environnement d'exécution, les informations réseau et le nom du pipeline d'ingestion (basic_ingestion_pipeline.py).
Dans le Colab Ingestion d'embeddings vectoriels avec Apache Beam et AlloyDB, l'instance AlloyDB et les jobs Dataflow s'exécutent dans le même réseau et sous-réseau de cloud privé virtuel (VPC).
Pour en savoir plus sur l'exécution d'un pipeline dans Dataflow, consultez Exécuter un pipeline sur Dataflow.
Dans la console Google Cloud , sur le tableau de bord Dataflow, vous pouvez afficher les graphiques d'exécution, les journaux et les métriques pendant l'exécution de votre pipeline.
Facultatif : Exécuter le pipeline Dataflow de flux de données
Pour les données qui devraient changer souvent, comme les recherches de similarité ou les moteurs de recommandations, envisagez de créer un pipeline de streaming à l'aide de Dataflow et Pub/Sub.
Au lieu de traiter un lot de données, ce pipeline lit en continu les messages entrants d'un sujet Pub/Sub, les convertit en fragments, génère des embeddings à l'aide d'un modèle spécifié (comme Hugging Face ou Agent Platform) et met à jour la table AlloyDB.
Pour en savoir plus, consultez Diffuser des mises à jour d'embeddings à partir de Pub/Sub.
Vérifier les embeddings vectoriels dans AlloyDB
Une fois le pipeline exécuté, vérifiez qu'il a écrit les embeddings dans votre base de données AlloyDB.
Pour en savoir plus, consultez Vérifier les embeddings écrits.
Étapes suivantes
- Découvrez comment effectuer l'ingestion d'embeddings vectoriels avec Apache Beam, Dataflow et AlloyDB.