Rechercher dans un graphique

Aperçu

Cette fonctionnalité est soumise aux "Conditions des offres de pré-DG" de la section "Conditions générales du service" des Conditions spécifiques du service. Les fonctionnalités pré-DG sont disponibles "en l'état" et peuvent avoir une prise en charge limitée. Pour en savoir plus, consultez les descriptions des étapes de lancement.

Remarque : Pour demander de l'aide ou envoyer des commentaires sur cette fonctionnalité, envoyez un e-mail à l'adresse [e-mail].

Ce tutoriel vous explique comment effectuer une recherche sémantique dans vos données de graphe en utilisant la génération autonome d'embeddings et la AI.SEARCH fonction.

Objectifs

Ce tutoriel couvre les tâches suivantes :

• Créer des tables contenant des informations sur les personnes, les comptes financiers, la propriété des comptes et les transferts de comptes.
• Utiliser la génération autonome d'embeddings pour simplifier votre workflow de maintenance des embeddings.
• Créer un graphe qui définit les relations entre les données stockées dans vos tables.
• Utiliser la fonction AI.SEARCH sur les nœuds de votre graphe pour effectuer une recherche sémantique dans les descriptions de comptes.
• Utiliser la fonction AI.SEARCH sur les arêtes de votre graphe pour effectuer une recherche sémantique dans les notes de transfert de comptes.

Coûts

Dans ce document, vous utilisez les composants facturables suivants de Google Cloud:

• BigQuery: You incur costs for the data that you process in BigQuery.

Obtenez une estimation des coûts en fonction de votre utilisation prévue, utilisez le simulateur de coût.

Les nouveaux utilisateurs de peuvent bénéficier d'un essai sans frais. Google Cloud

Une fois que vous avez terminé les tâches décrites dans ce document, supprimez les ressources que vous avez créées pour éviter que des frais vous soient facturés. Pour en savoir plus, consultez la section Effectuer un nettoyage.

Avant de commencer

Console

Connectez-vous à votre Google Cloud compte. Si vous débutez sur Google Cloud, créez un compte pour évaluer les performances de nos produits en conditions réelles. Les nouveaux clients bénéficient également de 300 $ de crédits sans frais pour exécuter, tester et déployer des charges de travail.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the BigQuery API.

Roles required to enable APIs

To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

Enable the API

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the BigQuery API.

Roles required to enable APIs

To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

Enable the API

1. Assurez-vous de disposer du ou des rôles suivants sur le projet : Éditeur de données BigQuery, Administrateur IAM de projet

   Vérifier les rôles

   1. Dans la Google Cloud console, accédez à la page IAM.

      Accéder à IAM
   2. Sélectionnez le projet.

   3. Dans la colonne Compte principal, recherchez toutes les lignes qui vous identifient ou identifient un groupe dont vous faites partie. Pour savoir à quels groupes vous appartenez, contactez votre administrateur.

   4. Pour toutes les lignes qui vous spécifient ou vous incluent, consultez la colonne Rôle pour vous assurer que la liste inclut les rôles requis.

   Attribuer les rôles

   1. Dans la Google Cloud console, accédez à la page IAM.

      Accéder à IAM
   2. Sélectionnez le projet.
   3. Cliquez sur Accorder l'accès.

   4. Dans le champ Nouveaux comptes principaux, saisissez votre identifiant utilisateur. Il s'agit généralement de l'adresse e-mail d'un compte Google.

   5. Cliquez sur Sélectionner un rôle, puis recherchez le rôle.
   6. Pour attribuer des rôles supplémentaires, cliquez sur Ajouter un autre rôle et ajoutez tous les rôles supplémentaires.
   7. Cliquez sur Enregistrer.

gcloud

Connectez-vous à votre Google Cloud compte. Si vous débutez sur Google Cloud, créez un compte pour évaluer les performances de nos produits en conditions réelles. Les nouveaux clients bénéficient également de 300 $ de crédits sans frais pour exécuter, tester et déployer des charges de travail.

Installez la Google Cloud CLI.

Si vous utilisez un fournisseur d'identité (IdP) externe, vous devez d'abord vous connecter à la gcloud CLI avec votre identité fédérée.

Pour initialiser la gcloud CLI, exécutez la commande suivante :

gcloud init

Sélectionnez ou créez un Google Cloud projet.

Rôles requis pour sélectionner ou créer un projet

• Sélectionner un projet : la sélection d'un projet ne nécessite pas de rôle IAM spécifique Vous pouvez sélectionner n'importe quel projet pour lequel un rôle vous a été attribué.
• Créer un projet : pour créer un projet, vous avez besoin du rôle Créateur de projet (roles/resourcemanager.projectCreator), qui contient l'autorisation resourcemanager.projects.create. Découvrez comment attribuer des rôles.

Remarque : Si vous ne comptez pas conserver les ressources créées dans cette procédure, créez un projet au lieu d'en sélectionner un existant. Après avoir suivi ces étapes, vous pouvez supprimer le projet. Cela entraîne la suppression de toutes les ressources qui lui sont associées.

• Créez un Google Cloud projet :

  gcloud projects create PROJECT_ID

  Remplacez PROJECT_ID par le nom du Google Cloud projet que vous créez.

• Sélectionnez le Google Cloud projet que vous avez créé :

  gcloud config set project PROJECT_ID

  Remplacez PROJECT_ID par le nom de votre Google Cloud projet.

Vérifiez que la facturation est activée pour votre Google Cloud projet.

Activez l'API BigQuery :

Rôles requis pour activer les API

Pour activer les API, vous avez besoin de l'autorisation serviceusage.services.enable. Si vous avez créé le projet, vous disposez probablement déjà de cette autorisation via le rôle Propriétaire (roles/owner). Sinon, vous pouvez l'obtenir via le rôle Administrateur d'utilisation du service (roles/serviceusage.serviceUsageAdmin). Découvrez comment attribuer des rôles.

gcloud services enable bigquery.googleapis.com

Installez la Google Cloud CLI.

Si vous utilisez un fournisseur d'identité (IdP) externe, vous devez d'abord vous connecter à la gcloud CLI avec votre identité fédérée.

Pour initialiser la gcloud CLI, exécutez la commande suivante :

gcloud init

Sélectionnez ou créez un Google Cloud projet.

Rôles requis pour sélectionner ou créer un projet

• Sélectionner un projet : la sélection d'un projet ne nécessite pas de rôle IAM spécifique Vous pouvez sélectionner n'importe quel projet pour lequel un rôle vous a été attribué.
• Créer un projet : pour créer un projet, vous avez besoin du rôle Créateur de projet (roles/resourcemanager.projectCreator), qui contient l'autorisation resourcemanager.projects.create. Découvrez comment attribuer des rôles.

Remarque : Si vous ne comptez pas conserver les ressources créées dans cette procédure, créez un projet au lieu d'en sélectionner un existant. Après avoir suivi ces étapes, vous pouvez supprimer le projet. Cela entraîne la suppression de toutes les ressources qui lui sont associées.

• Créez un Google Cloud projet :

  gcloud projects create PROJECT_ID

  Remplacez PROJECT_ID par le nom du Google Cloud projet que vous créez.

• Sélectionnez le Google Cloud projet que vous avez créé :

  gcloud config set project PROJECT_ID

  Remplacez PROJECT_ID par le nom de votre Google Cloud projet.

Vérifiez que la facturation est activée pour votre Google Cloud projet.

Activez l'API BigQuery :

Rôles requis pour activer les API

Pour activer les API, vous avez besoin de l'autorisation serviceusage.services.enable. Si vous avez créé le projet, vous disposez probablement déjà de cette autorisation via le rôle Propriétaire (roles/owner). Sinon, vous pouvez l'obtenir via le rôle Administrateur d'utilisation du service (roles/serviceusage.serviceUsageAdmin). Découvrez comment attribuer des rôles.

gcloud services enable bigquery.googleapis.com

1. Attribuez des rôles à votre compte utilisateur. Exécutez la commande suivante une fois pour chacun des rôles IAM suivants : roles/bigquery.dataEditor, roles/resourcemanager.projectIamAdmin

   gcloud projects add-iam-policy-binding PROJECT_ID --member="user:USER_IDENTIFIER" --role=ROLE

   Remplacez les éléments suivants :

   • PROJECT_ID : ID de votre projet
   • USER_IDENTIFIER : identifiant de votre compte utilisateur Par exemple, [e-mail].
   • ROLE : rôle IAM que vous attribuez à votre compte utilisateur.

Créer des tables

Pour stocker les tables et le graphe que vous créez dans les exemples suivants, créez un ensemble de données. La requête suivante crée un ensemble de données appelé graph_search :

CREATE SCHEMA IF NOT EXISTS graph_search;

Les tables suivantes contiennent des informations sur les personnes et les comptes, ainsi que sur les relations entre chacune de ces entités :

• Person : informations sur les personnes.
• Account : informations sur les comptes bancaires.
• PersonOwnAccount : informations sur les propriétaires des comptes.
• AccountTransferAccount : informations sur les transferts entre comptes.

Pour créer ces tables, exécutez les instructions suivantes CREATE TABLE:

CREATE OR REPLACE TABLE graph_search.Person (
  id               INT64,
  name             STRING,
  PRIMARY KEY (id) NOT ENFORCED
);

CREATE OR REPLACE TABLE graph_search.Account (
  id                    INT64,
  create_time           TIMESTAMP,
  is_blocked            BOOL,
  description           STRING,
  description_embedding STRUCT<result ARRAY<FLOAT64>, status STRING>
                          GENERATED ALWAYS AS (
                          AI.EMBED(description, model => 'embeddinggemma-300m')
                          ) STORED OPTIONS( asynchronous = TRUE ),
  PRIMARY KEY (id) NOT ENFORCED
);

CREATE OR REPLACE TABLE graph_search.PersonOwnAccount (
  id               INT64 NOT NULL,
  account_id       INT64 NOT NULL,
  create_time      TIMESTAMP,
  PRIMARY KEY (id, account_id) NOT ENFORCED,
  FOREIGN KEY (id) REFERENCES graph_search.Person(id) NOT ENFORCED,
  FOREIGN KEY (account_id) REFERENCES graph_search.Account(id) NOT ENFORCED
);

CREATE OR REPLACE TABLE graph_search.AccountTransferAccount (
  id               INT64 NOT NULL,
  to_id            INT64 NOT NULL,
  amount           FLOAT64,
  create_time      TIMESTAMP NOT NULL,
  order_number     STRING,
  notes            STRING,
  notes_embedding  STRUCT<result ARRAY<FLOAT64>, status STRING>
                     GENERATED ALWAYS AS (
                     AI.EMBED(notes, model => 'embeddinggemma-300m')
                     ) STORED OPTIONS( asynchronous = TRUE ),
  PRIMARY KEY (id, to_id, create_time) NOT ENFORCED,
  FOREIGN KEY (id) REFERENCES graph_search.Account(id) NOT ENFORCED,
  FOREIGN KEY (to_id) REFERENCES graph_search.Account(id) NOT ENFORCED
);

Les tables Account et AccountTransferAccount utilisent la génération autonome d'embedding pour gérer les embeddings de leurs colonnes description et notes.

Dans ce tutoriel, nous utilisons le modèle embeddinggemma-300m, car il s'exécute dans BigQuery et fonctionne bien pour les chaînes courtes. Pour les chaînes plus longues qui dépassent 128 jetons, vous devez choisir un autre modèle d'embedding, tel que text-embedding-005. Pour en savoir plus, consultez la section Choisir un modèle d'embedding.

Insérer des données

Les requêtes suivantes insèrent des exemples de données dans vos tables. Les instructions INSERTomettent les colonnes d'embedding, et BigQuery les remplit automatiquement.

INSERT INTO graph_search.Account
  (id, create_time, is_blocked, description)
VALUES
  (7,"2020-01-10 06:22:20.222",false,"Fund for a refreshing tropical vacation"),
  (16,"2020-01-27 17:55:09.206",true,"Fund for a rainy day!"),
  (20,"2020-02-18 05:44:20.655",false,"Saving up for travel");

INSERT INTO graph_search.Person
  (id, name)
VALUES
  (1,"Alex"),
  (2,"Dana"),
  (3,"Lee");

INSERT INTO graph_search.AccountTransferAccount
  (id, to_id, amount, create_time, order_number, notes)
VALUES
  (7,16,300,"2020-08-29 15:28:58.647","304330008004315", "wedding present"),
  (7,16,100,"2020-10-04 16:55:05.342","304120005529714", "birthday gift"),
  (16,20,300,"2020-09-25 02:36:14.926","103650009791820", "for shared cost of dinner"),
  (20,7,500,"2020-10-04 16:55:05.342","304120005529714", "fees for tuition"),
  (20,16,200,"2020-10-17 03:59:40.247","302290001484851", "loved the lunch");

INSERT INTO graph_search.PersonOwnAccount
  (id, account_id, create_time)
VALUES
  (1,7,"2020-01-10 06:22:20.222"),
  (2,20,"2020-01-27 17:55:09.206"),
  (3,16,"2020-02-18 05:44:20.655");

Créer un graphe

La requête suivante utilise l' CREATE PROPERTY GRAPH instruction pour créer un graphe appelé FinGraph dans l'ensemble de données graph_search. Les tables Account et Person sont les tables de nœuds. Les tables AccountTransferAccount et PersonOwnAccount sont les tables d'arêtes, qui représentent les relations entre les tables de nœuds.

CREATE OR REPLACE PROPERTY GRAPH graph_search.FinGraph
NODE TABLES (graph_search.Account, graph_search.Person)
EDGE TABLES (
  graph_search.PersonOwnAccount
    SOURCE KEY (id) REFERENCES Person (id)
    DESTINATION KEY (account_id) REFERENCES Account (id)
    LABEL Owns,
  graph_search.AccountTransferAccount
    SOURCE KEY (id) REFERENCES Account (id)
    DESTINATION KEY (to_id) REFERENCES Account (id)
    LABEL Transfers
);

Rechercher des nœuds

Les requêtes suivantes montrent qui possède des comptes pour les voyages d'agrément et les vacances. La première requête utilise une DECLARE instruction pour créer une variable appelée similar_account. La variable est initialisée dans la clause DEFAULT avec un appel à AI.SEARCH qui recherche les comptes dont les descriptions sont les plus similaires sémantiquement à accounts for leisure travel and vacation. La requête définit l'argument top_k sur 2 dans l'appel à AI.SEARCH pour limiter le nombre de résultats. La deuxième requête est une requête de graphe qui renvoie le nom du propriétaire du compte ainsi que la description du compte.

DECLARE similar_account DEFAULT ((
SELECT ARRAY_AGG(base.id)
FROM
  AI.SEARCH(
    (SELECT * FROM graph_search.Account WHERE description_embedding IS NOT NULL),
    'description',
    'accounts for leisure travel and vacation',
    top_k => 2)
));

GRAPH graph_search.FinGraph
MATCH (p:Person)-[:Owns]->(a:Account)
WHERE a.id IN UNNEST(similar_account)
RETURN p.name, a.description;

Le résultat ressemble à ce qui suit :

+------+-----------------------------------------+
| name | description                             |
+------+-----------------------------------------+
| Dana | Saving up for travel                    |
| Alex | Fund for a refreshing tropical vacation |
+------+-----------------------------------------+

Rechercher des arêtes

Les requêtes suivantes montrent qui a effectué des transferts de comptes liés à des paiements de nourriture. La première requête utilise la fonction AI.SEARCH pour remplir une variable appelée food_transfers. Cette variable contient le numéro de commande des transferts dont la note associée est la plus similaire sémantiquement à food. La requête définit l'argument top_k sur 2 dans l'appel à AI.SEARCH pour limiter le nombre de résultats. La deuxième requête est une requête de graphe qui renvoie le nom du propriétaire du compte ainsi que la note de transfert.

DECLARE food_transfers DEFAULT ((
SELECT ARRAY_AGG(base.order_number)
FROM
  AI.SEARCH(
    (SELECT * FROM graph_search.AccountTransferAccount WHERE notes_embedding IS NOT NULL),
    'notes',
    'food',
    top_k => 2)
));

GRAPH graph_search.FinGraph
MATCH (p:Person)-[:Owns]->(:Account)-[t:Transfers]->(:Account)
WHERE t.order_number IN UNNEST(food_transfers)
RETURN p.name, t.notes;

Le résultat ressemble à ce qui suit :

+------+---------------------------+
| name | notes                     |
+------+---------------------------+
| Dana | loved the lunch           |
| Lee  | for shared cost of dinner |
+------+---------------------------+

Créer un index vectoriel

Les index vectoriels réduisent la latence et le coût de calcul de vos recherches. Les tables de ce tutoriel sont trop petites pour utiliser un index vectoriel. Les index vectoriels sont utiles lorsque vos tables sont volumineuses, généralement avec des millions de lignes. BigQuery propose deux types d'index : IVF et TreeAH. Pour en savoir plus sur la création d'un index et le choix d'un type, consultez Gérer les index vectoriels.

Libérer de l'espace

Pour éviter que les ressources utilisées lors de ce tutoriel soient facturées sur votre compte Google Cloud, supprimez le projet contenant les ressources, ou conservez le projet et supprimez les ressources individuelles.

Supprimer le projet

Attention : La suppression d'un projet aura les effets suivants :

• Tout le contenu du projet est supprimé. Si vous avez utilisé un projet existant pour les tâches décrites dans ce document et que vous le supprimez, vous supprimerez également tout autre travail effectué dans le projet.
• Les ID de projets personnalisés sont perdus. Lorsque vous avez créé ce projet, vous avez peut-être créé un ID de projet personnalisé que vous souhaitez utiliser à l'avenir. Pour conserver les URL qui utilisent l'ID de projet, telle qu'une URL appspot.com, supprimez les ressources sélectionnées dans le projet au lieu de supprimer l'ensemble du projet.

Si vous envisagez d'explorer plusieurs architectures, tutoriels et guides de démarrage rapide, réutiliser des projets peut vous aider à ne pas dépasser les limites de quotas des projets.

Supprimez un Google Cloud projet :

gcloud projects delete PROJECT_ID

Étape suivante

• En savoir plus sur BigQuery Graph.
• Découvrez comment créer un graphe et l'interroger.
• En savoir plus sur la création d'un index vectoriel et l'exécution d'une recherche sémantique et l'utilisation de la génération augmentée de récupération (RAG).