Utiliser Gemini Cloud Assist

Ce document explique comment utiliser Gemini Cloud Assist, un produit du portefeuille Gemini pour Google Cloud, pour vous aider à comprendre et à utiliser vos métadonnées, vos jobs et vos requêtes dans BigQuery. Il fournit des exemples de cas d'utilisation et de requêtes que vous pouvez utiliser dans Gemini Cloud Assist.

Avant de commencer

Pour que vous puissiez utiliser Gemini Cloud Assist, votre administrateur doit suivre la procédure de configuration de Gemini Cloud Assist pour le projet ou le dossier dans lequel vous travaillez.

Pour répondre aux questions et aux demandes concernant vos ressources Google Cloud , Gemini Cloud Assist a besoin des autorisations Identity and Access Management (IAM) appropriées pour ces ressources. Gemini Cloud Assist hérite de vos autorisations lorsque vous lui demandez d'interroger vos données BigQuery. Dans de nombreux cas, les autorisations IAM nécessaires sont donc déjà accordées. Pour en savoir plus, consultez Exigences IAM pour utiliser Gemini Cloud Assist.

Utiliser Gemini Cloud Assist

  1. Accédez à la page BigQuery.

    Accéder à BigQuery

  2. Dans la barre d'outils Google Cloud , cliquez sur Ouvrir ou fermer le chat Gemini AI spark pour ouvrir le chat Gemini Cloud Assist.

    Bouton Gemini Cloud Assist dans la barre d'outils BigQuery

  3. Dans le champ Saisissez un prompt, saisissez votre prompt.

  4. Cliquez sur Envoyer Envoyer.

Les sections suivantes fournissent des exemples de tâches que vous pouvez effectuer avec Gemini Cloud Assist, ainsi que des exemples de requêtes.

Découvrir des ressources

Recherchez des ensembles de données et des ressources de table dans un seul projet ou dans plusieurs projets, et obtenez des informations à leur sujet. Gemini Cloud Assist utilise le Knowledge Catalog pour rechercher vos ressources BigQuery. Les recherches sont effectuées à l'aide de vos autorisations. Par exemple, si vous n'êtes pas autorisé à afficher les métadonnées d'une ressource, celle-ci n'apparaîtra pas dans les résultats. Voici quelques cas d'utilisation acceptés :

  • Recherchez une ressource par son nom. Dans le panneau Cloud Assist, saisissez un prompt semblable à ce qui suit :

    Ai-je des ensembles de données nommés "ecommerce" ?

  • Poser des questions sur les métadonnées d'une table : vous pouvez poser des questions sur une table en indiquant son nom, ou laisser Gemini Cloud Assist déduire de quelle table vous parlez en fonction de votre historique de chat ou de la table référencée dans l'onglet de requête actif. Si vous spécifiez une table par son nom, vous devez utiliser son nom complet. Vous pouvez poser des questions sur le schéma d'une table ou sur d'autres métadonnées, telles que le partitionnement et le clustering. Dans le panneau Cloud Assist, saisissez une requête semblable à la suivante :

    Quel est le schéma de PROJECT_NAME.DATASET_NAME.TABLE_NAME ?

  • Demandez où trouver des informations spécifiques. Dans le panneau Cloud Assist, saisissez un prompt semblable à ce qui suit :

    Où puis-je trouver des données démographiques, comme l'âge et la localisation, pour les nouveaux utilisateurs de l'année écoulée ?

Générer du code

Vous pouvez utiliser Gemini Cloud Assist pour générer du code SQL et Python afin de vous aider à interroger et à analyser vos données.

Générer le code SQL

Générez une requête SQL en décrivant ce que vous souhaitez qu'elle fasse. Pour obtenir les meilleurs résultats, incluez le nom de la table que vous souhaitez interroger. Par exemple, dans le panneau Cloud Assist, saisissez un prompt semblable à celui-ci :

Génère une requête SQL afin d'indiquer la durée et le type d'abonné des dix trajets les plus longs. Utilisez le tableau bigquery-public-data.san_francisco_bikeshare.bikeshare_trips.

Générer du code Python

Générez du code Python en décrivant ce que vous voulez qu'il fasse. Par exemple, dans le panneau Cloud Assist, vous pouvez saisir la requête suivante pour demander à Gemini d'interroger la table penguins à partir d'un ensemble de données public à l'aide de la syntaxe des commandes magiques BigQuery :

Génère du code Python pour interroger la table bigquery-public-data.ml_datasets.penguins à l'aide des commandes magiques BigQuery.

Programmer une requête

Planifiez une requête en fournissant les informations suivantes dans votre requête :

  • Fréquence (par exemple, tous les lundis à 17h ou un mardi sur deux à 2h)
  • Nom à afficher
  • ID de la table de destination et ID de l'ensemble de données de destination
  • Heure de début
  • Heure de fin
  • Disposition d'écriture, telle que WRITE_EMPTY, WRITE_APPEND ou WRITE_TRUNCATE

Par exemple, dans le panneau Cloud Assist, vous pouvez saisir un prompt semblable à ce qui suit :

Schedule the query open in the editor to run daily. The display name
should be "test query". Write the results to a new table in mydataset
called scheduled_results. Use WRITE_APPEND. Start it now.

Suivre la traçabilité des données

Vous pouvez utiliser Gemini Cloud Assist pour explorer et analyser la traçabilité des données. Il peut vous aider à comprendre les dépendances des données, à évaluer l'impact des changements structurels et à résumer les flux de données complexes. Pour analyser la traçabilité, vous pouvez poser des questions à Gemini Cloud Assist dans les domaines fonctionnels suivants :

  • Obtenir des statistiques sur la traçabilité Demandez à Gemini Cloud Assist des données quantitatives sur un graphique de lignée, comme le nombre total d'éléments, d'ensembles de données ou de projets impliqués. Dans le panneau Cloud Assist, saisissez un prompt semblable à ce qui suit :

    • Combien de composants en amont Customer_Master possède-t-il ?
    • Combien d'ensembles de données BigQuery sont impliqués dans la traçabilité en amont de Customer_Interaction_Summary ?
    • Indiquez le nombre de composants uniques dans le graphique en amont de Marketing_Interaction.
  • Analysez les dépendances immédiates. Identifiez les parents directs (sources) ou les enfants directs (consommateurs) d'un asset spécifique en analysant les relations à un saut. Dans le panneau Cloud Assist, saisissez une requête semblable à la suivante :

    • Quelles sont les sources immédiates de Customer_Master ?
    • Quels sont les consommateurs directs de la table Card_Master ?
    • Quelles sont les sources directes de Web_Session_Validated ?
  • Évaluez l'impact en aval. Comprenez les conséquences en aval de la modification ou de la suppression d'un composant. Vous pouvez définir la portée de ces requêtes par profondeur (nombre de sauts) ou par limites de projet spécifiques. Dans le panneau Cloud Assist, saisissez une requête semblable à la suivante :

    • Quels composants seront concernés si je supprime Customer_Master ?
    • Affiche-moi les composants en aval de Customer_Master en deux sauts.
    • Le changement de Customer_Master affectera-t-il des composants dans le projet "data-lineage-manual-tests" ?
  • Identifiez les sources racines et les destinations finales. Trouvez les origines ultimes ou les destinations finales de vos données, en ignorant les étapes de transformation intermédiaires. Dans le panneau Assistance Cloud, saisissez une requête semblable à la suivante :

    • Quelles sont toutes les sources de données ultimes pour Customer_Master ?
    • Quelles sont les sources de données d'origine pour Transaction_Data_Enriched, à l'exclusion des tables intermédiaires ?
    • Quelles sont les destinations finales des données de Card_Data_Validated ?
  • Suivez le flux de données entre les composants. Demandez à Gemini Cloud Assist d'expliquer la connexion, le chemin ou le flux de données spécifiques entre deux composants connus. Dans le panneau Cloud Assist, saisissez un prompt semblable à ce qui suit :

    • Comment Customer_Master dépend-il de Customer_Data_Raw ?
    • Comment les données passent-elles de Customer_Data_Raw à Customer_Profile_Snapshot ?
    • Combien de sauts séparent Customer_Data_Raw et Alert_Fact ?
  • Filtrez la traçabilité par type ou nom d'asset. Recherchez des types spécifiques d'éléments connectés (comme des vues BigQuery ou des tableaux de bord Looker) ou des éléments qui correspondent à un modèle de dénomination spécifique. Dans le panneau Cloud Assist, saisissez un prompt semblable à ce qui suit :

    • Customer_Master est-il utilisé dans des vues BigQuery ?
    • Existe-t-il des tableaux de bord Looker en aval de Customer_Master ?
    • Quelles tables en amont de Customer_Master contiennent "Country" dans leur nom ?
  • Résumer les graphiques de traçabilité : demandez un aperçu en langage naturel de la traçabilité d'un composant plutôt qu'une liste ou un nombre spécifiques. Dans le panneau Cloud Assist, saisissez une requête semblable à la suivante :

    • Résume-moi les composants qui dépendent de Web_Session_Validated.
    • Résume la traçabilité en aval de cette table.
    • Quel est le lineage de bigquery:PROJECT_NAME.DATASET_NAME ?

Analyser les jobs

En savoir plus sur les jobs exécutés dans votre projet, y compris votre historique personnel des jobs et l'historique des jobs du projet, pour prendre en charge les cas d'utilisation suivants :

  • Déboguez les requêtes de longue durée. Découvrez l'état actuel d'un job et les raisons pour lesquelles il peut prendre plus de temps que prévu (par exemple, la contention d'emplacements, le grand nombre de lignes analysées ou le volume de données élevé). Dans le panneau Cloud Assist, saisissez un prompt semblable à ce qui suit :

    Pourquoi ce job prend-il autant de temps ? JOB_ID

  • Analysez la cause d'un échec de job. Découvrez pourquoi une requête spécifique a échoué. Dans le panneau Cloud Assist, saisissez une requête semblable à la suivante :

    Pourquoi JOB_ID a-t-il échoué ?

  • Trouvez les requêtes gourmandes en ressources. Découvrez vos requêtes les plus coûteuses en fonction du nombre d'octets traités estimé. Dans le panneau Cloud Assist, saisissez un prompt semblable à ce qui suit :

    Quelles sont les trois requêtes les plus coûteuses que j'ai exécutées au cours des deux derniers jours ?

Administrer BigQuery

Dans l'explorateur de jobs, vous pouvez discuter avec Gemini Cloud Assist pour surveiller les performances, analyser la capacité et optimiser les coûts. Par exemple, vous pouvez utiliser Gemini Cloud Assist pour les tâches suivantes :

  • Analysez les réservations et la capacité. Surveillez votre utilisation du calcul et identifiez les goulots d'étranglement en langage naturel. Dans le panneau Cloud Assist, vous pouvez saisir des requêtes semblables à celles-ci :

    • Analyse les performances de ma réservation au cours des dernières 24 heures.
    • Affiche les principaux projets et utilisateurs qui consomment ma réservation "production".
    • Ma capacité actuelle est-elle suffisante pour notre charge maximale ?
  • Surveillez et comparez les jobs. Comparez les charges de travail pour comprendre les variations de performances. Vous pouvez obtenir une synthèse des performances des jobs qui met en évidence les goulots d'étranglement et les opportunités d'optimisation, ou comparer directement les détails d'exécution de différents jobs pour identifier les régressions ou les améliorations.

  • Configuration de la gestion des charges de travail : inspectez et gérez vos paramètres de réservation BigQuery, y compris les attributions et les engagements, en langage naturel. Cette fonctionnalité permet de visualiser les configurations de mise à l'échelle automatique, la gestion des emplacements inactifs et les détails spécifiques à l'édition. Dans le panneau Assistance Cloud, vous pouvez saisir des requêtes semblables à celles-ci :

    • Liste mes réservations avec autoscaling.
    • Donne-moi mes devoirs pour PROJECT_ID.
    • Quelle est la configuration de ma réservation RESERVATION_NAME ?
    • Liste mes engagements.
    • Combien de réservations ont la fonctionnalité "Ignorer les emplacements inactifs" configurée ?
    • Répertorier toutes les réservations par édition Enterprise.
    • Liste toutes les réservations actuelles et affiche slot_capacity et autoscale_max_slots pour chacune d'elles.
  • Identification des ressources les plus performantes : Identifier les principaux consommateurs de ressources BigQuery. L'assistant peut identifier les principaux utilisateurs et les principaux jobs en fonction de l'utilisation des emplacements dans des projets ou des réservations spécifiques. Cette assistance fournit une aide administrative complète pour les ressources BigQuery critiques, y compris les jobs, les utilisateurs, les projets et les réservations. En analysant les métriques de performances clés telles que l'utilisation des emplacements et la durée des tâches, l'assistant fournit des insights exploitables pour rationaliser la surveillance et optimiser l'allocation des ressources. Dans le panneau Cloud Assist, vous pouvez saisir des requêtes semblables à celles ci-dessous :

    • Quels sont les principaux utilisateurs qui utilisent le plus de slots dans mon projet ?
    • Affiche-moi les principaux jobs qui consomment le plus d'emplacements dans la réservation RESERVATION_NAME au cours de la dernière heure.

Étapes suivantes