Analysez des données multimodales dans BigQuery

Ce document décrit les fonctionnalités BigQuery que vous pouvez utiliser pour créer et analyser des données multimodales. Vous pouvez utiliser ces fonctionnalités dans BigQuery avec GoogleSQL et avec Python à l'aide de BigQuery DataFrames.

Les fonctionnalités de données multimodales de BigQuery vous permettent d'effectuer les tâches suivantes :

  • Intégrez des données non structurées stockées dans Cloud Storage en tant que colonne supplémentaire à côté des données structurées dans les tables BigQuery standards en représentant les données non structurées sous forme de valeurs ObjectRef.
  • Générez des annotations, des embeddings et des valeurs scalaires à partir de données multimodales en utilisant les fonctions d'IA générative de BigQuery ML avec les modèles Gemini.
  • Générez des annotations, des embeddings et des valeurs scalaires à partir de données multimodales en créant des DataFrames multimodaux dans BigQuery DataFrames et en utilisant des bibliothèques Python.

Pour suivre un tutoriel pas à pas qui utilise la Google Cloud console, consultez Analyser des données multimodales avec SQL et Python.

Avantages

Les fonctionnalités de données multimodales de BigQuery offrent les avantages suivants :

  • Composabilité : vous pouvez stocker et gérer des données structurées et non structurées dans la même ligne de table standard à l'aide de valeurs ObjectRef. Par exemple, vous pouvez stocker des images d'un produit dans la même ligne que le reste des informations sur le produit. Vous pouvez utiliser des fonctions SQL standard pour créer et mettre à jour des colonnes contenant des valeurs ObjectRef, et vous pouvez créer des valeurs ObjectRef comme résultat d'une action de transformation sur un objet.
  • Ajoutez plusieurs éléments de données non structurées dans les requêtes d'IA générative: ajoutez plusieurs ObjectRef valeurs comme entrée aux fonctions d'IA générative. Par exemple, vous pouvez générer des embeddings de données d'image et de texte à partir de la même table. Pour la génération de texte et de valeurs scalaires, vous pouvez également faire référence à plusieurs objets dans la requête que vous envoyez à un modèle. Par exemple, vous pouvez créer une requête qui demande au modèle de générer une description de produit basée sur des images et des attributs du produit.
  • Conservez l'ordre des blocs : vous pouvez découper des objets en blocs, puis stocker ces blocs sous forme de tableau de valeurs ObjectRef dans une colonne de table standard afin de conserver leur ordre. Par exemple, vous pouvez analyser des images à partir d'une vidéo, puis les stocker sous forme de tableau de valeurs ObjectRef, afin qu'elles restent dans le même ordre que dans la vidéo d'origine.

Valeurs ObjectRef

Une valeur ObjectRef est une valeur STRUCT qui utilise le ObjectRef schéma. Vous pouvez stocker les métadonnées d'un objet Cloud Storage et un autorisateur associé dans une table BigQuery standard en créant une colonne STRUCT ou ARRAY<STRUCT> qui utilise ce format. La valeur de l'autorisateur identifie la connexion à la ressource Cloud que BigQuery utilise pour accéder à l'objet Cloud Storage. Si vous définissez l'autorisateur sur NULL, BigQuery utilise vos identifiants d'utilisateur final.

Utilisez des valeurs ObjectRef lorsque vous devez intégrer des données non structurées dans une table standard. Par exemple, dans une table de produits, vous pouvez stocker des images de produits dans la même ligne que le reste des informations produit en ajoutant une colonne contenant une valeur ObjectRef.

Créez et mettez à jour des valeurs ObjectRef à l'aide des fonctions GoogleSQL suivantes :

  • OBJ.MAKE_REF: créez une valeur ObjectRef contenant des métadonnées pour un objet Cloud Storage.
  • OBJ.FETCH_METADATA: récupérez les métadonnées Cloud Storage pour une valeur ObjectRef partiellement renseignée avec les valeurs uri et authorizer.

Pour en savoir plus, consultez Utiliser des valeurs ObjectRef.

Valeurs ObjectRefRuntime

Une valeur ObjectRefRuntime est une valeur JSON qui utilise le schéma ObjectRefRuntime. Une valeur ObjectRefRuntime contient les métadonnées de l'objet Cloud Storage à partir de la valeur ObjectRef utilisée pour la créer, un autorisateur associé, et des URL d'accès. Vous pouvez utiliser les URL d'accès pour lire ou modifier l'objet dans Cloud Storage.

Utilisez des valeurs ObjectRefRuntime pour travailler avec des données d'objet dans des workflows d'analyse et de transformation. Les URL d'accès dans les valeurs ObjectRefRuntime expirent au bout de six heures au maximum, mais vous pouvez configurer un délai d'expiration plus court. Si vous conservez des valeurs ObjectRefRuntime n'importe où dans votre workflow, vous devez actualiser ces données régulièrement. Pour conserver les métadonnées d'objet, stockez ObjectRef valeurs plutôt, puis utilisez-les pour générer ObjectRefRuntime valeurs lorsque vous en avez besoin. Les valeurs ObjectRef n'ont pas besoin d'être actualisées, sauf si les objets sous-jacents dans Cloud Storage sont modifiés.

Créez des valeurs ObjectRefRuntime à l'aide de la OBJ.GET_ACCESS_URL fonction.

Fonctions d'IA générative

Générez du texte, des embeddings et des valeurs scalaires en fonction de ObjectRef ou ObjectRefRuntime entrée à l'aide des fonctions d'IA générative suivantes avec modèles Gemini :

Utiliser des données multimodales en Python

Vous pouvez analyser des données multimodales en Python à l'aide des classes et des méthodes BigQuery DataFrames.

DataFrames multimodaux

Créez un DataFrame multimodal qui intègre des données structurées et non structurées à l'aide de la read_gbq méthode: créez un DataFrame multimodal à partir d'une table d'objets.

Pour l'essayer, consultez le tutoriel sur les DataFrames multimodaux sur GitHub.

Méthodes d'IA générative

Utilisez les méthodes suivantes pour effectuer des tâches d'IA générative sur des données multimodales :

Tables d'objets

Toutes les nouvelles tables d'objets que vous créez comportent une colonne ref contenant une valeur ObjectRef pour l'objet donné. La connexion utilisée pour créer la table d'objets permet de renseigner les valeurs authorizer dans la colonne ref. Vous pouvez utiliser la colonne ref pour renseigner et actualiser les valeurs ObjectRef dans les tables standards.

Ensembles de données Storage Insights

Un ensemble de données Storage Insights est un ensemble de données BigQuery associé que vous pouvez interroger pour analyser et visualiser vos données Cloud Storage. La colonne contient des valeurs que vous pouvez utiliser pour analyser les données et les métadonnées des objets.refObjectRef

Limites

Les limites suivantes s'appliquent aux fonctionnalités de données multimodales de BigQuery :

  • Si vous ne spécifiez pas explicitement le nom du projet contenant la connexion dans le champ authorizer d'une valeur ObjectRef, la connexion doit exister dans le projet contenant la table d'objets qui la stocke ou dans le projet dans lequel la requête qui fait référence à la valeur ObjectRef est exécutée.
  • Vous ne pouvez pas avoir plus de 20 connexions à des ressources Cloud dans le projet et la région où votre requête accède aux données d'objet en tant que valeurs ObjectRef.
  • Vous pouvez faire référence à des valeurs ObjectRef à partir de cinq projets au maximum, en plus du projet dans lequel vous exécutez la requête.

Coûts

Les coûts suivants s'appliquent lorsque vous utilisez des données multimodales :

  • Le stockage des métadonnées d'objet sous forme de valeurs ObjectRef dans des tables standards contribue au coût de stockage BigQuery pour la table.
  • Les requêtes exécutées sur des valeurs ObjectRef entraînent des coûts de calcul BigQuery.
  • Les nouveaux objets que vous créez à partir de transformations d'objets entraînent des coûts Cloud Storage.
  • Les nouvelles données que vous créez et conservez dans BigQuery entraînent des coûts de stockage BigQuery.
  • L'utilisation des fonctions d'IA générative entraîne des coûts Gemini Enterprise Agent Platform.
  • L'utilisation des fonctions Python définies par l'utilisateur BigQuery, ainsi que des méthodes de DataFrames multimodaux et de transformations d'objets dans BigQuery DataFrames, entraîne des coûts de fonctions Python définies par l'utilisateur.

Pour en savoir plus, consultez les pages de tarification suivantes :

Étape suivante