Présentation des index d'IA

Les index d'IA vous permettent d'effectuer des recherches en langage naturel dans les colonnes d'une table sans générer manuellement d'embeddings ni gérer de modèles. Vous pouvez utiliser la fonction AI.SEARCH pour interroger vos données, tandis que BigQuery gère automatiquement la sélection des colonnes, l'optimisation de l'index et la maintenance continue.

À propos des index d'IA

Un index d'IA est une abstraction d'indexation gérée et auto-optimisée qui vous permet d'utiliser la recherche en langage naturel sur une ou plusieurs colonnes de vos tables BigQuery avec la fonction AI.SEARCH. Utilisez un index d'IA lorsque vous souhaitez effectuer une recherche en langage naturel dans une ou plusieurs colonnes de texte sans gérer de modèles d'embeddings, de colonnes d'embeddings ni d'index vectoriels. Si vous avez besoin d'un modèle d'embedding spécifique ou d'options d'index vectoriel personnalisées, générez des embeddings et créez un index vectoriel.

Les index d'IA BigQuery vous aident à effectuer les tâches suivantes plus efficacement :

  • Effectuer des recherches en langage naturel sans gérer de modèles : vous pouvez effectuer des recherches dans vos données à l'aide de requêtes en langage naturel sans générer d'embeddings ni configurer d'index vectoriels.
  • Sélection automatique des colonnes : lorsque vous créez un index d'IA avec l'option AUTO COLUMNS, BigQuery identifie et sélectionne automatiquement les colonnes candidates de la table à indexer, ou vous permet de spécifier une liste explicite de colonnes à inclure.
  • Indexation adaptative : BigQuery détermine et applique automatiquement les stratégies d'indexation et de récupération optimales pour vos données et vos requêtes.
  • Cycle de vie entièrement géré : à mesure que les données de votre table changent, BigQuery gère automatiquement la création, la maintenance, les mises à jour et les actualisations des index, sans que vous ayez à gérer les artefacts d'IA sous-jacents.

Gestion de la charge de travail

Par défaut, BigQuery utilise des emplacements à la demande et le pool d'emplacements partagés pour gérer le traitement en arrière-plan requis pour créer, actualiser et optimiser un index d'IA. Pour garantir des performances d'indexation prévisibles et cohérentes sur des charges de travail de production plus importantes, ou pour créer un index d'IA sur une table de plus de 1 000 000 de lignes, procédez comme suit :

  • Créer une réservation dans la région où se trouve votre table
  • Attribuez votre projet à la réservation en définissant job_type sur BACKGROUND.

Lorsqu'une réservation BACKGROUND est présente, BigQuery l'utilise pour exécuter les jobs en arrière-plan qui gèrent l'index d'IA.

Tarifs

Les coûts des index d'IA se répartissent dans les catégories suivantes :

  • Instructions LDD : l'exécution des instructions CREATE AI INDEX et DROP AI INDEX n'entraîne aucuns frais supplémentaires.
  • Traitement des données d'index en arrière-plan (jobs gc_) : tous les traitements de données s'exécutent directement dans BigQuery à l'aide d'emplacements BigQuery. Par défaut, BigQuery utilise des emplacements à la demande pour gérer ces jobs, et le projet de la table est facturé selon le modèle de facturation à la demande du LMD. Si une réservation BACKGROUND est attribuée au projet, BigQuery BACKGROUNDl'utilise pour exécuter ces jobs LMD en arrière-plan, et la réservation est facturée pour l'utilisation du temps d'emplacement. Pour en savoir plus, consultez Suivre les coûts des jobs en arrière-plan.
  • Génération d'embeddings : la génération d'embeddings pour les index d'IA, y compris les embeddings générés pour les requêtes AI.SEARCH sur les tables avec un index d'IA, est facturée au tarif publié du modèle sous-jacent utilisé par l'index d'IA. Google peut mettre à jour le modèle par défaut utilisé par les index d'IA au fil du temps pour améliorer le cycle de vie ou les performances du modèle, et facturer le modèle au tarif BigQuery publié.
  • Entraînement et optimisation de l'index : aucuns frais supplémentaires ne s'appliquent au traitement requis pour entraîner et optimiser les structures d'index lorsque vous utilisez le pool d'emplacements partagés par défaut, tant que la taille totale des données de la table indexée est inférieure à la limite de votre organisation.
  • Stockage : les index d'IA entraînent des coûts de stockage tant qu'ils existent dans la table. Vous pouvez afficher la taille de stockage d'un index IA dans la colonne total_logical_bytes de la vue INFORMATION_SCHEMA.AI_INDEXES.
  • Requêtes : les requêtes qui utilisent la fonction AI.SEARCH sont facturées au tarif de calcul BigQuery standard. La génération d'embeddings pour la requête est facturée comme décrit précédemment dans cette liste.

Limites des index d'IA

Lorsque vous utilisez des index d'IA, les limites suivantes s'appliquent :

  • Si le texte combiné des colonnes indexées d'une ligne est très long, par exemple des documents complets ou de nombreuses colonnes STRING longues, seule une partie du texte est utilisée pour la recherche. Pour vous assurer que les champs les plus informatifs sont utilisés, spécifiez une liste de colonnes explicite dans CREATE AI INDEX, en listant d'abord les colonnes les plus pertinentes.
  • Les requêtes qui nécessitent une correspondance exacte sur des valeurs d'identifiant sans signification en langage naturel, telles que des ID, des UUID, des hachages ou des codes système, ne sont pas acceptées. Par défaut, AUTO COLUMNS inclut toutes les colonnes STRING de premier niveau sans filtrer les colonnes d'ID opaques. Pour exclure les colonnes d'ID opaques de l'index d'IA, spécifiez une liste de colonnes explicite dans CREATE AI INDEX.
  • Les requêtes qui contiennent des contraintes numériques strictes ou qui nécessitent un filtrage structuré sur des colonnes non-STRING ne sont pas compatibles avec le texte de recherche en langage naturel seul. Appliquez plutôt des filtres structurés ou numériques à l'aide d'une clause WHERE dans une sous-requête de préfiltre.
  • La qualité de la recherche peut se dégrader si l'index d'IA inclut des colonnes contenant du texte qui ne décrit pas la ligne, comme des journaux bruts, des traces de la pile, des URL ou des chaînes générées par une machine. Pour exclure ces colonnes, listez les colonnes à indexer au lieu d'utiliser AUTO COLUMNS.
  • Les instructions CREATE OR REPLACE AI INDEX et ALTER AI INDEX ne sont pas acceptées. Vous ne pouvez pas non plus supprimer, renommer ni modifier le type de données d'une colonne source incluse dans un index d'IA. Pour modifier les colonnes indexées, supprimez l'index d'IA et recréez-le.
  • Les opérations de table suivantes ne sont pas compatibles avec les tables comportant des index d'IA. Pour effectuer ces opérations, supprimez l'index d'IA.

    • Créez une table à partir du schéma de la table (CREATE TABLE ... LIKE).
    • Copier la table (bq cp ou CREATE TABLE ... COPY), y compris les copies interrégionales, ou copier des données dans une table existante dotée d'un index d'IA.
    • Clonez la table (CREATE TABLE ... CLONE).
    • Créez un instantané de table (CREATE SNAPSHOT TABLE).
    • Renommez la table (ALTER TABLE ... RENAME TO).
    • Restaurez la table (RESTORE TABLE).

Étapes suivantes