Documentation de référence de l'index ScaNN

Sélectionnez une version de la documentation :

Cette page fournit une documentation de référence sur l'index ScaNN.

Paramètres de réglage

Les paramètres d'index et options de base de données ci-après sont utilisés ensemble pour trouver le bon équilibre entre rappel et requêtes par seconde (RPS).

Paramètre de réglage Description Type d'option
max_num_levels Nombre maximal de niveaux de centroïdes de l'arborescence de clustering en K-moyennes.
  • Index d'arborescence à deux niveaux : défini sur 1 par défaut pour une arborescence à deux niveaux (1 niveau de centroïde + niveau de feuille inférieur).
  • Index d'arborescence à trois niveaux : défini sur 2 par défaut pour une arborescence à trois niveaux (2 niveaux de centroïdes + niveau de feuille inférieur)
  • Définissez la valeur sur 2 si le nombre de lignes de vecteurs dépasse 100 millions.
  • Définissez la valeur sur 1 si le nombre de lignes de vecteurs est inférieur à 10 millions.
  • Définissez la valeur sur 1 ou 2 si le nombre de lignes de vecteurs est compris entre 10 millions et 100 millions selon que vous souhaitez optimiser la durée de compilation de l'index (valeur 2) ou optimiser le rappel de recherche (valeur 1).
 Création d'index
(facultatif)
num_leaves Nombre de partitions à appliquer à cet index. Le nombre de partitions que vous appliquez lors de la création d'un index a une incidence sur les performances de l'index. En augmentant le nombre de partitions pour un nombre défini de vecteurs, vous créez un index plus précis, ce qui améliore le rappel et les performances des requêtes. Toutefois, cela se fait au détriment de la durée de création des index.

Étant donné que les arbres à trois niveaux se construisent plus rapidement que ceux à deux niveaux, vous pouvez augmenter num_leaves_value lorsque vous créez un index d'arborescence à trois niveaux pour améliorer les performances.
  • Index à deux niveaux : définissez cette valeur sur n'importe quelle valeur comprise entre 1 et 1048576.

    Pour obtenir un index offrant un équilibre entre la création rapide d'index et de bonnes performances de recherche, utilisez sqrt(ROWS) comme point de départ, où ROWS correspond au nombre de lignes de vecteurs. Le nombre de vecteurs que contient chaque partition est calculé par
    ROWS/sqrt(ROWS) = sqrt(ROWS).

    Étant donné qu'un index d'arborescence à deux niveaux peut être créé sur un ensemble de données comportant moins de 10 millions de lignes de vecteurs, chaque partition contiendra moins de (sqrt(10M)) vecteurs, soit 3200 vecteurs. Pour bénéficier d'une qualité de recherche vectorielle optimale, il est recommandé de minimiser le nombre de vecteurs dans chaque partition. La taille de partition recommandée est d'environ 100 vecteurs par partition. Vous devez donc définir num_leaves sur ROWS/100. Si vous avez 10 millions de vecteurs, définissez num_leaves sur 100 000.
  • Index à trois niveaux : définissez cette valeur sur n'importe quelle valeur comprise entre 1 et 1048576.

    Si vous ne savez pas exactement quelle valeur sélectionner, utilisez power(ROWS, 2/3) comme point de départ, où ROWS correspond au nombre de lignes de vecteurs. Le nombre de vecteurs que contient chaque partition est calculé par
    ROWS/power(ROWS, 2/3) = power(ROWS, 1/3).

    Étant donné qu'un index d'arborescence à trois niveaux peut être créé sur un ensemble de données comportant plus de 100 millions de lignes de vecteurs, chaque partition contiendra plus de
    (power(100M, 1/3)) vecteurs, soit 465 vecteurs. Pour bénéficier d'une qualité de recherche vectorielle optimale, il est recommandé de minimiser le nombre de vecteurs dans chaque partition. La taille de partition recommandée est d'environ 100 vecteurs par partition. Vous devez donc définir num_leaves sur ROWS/100. Si vous avez 100 millions de vecteurs, vous devez définir num_leaves sur 1 million.
 Création d'un index 
(obligatoire)
quantizer Type de quantificateur à utiliser pour l'arborescence k-moyennes. La valeur par défaut est définie sur SQ8, ce qui permet d'améliorer les performances des requêtes avec une perte de rappel minimale (généralement inférieure à 1 % ou 2 %).

Définissez la valeur sur FLAT si un rappel de 99 % ou plus est requis.		 Création d'index
(facultatif)
scann.enable_inline_filtering Permet la prise en charge du filtrage intégré, qui interroge vos données et applique des filtres directement dans une opération de recherche de similarité vectorielle. Ces requêtes de similarité vectorielle utilisent des filtres sur les mêmes tables de base de données et effectuent une évaluation complète des filtres lors du calcul de la distance pour l'identification des voisins les plus proches. Cette option est désactivée par défaut.

Pour activer le filtrage intégré, définissez ce paramètre sur true. Si vous constatez une baisse des performances, définissez la valeur sur false.

Cette option est disponible en version preview.		 Durée d'exécution de la requête 
(facultatif)
scann.enable_pca Active l'analyse des composants principaux (ACP), une technique de réduction de la dimensionnalité utilisée pour réduire automatiquement la taille de l'embedding lorsque cela est possible. Cette option est activée par défaut.

Définissez-la sur false si vous constatez une détérioration du rappel.		 Création d'index
(facultatif)
scann.num_leaves_to_search Ce flag de base de données contrôle le nombre absolu de feuilles ou de partitions à rechercher, ce qui vous permet d'obtenir un compromis entre rappel et nombre de requêtes par seconde. La valeur par défaut est de 1 % de la valeur définie dans num_leaves.

Une valeur plus élevée entraînera un meilleur rappel, mais le nombre de requêtes par seconde sera plus faible. De même, une valeur plus faible entraînera un rappel plus faible, mais le RPS sera en ce cas plus élevé.		 Durée d'exécution de la requête 
(facultatif)
scann.pre_reordering_num_neighbors Lorsqu'il est défini, le flag de base de données spécifie le nombre de voisins candidats à prendre en compte lors des étapes de réorganisation après que la recherche initiale a identifié un ensemble de candidats. Définissez ce paramètre sur une valeur supérieure au nombre de voisins que vous souhaitez que la requête renvoie.

Une valeur plus élevée améliore le rappel, mais réduit le nombre de requêtes par seconde. Définissez cette valeur sur 0 pour désactiver le réordonnancement. La valeur par défaut est 0 si l'ACP n'est pas activée lors de la création de l'index. Sinon, la valeur par défaut est 50 x K, où K correspond à la valeur "LIMIT" spécifiée dans la requête. 		Durée d'exécution de la requête 
(facultatif)
scann.num_search_threads Nombre de threads de recherche pour la recherche multithread. Cela peut aider à réduire la latence des requêtes uniques, car plusieurs threads sont utilisés pour la recherche ScaNN ANN dans les applications sensibles à la latence. Ce paramètre n'améliore pas la latence des requêtes individuelles si la base de données est déjà liée au processeur. La valeur par défaut est 2. Durée d'exécution de la requête 
(facultatif)

Étapes suivantes