Optimiser les performances des requêtes vectorielles dans AlloyDB pour PostgreSQL

Découvrez comment ajuster les index vectoriels suivants pour obtenir des requêtes plus rapides et un meilleur rappel dans AlloyDB pour PostgreSQL :

Vous pouvez également analyser vos requêtes et afficher les métriques d'index vectoriel pour surveiller et améliorer les performances des requêtes.

Avant de commencer

Avant de créer un index ScaNN, procédez comme suit :

  • Assurez-vous qu'une table contenant vos données a déjà été créée.
  • Pour éviter les problèmes lors de la génération de l'index, assurez-vous que la valeur que vous définissez pour les options maintenance_work_mem et shared_buffers est inférieure à la mémoire totale de la machine .

Régler un index ScaNN

Vous pouvez ajuster les index créés en mode MANUAL à l'aide des paramètres de création d'index et d'exécution de requêtes. Pour en savoir plus sur les index optimisés automatiquement, consultez Créer des index optimisés automatiquement.

Suivez les conseils ci-dessous pour choisir entre un index ScaNN à deux niveaux et un index ScaNN à trois niveaux :

  • Choisissez un index à deux niveaux si le nombre de lignes de vecteurs est inférieur à 10 millions.
  • Choisissez un index à trois niveaux si le nombre de lignes de vecteurs dépasse 100 millions.
  • Choisissez un index à trois niveaux pour optimiser le temps de création de l'index ou un index à deux niveaux pour optimiser le rappel de recherche si le nombre de lignes de vecteurs se situe entre 10 millions et 100 millions.

Observez les exemples suivants pour les index ScaNN à deux et trois niveaux, qui montrent comment les paramètres d'optimisation sont définis pour une table comportant 1 000 000 de lignes :

Index à deux niveaux

SET LOCAL scann.num_leaves_to_search = 1;
SET LOCAL scann.pre_reordering_num_neighbors=50;

CREATE INDEX my-scann-index ON my-table
  USING scann (vector_column cosine)
  WITH (num_leaves = 1000); -- Note: 1000 is the square root of 1,000,000 rows.

Index à trois niveaux

SET LOCAL scann.num_leaves_to_search = 10;
SET LOCAL scann.pre_reordering_num_neighbors = 50;

CREATE INDEX my-scann-index ON my-table
  USING scann (vector_column cosine)
  WITH (num_leaves = 10000, max_num_levels = 2);

Pour optimiser l'équilibre entre le rappel et les RPS lors de l'ajustement des index ScaNN, consultez Bonnes pratiques pour ajuster les index ScaNN.

Analyser vos requêtes

Utilisez la commande EXPLAIN ANALYZE pour analyser les insights sur les requêtes, comme indiqué dans l'exemple de requête SQL suivant.

  EXPLAIN ANALYZE SELECT result-column
  FROM my-table
  ORDER BY EMBEDDING_COLUMN <=> embedding('text-embedding-005', 'What is a database?')::vector
  LIMIT 1;

L'exemple de réponse QUERY PLAN inclut des informations telles que le temps écoulé, le nombre de lignes analysées ou renvoyées, ainsi que les ressources utilisées.

Limit  (cost=0.42..15.27 rows=1 width=32) (actual time=0.106..0.132 rows=1 loops=1)
  ->  Index Scan using my-scann-index on my-table  (cost=0.42..858027.93 rows=100000 width=32) (actual time=0.105..0.129 rows=1 loops=1)
        Order By: (embedding_column <=> embedding('text-embedding-005', 'What is a database?')::vector(768))
        Limit value: 1
Planning Time: 0.354 ms
Execution Time: 0.141 ms

Afficher les métriques d'index vectoriel

Vous pouvez utiliser les métriques d'index vectoriel pour examiner les performances de votre index vectoriel, identifier les points à améliorer et ajuster votre index en fonction des métriques, si nécessaire.

Pour afficher toutes les métriques d'index vectoriel, exécutez la requête SQL suivante, qui utilise la vue pg_stat_ann_indexes :

SELECT * FROM pg_stat_ann_indexes;

Vous obtenez un résultat semblable à celui-ci :

-[ RECORD 1 ]----------+---------------------------------------------------------------------------
relid                  | 271236
indexrelid             | 271242
schemaname             | public
relname                | t1
indexrelname           | t1_ix1
indextype              | scann
indexconfig            | {num_leaves=100,quantizer=SQ8}
indexsize              | 832 kB
indexscan              | 0
insertcount            | 250
deletecount            | 0
updatecount            | 0
partitioncount         | 100
distribution           | {"average": 3.54, "maximum": 37, "minimum": 0, "outliers": [37, 12, 11, 10, 10, 9, 9, 9, 9, 9]}
distributionpercentile |{"10": { "num_vectors": 0, "num_partitions": 0 }, "25": { "num_vectors": 0, "num_partitions": 30 }, "50": { "num_vectors": 3, "num_partitions": 30 }, "75": { "num_vectors": 5, "num_partitions": 19 }, "90": { "num_vectors": 7, "num_partitions": 11 }, "95": { "num_vectors": 9, "num_partitions": 5 }, "99": { "num_vectors": 12, "num_partitions": 4 }, "100": { "num_vectors": 37, "num_partitions": 1 }}

Pour obtenir la liste complète des métriques, consultez Métriques d'index vectoriel.

Étapes suivantes