‫Google משתמשת בטכנולוגיית AI כדי לתרגם תוכן לשפה המועדפת עליך. בתרגומים כאלו עשויות להיות שגיאות.

שיפור הביצועים של שאילתות וקטורים ב-AlloyDB ל-PostgreSQL

כוונון של אינדקסים וקטוריים ב-AlloyDB ל-PostgreSQL מאפשר לכם לשפר את מהירות הביצוע של השאילתות ואת ה-recall של החיפוש בעומסי העבודה של החיפוש הווקטורי. אתם יכולים לשנות את הפרמטרים של בניית האינדקסים והשאילתות של ScaNN,‏ IVF,‏ IVFFlat ו-HNSW בהתאם לגודל של מערך הנתונים ולדרישות הביצועים.

לפני שמתחילים

לפני שיוצרים אינדקס ScaNN, צריך לבצע את הפעולות הבאות:

יוצרים טבלה עם הנתונים.
כדי למנוע בעיות של מחסור בזיכרון כשיוצרים את אינדקס ScaNN, ודאו שהדגלים לניהול מסד הנתונים maintenance_work_mem ו-shared_buffers מוגדרים לערך קטן יותר מסך הזיכרון של המכונה.
כדי להשתמש באינדקסים עם ארבע רמות, קודם צריך להפעיל את התכונה תצוגה מקדימה במופע AlloyDB. כדי להפעיל את התכונה "תצוגה מקדימה", בוחרים באחת משתי השיטות הבאות:
- מפעילים את דגל לניהול מסד נתונים scann.enable_preview_features.
  
  מידע נוסף על הגדרת דגלים של מסד נתונים זמין במאמר הגדרת דגלים של מסד נתונים.
- מגדירים את הדגל לניהול מסד נתונים scann.max_allowed_num_levels ברמת הסשן לערך 3.
```
SET scann.max_allowed_num_levels = 3;
```

שיפור של אינדקס ScaNN

כדי לקבוע את מספר הרמות שנדרשות לאינדקס ScaNN, אפשר לעיין בטבלה הבאה.

מספר השורות של הווקטור בטבלה	מספר הרמות באינדקס ScaNN
[0..10 million]	שניים
[10 million..100 million]	בוחרים אחד מהמדדים הבאים כדי לתת לו עדיפות: זכירת החיפוש: שתיים משך הזמן של בניית האינדקס: שלוש
‫[100 מיליון..מיליארד]	בוחרים אחד מהמדדים הבאים כדי לתת לו עדיפות: חיפוש בזיכרון: שלוש משך הזמן של תהליך ה-build של האינדקס: ארבע (בתצוגה מקדימה)
[1 billion..10 billion]	‫Four (בגרסת טרום-השקה (Preview))

אפשר להשתמש באינדקסים הבאים של ScaNN כדוגמאות לכוונון פרמטרים לטבלה עם מיליון שורות.

אינדקס עץ דו-שלבי

SET LOCAL scann.num_leaves_to_search = 1;
SET LOCAL scann.pre_reordering_num_neighbors=50;

CREATE INDEX my_scann_index ON my_table
       USING scann (vector_column cosine)
WITH (num_leaves = [power(1000000, 1/2)]);

אינדקס של עץ עם שלוש רמות

SET LOCAL scann.num_leaves_to_search = 10;
SET LOCAL scann.pre_reordering_num_neighbors=50;

CREATE INDEX my_scann_index ON my_table
       USING scann (vector_column cosine)
WITH (num_leaves = [power(1000000, 2/3)], max_num_levels = 2);

אינדקס של עץ עם ארבע רמות

SET LOCAL scann.num_leaves_to_search = 100;
SET LOCAL scann.pre_reordering_num_neighbors=50;

CREATE INDEX my-scann-index ON my-table
       USING scann (vector_column cosine)
WITH (num_leaves = [power(1000000, 3/4)], max_num_levels = 3);

מידע נוסף על אינדקסים של ScaNN זמין בדפים הבאים:

טיפול בביטולים של DML בגלל האצה באמצעות מנוע מבוסס-עמודות

אם בחרתם להאיץ את החיפושים הווקטוריים באמצעות מנוע מבוסס-עמודות, חשוב לזכור שביטולים של DML ו-DDL בטבלאות הבסיס יכולים להשפיע על הביצועים של השאילתות הווקטוריות. במקרה של תפוקת DML גבוהה, כדאי לשנות את הגדרת דגל לניהול מסד נתונים google_columnar_engine.refresh_threshold_percentage או לרענן את האינדקס באופן ידני באמצעות הפקודה google_columnar_engine_refresh_index.

ניתוח השאילתות

כדי לנתח את התובנות לגבי השאילתה, משתמשים בפקודה EXPLAIN ANALYZE, כמו בדוגמה הבאה של שאילתת SQL.

  EXPLAIN ANALYZE SELECT result-column
  FROM my_table
  ORDER BY EMBEDDING_COLUMN <-> embedding('text-embedding-005', 'What is a database?')::vector
  LIMIT 1;

התגובה לדוגמה QUERY PLAN כוללת מידע כמו משך הזמן, מספר השורות שנסרקו או הוחזרו והמשאבים שבהם נעשה שימוש.

Limit  (cost=0.42..15.27 rows=1 width=32) (actual time=0.106..0.132 rows=1 loops=1)
  ->  Index Scan using my_scann_index on my_table  (cost=0.42..858027.93 rows=100000 width=32) (actual time=0.105..0.129 rows=1 loops=1)
        Order By: (embedding_column <-> embedding('text-embedding-005', 'What is a database?')::vector(768))
        Limit value: 1
Planning Time: 0.354 ms
Execution Time: 0.141 ms

הצגת מדדים של אינדקס וקטורים

אתם יכולים להשתמש במדדים של אינדקס הווקטורים כדי לבדוק את הביצועים של אינדקס הווקטורים, לזהות תחומים שדורשים שיפור ולשנות את האינדקס על סמך המדדים, אם צריך. התצוגה pg_stat_ann_indexes עוזרת להבין את מצב השימוש באינדקס, והתצוגה pg_stat_ann_index_creation מספקת מידע על שורות שנוצרו בזמן יצירת האינדקס.

כדי לראות את מדדי הניצול של האינדקס, מריצים את הפקודה הבאה:

SELECT * FROM pg_stat_ann_indexes;

הפלט אמור להיראות כך:

-[ RECORD 1 ]----------+---------------------------------------------------------------------------
relid                  | 271236
indexrelid             | 271242
schemaname             | public
relname                | t1
indexrelname           | t1_ix1
indextype              | scann
indexconfig            | {num_leaves=100,max_num_levels=1,quantizer=SQ8}
indexsize              | 832 kB
indexscan              | 0
insertcount            | 250
deletecount            | 0
updatecount            | 0
partitioncount         | 100
distribution           | {"average": 3.54, "maximum": 37, "minimum": 0, "outliers": [37, 12, 11, 10, 10, 9, 9, 9, 9, 9]}
distributionpercentile |{"10": { "num_vectors": 0, "num_partitions": 0 }, "25": { "num_vectors": 0, "num_partitions": 30 }, "50": { "num_vectors": 3, "num_partitions": 30 }, "75": { "num_vectors": 5, "num_partitions": 19 }, "90": { "num_vectors": 7, "num_partitions": 11 }, "95": { "num_vectors": 9, "num_partitions": 5 }, "99": { "num_vectors": 12, "num_partitions": 4 }, "100": { "num_vectors": 37, "num_partitions": 1 }}

כדי לראות את מספר השורות שנוצרו בזמן יצירת האינדקס, מריצים את הפקודה הבאה:

SELECT * FROM pg_stat_ann_index_creation;