יצירת אינדקס IVFFLAT

אינדקסים מסוג Inverted File Flat (IVFFlat) ב-AlloyDB ל-PostgreSQL מאפשרים להאיץ חיפושים של דמיון וקטורי בהטמעות מאוחסנות, תוך צמצום זמן היצירה של האינדקס והשימוש בזיכרון. אתם יכולים ליצור אינדקסים של IVFFlat באמצעות התוסף vector ולשלוח שאילתות להטמעות שנוספו לאינדקס. מידע נוסף על אחסון הטמעות זמין במאמר אחסון הטמעות וקטוריות.

לפני שמתחילים

לפני שמתחילים ליצור אינדקסים, צריך לבצע את הפעולות הבאות.

  • וקטורי ההטמעה מתווספים לטבלה במסד הנתונים ב-AlloyDB.

  • גרסה 0.5.0 ומעלה של התוסף vector, שמבוסס על pgvector, שהורחב על ידי Google ל-AlloyDB, מותקנת.

    CREATE EXTENSION IF NOT EXISTS vector;
    

יצירת אינדקס IVFFlat

ב-Stock pgvector יש גם גרסה של האינדקס IVF שנקראת IVFFlat. זמן היצירה של האינדקס הזה קצר יותר והוא תופס פחות הזיכרון שבשימוש בהשוואה לאינדקס hnsw.

כדי ליצור אינדקס IVFFlat, מבצעים את השלבים הבאים:

CREATE INDEX INDEX_NAME ON TABLE
  USING ivfflat (EMBEDDING_COLUMN DISTANCE_FUNCTION)
  WITH (lists = LIST_COUNT);

מחליפים את מה שכתוב בשדות הבאים:

  • ‫INDEX_NAME: שם האינדקס שרוצים ליצור, לדוגמה my-ivf-index.

  • ‫TABLE: הטבלה שרוצים להוסיף לה את האינדקס.

  • ‫EMBEDDING_COLUMN: עמודה שבה מאוחסנים נתונים מסוג vector.

  • ‫DISTANCE_FUNCTION: פונקציית המרחק שבה משתמשים באינדקס הזה. צריך לבחור אחת מהאפשרויות:

    • מרחק L2: vector_l2_ops

    • מכפלה פנימית: vector_ip_ops

    • מרחק קוסינוס: vector_cosine_ops

  • ‫LIST_COUNT: מספר הרשימות שבהן צריך להשתמש עם האינדקס הזה. מידע נוסף על אופן ההחלטה לגבי הערך הזה זמין במאמר כוונון של אינדקס IVFFlat.

    כדי ליצור את האינדקס הזה בעמודת הטמעה שמשתמשת בסוג הנתונים real[] במקום ב-vector, צריך להמיר את העמודה לסוג הנתונים vector:

CREATE INDEX INDEX_NAME ON TABLE
  USING ivfflat ((CAST(EMBEDDING_COLUMN AS vector(DIMENSIONS))) DISTANCE_FUNCTION)
  WITH (lists = LIST_COUNT);

מחליפים את DIMENSIONS ברוחב הממדי של עמודת ההטמעה. למידע נוסף על איך למצוא את המאפיינים, עיינו בפונקציה vector_dims בפונקציות וקטוריות.

כדי לראות את התקדמות ההוספה לאינדקס, משתמשים בתצוגה pg_stat_progress_create_index:

SELECT * FROM pg_stat_progress_create_index;

בעמודה phase מוצג המצב הנוכחי של יצירת האינדקס.

כדי לכוונן את האינדקס לאיזון בין יעד ה-recall ל-QPS, קראו את המאמר כוונון אינדקס IVFFlat.

הרצת שאילתה

אחרי שמאחסנים את ההטמעות במסד הנתונים ומוסיפים אותן לאינדקס, אפשר להתחיל לשלוח שאילתות באמצעות פונקציונליות השאילתות של pgvector.

כדי למצוא את השכנים הסמנטיים הקרובים ביותר לווקטור הטמעה, אפשר להריץ את השאילתה לדוגמה הבאה, שבה מגדירים את אותה פונקציית מרחק שבה השתמשתם במהלך יצירת האינדקס.

  SELECT * FROM TABLE
    ORDER BY EMBEDDING_COLUMN DISTANCE_FUNCTION_QUERY 'EMBEDDING'
    LIMIT ROW_COUNT;

מחליפים את מה שכתוב בשדות הבאים:

  • ‫TABLE: הטבלה שמכילה את ההטמעה שאליה משווים את הטקסט.

  • ‫EMBEDDING_COLUMN: העמודה שמכילה את ההטמעות השמורות.

  • ‫DISTANCE_FUNCTION_QUERY: פונקציית המרחק שבה משתמשים בשאילתה הזו. בוחרים אחת מהאפשרויות הבאות, בהתאם לפונקציית המרחק שבה השתמשתם כשנוצר האינדקס:

    • מרחק L2: <->

    • מכפלה פנימית: <#>

    • מרחק קוסינוס: <=>

  • ‫EMBEDDING: וקטור ההטמעה שרוצים למצוא את השכנים הסמנטיים המאוחסנים הכי קרובים אליו.

  • ‫ROW_COUNT: מספר השורות שיוחזרו.

    ציינו 1 אם אתם רוצים רק את ההתאמה הטובה ביותר.

למידע נוסף על דוגמאות אחרות לשאילתות, ראו שאילתות.

אפשר גם להשתמש בפונקציה embedding() כדי לתרגם את הטקסט לווקטור. מחילים את הווקטור על אחד מהאופרטורים של pgvector השכנים הקרובים ביותר, <-> למרחק L2, כדי למצוא את שורות מסד הנתונים עם ההטמעות הכי דומות מבחינה סמנטית.

מכיוון שהפונקציה embedding() מחזירה מערך real, צריך להמיר באופן מפורש את הקריאה ל-embedding() ל-vector כדי להשתמש בערכים האלה עם אופרטורים של pgvector.

המאמרים הבאים