לפני שמתחילים
לפני שמתחילים, צריך לבצע את הפעולות הבאות:
אחסון פרטי הכניסה של Solr ב-Secret Manager
AlloyDB Omni שומר וקורא את פרטי הכניסה שלכם ל-Solr מ-Secret Manager. באימות HTTP בסיסי, הערך של הסוד ב-Secret Manager צריך להיות מחרוזת בקידוד base64 בפורמט username:password. מידע נוסף על השימוש ב-Secret Manager זמין במאמר יצירה וגישה לסוד באמצעות Secret Manager.
מוודאים שלחשבון השירות שבו משתמש AlloyDB Omni יש את ההרשאה secretmanager.secretAccessor לקריאת הסוד מ-Secret Manager. מידע נוסף על ניהול הגישה לסודות
הפעלה והגדרה של התוסף external_search_fdw
כדי להתחיל את השילוב עם Solr, צריך להגדיר גישה לאשכול Solr דרך שרת נתונים חיצוני.
מתחברים למסד הנתונים ומפעילים את התוסף:
CREATE EXTENSION external_search_fdw;יוצרים שרת חיצוני:
CREATE SERVER SOLR_SERVER_NAME FOREIGN DATA WRAPPER external_search_fdw OPTIONS ( server 'SOLR_SERVER_HOST_PORT', search_provider 'solr', auth_mode 'secret_manager', auth_method 'AUTH_METHOD', secret_path 'SECRET_PATH' );מחליפים את המשתנים הבאים:
SOLR_SERVER_NAME: שם לשרת הנתונים החיצוני. לדוגמה,solr.
SOLR_SERVER_HOST_PORT: כתובת ה-URL שגלויה לכולם של אשכול Solr. לדוגמה,https://node1.solr.test.com:8983.
AUTH_METHOD: סוג האימות שבו משתמשים. לדוגמה,Basic.
SECRET_PATH: הנתיב ב-Secret Manager לפרטי הכניסה לאימות ב-Solr. לדוגמה,projects/PROJECT_ID/secrets/apikey/versions/1.
מגדירים את מיפוי המשתמשים לשרת Solr:
CREATE USER MAPPING FOR CURRENT_USER SERVER SOLR_SERVER_NAME;ממפים את הסכימה של אוסף Solr לטבלה חיצונית של PostgreSQL.
CREATE FOREIGN TABLE SOLR_FD_TABLE( metadata external_search_fdw_schema.OpaqueMetadata, SOLR_FIELDS) SERVER SOLR_SERVER_NAME OPTIONS( remote_table_name 'SOLR_COLLECTION_NAME', unique_key_sort_suffix 'UNIQUE_KEY_SORT_SUFFIX' );מחליפים את המשתנים הבאים:
SOLR_FD_TABLE: השם של טבלת הנתונים החיצונית שמייצגת את טבלת Solr. לדוגמה,my-fd-solr-table.
SOLR_FIELDS: רשימה מופרדת בפסיקים שבה כל רשומה היא בפורמטsolr_field_name PG_DATA_TYPE. במאמר סוגי נתונים נתמכים תוכלו למצוא רשימה של סוגי הנתונים הנתמכים ב-Solr והסוגים התואמים להם ב-PostgreSQL.
UNIQUE_KEY_SORT_SUFFIX: (אופציונלי) שדה המפתח הייחודי ב-Solr, או רשימה מופרדת בפסיקים של כמה שדות עם סדר המיון שלהם – לדוגמה,myid0 ASC, myid1 DESC, שמשמשת להוספת מספרי דפים. ברירת המחדל היאid.
PG_DATA_TYPE: הסוג ב-PostgreSQL שאליו רוצים למפות את הסוג ב-Spanner. לדוגמה:TEXTלנתוני מחרוזת.INTEGERלנתונים מספריים.
SOLR_COLLECTION_NAME: השם של אוסף Solr. לדוגמה,my-solr-collection.
שליחת שאילתות לנתונים ב-Solr
AlloyDB Omni ממיר שאילתות SQL לשאילתות Solr API בארכיטקטורת REST.
שאילתות SQL סטנדרטיות
בביטוי החיפוש, אתם יכולים להשתמש ב-SQL סטנדרטי עם תחביר Lucene.
SELECT id, body
FROM SOLR_FD_TABLE
WHERE FILTER
ORDER BY metadata <@> 'QUERY';
מחליפים את המשתנים הבאים:
SOLR_FD_TABLE: שם טבלת הנתונים החיצונית שמייצגת את טבלת Solr. לדוגמה,my-fd-solr-table.
FILTER: (אופציונלי) מסנן להחלה על שאילתת Solr. לדוגמה,AND qubits < 105.
QUERY: שאילתה לשליחה אל Solr. לדוגמה,body:database.
שאילתת DSL
לתרחישים מתקדמים לדוגמה – כמו הטמעת שאילתות בתצוגת עץ, מיון בהתאמה אישית או סינון מורכב – השתמשו ב-Query DSL בסגנון Solr JSON.
SELECT id, title
FROM SOLR_FD_TABLE
ORDER BY metadata <@> $${
"query": "title:solr",
"filter": ["category:software", "inStock:true"],
"sort": "price desc"
}$$
LIMIT 1;
מחליפים את SOLR_FD_TABLE בשם של טבלת הנתונים החיצונית שמייצגת את טבלת Solr. לדוגמה, my-fd-solr-table.
חיפושים משולבים
כדי לבצע חיפוש היברידי בנתונים של Solr, צריך לאחד את תוצאות החיפוש של טוקנים ב-Solr עם תוצאות החיפוש הווקטורי ב-AlloyDB Omni.
SELECT *
FROM ai.hybrid_search(
ARRAY[
'{"limit": LIMIT,
"weight": WEIGHT,
"table_name": "SOLR_FD_TABLE",
"key_column": "id",
"query_text_input": "QUERY"}'::jsonb
])
ORDER BY score DESC;
מחליפים את המשתנים הבאים:
LIMIT: מספר התוצאות שיוחזרו. לדוגמה,10.
WEIGHT: התרומה של רשומת החיפוש הזו ל-Reciprocal Rank Fusion (RRF) הכולל. לדוגמה,0.5. אם לא תספקו משקלים, הם יחולקו באופן שווה. מידע נוסף זמין במאמר פרמטרים של פונקציות חיפוש היברידי.
SOLR_FD_TABLE: שם טבלת הנתונים החיצונית שמייצגת את טבלת Solr. לדוגמה,my-fd-solr-table.
QUERY: שאילתה לשליחה אל Solr. לדוגמה,body:database.
פתרון בעיות
אם נתקלתם בבעיות באימות או בקישוריות כששלחתם שאילתה לאשכול Solr, כדאי לבדוק את הדברים הבאים:
- שגיאות אימות מסוג HTTP 401 או 403: מוודאים שהסוד של Solr ב-Secret Manager מכיל מחרוזת בקידוד base64 בפורמט
username:password, ושלחשבון השירות שבו AlloyDB Omni משתמש יש את ההרשאהsecretmanager.secretAccessor. - זמן קצוב לתפוגה של החיבור: בודקים את כללי הרשת ואת ההגדרות של חומת האש בין AlloyDB Omni לבין נקודת הקצה של Solr.
מגבלות
- לקריאה בלבד: AlloyDB Omni קורא נתונים מ-Solr, אבל לא כותב אליו.
- ניהול נתונים: AlloyDB Omni לא מוסיף באופן אוטומטי את נתוני מסד הנתונים לאינדקס ב-Solr. אתם אחראים לאכלס את האוספים של Solr ולשמור על עקביות בין הנתונים ב-AlloyDB Omni לבין הנתונים שנוספו לאינדקס ב-Solr.
- ניהול סכימות: AlloyDB Omni לא מסנכרן סכימות באופן אוטומטי עם Solr. אם הסכימה של אוסף Solr משתנה, צריך לעדכן ידנית את הסכימה של הטבלה החיצונית התואמת ב-PostgreSQL.
- סוגים לא נתמכים: סוגי Solr מיוחדים, כמו סוגים גיאו-מרחביים, לא נתמכים.
- מיון יציב: כדי שהעימוד יעבוד כמו שצריך, Solr דורש מפתח ייחודי בביטוי המיון. כברירת מחדל, המערכת משתמשת בשדה
id. כדי לציין שדה בהתאמה אישית, או רשימה מופרדת בפסיקים של כמה שדות יחד עם סדרי המיון שלהם, משתמשים באפשרותunique_key_sort_suffixכשיוצרים את הטבלה החיצונית. לדוגמה, מצייניםmyid0 ASC, myid1 DESC.
המאמרים הבאים
- איך ניגשים לנתוני OpenSearch
- איך ניגשים לנתונים של Elasticsearch
- איך מריצים חיפוש היברידי של דמיון וקטורי