גישה לנתוני Apache Solr מ-AlloyDB Omni

בוחרים גרסת תיעוד:

אתם יכולים לגשת לנתונים שמאוחסנים ב-Apache Solr ולחפש בהם באמצעות שילוב החיפוש החיצוני ב-AlloyDB Omni. השילוב הזה מאפשר לכם להעביר עומסי עבודה אינטנסיביים של חיפוש טקסט מלא, ניתוח שאילתות מורכבות וניווט מתקדם במסנן ממסד הנתונים התפעולי ל-Solr, וכך לשפר את זמן האחזור של השאילתות ואת התפוקה הכוללת של המערכת.

לפני שמתחילים

לפני שמתחילים, צריך לבצע את הפעולות הבאות:

אחסון פרטי הכניסה של Solr ב-Secret Manager

‫AlloyDB Omni שומר וקורא את פרטי הכניסה שלכם ל-Solr מ-Secret Manager. באימות HTTP בסיסי, הערך של הסוד ב-Secret Manager צריך להיות מחרוזת בקידוד base64 בפורמט username:password. מידע נוסף על השימוש ב-Secret Manager זמין במאמר יצירה וגישה לסוד באמצעות Secret Manager.

מוודאים שלחשבון השירות שבו משתמש AlloyDB Omni יש את ההרשאה secretmanager.secretAccessor לקריאת הסוד מ-Secret Manager. מידע נוסף על ניהול הגישה לסודות

הפעלה והגדרה של התוסף external_search_fdw

כדי להתחיל את השילוב עם Solr, צריך להגדיר גישה לאשכול Solr דרך שרת נתונים חיצוני.

  1. מתחברים למסד הנתונים ומפעילים את התוסף:

    CREATE EXTENSION external_search_fdw;
    
  2. יוצרים שרת חיצוני:

    CREATE SERVER SOLR_SERVER_NAME
    FOREIGN DATA WRAPPER external_search_fdw
    OPTIONS (
      server 'SOLR_SERVER_HOST_PORT',
      search_provider 'solr',
      auth_mode 'secret_manager',
      auth_method 'AUTH_METHOD',
      secret_path 'SECRET_PATH'
    );
    

    מחליפים את המשתנים הבאים:

    • ‫SOLR_SERVER_NAME: שם לשרת הנתונים החיצוני. לדוגמה, solr.

    • ‫SOLR_SERVER_HOST_PORT: כתובת ה-URL שגלויה לכולם של אשכול Solr. לדוגמה, https://node1.solr.test.com:8983.

    • ‫AUTH_METHOD: סוג האימות שבו משתמשים. לדוגמה, Basic.

    • ‫SECRET_PATH: הנתיב ב-Secret Manager לפרטי הכניסה לאימות ב-Solr. לדוגמה, projects/PROJECT_ID/secrets/apikey/versions/1.

  3. מגדירים את מיפוי המשתמשים לשרת Solr:

    CREATE USER MAPPING FOR CURRENT_USER
    SERVER SOLR_SERVER_NAME;
    
  4. ממפים את הסכימה של אוסף Solr לטבלה חיצונית של PostgreSQL.

    CREATE FOREIGN TABLE SOLR_FD_TABLE(
        metadata external_search_fdw_schema.OpaqueMetadata,
        SOLR_FIELDS)
           SERVER SOLR_SERVER_NAME
           OPTIONS(
                remote_table_name 'SOLR_COLLECTION_NAME',
                unique_key_sort_suffix 'UNIQUE_KEY_SORT_SUFFIX'
    );
    

    מחליפים את המשתנים הבאים:

    • ‫SOLR_FD_TABLE: השם של טבלת הנתונים החיצונית שמייצגת את טבלת Solr. לדוגמה, my-fd-solr-table.

    • ‫SOLR_FIELDS: רשימה מופרדת בפסיקים שבה כל רשומה היא בפורמט solr_field_name PG_DATA_TYPE. במאמר סוגי נתונים נתמכים תוכלו למצוא רשימה של סוגי הנתונים הנתמכים ב-Solr והסוגים התואמים להם ב-PostgreSQL.

    • ‫UNIQUE_KEY_SORT_SUFFIX: (אופציונלי) שדה המפתח הייחודי ב-Solr, או רשימה מופרדת בפסיקים של כמה שדות עם סדר המיון שלהם – לדוגמה, myid0 ASC, myid1 DESC, שמשמשת להוספת מספרי דפים. ברירת המחדל היא id.

    • ‫PG_DATA_TYPE: הסוג ב-PostgreSQL שאליו רוצים למפות את הסוג ב-Spanner. לדוגמה:

      • TEXT לנתוני מחרוזת.
      • INTEGER לנתונים מספריים.
    • ‫SOLR_COLLECTION_NAME: השם של אוסף Solr. לדוגמה, my-solr-collection.

שליחת שאילתות לנתונים ב-Solr

‫AlloyDB Omni ממיר שאילתות SQL לשאילתות Solr API בארכיטקטורת REST.

שאילתות SQL סטנדרטיות

בביטוי החיפוש, אתם יכולים להשתמש ב-SQL סטנדרטי עם תחביר Lucene.

SELECT id, body
FROM SOLR_FD_TABLE
WHERE FILTER
ORDER BY metadata <@> 'QUERY';

מחליפים את המשתנים הבאים:

  • ‫SOLR_FD_TABLE: שם טבלת הנתונים החיצונית שמייצגת את טבלת Solr. לדוגמה, my-fd-solr-table.

  • ‫FILTER: (אופציונלי) מסנן להחלה על שאילתת Solr. לדוגמה, AND qubits < 105.

  • ‫QUERY: שאילתה לשליחה אל Solr. לדוגמה, body:database.

שאילתת DSL

לתרחישים מתקדמים לדוגמה – כמו הטמעת שאילתות בתצוגת עץ, מיון בהתאמה אישית או סינון מורכב – השתמשו ב-Query DSL בסגנון Solr JSON.

SELECT id, title
FROM SOLR_FD_TABLE
ORDER BY metadata <@> $${
  "query": "title:solr",
  "filter": ["category:software", "inStock:true"],
  "sort": "price desc"
}$$
LIMIT 1;

מחליפים את SOLR_FD_TABLE בשם של טבלת הנתונים החיצונית שמייצגת את טבלת Solr. לדוגמה, my-fd-solr-table.

כדי לבצע חיפוש היברידי בנתונים של Solr, צריך לאחד את תוצאות החיפוש של טוקנים ב-Solr עם תוצאות החיפוש הווקטורי ב-AlloyDB Omni.

SELECT *
FROM ai.hybrid_search(
  ARRAY[
    '{"limit": LIMIT,
      "weight": WEIGHT,
      "table_name": "SOLR_FD_TABLE",
      "key_column": "id",
      "query_text_input": "QUERY"}'::jsonb
  ])
ORDER BY score DESC;

מחליפים את המשתנים הבאים:

  • ‫LIMIT: מספר התוצאות שיוחזרו. לדוגמה, 10.

  • ‫WEIGHT: התרומה של רשומת החיפוש הזו ל-Reciprocal Rank Fusion‏ (RRF) הכולל. לדוגמה, 0.5. אם לא תספקו משקלים, הם יחולקו באופן שווה. מידע נוסף זמין במאמר פרמטרים של פונקציות חיפוש היברידי.

  • ‫SOLR_FD_TABLE: שם טבלת הנתונים החיצונית שמייצגת את טבלת Solr. לדוגמה, my-fd-solr-table.

  • ‫QUERY: שאילתה לשליחה אל Solr. לדוגמה, body:database.

פתרון בעיות

אם נתקלתם בבעיות באימות או בקישוריות כששלחתם שאילתה לאשכול Solr, כדאי לבדוק את הדברים הבאים:

  • שגיאות אימות מסוג HTTP 401 או 403: מוודאים שהסוד של Solr ב-Secret Manager מכיל מחרוזת בקידוד base64 בפורמט username:password, ושלחשבון השירות שבו AlloyDB Omni משתמש יש את ההרשאה secretmanager.secretAccessor.
  • זמן קצוב לתפוגה של החיבור: בודקים את כללי הרשת ואת ההגדרות של חומת האש בין AlloyDB Omni לבין נקודת הקצה של Solr.

מגבלות

  • לקריאה בלבד: AlloyDB Omni קורא נתונים מ-Solr, אבל לא כותב אליו.
  • ניהול נתונים: AlloyDB Omni לא מוסיף באופן אוטומטי את נתוני מסד הנתונים לאינדקס ב-Solr. אתם אחראים לאכלס את האוספים של Solr ולשמור על עקביות בין הנתונים ב-AlloyDB Omni לבין הנתונים שנוספו לאינדקס ב-Solr.
  • ניהול סכימות: AlloyDB Omni לא מסנכרן סכימות באופן אוטומטי עם Solr. אם הסכימה של אוסף Solr משתנה, צריך לעדכן ידנית את הסכימה של הטבלה החיצונית התואמת ב-PostgreSQL.
  • סוגים לא נתמכים: סוגי Solr מיוחדים, כמו סוגים גיאו-מרחביים, לא נתמכים.
  • מיון יציב: כדי שהעימוד יעבוד כמו שצריך, Solr דורש מפתח ייחודי בביטוי המיון. כברירת מחדל, המערכת משתמשת בשדה id. כדי לציין שדה בהתאמה אישית, או רשימה מופרדת בפסיקים של כמה שדות יחד עם סדרי המיון שלהם, משתמשים באפשרות unique_key_sort_suffix כשיוצרים את הטבלה החיצונית. לדוגמה, מציינים myid0 ASC, myid1 DESC.

המאמרים הבאים