רכיב Solr אופציונלי ב-Dataproc

אפשר להתקין רכיבים נוספים כמו Solr כשיוצרים אשכול Dataproc באמצעות התכונה רכיבים אופציונליים. בדף הזה מוסבר על רכיב Solr.

רכיב Apache Solr הוא פלטפורמת חיפוש ארגונית בקוד פתוח. שרת Solr וממשק המשתמש האינטרנטי זמינים ביציאה 8983 בצמתים הראשיים של האשכול.

שמירת קובצי Solr: כברירת מחדל, Solr כותב וקורא את קובצי האינדקס וקובצי יומן העסקאות ב-HDFS. כדי לשמור קבצים של Solr, משתמשים בנתיב של Cloud Storage בתור ספריית הבית של Solr. לשם כך, מגדירים את dataproc:solr.gcs.path מאפיין האשכול כשמתקינים את הרכיב.

התקנת הרכיב

מתקינים את הרכיב כשיוצרים אשכול Dataproc. אפשר להוסיף רכיבים לאשכולות שנוצרו באמצעות Dataproc גרסה 1.3 ואילך.

בקטע גרסאות Dataproc נתמכות מפורטת גרסת הרכיב שנכללת בכל מהדורת תמונת Dataproc.

פקודת gcloud

כדי ליצור אשכול Dataproc שכולל את רכיב Solr, משתמשים בפקודה gcloud dataproc clusters create cluster-name עם הדגל --optional-components. בדוגמה של הפקודה שבהמשך נעשה שימוש בדגל האופציונלי properties כדי להגדיר נתיב ב-Cloud Storage כספריית הבית של Solr.

כשיוצרים את האשכול, משתמשים בפקודה gcloud dataproc clusters create עם הדגל --enable-component-gateway, כמו בדוגמה שלמטה, כדי להפעיל את האפשרות להתחבר לממשק המשתמש של Solr באמצעות Component Gateway.

‫

gcloud dataproc clusters create cluster-name \
    --region=region \
    --optional-components=SOLR \
    --enable-component-gateway \
    ... other flags

מוסיפים את מאפיין האשכול --properties="dataproc:solr.gcs.path=gs://bucket-name/" לפקודה gcloud dataproc clusters create כדי להגדיר קטגוריה של Cloud Storage שבה יישמרו מסמכי Solr (ספריית הבית של Solr).

API ל-REST

אפשר לציין את רכיב Solr דרך Dataproc API באמצעות SoftwareConfig.Component כחלק מבקשת clusters.create.

במסגרת הבקשה שלך בנושא clusters.create, אפשר:

1. מגדירים את המאפיין EndpointConfig.enableHttpPortAccess לערך true כדי לאפשר חיבור לממשק המשתמש של Solr באמצעות Component Gateway.
2. מגדירים את "dataproc:solr.gcs.path=gs://bucket-name" מאפיין האשכול בשדה SoftwareConfig.Component.properties כדי להגדיר קטגוריה של Cloud Storage שבה יישמרו מסמכי Solr (ספריית הבית של Solr).

המסוף

1. מפעילים את הרכיב ואת שער הרכיבים.
   • במסוף Google Cloud , פותחים את הדף Dataproc Create a cluster. החלונית 'הגדרת אשכול' נבחרה.
   • בקטע Components (רכיבים):
     • בקטע Optional components (רכיבים אופציונליים), בוחרים את Solr ורכיבים אופציונליים אחרים להתקנה באשכול.
     • בקטע Component Gateway (שער רכיבים), בוחרים באפשרות Enable component gateway (הפעלת שער רכיבים) (ראו צפייה בכתובות URL של שער רכיבים וגישה אליהן).