רכיב Zeppelin אופציונלי ב-Dataproc

אפשר להתקין רכיבים נוספים כמו Zeppelin כשיוצרים אשכול Dataproc באמצעות התכונה רכיבים אופציונליים. בדף הזה מתואר הרכיב Zeppelin.

רכיב Zeppelin Notebook הוא מחברת מבוססת-אינטרנט לניתוח נתונים אינטראקטיבי. ממשק המשתמש של Zeppelin זמין ביציאה 8080 בצומת הראשי הראשון של האשכול.

כברירת מחדל, מחברות נשמרות ב-Cloud Storage בקטגוריית הביניים של Dataproc, שמוגדרת על ידי המשתמש או נוצרת אוטומטית כשיוצרים את האשכול. אפשר לשנות את המיקום בזמן יצירת האשכול באמצעות המאפיין zeppelin:zeppelin.notebook.gcs.dir.

• כדי להגדיר את Zeppelin, צריך לספק מאפייני אשכול עם הקידומות zeppelin ו-zeppelin-env.
  • כדי להפחית את הסיכון להרצת קוד מרחוק דרך ממשקי API לא מאובטחים של שרת מחברת, הגדרת ברירת המחדל של מאפיין האשכול zeppelin:zeppelin.server.addr לגרסאות תמונה 1.3 ומעלה היא 127.0.0.1, שמגבילה את החיבורים ל-localhost כשהרכיב Component Gateway מופעל.

התקנת הרכיב

מתקינים את הרכיב כשיוצרים אשכול Dataproc. אפשר להוסיף רכיבים לאשכולות שנוצרו באמצעות Dataproc גרסה 1.3 ואילך.

בקטע גרסאות Dataproc נתמכות מפורטת גרסת הרכיב שנכללת בכל מהדורת תמונת Dataproc.

פקודת gcloud

כדי ליצור אשכול Dataproc שכולל את רכיב Zeppelin, משתמשים בפקודה gcloud dataproc clusters create cluster-name עם הדגל --optional-components.

כשיוצרים את האשכול (גרסת התמונה 1.3.29 ואילך), משתמשים בפקודה gcloud dataproc clusters create עם הדגל --enable-component-gateway, כמו בדוגמה שלמטה, כדי להפעיל את החיבור לממשק המשתמש באינטרנט של מחברת Zeppelin באמצעות Component Gateway.

gcloud dataproc clusters create cluster-name \
    --optional-components=ZEPPELIN \
    --region=region \
    --enable-component-gateway \
    ... other flags

API ל-REST

אפשר לציין את רכיב Zeppelin דרך Dataproc API באמצעות SoftwareConfig.Component כחלק מבקשת clusters.create.

באמצעות Dataproc v1 API, מגדירים את המאפיין EndpointConfig.enableHttpPortAccess לערך true כחלק מהבקשה clusters.create כדי לאפשר חיבור לממשק המשתמש של Zeppelin notebook באמצעות Component Gateway.

המסוף

1. מפעילים את הרכיב ואת שער הרכיבים.
   • במסוף Google Cloud , פותחים את הדף Dataproc Create a cluster. החלונית 'הגדרת אשכול' נבחרה.
   • בקטע Components (רכיבים):
     • בקטע Optional components (רכיבים אופציונליים), בוחרים את Zeppelin ורכיבים אופציונליים אחרים להתקנה באשכול.
     • בקטע Component Gateway (שער רכיבים), בוחרים באפשרות Enable component gateway (הפעלת שער רכיבים) (ראו צפייה בכתובות URL של שער רכיבים וגישה אליהן).

פתיחת מחברת Zeppelin

במאמר צפייה בכתובות URL של Component Gateway וגישה אליהן מוסבר איך ללחוץ על קישורים של Component Gateway במסוף Google Cloud כדי לפתוח את ממשק המשתמש של מחברת Zeppelin שפועל בצומת הראשי של האשכול בדפדפן המקומי.