רכיב Presto אופציונלי של Managed Service for Apache Spark

הערה: רכיב Presto אופציונלי זמין כרכיב Trino אופציונלי בגרסאות תמונה 2.1 ואילך.

אפשר להתקין רכיבים נוספים כמו Presto כשיוצרים אשכול של Managed Service for Apache Spark באמצעות התכונה Optional components. בדף הזה מוסבר איך אפשר להתקין רכיב Presto באשכול Managed Service for Apache Spark.

‫Presto‏ (Trino) הוא מנוע שאילתות SQL מבוזר בקוד פתוח. שרת Presto וממשק המשתמש באינטרנט זמינים כברירת מחדל ביציאה 8060 (או ביציאה 7778 אם Kerberos מופעל) בצומת הראשי הראשון של האשכול.

כברירת מחדל, Presto ב-Managed Service for Apache Spark מוגדר לעבוד עם מחברים של Hive, ‏ BigQuery,‏ Memory, ‏ TPCH ו-TPCDS.

אחרי שיוצרים אשכול עם רכיב Presto, אפשר להריץ שאילתות:

• ממסוף מקומי באמצעות הפקודה gcloud dataproc jobs submit presto
• מחלון טרמינל בצומת הראשי הראשון של האשכול באמצעות presto CLI (ממשק שורת הפקודה) – ראו שימוש ב-Trino עם Managed Service for Apache Spark

התקנת הרכיב

מתקינים את הרכיב כשיוצרים אשכול של Managed Service for Apache Spark. אפשר להוסיף רכיבים לאשכולות שנוצרו באמצעות Managed Service for Apache Spark גרסה 1.3 ואילך.

בקטע גרסאות נתמכות של Managed Service for Apache Spark מפורטת גרסת הרכיב שכלולה בכל מהדורת תמונת Managed Service for Apache Spark.

מסוףGoogle Cloud

1. במסוף Google Cloud , פותחים את הדף Create cluster.
2. לוחצים על הגדרה נוספת כדי להרחיב את הקטע.
3. עורכים את הרכיבים האופציונליים.
4. בחלונית שנפתחת, מסמנים את התיבה לצד Presto.

פקודה ב-CLI של gcloud

כדי ליצור אשכול של Managed Service for Apache Spark שכולל את רכיב Presto, משתמשים בפקודה gcloud dataproc clusters create cluster-name עם הדגל --optional-components.

כשיוצרים את האשכול, משתמשים בפקודה gcloud dataproc clusters create עם הדגל --enable-component-gateway, כמו בדוגמה הבאה, כדי להפעיל את האפשרות להתחבר לממשק המשתמש באינטרנט של Presto באמצעות Component Gateway.

gcloud dataproc clusters create cluster-name \
    --optional-components=PRESTO \
    --region=region \
    --enable-component-gateway \
    ... other flags

הגדרת מאפיינים

מוסיפים את הדגל --properties לפקודה gcloud dataproc clusters create כדי להגדיר את מאפייני התצורה של presto, ‏ presto-jvm ו-presto-catalog.

• מאפייני אפליקציה: משתמשים במאפייני אשכול עם הקידומת presto: כדי להגדיר מאפייני אפליקציית Presto – לדוגמה, --properties="presto:join-distribution-type=AUTOMATIC".
• מאפייני ההגדרה של JVM: משתמשים במאפייני אשכול עם הקידומת presto-jvm: כדי להגדיר מאפייני JVM לתהליכי Java של Presto coordinator ו-worker – לדוגמה, --properties="presto-jvm:XX:+HeapDumpOnOutOfMemoryError".
• יצירת קטלוגים חדשים והוספת נכסי קטלוג: משתמשים ב- presto-catalog:catalog-name.property-name כדי להגדיר קטלוגים של Presto.

  דוגמה: אפשר להשתמש בדגל `properties` הבא עם הפקודה `gcloud dataproc clusters create` כדי ליצור אשכול Presto עם קטלוג Hive בשם prodhive. קובץ prodhive.properties ייווצר בתיקייה /usr/lib/presto/etc/catalog/ כדי להפעיל את קטלוג prodhive.

  --properties="presto-catalog:prodhive.connector.name=hive-hadoop2,presto-catalog:prodhive.hive.metastore.uri=thrift://localhost:9083

‫API בארכיטקטורת REST

אפשר לציין את רכיב Presto דרך Dataproc API באמצעות SoftwareConfig.Component כחלק מבקשת clusters.create.

באמצעות Dataproc v1 API, מגדירים את המאפיין EndpointConfig.enableHttpPortAccess לערך true כחלק מהבקשה clusters.create כדי לאפשר התחברות לממשק המשתמש של Presto באמצעות Component Gateway.