רכיב Trino אופציונלי של Managed Service for Apache Spark

כשיוצרים אשכול של Managed Service for Apache Spark, אפשר להתקין רכיבים נוספים כמו Trino באמצעות התכונה רכיבים אופציונליים. בדף הזה מוסבר איך להתקין את רכיב Trino באשכול של Managed Service for Apache Spark.

‫Trino הוא מנוע שאילתות SQL מבוזר בקוד פתוח. שרת Trino וממשק המשתמש באינטרנט זמינים כברירת מחדל ביציאה 8060 (או ביציאה 7778 אם Kerberos מופעל) בצומת הראשי הראשון של האשכול.

כברירת מחדל, Trino ב-Managed Service for Apache Spark מוגדר לעבוד עם מחברים של Hive, ‏ BigQuery,‏ Memory, ‏ TPCH ו-TPCDS.

אחרי שיוצרים אשכול עם רכיב Trino, אפשר להריץ שאילתות:

• ממסוף מקומי באמצעות הפקודה gcloud dataproc jobs submit trino
• מחלון טרמינל בצומת הראשי הראשון של האשכול באמצעות trino CLI (ממשק שורת פקודה) – ראו שימוש ב-Trino עם Managed Service for Apache Spark.

התקנת הרכיב

מתקינים את הרכיב כשיוצרים אשכול של Managed Service for Apache Spark.

בקטע גרסאות נתמכות של Managed Service for Apache Spark מפורטת גרסת הרכיב שכלולה בכל מהדורת תמונת Managed Service for Apache Spark.

מסוףGoogle Cloud

1. במסוף Google Cloud , פותחים את הדף Create cluster.
2. לוחצים על הגדרה נוספת כדי להרחיב את הקטע.
3. עורכים את הרכיבים האופציונליים.
4. בחלונית שנפתחת, מסמנים את התיבה לצד Trino ולוחצים על שמירה.

‫CLI של gcloud

כדי ליצור אשכול של Managed Service for Apache Spark שכולל את רכיב Trino, משתמשים בפקודה gcloud dataproc clusters create עם הדגל --optional-components.

gcloud dataproc clusters create CLUSTER_NAME \
    --optional-components=TRINO \
    --region=region \
    --enable-component-gateway \
    ... other flags
    

הערות:

• ‫CLUSTER_NAME: השם של האשכול.
• ‫REGION: אזור Compute Engine שבו ימוקם האשכול.

הגדרת מאפיינים

מוסיפים את הדגל --properties לפקודה gcloud dataproc clusters create כדי להגדיר את מאפייני התצורה trino, trino-jvm ו-trino-catalog.

• מאפייני אפליקציה: משתמשים במאפייני אשכול עם הקידומת trino: כדי להגדיר מאפייני אפליקציית Trino – לדוגמה, --properties="trino:join-distribution-type=AUTOMATIC".
• מאפייני ההגדרה של JVM: משתמשים במאפייני אשכול עם הקידומת trino-jvm: כדי להגדיר מאפייני JVM לתהליכי Java של Trino coordinator ו-worker – לדוגמה, --properties="trino-jvm:XX:+HeapDumpOnOutOfMemoryError".
• יצירת קטלוגים חדשים והוספת מאפיינים של קטלוגים: משתמשים ב-trino-catalog:catalog-name.property-name כדי להגדיר קטלוגים של Trino.

  דוגמה: אפשר להשתמש בדגל `properties` הבא עם הפקודה `gcloud dataproc clusters create` כדי ליצור אשכול Trino עם קטלוג Hive בשם prodhive. קובץ prodhive.properties ייווצר בתיקייה /usr/lib/trino/etc/catalog/ כדי להפעיל את קטלוג prodhive.

  --properties="trino-catalog:prodhive.connector.name=hive,trino-catalog:prodhive.hive.metastore.uri=thrift://localhost:9000"

‫API בארכיטקטורת REST

אפשר לציין את רכיב Trino דרך Dataproc API באמצעות SoftwareConfig.Component כחלק מבקשת clusters.create.

כדי להתחבר לממשק האינטרנט של Trino באמצעות Component Gateway, צריך להגדיר את המאפיין EndpointConfig.enableHttpPortAccess לערך true כחלק מהבקשה clusters.create באמצעות Dataproc v1 API.