Optionale Trino-Komponente für Managed Service for Apache Spark

Sie können zusätzliche Komponenten wie Trino installieren, wenn Sie einen Managed Service for Apache Spark-Cluster mit dem Feature Optionale Komponenten erstellen. Auf dieser Seite wird beschrieben, wie Sie die Trino-Komponente optional in einem Managed Service for Apache Spark-Cluster installieren können.

Trino ist eine verteilte Open Source-SQL-Abfrage-Engine. Der Trino-Server und die Webbenutzeroberfläche sind standardmäßig an Port 8060 (oder Port 7778, wenn Kerberos aktiviert ist) auf dem ersten Masterknoten des Clusters verfügbar.

Standardmäßig ist Trino in Managed Service for Apache Spark für die Connectors Hive, BigQuery, Memory, TPCH und TPCDS konfiguriert.

Nachdem Sie einen Cluster mit der Trino-Komponente erstellt haben, können Sie Abfragen ausführen:

Komponente installieren

Installieren Sie die Komponente, wenn Sie einen Managed Service for Apache Spark-Cluster erstellen.

Informationen zu den Komponentenversionen, die im jeweiligen Managed Service for Apache Spark-Image-Release enthalten sind, finden Sie im Abschnitt Unterstützte Managed Service for Apache Spark-Versionen.

Google Cloud Console

  1. Öffnen Sie in der Google Cloud Console die Seite Cluster erstellen.
  2. Klicken Sie auf Zusätzliche Konfiguration, um den Bereich zu maximieren.
  3. Bearbeiten Sie Optionale Komponenten.
  4. Wählen Sie im daraufhin geöffneten Bereich das Kästchen für Trino aus und klicken Sie dann auf Speichern.

gcloud-CLI

Verwenden Sie zum Erstellen eines Managed Service for Apache Spark-Clusters, der die Trino-Komponente enthält, den Befehl gcloud dataproc clusters create mit dem Flag --optional-components.

gcloud dataproc clusters create CLUSTER_NAME \
    --optional-components=TRINO \
    --region=region \
    --enable-component-gateway \
    ... other flags
Hinweise:
  • CLUSTER_NAME: Der Name des Clusters.
  • REGION: Eine Compute Engine-Region, in der sich der Cluster befindet.

Attribute konfigurieren

Fügen Sie dem Befehl gcloud dataproc clusters create das Flag --properties hinzu, um die Konfigurationsattribute trino, trino-jvm und trino-catalog festzulegen.

  • Anwendungsattribute:Verwenden Sie Clusterattribute mit dem Präfix trino:, um Trino-Anwendungsattribute zu konfigurieren, z. B. --properties="trino:join-distribution-type=AUTOMATIC".
  • JVM-Konfigurationsattribute:Verwenden Sie Clusterattribute mit dem Präfix trino-jvm:, um JVM-Attribute für Trino-Koordinator- und Worker-Java-Prozesse zu konfigurieren, z. B. --properties="trino-jvm:XX:+HeapDumpOnOutOfMemoryError".
  • Neue Kataloge erstellen und Katalogattribute hinzufügen:Mit trino-catalog:catalog-name.property-name können Sie Trino-Kataloge konfigurieren.

    Beispiel:Das folgende Attribut-Flag kann mit dem Befehl `gcloud dataproc clusters create` verwendet werden, um einen Trino-Cluster mit einem Hive-Katalog namens „prodhive“ zu erstellen. Unter /usr/lib/trino/etc/catalog/ wird eine prodhive.properties-Datei erstellt, um den Produktkatalog zu aktivieren.

    --properties="trino-catalog:prodhive.connector.name=hive,trino-catalog:prodhive.hive.metastore.uri=thrift://localhost:9000"

REST API

Die Trino-Komponente kann über die Dataproc API mit SoftwareConfig.Component als Teil einer clusters.create-Anfrage angegeben werden.