Optionale Presto-Komponente für Managed Service for Apache Spark

Sie können zusätzliche Komponenten wie Presto installieren, wenn Sie einen Managed Service for Apache Spark Cluster mit dem Feature Optionale Komponenten erstellen. Auf dieser Seite wird beschrieben, wie Sie die Presto-Komponente optional in einem Managed Service for Apache Spark-Cluster installieren können.

Presto (Trino) ist eine verteilte Open Source-SQL-Abfrage-Engine. Der Presto-Server und die Webbenutzeroberfläche sind standardmäßig an Port 8060 (oder Port 7778, wenn Kerberos aktiviert ist) auf dem ersten Masterknoten des Clusters verfügbar.

Standardmäßig ist Presto in Managed Service for Apache Spark für die Hive, BigQuery, Memory, TPCH und TPCDS Connectors konfiguriert.

Nachdem Sie einen Cluster mit der Presto-Komponente erstellt haben, können Sie Abfragen ausführen:

Komponente installieren

Installieren Sie die Komponente, wenn Sie einen Managed Service for Apache Spark-Cluster erstellen. Sie können Komponenten in Cluster einfügen, die mit Managed Service for Apache Spark Version 1.3 oder höher erstellt wurden.

Informationen zu den Komponentenversionen, die im jeweiligen Managed Service for Apache Spark-Image-Release enthalten sind, finden Sie im Abschnitt Unterstützte Managed Service for Apache Spark-Versionen.

Google Cloud Console

  1. Öffnen Sie in der Google Cloud Console die Seite Cluster erstellen.
  2. Klicken Sie auf Zusätzliche Konfiguration , um den Bereich zu maximieren.
  3. Bearbeiten Sie Optionale Komponenten.
  4. Wählen Sie im sich öffnenden Bereich das Kästchen für Presto aus.

gcloud CLI-Befehl

Verwenden Sie zum Erstellen eines Managed Service for Apache Spark-Clusters, der die Presto-Komponente enthält, verwenden Sie den gcloud dataproc clusters create cluster-name Befehl mit dem --optional-components Flag.

gcloud dataproc clusters create cluster-name \
    --optional-components=PRESTO \
    --region=region \
    --enable-component-gateway \
    ... other flags

Attribute konfigurieren

Fügen Sie dem Befehl gcloud dataproc clusters create das Flag --properties hinzu, um die Konfigurationsattribute presto, presto-jvm and presto-catalog festzulegen.

  • Anwendungsattribute: Verwenden Sie Clusterattribute mit dem presto: Präfix, um Presto-Anwendungsattribute zu konfigurieren, z. B. --properties="presto:join-distribution-type=AUTOMATIC".
  • JVM-Konfigurationsattribute: Verwenden Sie Clusterattribute mit dem Präfix presto-jvm:, um JVM-Attribute für Presto-Koordinator- und Worker-Java-Prozesse zu konfigurieren, z. B. --properties="presto-jvm:XX:+HeapDumpOnOutOfMemoryError".
  • Neue Kataloge erstellen und Katalogattribute hinzufügen: Mit presto-catalog:catalog-name.property-name können Sie Presto-Kataloge konfigurieren.

    Beispiel: Das folgende Attribut-Flag kann mit dem Befehl "gcloud dataproc clusters create" verwendet werden, um einen Presto-Cluster mit einem "prodhive"-Hive-Katalog zu erstellen. Unter /usr/lib/presto/etc/catalog/ wird eine prodhive.properties-Datei erstellt, um den Produktkatalog zu aktivieren.

    --properties="presto-catalog:prodhive.connector.name=hive-hadoop2,presto-catalog:prodhive.hive.metastore.uri=thrift://localhost:9083

REST API

Die Presto-Komponente kann über die Dataproc-API mit SoftwareConfig.Component als Teil einer clusters.create-Anfrage angegeben werden.