Dataproc の Trino オプション コンポーネント

Dataproc クラスタを作成する際には、オプション コンポーネント機能を使用して、Trino などの追加コンポーネントをインストールできます。このページでは、必要に応じて、Dataproc クラスタに Trino コンポーネントをインストールする方法について説明します。

Trino は、オープンソースの分散 SQL クエリエンジンです。Trino サーバーとウェブ UI は、デフォルトでは、クラスタの最初のマスターノードのポート 8060（Kerberos が有効になっている場合はポート 7778）で使用できます。

デフォルトで、Dataproc 上の Trino は、Hive、BigQuery、Memory、TPCH、TPCDS のコネクタとそれぞれ連携するように構成されています。

Trino コンポーネントを使用してクラスタを作成した後は、次の方法でクエリを実行できます。

  • gcloud dataproc jobs submit trino コマンドを使用してローカルのターミナルから実行する
  • trino CLI（コマンドライン インターフェース）を使用して、クラスタの最初のマスターノードのターミナルウィンドウから実行する（Dataproc で Trino を使用するをご覧ください）

コンポーネントをインストールする

Dataproc クラスタの作成時にコンポーネントをインストールします。

Dataproc イメージの各リリースに含まれるコンポーネント バージョンについては、サポートされる Dataproc バージョンをご覧ください。

コンソール

  1. Google Cloud コンソールで、Dataproc の [クラスタの作成] ページに移動します。

    [クラスタの作成] に移動

    [クラスタの設定] パネルが選択されています。

  2. [コンポーネント] セクションで次の設定を行います。

gcloud CLI

Trino コンポーネントを含む Dataproc クラスタを作成するには、--optional-components フラグを指定して gcloud dataproc clusters create コマンドを使用します。

gcloud dataproc clusters create CLUSTER_NAME \
    --optional-components=TRINO \
    --region=region \
    --enable-component-gateway \
    ... other flags
注:

プロパティの構成

gcloud dataproc clusters create コマンドに --properties フラグを追加して、trino、trino-jvm、trino-catalog の構成プロパティを設定します。

  • アプリケーション プロパティ: trino: 接頭辞が付いたクラスタ プロパティを使用して、Trino アプリケーション プロパティを構成します（例: --properties="trino:join-distribution-type=AUTOMATIC"）。
  • JVM 構成プロパティ: trino-jvm: 接頭辞が付いたクラスタ プロパティを使用して、Trino コーディネーターとワーカー Java プロセスの JVM プロパティを構成します（例: --properties="trino-jvm:XX:+HeapDumpOnOutOfMemoryError"）。
  • 新しいカタログの作成とカタログ プロパティの追加: trino-catalog:catalog-name.property-name を使用して Trino カタログを構成します。

    例: 次の properties フラグを gcloud dataproc clusters create コマンドで使用すると、prodhive Hive カタログを含む Trino クラスタを作成できます。/usr/lib/trino/etc/catalog/ の下に prodhive.properties ファイルが作成され、prodhive カタログが有効になります。

    --properties="trino-catalog:prodhive.connector.name=hive,trino-catalog:prodhive.hive.metastore.uri=thrift://localhost:9000"

REST API

Dataproc API を使用して Trino コンポーネントを指定するには、clusters.create リクエストの一部として SoftwareConfig.Component を使用します。