Componente Presto opcional do Dataproc

Nota: o componente opcional do Presto está disponível como componente opcional do Trino nas versões de imagem 2.1 e posteriores.

Pode instalar componentes adicionais, como o Presto, quando cria um cluster do Dataproc através da funcionalidade Componentes opcionais. Esta página descreve como pode instalar opcionalmente o componente Presto num cluster do Dataproc.

O Presto (Trino) é um motor de consultas SQL distribuído de código aberto. O servidor Presto e a IU Web estão disponíveis por predefinição na porta 8060 (ou na porta 7778 se o Kerberos estiver ativado) no primeiro nó principal do cluster.

Por predefinição, o Presto no Dataproc está configurado para funcionar com os conetores Hive, BigQuery, Memory, TPCH e TPCDS.

Depois de criar um cluster com o componente Presto, pode executar consultas:

• a partir de um terminal local com o comando gcloud dataproc jobs submit presto
• numa janela de terminal no primeiro nó principal do cluster através da CLI (interface de linhas de comando). Consulte o artigo Use o Trino com o Dataprocpresto

Instale o componente

Instale o componente quando criar um cluster do Dataproc. Pode adicionar componentes a clusters criados com o Dataproc versão 1.3 e posterior.

Consulte as versões do Dataproc suportadas para ver a versão do componente incluída em cada lançamento de imagem do Dataproc.

comando gcloud

Para criar um cluster do Dataproc que inclua o componente Presto, use o comando gcloud dataproc clusters create cluster-name com a flag --optional-components.

Quando criar o cluster, use o comando gcloud dataproc clusters create com a flag --enable-component-gateway, conforme mostrado abaixo, para ativar a ligação à IU Web do Presto através do Component Gateway.

gcloud dataproc clusters create cluster-name \
    --optional-components=PRESTO \
    --region=region \
    --enable-component-gateway \
    ... other flags

Configurar propriedades

Adicione a flag --properties ao comando gcloud dataproc clusters create para definir as propriedades de configuração presto, presto-jvm e presto-catalog.

• Propriedades da aplicação: use propriedades de cluster com o prefixo presto: para configurar propriedades da aplicação Presto, por exemplo, --properties="presto:join-distribution-type=AUTOMATIC".
• Propriedades de configuração da JVM: use propriedades do cluster com o prefixo presto-jvm: para configurar propriedades da JVM para processos Java do coordenador e do trabalhador do Presto, por exemplo, --properties="presto-jvm:XX:+HeapDumpOnOutOfMemoryError".
• Criar novos catálogos e adicionar propriedades do catálogo: use presto-catalog:catalog-name.property-name para configurar catálogos do Presto.

  Exemplo: a seguinte flag `properties` pode ser usada com o comando `gcloud dataproc clusters create` para criar um cluster do Presto com um catálogo do Hive "prodhive". É criado um ficheiro prodhive.properties em /usr/lib/presto/etc/catalog/ para ativar o catálogo prodhive.

  --properties="presto-catalog:prodhive.connector.name=hive-hadoop2,presto-catalog:prodhive.hive.metastore.uri=thrift://localhost:9083

API REST

O componente Presto pode ser especificado através da API Dataproc com SoftwareConfig.Component como parte de um pedido clusters.create.

Usando a API Dataproc v1, defina a propriedade EndpointConfig.enableHttpPortAccess como true como parte do pedido clusters.create para ativar a ligação à IU Web do Presto através do Component Gateway.

Consola

1. Ative o componente e o gateway de componentes.
   • Na Google Cloud consola, abra a página do Dataproc Criar um cluster. O painel Configurar cluster está selecionado.
   • Na secção Componentes:
     • Em Componentes opcionais, selecione o Presto e outros componentes opcionais para instalar no cluster.
     • Em Component Gateway, selecione Enable component gateway (consulte Ver e aceder aos URLs do Component Gateway).