Armazenamento em cache de cluster

O armazenamento em cache de clusters do Serviço Gerenciado para Apache Spark permite acelerar a execução de jobs armazenando dados do Cloud Storage acessados com frequência localmente nos nós do cluster. Esse cache local reduz a latência de leitura e minimiza as solicitações da API Cloud Storage para cargas de trabalho repetitivas.

Quando você ativa o armazenamento em cache do cluster do Serviço Gerenciado para Apache Spark, o cluster armazena em cache os dados do Cloud Storage acessados com frequência pelos jobs do Spark.

Vantagens

• Melhoria no desempenho:o armazenamento em cache pode melhorar o desempenho do job ao reduzir o tempo gasto na recuperação de dados do armazenamento.
• Custos de armazenamento reduzidos:como os dados quentes são armazenados em cache no disco local, menos chamadas de API são feitas para o armazenamento para recuperar dados.
• Aplicabilidade do job do Spark: quando o armazenamento em cache do cluster está ativado, ele se aplica a todos os jobs do Spark executados no cluster, sejam eles enviados ao Serviço Gerenciado para Apache Spark ou executados de forma independente no cluster.

Limitações e requisitos

• O armazenamento em cache se aplica apenas aos jobs do Serviço Gerenciado para Apache Spark.
• Somente os dados do Cloud Storage são armazenados em cache.
• O armazenamento em cache só se aplica a clusters que atendem aos seguintes requisitos:
  • O cluster tem um mestre e n workers (clusters de alta disponibilidade (HA) e de nó único não são compatíveis).
  • Esse recurso está disponível nas versões de imagem 2.0.72+, 2.1.20+ e 2.2.0+ do Serviço Gerenciado para Apache Spark.
  • Cada nó do cluster precisa ter SSDs locais anexados com a interface NVME (Non-Volatile Memory Express) (discos permanentes (PDs) não são compatíveis). Os dados são armazenados em cache apenas em SSDs locais NVME.
  • O cluster usa a conta de serviço de VM padrão para autenticação. Contas de serviço de VM personalizadas não são compatíveis.

Ativar o armazenamento em cache do cluster

É possível ativar o armazenamento em cache de cluster ao criar um cluster do Serviço Gerenciado para Apache Spark usando o console do Google Cloud , a Google Cloud CLI ou a API Dataproc.

Console doGoogle Cloud

1. Abra a página Criar cluster do console do Google Cloud .
2. Clique em Configuração adicional para abrir a seção.
3. Editar Personalização e outros.
4. No painel que é aberto, na seção Propriedades do cluster, clique em + Adicionar propriedades.
5. Selecione dataproc na lista Prefixo e adicione a chave dataproc.cluster.caching.enabled e o valor true.

CLI da gcloud

Execute o comando gcloud dataproc clusters create localmente em uma janela do terminal ou no Cloud Shell usando a propriedade de cluster dataproc:dataproc.cluster.caching.enabled=true.

Exemplo:

gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --properties dataproc:dataproc.cluster.caching.enabled=true \
    --num-master-local-ssds=2 \
    --master-local-ssd-interface=NVME \
    --num-worker-local-ssds=2 \
    --worker-local-ssd-interface=NVME \
    other args ...
  

API REST

Defina SoftwareConfig.properties para incluir a "dataproc:dataproc.cluster.caching.enabled": "true" propriedade do cluster como parte de uma solicitação clusters.create.