A biblioteca Java de código aberto do conector do Cloud Storage permite executar jobs do Apache Hadoop ou do Apache Spark diretamente nos dados no Cloud Storage.
O Lightning Engine melhora a conectividade com o Cloud Storage para otimizar o desempenho do mecanismo nativo. O conector do Cloud Storage aprimorado minimiza as operações de metadados para reduzir custos, enquanto um committer de saída de arquivo otimizado aumenta o desempenho e a confiabilidade das cargas de trabalho do Spark. Preencha o formulário de acesso antecipado para solicitar acesso antecipado a esse recurso em fase de pré-lançamento particular.
Benefícios do conector do Cloud Storage
- Acesso direto aos dados: armazene seus dados no Cloud Storage e acesse-os diretamente. Não é necessário transferi-los para o HDFS primeiro.
- Compatibilidade com HDFS: é possível acessar seus dados no Cloud Storage usando o prefixo
gs://em vez dehdfs://. - Interoperabilidade: o armazenamento de dados no Cloud Storage permite uma interoperabilidade perfeita entre o Spark, o Hadoop e os serviços do Google.
- Acessibilidade de dados: ao encerrar um cluster do Hadoop, ao contrário do HDFS, você continua tendo acesso aos dados no Cloud Storage.
- Alta disponibilidade de dados: os dados armazenados no Cloud Storage são altamente disponíveis e replicados globalmente sem perda de desempenho.
- Sem sobrecarga de gerenciamento de armazenamento: ao contrário do HDFS, o Cloud Storage não requer manutenção de rotina, como verificar o sistema de arquivos ou fazer upgrade ou reversão para uma versão anterior do sistema de arquivos.
- Inicialização rápida: no HDFS, um job do MapReduce não pode ser iniciado até que o
NameNodesaia do modo de segurança, um processo que pode levar de alguns segundos a muitos minutos, dependendo do tamanho e do estado dos dados. Com o Cloud Storage, inicie o job assim que os nós de tarefa começarem, o que gera uma economia significativa no longo prazo.
Configuração do conector em clusters do Serviço Gerenciado para Apache Spark
O conector do Cloud Storage é instalado por padrão em todos os
nós de cluster do Serviço Gerenciado para Apache Spark no
diretório /usr/local/share/google/managed-spark/lib/. As subseções a seguir descrevem as etapas para concluir a configuração do conector em clusters do Serviço Gerenciado para Apache Spark.
Conta de serviço da VM
Ao executar o conector em nós de cluster do Serviço Gerenciado para Apache Spark
e outras VMs do Compute Engine, a
propriedade google.cloud.auth.service.account.enable é definida
como false por padrão, o que significa que não é necessário configurar as
credenciais da conta de serviço da VM
para o conector. As credenciais da conta de serviço da VM são fornecidas pelo
servidor de metadados da VM.
A conta de serviço da VM do Serviço Gerenciado para Apache Spark precisa ter permissão para acessar o bucket do Cloud Storage.
Se você usar uma conta de serviço personalizada com um 2.2+ cluster de jobs do Spark: se você
selecionar uma
conta de serviço personalizada
ao criar um cluster de versão de imagem 2.2+ do Serviço Gerenciado para Apache Spark para o qual você
envia jobs do Spark e se os jobs do Spark lerem ou gravarem no Cloud Storage,
para evitar problemas de permissão que podem causar falhas de job, adicione a seguinte
configuração (mostrada em negrito) ao código de criação da sessão do Spark:
spark = SparkSession.builder \
.appName(appName) \
.config("fs.gs.auth.type", "SERVICE_ACCOUNT_JSON_KEYFILE") \
.config("fs.gs.auth.service.account.json.keyfile", "path/to/your/keyfile.json") \
.getOrCreate()
Para verificar se as permissões estão definidas corretamente, confira se a conta de serviço personalizada tem as permissões storage.objects.get e storage.objects.create:
- Veja o acesso atual para listar os papéis concedidos à conta de serviço personalizada.
- Encontre um papel ou uma permissão para consultar as permissões associadas a um papel.
Versões do conector selecionadas pelo usuário
As versões padrão do conector do Cloud Storage usadas nas imagens mais recentes instaladas nos clusters do Serviço Gerenciado para Apache Spark estão listadas nas páginas de versão da imagem. Se o aplicativo depender de uma versão de conector não padrão implantada no cluster, execute uma das seguintes ações para usar a versão do conector selecionada:
- Crie um cluster com a flag
--metadata=GCS_CONNECTOR_VERSION=x.y.z, que atualiza o conector usado pelos aplicativos em execução no cluster para a versão especificada. - Inclua e realoque as classes e dependências do conector da versão que você está usando no jar do aplicativo. A realocação é necessária para evitar um conflito entre a versão do conector implantada e a versão padrão instalada no cluster do Serviço Gerenciado para Apache Spark. Consulte também o exemplo de realocação de dependências do Maven.
Configuração do conector em clusters que não são do Serviço Gerenciado para Apache Spark
Siga as etapas abaixo para configurar o conector do Cloud Storage em um cluster que não seja do Serviço Gerenciado para Apache Spark, como um cluster do Apache Hadoop ou Spark usado para mover dados do HDFS no local para o Cloud Storage.
Fazer o download do conector
- Para fazer o download do conector do Cloud Storage:
- Para usar uma versão
latestlocalizada no bucket do Cloud Storage (não é recomendável usar uma versãolatestpara aplicativos de produção): - Para usar uma versão específica
do bucket do Cloud Storage, substitua as versões do conector do Hadoop e do
Cloud Storage no padrão de nome
gcs-connector-HADOOP_VERSION-CONNECTOR_VERSION.jar, por exemplo,gs://hadoop-lib/gcs/gcs-connector-hadoop2-2.1.1.jar. - Para usar uma versão específica
do
repositório Maven do Apache,
faça o download de um jar sombreado que tenha o sufixo
-shadedno nome.
- Para usar uma versão
- Para fazer o download do conector do Cloud Storage:
Instalar o conector.
Siga as instruções do GitHub para instalar, configurar e testar o conector do Cloud Storage.
Uso do conector
É possível usar o conector para acessar dados do Cloud Storage das seguintes maneiras:
- Em um aplicativo Spark, PySpark ou Hadoop com o prefixo
gs:// - Em um shell do Hadoop com
hadoop fs -ls gs://bucket/dir/file - No Navegador do Cloud Storage No console do Google Cloud
- Usando comandos do SDK Google Cloud, como:
Uso do Java
O conector do Cloud Storage requer o Java 8.
Veja a seguir um exemplo de seção de gerenciamento de dependências do POM do Maven para o conector do Cloud Storage. Para mais informações, consulte Gerenciamento de dependências.
<dependency>
<groupId>com.google.cloud.bigdataoss</groupId>
<artifactId>gcs-connector</artifactId>
<version>hadoopX-X.X.XCONNECTOR VERSION</version>
<scope>provided</scope>
</dependency>
Para uma versão sombreada:
<dependency>
<groupId>com.google.cloud.bigdataoss</groupId>
<artifactId>gcs-connector</artifactId>
<version>hadoopX-X.X.XCONNECTOR VERSION</version>
<scope>provided</scope>
<classifier>shaded</classifier>
</dependency>
Suporte para conectores
O conector do Cloud Storage é compatível com o Google Cloud para uso com produtos e casos de uso doGoogle Cloud . Quando usado com o Serviço Gerenciado para Apache Spark, ele é compatível com o mesmo nível do Serviço Gerenciado para Apache Spark. Para mais informações, consulte Receber suporte.
Conectar-se ao Cloud Storage usando gRPC
Por padrão, o conector do Cloud Storage no serviço gerenciado para Apache Spark usa a API JSON do Cloud Storage. Nesta seção, mostramos como ativar o conector do Cloud Storage para usar o gRPC.
Considerações de uso
O uso do conector do Cloud Storage com o gRPC inclui as seguintes considerações:
- Local do bucket regional: o gRPC só pode melhorar as latências de leitura quando as VMs do Compute Engine e os buckets do Cloud Storage estão localizados na mesma região do Compute Engine.
- Jobs com uso intensivo de leitura: o gRPC pode oferecer latências de leitura melhores para leituras de longa duração e ajudar em cargas de trabalho com uso intensivo de leitura. Não é recomendado para aplicativos que criam um canal gRPC, executam um cálculo curto e fecham o canal.
- Solicitações não autenticadas: o gRPC não é compatível com solicitações não autenticadas.
Requisitos
Os seguintes requisitos se aplicam ao usar o gRPC com o conector do Cloud Storage:
A rede VPC do cluster do Serviço Gerenciado para Apache Spark precisa oferecer suporte à conectividade direta. Isso significa que as rotas e as regras de firewall da rede precisam permitir que o tráfego de saída chegue a
34.126.0.0/18e2001:4860:8040::/42.- Se o cluster do Serviço Gerenciado para Apache Spark usar a rede IPv6, configure uma sub-rede IPv6 para instâncias de VM. Para mais informações, consulte Como configurar o IPv6 para instâncias e modelos de instância.
Ao criar um cluster do Serviço Gerenciado para Apache Spark, use a versão
2.2.23ou posterior do conector do Cloud Storage com a versão de imagem2.1.56+ou a versão v3.0.0 ou posterior do conector do Cloud Storage com a versão de imagem 2.2.0+. A versão do conector do Cloud Storage instalada em cada versão de imagem do Serviço Gerenciado para Apache Spark está listada nas páginas de versão de imagem do Serviço Gerenciado para Apache Spark.- Se você criar e usar um
cluster virtual do Serviço Gerenciado para Apache Spark no GKE
para suas solicitações do Cloud Storage gRPC, recomendamos a versão
1.28.5-gke.1199000do GKE comgke-metadata-server 0.4.285. Essa combinação é compatível com a conectividade direta.
- Se você criar e usar um
cluster virtual do Serviço Gerenciado para Apache Spark no GKE
para suas solicitações do Cloud Storage gRPC, recomendamos a versão
Você ou o administrador da organização precisa conceder papéis do Identity and Access Management que incluam as permissões necessárias para configurar e fazer solicitações gRPC ao conector do Cloud Storage. Esses papéis podem incluir:
- Papel do usuário: papel de editor do Dataproc concedido aos usuários para que eles possam criar clusters e enviar jobs.
- Papel da conta de serviço: papel de Usuário de objetos do Storage concedido à conta de serviço da VM do Serviço Gerenciado para Apache Spark para permitir que os aplicativos em execução nas VMs do cluster visualizem, leiam, criem e gravem objetos do Cloud Storage.
Ativar o gRPC no conector do Cloud Storage
É possível ativar o gRPC no conector do Cloud Storage no nível do cluster ou do job. Depois de ativadas no cluster, as solicitações de leitura do conector do Cloud Storage usam o gRPC. Se ativadas em um job em vez de no nível do cluster, as solicitações de leitura do conector do Cloud Storage usarão o gRPC apenas para o job.
Ativar um cluster
Para ativar o gRPC no conector do Cloud Storage no nível do cluster,
defina a propriedade core:fs.gs.client.type=STORAGE_CLIENT ao
criar um cluster do Serviço Gerenciado para Apache Spark.
Depois que o gRPC é ativado no nível do cluster, as solicitações de leitura do conector do Cloud Storage feitas por jobs em execução no cluster usam o gRPC.
Exemplo da CLI gcloud:
gcloud dataproc clusters create CLUSTER_NAME \
--project=PROJECT_ID \
--region=REGION \
--properties=core:fs.gs.client.type=STORAGE_CLIENT
Substitua:
- CLUSTER_NAME: especifique um nome para o cluster.
- PROJECT_NAME: o ID do projeto em que o cluster está localizado. Os IDs do projeto estão listados na seção Informações do projeto no Painel do console do Google Cloud .
- REGION: especifique uma região do Compute Engine em que o cluster será localizado.
Ativar um job
Para ativar o gRPC no conector do Cloud Storage para um job específico, inclua --properties=spark.hadoop.fs.gs.client.type=STORAGE_CLIENT ao enviar um job.
Exemplo: executar um job em um cluster que usa o gRPC para ler do Cloud Storage.
Crie um script PySpark
/tmp/line-count.pylocal que use gRPC para ler um arquivo de texto do Cloud Storage e gerar o número de linhas no arquivo.cat <<EOF >"/tmp/line-count.py" #!/usr/bin/python import sys from pyspark.sql import SparkSession path = sys.argv[1] spark = SparkSession.builder.getOrCreate() rdd = spark.read.text(path) lines_counter = rdd.count() print("There are {} lines in file: {}".format(lines_counter,path)) EOFCrie um arquivo de texto
/tmp/line-count-sample.txtlocal.cat <<EOF >"/tmp/line-count-sample.txt" Line 1 Line 2 line 3 EOF
Faça upload de
/tmp/line-count.pye/tmp/line-count-sample.txtlocais para seu bucket no Cloud Storage.gcloud storage cp /tmp/line-count* gs://BUCKET
Execute o job
line-count.pyno cluster. Defina--properties=spark.hadoop.fs.gs.client.type=STORAGE_CLIENTcomo ativar o gRPC para solicitações de leitura do conector do Cloud Storage.gcloud dataproc jobs submit pyspark gs://BUCKET/line-count.py \ --cluster=CLUSTER_NAME \ --project=PROJECT_ID \ --region=REGION \ --properties=spark.hadoop.fs.gs.client.type=STORAGE_CLIENT \ -- gs://BUCKET/line-count-sample.txt
Substitua:
- CLUSTER_NAME: o nome de um cluster.
- PROJECT_NAME: o ID do projeto. Os IDs do projeto estão listados na seção Informações do projeto no Painel do console do Google Cloud .
- REGION: a região do Compute Engine em que o cluster está localizado.
- BUCKET: o bucket do Cloud Storage.
Gerar métricas do lado do cliente do gRPC
É possível configurar o conector do Cloud Storage para gerar métricas relacionadas ao gRPC no Cloud Monitoring. As métricas relacionadas ao gRPC podem ajudar você a fazer o seguinte:
- Monitorar e otimizar o desempenho das solicitações gRPC para o Cloud Storage
- Resolver problemas e depurar
- Receba insights sobre o uso e o comportamento do aplicativo
Para informações sobre como configurar o conector do Cloud Storage para gerar métricas relacionadas ao gRPC, consulte Usar métricas do lado do cliente do gRPC.
Recursos
- Consulte as propriedades de configuração do conector do Cloud Storage no GitHub.
- Consulte Conectar-se ao Cloud Storage usando o gRPC para usar o conector do Cloud Storage com bibliotecas de cliente, VPC Service Controls e outros cenários.
- Saiba mais sobre o Cloud Storage.
- Consulte Usar o conector do Cloud Storage com o Apache Spark.
- Entender o sistema de arquivos do Apache Hadoop.
- Consulte a referência do Javadoc.