Documentação do Serviço Gerenciado para Apache Spark
Com o Serviço Gerenciado para Apache Spark em clusters, você pode aproveitar ferramentas de dados de código aberto para processamento em lote, consultas, streaming e machine learning. A automação do Serviço Gerenciado para Apache Spark facilita a criação e o gerenciamento de clusters além de gerar economias, porque permite desativar os clusters que não estão em uso. Com menos tempo e dinheiro gastos com administração, você pode se concentrar nos jobs e dados.
Use o Serviço Gerenciado para Apache Spark sem servidor para executar cargas de trabalho em lote do Spark sem provisionar e gerenciar seu próprio cluster. Especifique parâmetros de carga de trabalho e envie a carga de trabalho para o serviço gerenciado para Apache Spark. O serviço vai executar a carga de trabalho em uma infraestrutura de computação gerenciada, fazendo o escalonamento automático dos recursos conforme necessário. As cobranças do Serviço Gerenciado para Apache Spark se aplicam somente ao momento em que a carga de trabalho está em execução.
Acesse a página do produto Serviço Gerenciado para Apache Spark para mais informações.
Comece sua prova de conceito com US$ 300 de crédito sem custos financeiros
- Desenvolva com nossos modelos e ferramentas de IA generativa mais recentes.
- Use sem custo financeiro mais de 20 produtos conhecidos, incluindo o Compute Engine e as APIs de IA.
- Sem cobranças automáticas, sem compromisso.
Aproveite mais de 20 produtos sem custo financeiro.
Acesse mais de 20 produtos sem custo financeiro voltados a casos de uso comuns, incluindo APIs de IA, VMs, data warehouses e muito mais.
Recursos de documentação
Guias
-
Guias de início rápido: Criar um cluster, Enviar uma carga de trabalho em lote do Apache Spark, ou Executar um job do Spark no Google Kubernetes Engine
Recursos relacionados
Executar um job do Spark no Google Kubernetes Engine
Envie jobs do Spark para um cluster do Google Kubernetes Engine em execução na API Dataproc Jobs.
Introdução ao Cloud Dataproc: Hadoop e Spark no Google Cloud
Este curso apresenta uma combinação de palestras, demonstrações e laboratórios práticos para criar um cluster do Dataproc, enviar um job do Spark e, em seguida, encerrar o cluster.
Machine learning com Spark no Dataproc
Este curso apresenta uma combinação de palestras, demonstrações e laboratórios práticos para implementar a regressão logística usando uma biblioteca de machine learning do Apache Spark em um cluster do Dataproc para desenvolver um modelo com dados de um conjunto de dados multivariável.
Soluções de programação de fluxo de trabalho
Programe fluxos de trabalho no Google Cloud.
Migrar dados do HDFS do local para o Google Cloud
Como mover dados do Hadoop Distributed File System (HDFS) para o Google Cloud.
Gerenciar dependências Java e Scala para o Apache Spark
Abordagens recomendadas para incluir dependências ao enviar um job do Spark para um cluster do Serviço Gerenciado para Apache Spark.
Amostras da API Python
Chamar APIs do Dataproc a partir do Python.
Exemplos da API Node.js
Chame APIs do Dataproc a partir do Node.js.