"Managed Service for Apache Spark" is the new name for the product formerly known as "Dataproc on Compute Engine" (cluster deployment) and "Google Cloud Serverless for Apache Spark" (serverless deployment).
O Google usa tecnologia de IA na tradução de conteúdos para seu idioma de preferência. As traduções com IA podem ter erros.
Executar jobs do Spark com o DataprocFileOutputCommitter
Mantenha tudo organizado com as coleções
Salve e categorize o conteúdo com base nas suas preferências.
O recurso DataprocFileOutputCommitter é uma versão aprimorada do FileOutputCommitter de código aberto. Ele permite gravações simultâneas de jobs do Apache Spark em um local de saída.
Limitações
O recurso DataprocFileOutputCommitter oferece suporte a jobs do Spark executados em clusters do Serviço Gerenciado para Apache Spark no Compute Engine criados com as seguintes versões de imagem:
Defina spark.hadoop.mapreduce.outputcommitter.factory.class=org.apache.hadoop.mapreduce.lib.output.DataprocFileOutputCommitterFactory e spark.hadoop.mapreduce.fileoutputcommitter.marksuccessfuljobs=false
como uma propriedade do job ao enviar um job do Spark
para o cluster.
Exemplo da Google Cloud CLI:
gcloud dataproc jobs submit spark \
--properties=spark.hadoop.mapreduce.outputcommitter.factory.class=org.apache.hadoop.mapreduce.lib.output.DataprocFileOutputCommitterFactory,spark.hadoop.mapreduce.fileoutputcommitter.marksuccessfuljobs=false \
--region=REGION \
other args ...
[[["Fácil de entender","easyToUnderstand","thumb-up"],["Meu problema foi resolvido","solvedMyProblem","thumb-up"],["Outro","otherUp","thumb-up"]],[["Difícil de entender","hardToUnderstand","thumb-down"],["Informações incorretas ou exemplo de código","incorrectInformationOrSampleCode","thumb-down"],["Não contém as informações/amostras de que eu preciso","missingTheInformationSamplesINeed","thumb-down"],["Problema na tradução","translationIssue","thumb-down"],["Outro","otherDown","thumb-down"]],["Última atualização 2026-07-22 UTC."],[],[]]
