Spark-Jobs mit DataprocFileOutputCommitter ausführen

Die Funktion DataprocFileOutputCommitter ist eine erweiterte Version von FileOutputCommitter. Sie ermöglicht gleichzeitige Schreibvorgänge von Apache Spark-Jobs an einen Ausgabespeicherort.

Beschränkungen

Die Funktion DataprocFileOutputCommitter unterstützt Spark-Jobs, die in Managed Service for Apache Spark Compute Engine-Clustern ausgeführt werden, die mit den folgenden Image-Versionen erstellt wurden:

  • 2.1 Bildversionen 2.1.10 und höher

  • 2.0-Image-Versionen 2.0.62 und höher

DataprocFileOutputCommitter verwenden

So verwenden Sie diese Funktion:

  1. Erstellen Sie einen Managed Service for Apache Spark-Cluster in Compute Engine mit den Image-Versionen 2.1.10 oder 2.0.62 oder höher.

  2. Legen Sie spark.hadoop.mapreduce.outputcommitter.factory.class=org.apache.hadoop.mapreduce.lib.output.DataprocFileOutputCommitterFactory und spark.hadoop.mapreduce.fileoutputcommitter.marksuccessfuljobs=false als Job-Property fest, wenn Sie einen Spark-Job an den Cluster senden.

    • Beispiel für Google Cloud CLI:
    gcloud dataproc jobs submit spark \
    --properties=spark.hadoop.mapreduce.outputcommitter.factory.class=org.apache.hadoop.mapreduce.lib.output.DataprocFileOutputCommitterFactory,spark.hadoop.mapreduce.fileoutputcommitter.marksuccessfuljobs=false \
    --region=REGION \
    other args ...
    • Codebeispiel:
    sc.hadoopConfiguration.set("spark.hadoop.mapreduce.outputcommitter.factory.class","org.apache.hadoop.mapreduce.lib.output.DataprocFileOutputCommitterFactory")
sc.hadoopConfiguration.set("spark.hadoop.mapreduce.fileoutputcommitter.marksuccessfuljobs","false")