"Managed Service for Apache Spark" is the new name for the product formerly known as "Dataproc on Compute Engine" (cluster deployment) and "Google Cloud Serverless for Apache Spark" (serverless deployment).
Google משתמשת בטכנולוגיית AI כדי לתרגם תוכן לשפה המועדפת עליך. בתרגומים כאלו עשויות להיות שגיאות.
הרצת משימות Spark באמצעות DataprocFileOutputCommitter
קל לארגן דפים בעזרת אוספים
אפשר לשמור ולסווג תוכן על סמך ההעדפות שלך.
התכונה DataprocFileOutputCommitter היא גרסה משופרת של FileOutputCommitter קוד פתוח. הוא מאפשר כתיבה בו-זמנית של משימות Apache Spark למיקום פלט.
מגבלות
התכונה DataprocFileOutputCommitter תומכת במשימות Spark שמופעלות באשכולות של Managed Service for Apache Spark Compute Engine שנוצרו עם גרסאות התמונות הבאות:
מגדירים את spark.hadoop.mapreduce.outputcommitter.factory.class=org.apache.hadoop.mapreduce.lib.output.DataprocFileOutputCommitterFactory ואת spark.hadoop.mapreduce.fileoutputcommitter.marksuccessfuljobs=false כמאפיין של עבודה כששולחים עבודת Spark לאשכול.
דוגמה ל-Google Cloud CLI:
gcloud dataproc jobs submit spark \
--properties=spark.hadoop.mapreduce.outputcommitter.factory.class=org.apache.hadoop.mapreduce.lib.output.DataprocFileOutputCommitterFactory,spark.hadoop.mapreduce.fileoutputcommitter.marksuccessfuljobs=false \
--region=REGION \
other args ...
[[["התוכן קל להבנה","easyToUnderstand","thumb-up"],["התוכן עזר לי לפתור בעיה","solvedMyProblem","thumb-up"],["סיבה אחרת","otherUp","thumb-up"]],[["התוכן קשה להבנה","hardToUnderstand","thumb-down"],["שגיאות בקוד לדוגמה או במידע","incorrectInformationOrSampleCode","thumb-down"],["חסרים לי פרטים או דוגמאות","missingTheInformationSamplesINeed","thumb-down"],["בעיה בתרגום","translationIssue","thumb-down"],["סיבה אחרת","otherDown","thumb-down"]],["עדכון אחרון: 2026-07-22 (שעון UTC)."],[],[]]
