"Managed Service for Apache Spark" is the new name for the product formerly known as "Dataproc on Compute Engine" (cluster deployment) and "Google Cloud Serverless for Apache Spark" (serverless deployment).

Google uses AI technology to translate content into your preferred language. AI translations can contain errors.

מטא-נתונים של אשכול

‫Managed Service for Apache Spark מגדיר ערכים מיוחדים של מטא-נתונים למופעים שפועלים באשכול:

מפתח מטא-נתונים	ערך
`dataproc-bucket`	השם של קטגוריית הביניים של האשכול
`dataproc-region`	האזור של נקודת הקצה של האשכול
`dataproc-worker-count`	מספר צמתי העובדים באשכול. הערך הוא `0` עבור אשכולות עם צומת יחיד.
`dataproc-cluster-name`	שם האשכול
`dataproc-cluster-uuid`	מזהה ייחודי אוניברסלי (UUID) של האשכול
`dataproc-role`	התפקיד של המופע, `Master` או `Worker`
`dataproc-master`	שם המארח של צומת הראשי הראשון. הערך הוא `[CLUSTER_NAME]-m` באשכול רגיל או באשכול עם צומת יחיד, או `[CLUSTER_NAME]-m-0` באשכול עם זמינות גבוהה, כאשר `[CLUSTER_NAME]` הוא שם האשכול.
`dataproc-master-additional`	רשימה מופרדת בפסיקים של שמות מארחים לצמתים הראשיים הנוספים באשכול זמינות גבוהה, לדוגמה, `[CLUSTER_NAME]-m-1,[CLUSTER_NAME]-m-2` באשכול שיש בו 3 צמתים ראשיים.
`SPARK_BQ_CONNECTOR_VERSION or SPARK_BQ_CONNECTOR_URL`	הגרסה או כתובת ה-URL שמפנה לגרסה של מחבר Spark BigQuery לשימוש באפליקציות Spark, למשל, `0.42.1` או `gs://spark-lib/bigquery/spark-3.5-bigquery-0.42.1.jar`. גרסת ברירת מחדל של מחבר Spark BigQuery מותקנת מראש באשכולות של Managed Service for Apache Spark `2.1` ובגרסאות מאוחרות יותר של תמונות. מידע נוסף זמין במאמר בנושא שימוש במחבר Spark BigQuery.

אפשר להשתמש בערכים האלה כדי להתאים אישית את ההתנהגות של פעולות ההפעלה.

אפשר להשתמש בדגל --metadata בפקודה gcloud dataproc clusters create כדי לספק מטא-נתונים משלכם:

gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --metadata=name1=value1,name2=value2... \
    ... other flags ...

מטא-נתונים של אשכול קל לארגן דפים בעזרת אוספים אפשר לשמור ולסווג תוכן על סמך ההעדפות שלך.

מטא-נתונים של אשכול