מטא-נתונים של אשכול

‫Managed Service for Apache Spark מגדיר ערכי מטא-נתונים מיוחדים למכונות שפועלות באשכול:

מפתח מטא-נתוניםערך
dataproc-bucketהשם של קטגוריית ה-Staging של האשכול
dataproc-regionהאזור של נקודת הקצה של האשכול
dataproc-worker-countמספר צומתי העובדים באשכול. הערך הוא 0 לאשכולות של צומת יחיד.
dataproc-cluster-nameשם האשכול
dataproc-cluster-uuidה-UUID של האשכול
dataproc-roleהתפקיד של המכונה, Master או Worker
dataproc-masterשם המארח של הצומת הראשי הראשון. הערך הוא [CLUSTER_NAME]-m באשכול רגיל או באשכול עם צומת יחיד, או [CLUSTER_NAME]-m-0 באשכול עם זמינות גבוהה, כאשר [CLUSTER_NAME] הוא שם האשכול.
dataproc-master-additionalרשימה מופרדת בפסיקים של שמות מארחים לצומתי המאסטר הנוספים באשכול עם זמינות גבוהה, לדוגמה, [CLUSTER_NAME]-m-1,[CLUSTER_NAME]-m-2 באשכול שיש בו 3 צומתי מאסטר.
SPARK_BQ_CONNECTOR_VERSION or SPARK_BQ_CONNECTOR_URLהגרסה או כתובת ה-URL שמפנה לגרסה של מחבר Spark BigQuery שבה משתמשים באפליקציות Spark, לדוגמה, 0.42.1 או gs://spark-lib/bigquery/spark-3.5-bigquery-0.42.1.jar. גרסת ברירת המחדל של מחבר Spark-BigQuery מותקנת מראש באשכולות של Managed Service for Apache Spark בגרסת אימג' 2.1 ואילך. מידע נוסף זמין במאמר שימוש במחבר Spark BigQuery.

אתם יכולים להשתמש בערכים האלה כדי להתאים אישית את ההתנהגות של פעולות אתחול.

אפשר להשתמש בדגל --metadata בפקודה gcloud dataproc clusters create כדי לספק מטא-נתונים משלכם:

gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --metadata=name1=value1,name2=value2... \
    ... other flags ...