אתם יכולים להעתיק את ההגדרות של אשכול וירטואלי קיים של Managed Service for Apache Spark ב-GKE, לעדכן את ההגדרות שהעתקתם ואז ליצור אשכול חדש של Managed Service for Apache Spark ב-GKE באמצעות ההגדרות המעודכנות.
יצירה מחדש ועדכון של אשכול Managed Service for Apache Spark ב-GKE
gcloud
מגדירים את משתני הסביבה:
CLUSTER=existing Managed Service for Apache Spark on GKE cluster name \ REGION=region
מייצאים לקובץ YAML את הגדרת האשכול הקיימת של Managed Service for Apache Spark ב-GKE.
gcloud dataproc clusters export $CLUSTER \ --region=$REGION > "${CLUSTER}-config.yaml"מעדכנים את ההגדרות.
מסירים את השדה
kubernetesNamespace. צריך להסיר את השדה הזה כדי למנוע התנגשות במרחב השמות כשיוצרים את האשכול המעודכן.פקודת
sedלדוגמה להסרת השדהkubernetesNamespace:sed -E "s/kubernetesNamespace: .+$//g" ${CLUSTER}-config.yamlמבצעים שינויים נוספים כדי לעדכן את הגדרות התצורה של האשכול הווירטואלי של Managed Service for Apache Spark ב-GKE, כמו שינוי של componentVersion של Spark.
מוחקים את האשכול הווירטואלי הקיים של Managed Service for Apache Spark ב-GKE אם יוצרים אשכול עם שם זהה לזה של האשכול שמעדכנים (אם מחליפים את האשכול המקורי).
מחכים עד שפעולת המחיקה הקודמת תסתיים, ואז מייבאים את הגדרות האשכול המעודכנות כדי ליצור אשכול וירטואלי חדש של Managed Service for Apache Spark ב-GKE עם הגדרות העיצוב המעודכנות.
gcloud dataproc clusters import $CLUSTER \ --region=$REGION \ --source="${CLUSTER}-config.yaml"
API
מגדירים את משתני הסביבה:
CLUSTER=existing Managed Service for Apache Spark on GKE cluster name \ REGION=region
מייצאים לקובץ YAML את הגדרת האשכול הקיימת של Managed Service for Apache Spark ב-GKE.
curl -X GET -H "Authorization: Bearer $(gcloud auth print-access-token)" "https://dataproc.googleapis.com/v1/projects/${PROJECT}/regions/${REGION}/clusters/${CLUSTER}?alt=json" > "${CLUSTER}-config.json"מעדכנים את ההגדרות.
מסירים את השדה
kubernetesNamespace. צריך להסיר את השדה הזה כדי למנוע התנגשות במרחב השמות כשיוצרים את האשכול המעודכן.פקודת
jqלדוגמה להסרת השדהkubernetesNamespace:jq 'del(.virtualClusterConfig.kubernetesClusterConfig.kubernetesNamespace)'
מבצעים שינויים נוספים כדי לעדכן את הגדרות התצורה של האשכול הווירטואלי של Managed Service for Apache Spark ב-GKE, כמו שינוי של componentVersion של Spark.
אם אתם מחליפים את האשכול המקורי, אתם צריכים למחוק את האשכול הווירטואלי הקיים של Managed Service for Apache Spark ב-GKE, אם אתם יוצרים אשכול עם אותו שם כמו האשכול שאתם מעדכנים.
curl -X DELETE -H "Authorization: Bearer $(gcloud auth print-access-token)" "https://dataproc.googleapis.com/v1/projects/${PROJECT}/regions/${REGION}/clusters/${CLUSTER}"מחכים עד שפעולת המחיקה הקודמת תסתיים, ואז מייבאים את הגדרת האשכול המעודכנת כדי ליצור אשכול וירטואלי חדש של Managed Service for Apache Spark ב-GKE עם ההגדרות המעודכנות.
curl -i -X POST -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json; charset=utf-8" -d "@${CLUSTER}-config.json" "https://dataproc.googleapis.com/v1/projects/${PROJECT}/regions/${REGION}/clusters?alt=json"
המסוף
במסוף Google Cloud אי אפשר ליצור מחדש אשכול וירטואלי של Managed Service for Apache Spark ב-GKE על ידי ייבוא של הגדרות מאשכול קיים.