יצירה מחדש ועדכון של אשכול וירטואלי ב-Google Kubernetes Engine

אתם יכולים להעתיק את ההגדרות של אשכול וירטואלי קיים של Managed Service for Apache Spark ב-GKE, לעדכן את ההגדרות שהעתקתם ואז ליצור אשכול חדש של Managed Service for Apache Spark ב-GKE באמצעות ההגדרות המעודכנות.

יצירה מחדש ועדכון של אשכול Managed Service for Apache Spark ב-GKE

gcloud

  1. מגדירים את משתני הסביבה:

    CLUSTER=existing Managed Service for Apache Spark on GKE  cluster name \
      REGION=region
    

  2. מייצאים לקובץ YAML את הגדרת האשכול הקיימת של Managed Service for Apache Spark ב-GKE.

    gcloud dataproc clusters export $CLUSTER \
        --region=$REGION > "${CLUSTER}-config.yaml"
    

  3. מעדכנים את ההגדרות.

    1. מסירים את השדה kubernetesNamespace. צריך להסיר את השדה הזה כדי למנוע התנגשות במרחב השמות כשיוצרים את האשכול המעודכן.

      פקודת sed לדוגמה להסרת השדה kubernetesNamespace:

      sed -E "s/kubernetesNamespace: .+$//g" ${CLUSTER}-config.yaml
      

    2. מבצעים שינויים נוספים כדי לעדכן את הגדרות התצורה של האשכול הווירטואלי של Managed Service for Apache Spark ב-GKE, כמו שינוי של componentVersion של Spark.

  4. מוחקים את האשכול הווירטואלי הקיים של Managed Service for Apache Spark ב-GKE אם יוצרים אשכול עם שם זהה לזה של האשכול שמעדכנים (אם מחליפים את האשכול המקורי).

  5. מחכים עד שפעולת המחיקה הקודמת תסתיים, ואז מייבאים את הגדרות האשכול המעודכנות כדי ליצור אשכול וירטואלי חדש של Managed Service for Apache Spark ב-GKE עם הגדרות העיצוב המעודכנות.

    gcloud dataproc clusters import $CLUSTER \
        --region=$REGION \
        --source="${CLUSTER}-config.yaml"

API

  1. מגדירים את משתני הסביבה:

    CLUSTER=existing Managed Service for Apache Spark on GKE  cluster name \
      REGION=region
    

  2. מייצאים לקובץ YAML את הגדרת האשכול הקיימת של Managed Service for Apache Spark ב-GKE.

    curl -X GET -H "Authorization: Bearer $(gcloud auth print-access-token)"  "https://dataproc.googleapis.com/v1/projects/${PROJECT}/regions/${REGION}/clusters/${CLUSTER}?alt=json" > "${CLUSTER}-config.json"

  3. מעדכנים את ההגדרות.

    1. מסירים את השדה kubernetesNamespace. צריך להסיר את השדה הזה כדי למנוע התנגשות במרחב השמות כשיוצרים את האשכול המעודכן.

      פקודת jq לדוגמה להסרת השדה kubernetesNamespace:

      jq 'del(.virtualClusterConfig.kubernetesClusterConfig.kubernetesNamespace)'
      

    2. מבצעים שינויים נוספים כדי לעדכן את הגדרות התצורה של האשכול הווירטואלי של Managed Service for Apache Spark ב-GKE, כמו שינוי של componentVersion של Spark.

  4. אם אתם מחליפים את האשכול המקורי, אתם צריכים למחוק את האשכול הווירטואלי הקיים של Managed Service for Apache Spark ב-GKE, אם אתם יוצרים אשכול עם אותו שם כמו האשכול שאתם מעדכנים.

    curl -X DELETE -H "Authorization: Bearer $(gcloud auth print-access-token)" "https://dataproc.googleapis.com/v1/projects/${PROJECT}/regions/${REGION}/clusters/${CLUSTER}"
    

  5. מחכים עד שפעולת המחיקה הקודמת תסתיים, ואז מייבאים את הגדרת האשכול המעודכנת כדי ליצור אשכול וירטואלי חדש של Managed Service for Apache Spark ב-GKE עם ההגדרות המעודכנות.

    curl -i -X POST  -H "Authorization: Bearer $(gcloud auth print-access-token)"  -H "Content-Type: application/json; charset=utf-8" -d "@${CLUSTER}-config.json" "https://dataproc.googleapis.com/v1/projects/${PROJECT}/regions/${REGION}/clusters?alt=json"
    

המסוף

במסוף Google Cloud אי אפשר ליצור מחדש אשכול וירטואלי של Managed Service for Apache Spark ב-GKE על ידי ייבוא של הגדרות מאשכול קיים.