Puedes copiar la configuración de un clúster virtual existente de Managed Service para Apache Spark en GKE, actualizar la configuración copiada y, luego, crear un nuevo clúster de Managed Service para Apache Spark en GKE con la configuración actualizada.
Vuelve a crear y actualiza un clúster de Managed Service para Apache Spark en GKE
gcloud
Establece las variables de entorno:
CLUSTER=existing Managed Service for Apache Spark on GKE cluster name \ REGION=region
Exporta la configuración existente del clúster de Managed Service para Apache Spark en GKE a un archivo YAML.
gcloud dataproc clusters export $CLUSTER \ --region=$REGION > "${CLUSTER}-config.yaml"Actualiza la configuración.
Quita el campo
kubernetesNamespace. Quitar este campo es necesario para evitar un conflicto de espacio de nombres cuando creas el clúster actualizado.Comando
sedde muestra para quitar el campokubernetesNamespace:sed -E "s/kubernetesNamespace: .+$//g" ${CLUSTER}-config.yamlRealiza cambios adicionales para actualizar la configuración del clúster virtual de Managed Service para Apache Spark en GKE, como cambiar la componentVersion de Spark.
Borra el clúster virtual existente de Managed Service para Apache Spark en GKE si crearás un clúster que tenga el mismo nombre que el clúster que se está actualizando (si estás reemplazando el clúster original).
Espera a que finalice la operación de eliminación anterior y, luego, importa la configuración del clúster actualizada para crear un nuevo clúster virtual de Managed Service para Apache Spark en GKE con los parámetros de configuración actualizados.
gcloud dataproc clusters import $CLUSTER \ --region=$REGION \ --source="${CLUSTER}-config.yaml"
API
Establece las variables de entorno:
CLUSTER=existing Managed Service for Apache Spark on GKE cluster name \ REGION=region
Exporta la configuración existente del clúster de Managed Service para Apache Spark en GKE a un archivo YAML.
curl -X GET -H "Authorization: Bearer $(gcloud auth print-access-token)" "https://dataproc.googleapis.com/v1/projects/${PROJECT}/regions/${REGION}/clusters/${CLUSTER}?alt=json" > "${CLUSTER}-config.json"Actualiza la configuración.
Quita el campo
kubernetesNamespace. La eliminación de este campo es necesaria para evitar un conflicto de espacio de nombres cuando crees el clúster actualizado.Comando
jqde ejemplo para quitar el campokubernetesNamespace:jq 'del(.virtualClusterConfig.kubernetesClusterConfig.kubernetesNamespace)'
Realiza cambios adicionales para actualizar la configuración del clúster virtual de Managed Service para Apache Spark en GKE, como cambiar la componentVersion de Spark.
Borra el clúster virtual existente de Managed Service para Apache Spark en GKE si crearás un clúster que tenga el mismo nombre que el clúster que se está actualizando (si reemplazas el clúster original).
curl -X DELETE -H "Authorization: Bearer $(gcloud auth print-access-token)" "https://dataproc.googleapis.com/v1/projects/${PROJECT}/regions/${REGION}/clusters/${CLUSTER}"Espera a que finalice la operación de eliminación anterior y, luego, importa la configuración actualizada del clúster para crear un nuevo clúster virtual de Managed Service para Apache Spark en GKE con la configuración actualizada.
curl -i -X POST -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json; charset=utf-8" -d "@${CLUSTER}-config.json" "https://dataproc.googleapis.com/v1/projects/${PROJECT}/regions/${REGION}/clusters?alt=json"
Console
La consola de Google Cloud no admite volver a crear un clúster virtual de Managed Service para Apache Spark en GKE importando la configuración de un clúster existente.