Aislar las cargas de trabajo en grupos de nodos dedicados

Los grupos de nodos dedicados de Google Distributed Cloud (GDC) aislado te permiten aislar las cargas de trabajo de los contenedores para reforzar la seguridad de los clústeres de Kubernetes y controlar la colocación de los pods. Esta separación ayuda a reducir el riesgo de ataques de apropiación de privilegios. Para configurar grupos dedicados, aplica taints y etiquetas, asócialos con tolerancias de carga de trabajo y reglas de afinidad de nodos, y verifica la programación.

Este documento está dirigido a los administradores de TI del grupo de administradores de plataformas que gestionan clústeres de Kubernetes y a los desarrolladores del grupo de operadores de aplicaciones que ejecutan contenedores. Para obtener más información, consulta la información general sobre el aislamiento de nodos y la documentación sobre las audiencias de GDC aislado.

Antes de empezar

Para completar las tareas de este documento, debes solicitar los permisos necesarios y preparar tu entorno.

Solicitar roles de gestión de identidades y accesos

Debes tener roles específicos para obtener los permisos que necesitas para aislar las cargas de trabajo de contenedores en tu clúster de Kubernetes. Los roles que necesitas dependen de si trabajas en un clúster compartido de la organización o en un clúster estándar del proyecto. Para obtener más información, consulta Configuraciones de clústeres de Kubernetes.

Roles de clúster compartidos

Ponte en contacto con el admin. de la org. de gestión de identidades y accesos para solicitar los siguientes roles para contaminar y etiquetar un grupo de nodos en un clúster compartido:

  • Administrador de clústeres de usuarios (user-cluster-admin): crea, elimina, edita o consulta los recursos de un clúster compartido alojado en el servidor de la API de gestión. Este rol proporciona acceso a los grupos de nodos del clúster compartido.

  • Desarrollador de clústeres de usuarios (user-cluster-developer): crea, elimina, edita o consulta un clúster compartido. Este rol proporciona acceso a las APIs del plano de datos alojadas en el clúster compartido.

Estos roles no están vinculados a un espacio de nombres.

Roles de clúster estándar

Ponte en contacto con el administrador de proyectos de gestión de identidades y accesos para solicitar los siguientes roles para contaminar y etiquetar un grupo de nodos en un clúster estándar:

  • Administrador de clústeres (cluster-admin): crea, elimina, edita o consulta todos los recursos de un clúster estándar. Este rol proporciona acceso a las APIs del plano de datos alojadas en el clúster estándar que rigen los recursos del clúster.

  • Cluster Developer (cluster-developer): crea, elimina, edita o consulta un clúster estándar. Este rol proporciona acceso a las APIs del plano de datos alojadas en el clúster estándar que rigen el clúster.

  • Administrador de clústeres estándar (standard-cluster-admin): crea, elimina, edita o consulta los recursos de un clúster estándar alojado en el servidor de la API de gestión. Este rol proporciona acceso a los grupos de nodos del clúster estándar.

Estos roles están vinculados al espacio de nombres de tu proyecto.

Prepara tu entorno

Para ejecutar comandos en un clúster de Kubernetes mediante la API, asegúrate de que tienes los siguientes recursos:

  • Inicia sesión y genera el archivo kubeconfig para el clúster de Kubernetes.

  • Usa la ruta de kubeconfig del clúster de Kubernetes para sustituir KUBERNETES_CLUSTER_KUBECONFIG en estas instrucciones.

  • Inicia sesión y genera el archivo kubeconfig para el servidor de la API de gestión.

  • Usa la ruta de kubeconfig del servidor de la API Management para sustituir MANAGEMENT_API_SERVER en estas instrucciones.

  • Elige un nombre específico para la restricción de nodo y la etiqueta de nodo que quieras usar en los grupos de nodos dedicados. Por ejemplo, workloadType=untrusted.

Contaminar y etiquetar un nuevo grupo de nodos

Cuando aplicas una restricción o una etiqueta a un nuevo grupo de nodos, todos los nodos, incluidos los que se añadan más adelante, obtendrán automáticamente las restricciones y las etiquetas especificadas. No puedes quitar una restricción ni una etiqueta de un grupo de nodos después de aplicarla.

Para añadir una contaminación y una etiqueta a un nuevo grupo de nodos, sigue estos pasos:

  1. Edita la sección nodePools del recurso personalizado Cluster directamente al crear el grupo de nodos:

    nodePools:
      # Several lines of code are omitted here.
      - machineTypeName: n2-standard-2-gdc
        name: nodepool-1
        nodeCount: 3
        taints:
        - key: "TAINT_KEY"
          value: "TAINT_VALUE"
          effect: "TAINT_EFFECT"
        labels:
          LABEL_KEY: LABEL_VALUE
    

    Haz los cambios siguientes:

    • TAINT_KEY: la parte de la clave de taint del par clave-valor asociado a una TAINT_EFFECT de programación. Por ejemplo, workloadType.
    • TAINT_VALUE: la parte del valor de taint del par clave-valor asociado a una TAINT_EFFECT de programación. Por ejemplo, untrusted.
    • TAINT_EFFECT: uno de los siguientes valores de efecto:
      • NoSchedule: los pods que no toleren esta intolerancia no se programarán en el nodo. Los pods que ya estén en el nodo no se expulsarán.
      • PreferNoSchedule: Kubernetes evita programar pods que no toleren esta intolerancia en el nodo.
      • NoExecute: el pod se desaloja del nodo si ya se está ejecutando en él y no se programa en el nodo si aún no se está ejecutando en él.
    • LABEL_KEY: LABEL_VALUE: los pares clave-valor de las etiquetas de nodo, que corresponden a los selectores que especificas en los manifiestos de tu carga de trabajo.
  2. Aplica el recurso Cluster para crear el grupo de nodos:

    kubectl apply -f cluster.yaml --kubeconfig MANAGEMENT_API_SERVER
    

    Sustituye MANAGEMENT_API_SERVER por la ruta de kubeconfig del servidor de la API de zona donde se aloja el clúster de Kubernetes.

Aplicar restricciones y etiquetas a un grupo de nodos

Para aplicar una restricción o una etiqueta a un grupo de nodos, debes aplicar los cambios a cada nodo. No puedes actualizar dinámicamente las configuraciones de los grupos de nodos.

No puedes quitar una contaminación o una etiqueta de un grupo de nodos después de aplicarla.

Para añadir una restricción y una etiqueta a un grupo de nodos, sigue estos pasos:

  1. Enumera los nodos del grupo de nodos dedicado:

    kubectl get node --kubeconfig KUBERNETES_CLUSTER_KUBECONFIG \
        -l baremetal.cluster.gke.io/node-pool=NODE_POOL_NAME
    

    Sustituye las siguientes variables:

    • KUBERNETES_CLUSTER_KUBECONFIG: la ruta de kubeconfig del clúster de Kubernetes.
    • NODE_POOL_NAME: el nombre de tu grupo de nodos dedicado.

    Anota el ID de cada nodo del grupo de nodos de la salida.

  2. En cada nodo del grupo de nodos, aplica las restricciones:

    kubectl taint nodes NODE_ID \
        TAINT_KEY=TAINT_VALUE:TAINT_EFFECT \
        --kubeconfig KUBERNETES_CLUSTER_KUBECONFIG
    

    Sustituye las siguientes variables:

    • NODE_ID: el ID del nodo de trabajador del grupo de nodos dedicado.
    • TAINT_KEY=TAINT_VALUE: un par clave-valor asociado a una programación TAINT_EFFECT. Por ejemplo, workloadType=untrusted.
    • TAINT_EFFECT: uno de los siguientes valores de efecto:
      • NoSchedule: los pods que no toleren esta intolerancia no se programarán en el nodo. Los pods que ya estén en el nodo no se expulsarán.
      • PreferNoSchedule: Kubernetes evita programar pods que no toleren esta intolerancia en el nodo.
      • NoExecute: el pod se desaloja del nodo si ya se está ejecutando en él y no se programa en el nodo si aún no se está ejecutando en él.
    • KUBERNETES_CLUSTER_KUBECONFIG: la ruta de kubeconfig del clúster de Kubernetes.
  3. En cada nodo del grupo de nodos, aplica las etiquetas que correspondan a los selectores que definirás en las cargas de trabajo de tus contenedores:

    kubectl label NODE_ID \
        LABEL_KEY:LABEL_VALUE \
        --kubeconfig KUBERNETES_CLUSTER_KUBECONFIG
    

    Sustituye las siguientes variables:

    • NODE_ID: el ID del nodo de trabajador del grupo de nodos dedicado.
    • LABEL_KEY:LABEL_VALUE: los pares clave-valor de las etiquetas de nodo, que corresponden a los selectores que especificas en tus manifiestos de carga de trabajo.
    • KUBERNETES_CLUSTER_KUBECONFIG: la ruta de kubeconfig del clúster de Kubernetes.

Añadir una tolerancia y una regla de afinidad de nodos

Después de aplicar una contaminación al grupo de nodos dedicado, no se pueden programar cargas de trabajo en él, a menos que tengan una tolerancia correspondiente a la contaminación que has añadido. Añade la tolerancia a la especificación de tus cargas de trabajo para que esos pods se programen en tu grupo de nodos con intolerancias.

Si has etiquetado el grupo de nodos dedicado, también puedes añadir una regla de afinidad de nodos para indicar a GDC que solo programe tus cargas de trabajo en ese grupo de nodos.

Para configurar la carga de trabajo de tu contenedor para que se ejecute en el grupo de nodos dedicado, sigue estos pasos:

  1. Añade las siguientes secciones a la sección .spec.template.spec del archivo de manifiesto de la carga de trabajo de tu contenedor, como un recurso personalizado Deployment:

    tolerations:
    - key: TAINT_KEY
      operator: Equal
      value: TAINT_VALUE
      effect: TAINT_EFFECT
    affinity:
      nodeAffinity:
        requiredDuringSchedulingIgnoredDuringExecution:
          nodeSelectorTerms:
          - matchExpressions:
            - key: LABEL_KEY
              operator: In
              values:
              - "LABEL_VALUE"
    

    Haz los cambios siguientes:

    • TAINT_KEY: la clave de taint que has aplicado a tu pool de nodos dedicado.
    • TAINT_VALUE: el valor de taint que has aplicado a tu pool de nodos dedicado.
    • TAINT_EFFECT: uno de los siguientes valores de efecto:
      • NoSchedule: los pods que no toleren esta intolerancia no se programarán en el nodo. Los pods que ya estén en el nodo no se expulsarán.
      • PreferNoSchedule: Kubernetes evita programar pods que no toleren esta intolerancia en el nodo.
      • NoExecute: el pod se desaloja del nodo si ya se está ejecutando en él y no se programa en el nodo si aún no se está ejecutando en él.
    • LABEL_KEY: la clave de etiqueta de nodo que has aplicado a tu grupo de nodos dedicado.
    • LABEL_VALUE: el valor de la etiqueta de nodo que has aplicado a tu grupo de nodos dedicado.

    Por ejemplo, el siguiente recurso Deployment añade una tolerancia para la restricción workloadType=untrusted:NoExecute y una regla de afinidad de nodo para la etiqueta de nodo workloadType=untrusted:

    kind: Deployment
    apiVersion: apps/v1
    metadata:
      name: my-app
      namespace: default
      labels:
        app: my-app
    spec:
      replicas: 1
      selector:
        matchLabels:
          app: my-app
      template:
        metadata:
          labels:
            app: my-app
        spec:
          tolerations:
          - key: workloadType
            operator: Equal
            value: untrusted
            effect: NoExecute
          affinity:
            nodeAffinity:
              requiredDuringSchedulingIgnoredDuringExecution:
                nodeSelectorTerms:
                - matchExpressions:
                  - key: workloadType
                    operator: In
                    values:
                    - "untrusted"
          containers:
          - name: my-app
            image: harbor-1.org-1.zone1.google.gdc.test/harborproject/my-app
            ports:
            - containerPort: 80
          imagePullSecrets:
          - name: SECRET
    
  2. Actualiza la carga de trabajo de tu contenedor:

    kubectl apply -f deployment.yaml -n NAMESPACE \
        --kubeconfig KUBERNETES_CLUSTER_KUBECONFIG
    

    Sustituye las siguientes variables:

    • NAMESPACE: el espacio de nombres de la carga de trabajo de tu contenedor. En el caso de los clústeres compartidos, debe ser un espacio de nombres de proyecto. En el caso de los clústeres estándar, puede ser cualquier espacio de nombres.
    • KUBERNETES_CLUSTER_KUBECONFIG: la ruta de kubeconfig del clúster de Kubernetes.

GDC vuelve a crear los pods afectados. La regla de afinidad de nodos obliga a los pods a usar el grupo de nodos dedicado que has creado. La tolerancia solo permite que esos pods se coloquen en los nodos.

Verificar que la separación funciona

Comprueba que los pods que has designado se estén ejecutando en el grupo de nodos etiquetado.

  • Muestra los pods del espacio de nombres indicado:

    kubectl get pods -o=wide -n NAMESPACE \
        --kubeconfig KUBERNETES_CLUSTER_KUBECONFIG
    

    Sustituye las siguientes variables:

    • NAMESPACE: el espacio de nombres de la carga de trabajo de tu contenedor. En el caso de los clústeres compartidos, debe ser un espacio de nombres de proyecto. En el caso de los clústeres estándar, puede ser cualquier espacio de nombres.
    • KUBERNETES_CLUSTER_KUBECONFIG: la ruta de kubeconfig del clúster de Kubernetes.

    El resultado es similar al siguiente:

    pod/kube-abc-12tyuj
    pod/kube-abc-39oplef
    pod/kube-abc-95rzkap
    

    Confirma que tus cargas de trabajo se están ejecutando en el grupo de nodos dedicado.

Siguientes pasos