Implementa un clúster en OpenStack

El software de Distributed Cloud solo para equipos físicos te permite implementar un clúster híbrido en máquinas virtuales (VMs) de OpenStack. Esta implementación te permite integrar el balanceo de cargas como servicio (LBaaS) de OpenStack y el proveedor de servicios en la nube de OpenStack para Kubernetes con el objetivo de exponer los servicios de Kubernetes fuera de tu entorno de OpenStack.

Google Distributed Cloud no aprovisiona VMs de OpenStack automáticamente. Para revisar los requisitos de las VM y configurar el entorno de prueba de concepto de dos nodos, consulta el ejemplo de Terraform para crear VMs de OpenStack. Aunque esta implementación demuestra OpenStack Ussuri, Google Distributed Cloud no requiere una versión específica de OpenStack. Para los entornos de producción, consulta los requisitos previos de instalación.

Implementación de ejemplo

En esta guía, se proporciona un ejemplo de implementación de un clúster de equipos físicos en OpenStack que se integra en LBaaS de OpenStack. Debes comprender y ajustar los comandos y los valores de configuración para que se ajusten a tu entorno de OpenStack. En el siguiente diagrama, se muestra la implementación resultante:

Requisitos previos

• OpenStack Ussuri con LBaaS v2 implementado y funcional
• Cuenta de servicio para descargar la herramienta bmctl
• Configura las VM y la red de OpenStack como se muestra en el ejemplo de implementación. Para aprovisionar una configuración similar en el entorno de OpenStack, tienes las siguientes opciones:
  1. Usa esta secuencia de comandos de Terraform para aprovisionar los recursos de forma automática.
  2. Aprovisiona los recursos de forma manual.
• Las siguientes VM de OpenStack deben estar listas y disponibles a través de SSH:

Nombre	Dirección IP	Objetivo
abm-ws	10.200.0.10 (IP privada) float_ip (IP pública)	Actúa como la estación de trabajo de administrador: Se usa para implementar Google Distributed Cloud en las otras máquinas.
abm-cp1	10.200.0.11	Plano de control del clúster: Este host ejecuta el plano de control de Kubernetes y el balanceador de cargas.
abm-w1	10.200.0.12	Nodo trabajador del clúster: Este host ejecuta las cargas de trabajo de Kubernetes.

Implementa Google Distributed Cloud

En esta sección, se muestra cómo completar las siguientes tareas:

1. Instalar las herramientas que necesitas en la VM de estación de trabajo de administrador abm-ws.
2. Configurar el ID del proyecto y la cuenta de servicio que se necesitan para completar la implementación de forma segura
3. Crear un archivo de configuración del clúster
4. Crea un clúster

Advertencia: Los comandos de esta guía se basan en el supuesto de que el entorno de Google Distributed Cloud en OpenStack se configuró con la secuencia de comandos de Terraform proporcionada. Los nombres (por ejemplo, el nombre de la VM, el nombre de la red y el nombre del usuario raíz) que se usan en los comandos coinciden con los que usa la secuencia de comandos de Terraform. Si configuraste el entorno de OpenStack de forma manual, ajusta los comandos según tu configuración.

Instala las herramientas que necesitas

1. Recupera la dirección IP flotante pública de la VM abm-ws:

   export OPENSTACK_IPS=$(openstack floating ip list --tags=abm_ws_floatingip -f json)
   export FLOATING_IP=$(jq -c '.[]."Floating IP Address"' <<< $OPENSTACK_IPS | tr -d '"')
   

2. Asegúrate de poder usar SSH para conectarte de forma segura a la VM de abm-ws y acceder como usuario root. El usuario root configurado por las secuencias de comandos de Terraform es abm.

   ssh ubuntu@$FLOATING_IP
   sudo -u abm -i
   

   Nota: Si tienes configurada la autenticación con clave pública para tu VM, usa las marcas "-o IdentitiesOnly=yes -i <PATH_TO_KEY>" con el comando SSH.

3. Verifica que puedas usar SSH para conectarte a los otros nodos:

   ssh abm@10.200.0.11 'echo SSH to $HOSTNAME succeeded'
   ssh abm@10.200.0.12 'echo SSH to $HOSTNAME succeeded'
   

   Las respuestas esperadas para los comandos anteriores son las siguientes:

   SSH to abm-cp1 succeeded
   SSH to abm-w1 succeeded
   

4. Descarga la utilidad de línea de comandos de kubectl en la VM abm-ws.

   curl -LO "https://storage.googleapis.com/kubernetes-release/release/$(curl -s https://storage.googleapis.com/kubernetes-release/release/stable.txt)/bin/linux/amd64/kubectl"
   chmod +x kubectl
   sudo mv kubectl /usr/local/sbin/
   

5. Instala Docker en la VM abm-ws:

   curl -fsSL https://get.docker.com -o get-docker.sh
   sh get-docker.sh
   sudo usermod -aG docker abm
   newgrp docker
   

Configura el proyecto de Google Cloud y la cuenta de servicio

1. Obtén credenciales de acceso a Google Cloud CLI para tu cuenta de usuario.

   Estas credenciales se usan con los comandos de gcloud posteriores.

   gcloud auth login
   

2. Asegúrate de que Google Cloud CLI esté configurada para usar el proyecto de Google Cloud en el que deseas que se registre tu clúster.

   gcloud config set project PROJECT_ID
   

3. Configura las credenciales predeterminadas de la aplicación (ADC) para tu cuenta de usuario en la estación de trabajo de administrador. Se usará cuando se utilice la herramienta de bmctl para crear el clúster.

   gcloud auth application-default login
   

4. Crea la cuenta de servicio bm-gcr. Usa esta cuenta de servicio para autenticarte desde el clúster.

   gcloud iam service-accounts create bm-gcr
   gcloud iam service-accounts keys create bm-gcr.json \
       --iam-account=bm-gcr@PROJECT_ID.iam.gserviceaccount.com
   

5. Habilita las APIs necesarias:

   gcloud services enable \
       anthos.googleapis.com \
       anthosaudit.googleapis.com \
       anthosgke.googleapis.com \
       cloudresourcemanager.googleapis.com \
       connectgateway.googleapis.com \
       container.googleapis.com \
       gkeconnect.googleapis.com \
       gkehub.googleapis.com \
       gkeonprem.googleapis.com \
       iam.googleapis.com \
       logging.googleapis.com \
       monitoring.googleapis.com \
       opsconfigmonitoring.googleapis.com \
       serviceusage.googleapis.com \
       stackdriver.googleapis.com \
       storage.googleapis.com
   

6. Otorga permisos adicionales a la cuenta de servicio bm-gcr. Cuando agregas permisos, no necesitas crear varias cuentas de servicio para servicios individuales.

   gcloud projects add-iam-policy-binding PROJECT_ID \
     --member="serviceAccount:bm-gcr@PROJECT_ID.iam.gserviceaccount.com" \
     --role="roles/gkehub.connect"
   
   gcloud projects add-iam-policy-binding PROJECT_ID \
     --member="serviceAccount:bm-gcr@PROJECT_ID.iam.gserviceaccount.com" \
     --role="roles/gkehub.admin"
   
   gcloud projects add-iam-policy-binding PROJECT_ID \
     --member="serviceAccount:bm-gcr@PROJECT_ID.iam.gserviceaccount.com" \
     --role="roles/logging.logWriter"
   
   gcloud projects add-iam-policy-binding PROJECT_ID \
     --member="serviceAccount:bm-gcr@PROJECT_ID.iam.gserviceaccount.com" \
     --role="roles/monitoring.metricWriter"
   
   gcloud projects add-iam-policy-binding PROJECT_ID \
     --member="serviceAccount:bm-gcr@PROJECT_ID.iam.gserviceaccount.com" \
     --role="roles/monitoring.dashboardEditor"
   
   gcloud projects add-iam-policy-binding PROJECT_ID \
     --member="serviceAccount:bm-gcr@PROJECT_ID.iam.gserviceaccount.com" \
     --role="roles/stackdriver.resourceMetadata.writer"
   
   gcloud projects add-iam-policy-binding PROJECT_ID \
     --member="serviceAccount:bm-gcr@PROJECT_ID.iam.gserviceaccount.com" \
     --role="roles/opsconfigmonitoring.resourceMetadata.writer"
   

Crear un archivo de configuración del clúster

1. Descarga la utilidad de línea de comandos de bmctl.

   mkdir baremetal && cd baremetal
   gcloud storage cp gs://anthos-baremetal-release/bmctl/1.36.200-gke.118/linux-amd64/bmctl .
   chmod a+x bmctl
   sudo mv bmctl /usr/local/sbin/
   

2. Crea un archivo de configuración para tu clúster:

   bmctl create config -c CLUSTER_NAME
   

3. Actualiza el archivo de configuración para usarlo con OpenStack:

   cat > bmctl-workspace/CLUSTER_NAME/CLUSTER_NAME.yaml << EOB
   ---
   gcrKeyPath: /home/abm/bm-gcr.json
   sshPrivateKeyPath: /home/abm/.ssh/id_rsa
   gkeConnectAgentServiceAccountKeyPath: /home/abm/bm-gcr.json
   gkeConnectRegisterServiceAccountKeyPath: /home/abm/bm-gcr.json
   cloudOperationsServiceAccountKeyPath: /home/abm/bm-gcr.json
   ---
   apiVersion: v1
   kind: Namespace
   metadata:
     name: openstack-cluster-ns
   ---
   apiVersion: baremetal.cluster.gke.io/v1
   kind: Cluster
   metadata:
     name: CLUSTER_NAME
     namespace: openstack-cluster-ns
     annotations:
       baremetal.cluster.gke.io/external-cloud-provider: "true"
   spec:
     type: hybrid
     anthosBareMetalVersion: 1.36.200-gke.118
     gkeConnect:
       projectID: PROJECT_ID
     controlPlane:
       nodePoolSpec:
         clusterName: CLUSTER_NAME
         nodes:
         - address: 10.200.0.11
     clusterNetwork:
       pods:
         cidrBlocks:
         - 192.168.0.0/16
       services:
         cidrBlocks:
         - 10.96.0.0/20
     loadBalancer:
       mode: manual
       ports:
         controlPlaneLBPort: 443
       vips:
         controlPlaneVIP: 10.200.0.101
         ingressVIP: 10.200.0.102
     clusterOperations:
       location: us-central1
       projectID: PROJECT_ID
     storage:
       lvpNodeMounts:
         path: /mnt/localpv-disk
         storageClassName: node-disk
       lvpShare:
         numPVUnderSharedPath: 5
         path: /mnt/localpv-share
         storageClassName: standard
     nodeAccess:
       loginUser: abm
   
   ---
   apiVersion: baremetal.cluster.gke.io/v1
   kind: NodePool
   metadata:
     name: node-pool-1
     namespace: openstack-cluster-ns
   spec:
     clusterName: CLUSTER_NAME
     nodes:
     - address: 10.200.0.12
   EOB
   

Crea el clúster

1. Crea el clúster:

   bmctl create cluster -c CLUSTER_NAME
   

La ejecución del comando bmctl comienza a configurar un clúster híbrido nuevo. Esto incluye realizar comprobaciones previas en los nodos, crear los clústeres de administrador y de usuario, y registrar el clúster con Google Cloud con el agente de Connect. La configuración completa puede demorar hasta 15 minutos. Verás el siguiente resultado mientras se crea el clúster:

Please check the logs at bmctl-workspace/CLUSTER_NAME/log/create-cluster-20210926-020741/create-cluster.log
[2021-09-26 02:07:59+0000] Creating bootstrap cluster... ⠦ kind get kubeconfig --name bmctl > ~/.kube/config && k get pods --all-namespaces
[2021-09-26 02:07:59+0000] Creating bootstrap cluster... OK
[2021-09-26 02:10:48+0000] Installing dependency components... OK
[2021-09-26 02:13:42+0000] Waiting for preflight check job to finish... OK
[2021-09-26 02:15:22+0000] - Validation Category: machines and network
[2021-09-26 02:15:22+0000]  - [PASSED] gcp
[2021-09-26 02:15:22+0000]  - [PASSED] node-network
[2021-09-26 02:15:22+0000]  - [PASSED] 10.200.0.11
[2021-09-26 02:15:22+0000]  - [PASSED] 10.200.0.11-gcp
[2021-09-26 02:15:22+0000]  - [PASSED] 10.200.0.12
[2021-09-26 02:15:22+0000]  - [PASSED] 10.200.0.12-gcp
[2021-09-26 02:15:22+0000] Flushing logs... OK
[2021-09-26 02:15:23+0000] Applying resources for new cluster
[2021-09-26 02:15:24+0000] Waiting for cluster to become ready OK
[2021-09-26 02:25:04+0000] Writing kubeconfig file
[2021-09-26 02:25:04+0000] kubeconfig of created cluster is at bmctl-workspace/CLUSTER_NAME/CLUSTER_NAME-kubeconfig, please run
[2021-09-26 02:25:04+0000] kubectl --kubeconfig bmctl-workspace/CLUSTER_NAME/CLUSTER_NAME-kubeconfig get nodes
[2021-09-26 02:25:04+0000] to get cluster node status.
[2021-09-26 02:25:04+0000] Please restrict access to this file as it contains authentication credentials of your cluster.
[2021-09-26 02:25:04+0000] Waiting for node pools to become ready OK
[2021-09-26 02:25:24+0000] Moving admin cluster resources to the created admin cluster
[2021-09-26 02:25:53+0000] Flushing logs... OK
[2021-09-26 02:25:53+0000] Deleting bootstrap cluster...

Verifica el clúster e interactúa con él

Puedes encontrar el archivo kubeconfig de tu clúster en la VM de abm-ws, dentro del directorio bmctl-workspace. Para verificar tu implementación, completa los siguientes pasos.

1. Configura la variable de entorno KUBECONFIG con la ruta al archivo de configuración del clúster para ejecutar comandos de kubectl en el clúster:

   export KUBECONFIG=$HOME/bmctl-workspace/CLUSTER_NAME/CLUSTER_NAME-kubeconfig
   kubectl get nodes
   

   Deberías ver los nodos del clúster impreso, de manera similar al siguiente resultado:

   NAME      STATUS   ROLES                  AGE     VERSION
   abm-cp1   Ready    control-plane,master   5m24s   v1.20.5-gke.1301
   abm-w1    Ready    <none>                 2m17s   v1.20.5-gke.1301
   

Accede a tu clúster desde la consola de Google Cloud

Para observar tus cargas de trabajo en la consola de Google Cloud , debes acceder al clúster. Para obtener instrucciones y más información sobre cómo acceder a tu clúster, consulta Trabaja con clústeres desde la consola de Google Cloud .

Realiza una limpieza

Para limpiar el clúster, ejecuta el siguiente comando en la VM de la estación de trabajo de administrador (abm-ws):

Nota: Si deseas instalar el proveedor de servicios en la nube de OpenStack en el clúster recién creado, sigue la guía Configura el proveedor de servicios en la nube de OpenStack para Kubernetes antes de limpiar.

export KUBECONFIG=$HOME/bmctl-workspace/CLUSTER_NAME/CLUSTER_NAME-kubeconfig
bmctl reset --cluster CLUSTER_NAME

Próximos pasos

• Para instalar el proveedor de servicios en la nube de OpenStack en el clúster recién creado, sigue la guía Configura el proveedor de servicios en la nube de OpenStack para Kubernetes.