En la guía, se muestra cómo implementar Redis Enterprise en clústeres de Google Kubernetes Engine (GKE).
Redis es una base de datos NoSQL en la memoria de código abierto que se usa principalmente para el almacenamiento en caché. Tiene replicación integrada, secuencias de comandos de Lua, expulsión de LRU, transacciones, persistencia en el disco y alta disponibilidad.
Redis Enterprise es una solución de nivel empresarial que extiende el código abierto de Redis con administración simplificada, lo que incluye la distribución de datos con replicación geográfica, el escalamiento lineal de la capacidad de procesamiento de las operaciones, los niveles de datos, las funciones de seguridad avanzadas y mucho más.
Redis Enterprise tiene precios diferentes para cada opción de implementación, incluidos los siguientes: Software, Cloud o Nube híbrida y múltiple.
Esta guía está dirigida a administradores de plataformas, arquitectos de nube y profesionales de operaciones interesados en implementar Redis Enterprise en Google Kubernetes Engine (GKE).
Objetivos
- Planificar y, además, implementar la infraestructura de GKE para Redis
- Implementar el operador de Redis Enterprise
- Implementar Redis Enterprise Cluster
- Crear una base de datos de Redis Enterprise
- Demostrar la autenticación de bases de datos
Ventajas
Redis Enterprise ofrece los siguientes beneficios:
- Una forma nativa de Kubernetes de administrar el ciclo de vida de Redis Enterprise Cluster (REC) y las bases de datos de Redis Enterprise (REDB)
- Uso de recursos a través de la ubicación conjunta de varias bases de datos de Redis dentro de un solo Pod de Kubernetes
- Reducción de la sobrecarga operativa a través del control de las tareas de mantenimiento de rutina, como la aplicación de parches y las actualizaciones
- Compatibilidad con imágenes de software de Redis de registros de contenedores privados, como Artifact Registry, para mejorar la seguridad y la disponibilidad de los contenedores
- Asistencia para Google Cloud Managed Service para Prometheus para la supervisión y la observabilidad de la base de datos
- Funciones de seguridad mejoradas, como la encriptación, los controles de acceso y la integración con el RBAC (control de acceso basado en roles) de Kubernetes
- Métodos de autenticación avanzada, lo que incluye LDAP y administradores de credenciales de terceros como Vault
- Capacidad de configurar copias de seguridad programadas
Arquitectura de implementación
Redis Enterprise administra los siguientes recursos de Kubernetes:
- El clúster de Enterprise y su configuración en un StatefulSet. El clúster consta de nodos de Redis (Pods) con paquetes de Redis instalados. Estos nodos tienen procesos en ejecución para garantizar que el nodo sea parte de un clúster. Cada nodo proporciona un contenedor para ejecutar varias instancias de base de datos (fragmentos). Aunque las prácticas recomendadas de Kubernetes indican que un Pod debe representar una aplicación con un contenedor, Redis Enterprise implementa varias bases de datos de Redis en un solo contenedor. Este enfoque proporciona un mejor uso de los recursos, rendimiento y capacidad de procesamiento de red. Cada contenedor también tiene un proxy de latencia cero para enrutar y administrar el tráfico a procesos específicos de bases de datos de Redis dentro de un contenedor.
- El recurso personalizado
RedisEnterpriseDatabase(REDB) que representa las instancias de bases de datos de Redis creadas dentro de REC - Los objetos Service de Kubernetes que entregan instancias de REDB como extremos de base de datos
- Un Pod del controlador llamado Service Rigger que crea y borra extremos de base de datos cuando se crea o borra una base de datos
En este instructivo, crearás una implementación de uno a varios a través de la implementación de un REC en un espacio de nombres dedicado y el uso de espacios de nombres separados para implementaciones de aplicaciones para obtener un mejor aislamiento.
En el siguiente diagrama, se describen los componentes de Redis Enterprise y cómo se interconectan:
En este instructivo, configurarás Redis Enterprise Cluster para que tenga alta disponibilidad. Para ello, REC requiere una cantidad impar de nodos y un mínimo de tres nodos. También configurarás reglas de afinidad, antiafinidad y taints de nodo que garanticen que cada nodo de Redis se coloque en un nodo de Kubernetes diferente y que los nodos de Redis se distribuyan de manera uniforme en el clúster de Kubernetes.
El uso de múltiples nodos y zonas es fundamental para lograr un clúster de GKE con alta disponibilidad por los siguientes motivos:
- Tolerancia a errores: varios nodos distribuyen la carga de trabajo en el clúster y garantizan que, si un nodo falla, los otros puedan tomar el control de las tareas, lo que evita el tiempo de inactividad y las interrupciones del servicio.
- Escalabilidad: tener varios nodos permite el escalamiento horizontal, ya que se agregan o quitan nodos según sea necesario, lo que garantiza una asignación de recursos óptima y adapta el aumento del tráfico o las demandas de carga de trabajo.
- Alta disponibilidad: usar varias zonas dentro de una región garantiza la redundancia y minimiza el riesgo de un punto único de fallo. Si una zona de disponibilidad completa experimenta una interrupción, el clúster puede seguir ejecutándose en otras zonas y mantener la disponibilidad del servicio.
- Redundancia geográfica: cuando se cubren los nodos en todas las regiones, los datos y los servicios del clúster se distribuyen geográficamente, lo que proporciona resiliencia ante desastres naturales, interrupciones de energía y otras interrupciones locales que podrían afectar a una sola zona.
- Actualizaciones y mantenimiento progresivos: cuando usas varios nodos, puedes realizar actualizaciones y mantenimiento progresivas en nodos individuales sin afectar la disponibilidad general del clúster. Esto garantiza un servicio continuo, al tiempo que te permite realizar las actualizaciones necesarias y aplicar parches sin problemas.
- Acuerdos de Nivel de Servicio (ANS): Google Cloud proporciona ANS para implementaciones multizona, lo que garantiza un nivel mínimo de tiempo de actividad y disponibilidad.
Costos
En este documento, usarás los siguientes componentes facturables de Google Cloud:
Para obtener una estimación de costos en función del uso previsto,
usa la calculadora de precios.
Cuando completes las tareas que se describen en este documento, podrás borrar los recursos que creaste para evitar que se te siga facturando. Para obtener más información, consulta Realiza una limpieza.
Antes de comenzar
- Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.
-
Install the Google Cloud CLI.
-
Si usas un proveedor de identidad externo (IdP), primero debes acceder a la gcloud CLI con tu identidad federada.
-
Para inicializar gcloud CLI, ejecuta el siguiente comando:
gcloud init -
Create or select a Google Cloud project.
Roles required to select or create a project
- Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
-
Create a project: To create a project, you need the Project Creator role
(
roles/resourcemanager.projectCreator), which contains theresourcemanager.projects.createpermission. Learn how to grant roles.
-
Create a Google Cloud project:
gcloud projects create PROJECT_ID
Replace
PROJECT_IDwith a name for the Google Cloud project you are creating. -
Select the Google Cloud project that you created:
gcloud config set project PROJECT_ID
Replace
PROJECT_IDwith your Google Cloud project name.
-
Verify that billing is enabled for your Google Cloud project.
-
Enable the Compute Engine, IAM, GKE, and Resource Manager APIs:
Roles required to enable APIs
To enable APIs, you need the Service Usage Admin IAM role (
roles/serviceusage.serviceUsageAdmin), which contains theserviceusage.services.enablepermission. Learn how to grant roles.gcloud services enable compute.googleapis.com
iam.googleapis.com container.googleapis.com cloudresourcemanager.googleapis.com -
Install the Google Cloud CLI.
-
Si usas un proveedor de identidad externo (IdP), primero debes acceder a la gcloud CLI con tu identidad federada.
-
Para inicializar gcloud CLI, ejecuta el siguiente comando:
gcloud init -
Create or select a Google Cloud project.
Roles required to select or create a project
- Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
-
Create a project: To create a project, you need the Project Creator role
(
roles/resourcemanager.projectCreator), which contains theresourcemanager.projects.createpermission. Learn how to grant roles.
-
Create a Google Cloud project:
gcloud projects create PROJECT_ID
Replace
PROJECT_IDwith a name for the Google Cloud project you are creating. -
Select the Google Cloud project that you created:
gcloud config set project PROJECT_ID
Replace
PROJECT_IDwith your Google Cloud project name.
-
Verify that billing is enabled for your Google Cloud project.
-
Enable the Compute Engine, IAM, GKE, and Resource Manager APIs:
Roles required to enable APIs
To enable APIs, you need the Service Usage Admin IAM role (
roles/serviceusage.serviceUsageAdmin), which contains theserviceusage.services.enablepermission. Learn how to grant roles.gcloud services enable compute.googleapis.com
iam.googleapis.com container.googleapis.com cloudresourcemanager.googleapis.com -
Grant roles to your user account. Run the following command once for each of the following IAM roles:
roles/compute.securityAdmin, roles/compute.viewer, roles/container.clusterAdmin, roles/container.admin, roles/iam.serviceAccountAdmin, roles/iam.serviceAccountUsergcloud projects add-iam-policy-binding PROJECT_ID --member="user:USER_IDENTIFIER" --role=ROLE
Replace the following:
PROJECT_ID: Your project ID.USER_IDENTIFIER: The identifier for your user account. For example,myemail@example.com.ROLE: The IAM role that you grant to your user account.
Para iniciar una sesión de Cloud Shell desde la Google Cloud consola, haz clic en
Activar Cloud Shell en la Google Cloud consola. Esto inicia una sesión en el panel inferior de la consola de Google Cloud .
Establece las variables de entorno:
export PROJECT_ID=PROJECT_ID export KUBERNETES_CLUSTER_PREFIX=redis export REGION=us-central1Reemplaza
PROJECT_ID: tu Google Cloud por tuID del proyecto.Clona el repositorio de GitHub:
git clone https://github.com/GoogleCloudPlatform/kubernetes-engine-samplesCambia al directorio de trabajo:
cd kubernetes-engine-samples/databases/redis-enterprise-operator- Una red de VPC y una subred privada para los nodos de Kubernetes
- Un router para acceder a Internet a través de NAT
- Un clúster de GKE privado en la región
us-central1 - Un grupo de nodos con ajuste de escala automático habilitado (de uno a dos nodos por zona y un nodo por zona como mínimo)
Crea espacios de nombres para REC y sus aplicaciones:
kubectl create namespace rec-ns kubectl create namespace applicationEtiqueta los espacios de nombres:
kubectl label namespace rec-ns connection=redis kubectl label namespace application connection=redisObtén la versión más reciente del paquete de Redis Enterprise Operator:
VERSION=`curl --silent https://api.github.com/repos/RedisLabs/redis-enterprise-k8s-docs/releases/latest | grep tag_name | awk -F'"' '{print $4}'`Instala el operador de Redis Enterprise:
kubectl apply -n rec-ns -f https://raw.githubusercontent.com/RedisLabs/redis-enterprise-k8s-docs/$VERSION/bundle.yamlEl resultado es similar al siguiente:
role.rbac.authorization.k8s.io/redis-enterprise-operator created rolebinding.rbac.authorization.k8s.io/redis-enterprise-operator created serviceaccount/redis-enterprise-operator created service/admission created customresourcedefinition.apiextensions.k8s.io/redisenterpriseclusters.app.redislabs.com created customresourcedefinition.apiextensions.k8s.io/redisenterprisedatabases.app.redislabs.com created customresourcedefinition.apiextensions.k8s.io/redisenterpriseremoteclusters.app.redislabs.com created customresourcedefinition.apiextensions.k8s.io/redisenterpriseactiveactivedatabases.app.redislabs.com created deployment.apps/redis-enterprise-operator createdAplica el manifiesto al clúster:
kubectl apply -n rec-ns -f manifests/01-basic-cluster/rec.yamlEl comando puede tardar varios minutos en completarse.
Verifica el estado de la implementación de REC:
kubectl get rec -n rec-nsEl resultado es similar al siguiente:
NAME NODES VERSION STATE SPEC STATUS LICENSE STATE SHARDS LIMIT LICENSE EXPIRATION DATE AGE gke-rec 3 7.2.4-52 Running Valid Valid 4 2023-09-29T20:15:32Z 4m7sEl clúster está listo cuando
STATEestá enRUNNING.Configura el controlador de admisión y verifica si el Secret de tls de admisión está presente:
kubectl get secret admission-tls -n rec-nsObtén el certificado:
export CERT=$(kubectl get secret admission-tls -n rec-ns -o jsonpath='{.data.cert}')Copia el certificado en el archivo
webhook.yaml:sed -i -e 's/CRT/'$CERT'/g' manifests/01-basic-cluster/webhook.yamlImplementa el webhook de validación:
sed -i -e 's/CRT/'$CERT'/g' manifests/01-basic-cluster/webhook.yamlEl controlador de admisión valida la sintaxis de la base de datos en los espacios de nombres etiquetados.
Crea una base de datos no funcional para verificar el controlador de admisión:
kubectl apply -n rec-ns -f - << EOF apiVersion: app.redislabs.com/v1alpha1 kind: RedisEnterpriseDatabase metadata: name: redis-enterprise-database spec: evictionPolicy: illegal EOFEl resultado es similar al siguiente:
Error from server: error when creating "STDIN": admission webhook "redisenterprise.admission.redislabs" denied the request: 'illegal' is an invalid value for 'eviction_policy'. Possible values are ['volatile-lru', 'volatile-ttl', 'volatile-random', 'allkeys-lru', 'allkeys-random', 'noeviction', 'volatile-lfu', 'allkeys-lfu']Aplica el rol y la vinculación de rol correspondientes en el espacio de nombres de la aplicación:
kubectl apply -f manifests/01-basic-cluster/role.yaml -n application kubectl apply -f manifests/01-basic-cluster/role-binding.yaml -n applicationCrea un rol de clúster y una vinculación de rol de clúster en el espacio de nombres
rec-ns:kubectl apply -n rec-ns -f manifests/01-basic-cluster/cluster_role.yaml kubectl apply -n rec-ns -f manifests/01-basic-cluster/cluster_role_binding.yamlEdita el ConfigMap de REC para agregar control sobre el espacio de nombres de la aplicación:
kubectl patch ConfigMap/operator-environment-config --type merge -p '{"data": {"REDB_NAMESPACES_LABEL": "connection=redis"}}' -n rec-nsCada espacio de nombres etiquetado como ConfigMap tiene un parche.
Verifica el estado de los recursos en tu infraestructura de Redis en el espacio de nombres
rec-ns.kubectl get pod,deploy,svc,rec,statefulset,cm,secrets -n rec-nsEl resultado es similar al siguiente:
NAME READY STATUS RESTARTS AGE pod/gke-rec-0 2/2 Running 0 172m pod/gke-rec-1 2/2 Running 0 171m pod/gke-rec-2 2/2 Running 0 168m pod/gke-rec-services-rigger-5f885f59dc-gc79g 1/1 Running 0 172m pod/redis-enterprise-operator-6668ccd8dc-kx29z 2/2 Running 2 (5m58s ago) 5h NAME READY UP-TO-DATE AVAILABLE AGE deployment.apps/gke-rec-services-rigger 1/1 1 1 172m deployment.apps/redis-enterprise-operator 1/1 1 1 5h NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE service/admission ClusterIP 10.52.11.13 <none> 443/TCP 5h service/gke-rec ClusterIP 10.52.5.44 <none> 9443/TCP,8001/TCP 172m service/gke-rec-prom ClusterIP None <none> 8070/TCP 172m service/gke-rec-ui ClusterIP 10.52.3.29 <none> 8443/TCP 172m NAME NODES VERSION STATE SPEC STATUS LICENSE STATE SHARDS LIMIT LICENSE EXPIRATION DATE AGE redisenterprisecluster.app.redislabs.com/gke-rec 3 7.2.4-52 Running Valid Valid 4 2023-10-05T11:07:20Z 172m NAME READY AGE statefulset.apps/gke-rec 3/3 172m NAME DATA AGE configmap/gke-rec-bulletin-board 1 172m configmap/gke-rec-health-check 5 172m configmap/kube-root-ca.crt 1 5h2m configmap/operator-environment-config 1 5h NAME TYPE DATA AGE secret/admission-tls Opaque 2 5h secret/gke-rec Opaque 2 172mCrea bases de datos de Redis Enterprise en los espacios de nombres de la aplicación:
kubectl apply -f manifests/01-basic-cluster/a-rdb.yaml -n applicationVerifica el estado de REDB:
kubectl get redb --all-namespacesEl resultado es similar al siguiente:
NAMESPACE NAME VERSION PORT CLUSTER SHARDS STATUS SPEC STATUS AGE application app-db 7.2.0 12999 gke-rec 1 active Valid 15sVerifica que los objetos Service para cada REDB estén en ejecución:
kubectl get svc --all-namespacesEl resultado es similar al siguiente:
NAMESPACE NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE application app-db ExternalName <none> redis-12999.rec-ns.svc.cluster.local 12999/TCP 72mVerifica que el Secret se haya creado:
kubectl get secrets -n applicationEl resultado es similar al siguiente:
NAME TYPE DATA AGE redb-app-db Opaque 3 96mCrea el Pod del cliente:
kubectl apply -n application -f manifests/03-auth/client_pod.yamlConéctate al Pod cliente:
kubectl exec -n application -i -t redis-client -c redis-client -- /bin/shConéctate a la base de datos:
redis-cli -h $SERVICE -p $PORT --pass $PASSCrea una clave:
SET mykey "Hello World"El resultado es similar al siguiente:
OKObtén la clave:
GET mykeyEl resultado es similar al siguiente:
"Hello World"Sal de la shell del Pod
exit- Un Pod de Redis que recopila métricas en la ruta de acceso
/y el puerto8070 - Recopiladores basados en Prometheus que procesan las métricas del Pod de Redis
- Un recurso
PodMonitoringque envía métricas a Cloud Monitoring Crea la implementación del proxy de métricas:
kubectl apply -n rec-ns -f manifests/02-prometheus-metrics/metrics-proxy.yamlDebido a que el operador solo proporciona un extremo HTTPS con el certificado autofirmado y el recurso
PodMonitoringno admite la inhabilitación de la verificación de certificados TLS, debes usar el Podmetrics-proxycomo un proxy inverso para que este extremo exponga las métricas en el puerto HTTP.Crea el recurso PodMonitoring para extraer métricas por
labelSelector:kubectl apply -n rec-ns -f manifests/02-prometheus-metrics/pod-monitoring.yamlEn la consola de Google Cloud , ve a la página Panel de clústeres de GKE.
Ir al Panel de clústeres de GKE
En el panel, se muestra una tasa de transferencia de métricas distinta de cero.
Crea el panel:
gcloud --project "${PROJECT_ID}" monitoring dashboards create --config-from-file monitoring/dashboard.jsonEl resultado es similar a lo siguiente:
Created [f4efbe4e-2605-46b4-9910-54b13d29b3be].En la consola de Google Cloud , ve a la página Paneles.
Abre el panel de Redis Enterprise Cluster. El panel puede tardar varios minutos en aprovisionarse de forma automática.
Abre el panel de Redis Enterprise Cluster.
Crea una base de datos adicional de Redis:
kubectl apply -n rec-ns -f manifests/02-prometheus-metrics/c-rdb.yamlEl recuento de bases de datos en el panel debería actualizarse.
Crea un Pod de cliente para conectarte a la base de datos nueva:
kubectl apply -n rec-ns -f manifests/02-prometheus-metrics/client_pod.yamlConéctate al Pod de cliente y prepara las variables:
kubectl exec -it redis-client-c -n rec-ns -- /bin/bashUsa la herramienta de
redis-clipara crear claves nuevas:for i in {1..50}; do \ redis-cli -h $SERVICE -p $PORT -a $PASS \ --no-auth-warning SET mykey-$i "myvalue-$i"; \ doneActualiza la página y observa que los gráficos se actualizaron para mostrar el estado real de la base de datos.
Sal de la shell del Pod
exitConfigurar variables de entorno
export PROJECT_ID=${PROJECT_ID} export KUBERNETES_CLUSTER_PREFIX=redis export REGION=us-central1Ejecuta el comando
terraform destroy:export GOOGLE_OAUTH_ACCESS_TOKEN=$(gcloud auth print-access-token) cd terraform/gke-standard terraform destroy -var project_id=${PROJECT_ID} \ -var region=${REGION} \ -var cluster_prefix=${KUBERNETES_CLUSTER_PREFIX}Cuando se te solicite, escribe
yes.Busca todos los discos no conectados:
export disk_list=$(gcloud compute disks list --filter="-users:* AND labels.name=${KUBERNETES_CLUSTER_PREFIX}-cluster" --format "value[separator=|](name,zone)")Borra los discos:
for i in $disk_list; do disk_name=$(echo $i| cut -d'|' -f1) disk_zone=$(echo $i| cut -d'|' -f2|sed 's|.*/||') echo "Deleting $disk_name" gcloud compute disks delete $disk_name --zone $disk_zone --quiet doneBorra el repositorio de GitHub
rm -r ~/kubernetes-engine-samples/- Explora arquitecturas de referencia, diagramas y prácticas recomendadas sobre Google Cloud. Consulta nuestro Cloud Architecture Center.
Configura tu entorno
En este instructivo, usarás Cloud Shell para administrar recursos alojados enGoogle Cloud. Cloud Shell tiene preinstalado el software que necesitas para este instructivo, incluidos kubectl, la CLI de gcloud y Terraform.
Para configurar tu entorno con Cloud Shell, sigue estos pasos:
Crea la infraestructura del clúster
En esta sección, ejecutarás una secuencia de comandos de Terraform para crear un clúster de GKE regional, con alta disponibilidad y privado, y una VPC.
En el siguiente diagrama, se muestra un clúster de GKE estándar regional privado implementado en tres zonas diferentes:
Para implementar esta infraestructura, ejecuta los siguientes comandos desde Cloud Shell:
cd terraform/gke-standard
export GOOGLE_OAUTH_ACCESS_TOKEN=$(gcloud auth print-access-token)
terraform init
terraform apply -var project_id=${PROJECT_ID} \
-var region=${REGION} \
-var cluster_prefix=${KUBERNETES_CLUSTER_PREFIX}
Cuando se te solicite, escribe yes. Es posible que este comando tarde varios minutos en completarse y que el clúster muestre un estado de preparación.
Terraform crea los siguientes recursos:
El resultado es similar al siguiente:
...
Apply complete! Resources: 14 added, 0 changed, 0 destroyed.
...
Conéctate al clúster
Usantod Cloud Shell, configura kubectl para que se comunique con el clúster:
gcloud container clusters get-credentials ${KUBERNETES_CLUSTER_PREFIX}-cluster --location ${REGION}
Implementa el operador de Redis Enterprise en tu clúster
En esta sección, debes implementar el operador de Redis Enterprise en tu clúster de Kubernetes.
Implementa Redis Enterprise Cluster
Opcional: Configura el controlador de admisión
De forma opcional, puedes configurar la infraestructura para la validación de la base de datos en la implementación.
Crea espacios de nombres
De forma predeterminada, Redis Enterprise Operator no tiene privilegios para realizar acciones fuera de su propio espacio de nombres. Para permitir que Redis Enterprise Operator cree extremos de REDB y base de datos en otros espacios de nombres, debes configurar RBAC.
Implementa bases de datos de Redis Enterprise
Autentica a través de contraseñas
Puedes conectarte a REDB a través de un Pod con redis-cli en el espacio de nombres
de la aplicación. El Pod del cliente usa los objetos Secret disponibles en el espacio de nombres
de la aplicación (REDB) para establecer una conexión.
Las bases de datos creadas con el REDB de recurso personalizado solo admiten la autenticación de contraseña sin LCA.
Comprende cómo Prometheus recopila métricas para tu clúster de Redis
En el siguiente diagrama, se muestra cómo funciona la recopilación de métricas de Prometheus:
En el diagrama, un clúster privado de GKE contiene lo siguiente:
El operador de Redis Enterprise expone las métricas del clúster en formato de Prometheus.
Crea un panel
Para ver las métricas, crea un panel.
Verifica las métricas exportadas
Para verificar las métricas, crea una base de datos nueva y examina las métricas.
Realiza una limpieza
Borra el proyecto
Delete a Google Cloud project:
gcloud projects delete PROJECT_ID