이 가이드에서는 Google Kubernetes Engine(GKE) 클러스터에 Redis Enterprise를 배포하는 방법을 보여줍니다.
Redis는 주로 캐싱에 사용되는 오픈소스 기반의 인메모리 NoSQL 데이터베이스입니다. 기본 제공 복제, Lua 스크립팅, LRU 제거, 트랜잭션, 온디스크 지속성, 고가용성을 포함합니다.
Redis Enterprise는 Redis 오픈소스를 확장하는 엔터프라이즈급 솔루션으로, 지리적 복제 데이터 배포, 작업 처리량의 선형 확장, 데이터 계층화, 고급 보안 기능 등 간소화된 관리를 제공합니다.
Redis Enterprise는 소프트웨어, 클라우드, 하이브리드 및 멀티 클라우드 등 각 배포 옵션별로 다르게 가격을 책정합니다.
이 가이드는 Google Kubernetes Engine(GKE)에 Redis Enterprise 배포에 관심이 있는 플랫폼 관리자, 클라우드 설계자, 운영 전문가를 대상으로 합니다.
환경 설정
이 튜토리얼에서는 Cloud Shell을 사용하여Google Cloud에서 호스팅되는 리소스를 관리합니다. Cloud Shell에는 kubectl, gcloud CLI, Terraform 등 이 튜토리얼에 필요한 소프트웨어가 사전 설치되어 있습니다.
Cloud Shell로 환경을 설정하려면 다음 단계를 따르세요.
Google Cloud 콘솔에서 Cloud Shell 세션을 시작합니다. Google Cloud 콘솔에서
Cloud Shell 활성화를 클릭합니다.
그러면 Google Cloud 콘솔 하단 창에서 세션이 실행됩니다.환경 변수를 설정합니다.
export PROJECT_ID=PROJECT_ID export KUBERNETES_CLUSTER_PREFIX=redis export REGION=us-central1PROJECT_ID를 Google Cloud 프로젝트 ID로 바꿉니다.GitHub 저장소를 클론합니다.
git clone https://github.com/GoogleCloudPlatform/kubernetes-engine-samples작업 디렉터리로 변경합니다.
cd kubernetes-engine-samples/databases/redis-enterprise-operator
클러스터 인프라 만들기
이 섹션에서는 Terraform 스크립트를 실행하여 가용성이 높은 비공개 리전 GKE 클러스터와 VPC를 만듭니다.
다음 다이어그램에서는 서로 다른 영역 3개에 배포된 비공개 리전 Standard GKE 클러스터를 보여줍니다.
이 인프라를 배포하려면 Cloud Shell에서 다음 명령어를 실행합니다.
cd terraform/gke-standard
export GOOGLE_OAUTH_ACCESS_TOKEN=$(gcloud auth print-access-token)
terraform init
terraform apply -var project_id=${PROJECT_ID} \
-var region=${REGION} \
-var cluster_prefix=${KUBERNETES_CLUSTER_PREFIX}
메시지가 표시되면 yes를 입력합니다. 이 명령어가 완료되고 클러스터에 준비 상태가 표시되는 데 몇 분 정도 걸릴 수 있습니다.
Terraform에서 다음 리소스를 만듭니다.
- Kubernetes 노드의 VPC 네트워크 및 비공개 서브넷
- NAT를 통해 인터넷에 액세스할 수 있는 라우터
us-central1리전의 비공개 GKE 클러스터- 자동 확장이 사용 설정된 노드 풀 1개(영역당 노드 1~2개, 최소 영역당 노드 1개)
출력은 다음과 비슷합니다.
...
Apply complete! Resources: 14 added, 0 changed, 0 destroyed.
...
클러스터에 연결
Cloud Shell을 사용해서 클러스터와 통신하도록 kubectl을 구성합니다.
gcloud container clusters get-credentials ${KUBERNETES_CLUSTER_PREFIX}-cluster --location ${REGION}
클러스터에 Redis Enterprise 연산자 배포
이 섹션에서는 Kubernetes 클러스터에 Redis Enterprise 연산자를 배포합니다.
REC 및 해당 애플리케이션의 네임스페이스를 만듭니다.
kubectl create namespace rec-ns kubectl create namespace application네임스페이스에 라벨을 지정합니다.
kubectl label namespace rec-ns connection=redis kubectl label namespace application connection=redisRedis Enterprise 연산자 번들의 최신 버전을 가져옵니다.
VERSION=`curl --silent https://api.github.com/repos/RedisLabs/redis-enterprise-k8s-docs/releases/latest | grep tag_name | awk -F'"' '{print $4}'`Redis Enterprise 연산자를 설치합니다.
kubectl apply -n rec-ns -f https://raw.githubusercontent.com/RedisLabs/redis-enterprise-k8s-docs/$VERSION/bundle.yaml출력은 다음과 비슷합니다.
role.rbac.authorization.k8s.io/redis-enterprise-operator created rolebinding.rbac.authorization.k8s.io/redis-enterprise-operator created serviceaccount/redis-enterprise-operator created service/admission created customresourcedefinition.apiextensions.k8s.io/redisenterpriseclusters.app.redislabs.com created customresourcedefinition.apiextensions.k8s.io/redisenterprisedatabases.app.redislabs.com created customresourcedefinition.apiextensions.k8s.io/redisenterpriseremoteclusters.app.redislabs.com created customresourcedefinition.apiextensions.k8s.io/redisenterpriseactiveactivedatabases.app.redislabs.com created deployment.apps/redis-enterprise-operator created
Redis Enterprise 클러스터 배포
매니페스트를 클러스터에 적용합니다.
kubectl apply -n rec-ns -f manifests/01-basic-cluster/rec.yaml이 명령어를 완료하는 데 몇 분이 소요될 수 있습니다.
REC 배포 상태를 확인합니다.
kubectl get rec -n rec-ns출력은 다음과 비슷합니다.
NAME NODES VERSION STATE SPEC STATUS LICENSE STATE SHARDS LIMIT LICENSE EXPIRATION DATE AGE gke-rec 3 7.2.4-52 Running Valid Valid 4 2023-09-29T20:15:32Z 4m7sSTATE가RUNNING이면 클러스터가 준비된 것입니다.
선택사항: 허용 컨트롤러 구성
선택적으로 배포 시 데이터베이스 검증을 위한 인프라를 구성할 수 있습니다.
허용 컨트롤러를 설정하고 허용 TLS 보안 비밀이 있는지 확인합니다.
kubectl get secret admission-tls -n rec-ns인증서를 가져옵니다.
export CERT=$(kubectl get secret admission-tls -n rec-ns -o jsonpath='{.data.cert}')인증서를
webhook.yaml파일에 복사합니다.sed -i -e 's/CRT/'$CERT'/g' manifests/01-basic-cluster/webhook.yaml검증 웹훅 배포:
sed -i -e 's/CRT/'$CERT'/g' manifests/01-basic-cluster/webhook.yaml허용 컨트롤러는 라벨이 지정된 네임스페이스의 데이터베이스 구문의 유효성을 검사합니다.
작동하지 않는 데이터베이스를 만들어 허용 컨트롤러를 확인합니다.
kubectl apply -n rec-ns -f - << EOF apiVersion: app.redislabs.com/v1alpha1 kind: RedisEnterpriseDatabase metadata: name: redis-enterprise-database spec: evictionPolicy: illegal EOF출력은 다음과 비슷합니다.
Error from server: error when creating "STDIN": admission webhook "redisenterprise.admission.redislabs" denied the request: 'illegal' is an invalid value for 'eviction_policy'. Possible values are ['volatile-lru', 'volatile-ttl', 'volatile-random', 'allkeys-lru', 'allkeys-random', 'noeviction', 'volatile-lfu', 'allkeys-lfu']
네임스페이스 만들기
기본적으로 Redis Enterprise 연산자는 자체 네임스페이스 외부에서 작업을 수행할 수 있는 권한이 없습니다. Redis Enterprise 연산자가 다른 네임스페이스에서 REDB 및 데이터베이스 엔드포인트를 만들 수 있도록 하려면 RBAC를 구성해야 합니다.
애플리케이션 네임스페이스에 해당 역할과 역할 결합을 적용합니다.
kubectl apply -f manifests/01-basic-cluster/role.yaml -n application kubectl apply -f manifests/01-basic-cluster/role-binding.yaml -n applicationrec-ns네임스페이스에 클러스터 역할 및 클러스터 역할 결합을 만듭니다.kubectl apply -n rec-ns -f manifests/01-basic-cluster/cluster_role.yaml kubectl apply -n rec-ns -f manifests/01-basic-cluster/cluster_role_binding.yamlREC ConfigMap을 수정하여 애플리케이션 네임스페이스에 대한 제어를 추가합니다.
kubectl patch ConfigMap/operator-environment-config --type merge -p '{"data": {"REDB_NAMESPACES_LABEL": "connection=redis"}}' -n rec-nsConfigMap으로 라벨이 지정된 각 네임스페이스에 패치가 적용됩니다.
rec-ns네임스페이스에서 Redis 인프라의 리소스 상태를 확인합니다.kubectl get pod,deploy,svc,rec,statefulset,cm,secrets -n rec-ns출력은 다음과 비슷합니다.
NAME READY STATUS RESTARTS AGE pod/gke-rec-0 2/2 Running 0 172m pod/gke-rec-1 2/2 Running 0 171m pod/gke-rec-2 2/2 Running 0 168m pod/gke-rec-services-rigger-5f885f59dc-gc79g 1/1 Running 0 172m pod/redis-enterprise-operator-6668ccd8dc-kx29z 2/2 Running 2 (5m58s ago) 5h NAME READY UP-TO-DATE AVAILABLE AGE deployment.apps/gke-rec-services-rigger 1/1 1 1 172m deployment.apps/redis-enterprise-operator 1/1 1 1 5h NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE service/admission ClusterIP 10.52.11.13 <none> 443/TCP 5h service/gke-rec ClusterIP 10.52.5.44 <none> 9443/TCP,8001/TCP 172m service/gke-rec-prom ClusterIP None <none> 8070/TCP 172m service/gke-rec-ui ClusterIP 10.52.3.29 <none> 8443/TCP 172m NAME NODES VERSION STATE SPEC STATUS LICENSE STATE SHARDS LIMIT LICENSE EXPIRATION DATE AGE redisenterprisecluster.app.redislabs.com/gke-rec 3 7.2.4-52 Running Valid Valid 4 2023-10-05T11:07:20Z 172m NAME READY AGE statefulset.apps/gke-rec 3/3 172m NAME DATA AGE configmap/gke-rec-bulletin-board 1 172m configmap/gke-rec-health-check 5 172m configmap/kube-root-ca.crt 1 5h2m configmap/operator-environment-config 1 5h NAME TYPE DATA AGE secret/admission-tls Opaque 2 5h secret/gke-rec Opaque 2 172m
Redis Enterprise 데이터베이스 배포
애플리케이션 네임스페이스에서 Redis Enterprise 데이터베이스를 만듭니다.
kubectl apply -f manifests/01-basic-cluster/a-rdb.yaml -n applicationREDB 상태를 확인합니다.
kubectl get redb --all-namespaces출력은 다음과 비슷합니다.
NAMESPACE NAME VERSION PORT CLUSTER SHARDS STATUS SPEC STATUS AGE application app-db 7.2.0 12999 gke-rec 1 active Valid 15s각 REDB의 서비스가 실행 중인지 확인합니다.
kubectl get svc --all-namespaces출력은 다음과 비슷합니다.
NAMESPACE NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE application app-db ExternalName <none> redis-12999.rec-ns.svc.cluster.local 12999/TCP 72m보안 비밀이 생성되었는지 확인합니다.
kubectl get secrets -n application출력은 다음과 비슷합니다.
NAME TYPE DATA AGE redb-app-db Opaque 3 96m
비밀번호를 사용하여 인증
애플리케이션 네임스페이스에서 redis-cli가 있는 포드를 사용하여 REDB에 연결할 수 있습니다. 클라이언트 포드는 애플리케이션 네임스페이스(REDB)에서 사용할 수 있는 보안 비밀을 사용하여 연결을 설정합니다.
커스텀 리소스 REDB로 생성된 데이터베이스는 ACL이 없는 비밀번호 인증만 지원합니다.
클라이언트 포드를 만듭니다.
kubectl apply -n application -f manifests/03-auth/client_pod.yaml클라이언트 포드에 연결합니다.
kubectl exec -n application -i -t redis-client -c redis-client -- /bin/sh데이터베이스에 연결합니다.
redis-cli -h $SERVICE -p $PORT --pass $PASS키를 만듭니다.
SET mykey "Hello World"출력은 다음과 비슷합니다.
OK키 가져오기:
GET mykey출력은 다음과 비슷합니다.
"Hello World"포드 셸을 종료합니다.
exit
Prometheus가 Redis 클러스터에 대해 측정항목을 수집하는 방법 이해
다음 다이어그램은 Prometheus 측정항목 수집의 작동 방식을 보여줍니다.
다이어그램에서 GKE 비공개 클러스터에는 다음이 포함됩니다.
/경로 및8070포트로 측정항목을 수집하는 Redis 포드- Redis 포드의 측정항목을 처리하는 Prometheus 기반 수집기
- Cloud Monitoring으로 측정항목을 전송하는
PodMonitoring리소스
Redis Enterprise 연산자는 Prometheus 형식으로 클러스터 측정항목을 노출합니다.
metrics-proxy 배포를 만듭니다.
kubectl apply -n rec-ns -f manifests/02-prometheus-metrics/metrics-proxy.yaml연산자는 자체 서명된 인증서로 HTTPS 엔드포인트만 제공하고
PodMonitoring리소스는 TLS 인증서 확인 사용 중지를 지원하지 않으므로 이 엔드포인트에 대한 역방향 프록시로metrics-proxy포드를 사용하여 HTTP 포트에 측정항목을 노출합니다.labelSelector로 측정항목을 스크래핑하도록 PodMonitoring 리소스를 만듭니다.kubectl apply -n rec-ns -f manifests/02-prometheus-metrics/pod-monitoring.yamlGoogle Cloud 콘솔에서 GKE 클러스터 대시보드 페이지로 이동합니다.
대시보드에 0이 아닌 측정항목 수집 비율이 표시됩니다.
대시보드 만들기
대시보드를 만들어 측정항목을 확인할 수 있습니다.
대시보드를 만듭니다.
gcloud --project "${PROJECT_ID}" monitoring dashboards create --config-from-file monitoring/dashboard.json출력은 다음과 비슷합니다.
Created [f4efbe4e-2605-46b4-9910-54b13d29b3be].Google Cloud 콘솔에서 대시보드 페이지로 이동합니다.
Redis Enterprise Cluster 대시보드를 엽니다. 대시보드가 자동 프로비저닝되는 데 몇 분 정도 걸릴 수 있습니다.
내보낸 측정항목 확인
측정항목을 확인하려면 새 데이터베이스를 만들고 측정항목을 검사하세요.
Redis Enterprise Cluster 대시보드를 엽니다.
추가 Redis 데이터베이스를 만듭니다.
kubectl apply -n rec-ns -f manifests/02-prometheus-metrics/c-rdb.yaml대시보드의 데이터베이스 수가 업데이트되어야 합니다.
새 데이터베이스에 연결할 클라이언트 포드를 만듭니다.
kubectl apply -n rec-ns -f manifests/02-prometheus-metrics/client_pod.yaml클라이언트 포드에 연결하고 변수를 준비합니다.
kubectl exec -it redis-client-c -n rec-ns -- /bin/bashredis-cli도구를 사용해서 새 키를 만듭니다.for i in {1..50}; do \ redis-cli -h $SERVICE -p $PORT -a $PASS \ --no-auth-warning SET mykey-$i "myvalue-$i"; \ done페이지를 새로고침하고 그래프가 실제 데이터베이스 상태를 표시하도록 업데이트되었는지 확인합니다.
포드 셸을 종료합니다.
exit