Google Kubernetes Engine (GKE) 포드 스냅샷을 사용하면 실행 중인 포드 상태를 저장하고 복원하여 워크로드 시작 지연 시간을 개선할 수 있습니다. 워크로드의 스냅샷을 캡처하려면 먼저 클러스터 및 스토리지 환경을 준비해야 합니다.
이 문서를 사용하여 클러스터에서 포드 스냅샷을 사용 설정 및 구성하고 스냅샷을 저장하도록 Cloud Storage를 설정하는 방법을 알아보세요. 포드 스냅샷 작동 방식에 대한 자세한 내용은 GKE 포드 스냅샷 정보를 참조하세요.
플랫폼 관리자 및 운영자와 애플리케이션 개발자는 이 문서를 사용하여 클러스터를 구성하고, 스토리지 버킷을 만들고, 포드 스냅샷에 대한 액세스 권한을 설정할 수 있습니다. Google Cloud 콘텐츠에서 참조하는 일반적인 역할과 예시 태스크에 대한 자세한 내용은 일반 GKE 사용자 역할 및 태스크를 참조하세요.
시작하기 전에
시작하기 전에 다음 태스크를 수행했는지 확인합니다.
- Google Kubernetes Engine API를 사용 설정합니다. Google Kubernetes Engine API 사용 설정
- 이 태스크에 Google Cloud CLI를 사용하려면 gcloud CLI를 설치한 후 초기화합니다. 이전에 gcloud CLI를 설치했으면
gcloud components update명령어를 실행하여 최신 버전을 가져옵니다. 이전 gcloud CLI 버전에서는 이 문서의 명령어를 실행하지 못할 수 있습니다.
포드 스냅샷 사용 설정
새 클러스터 또는 기존 클러스터에서 포드 스냅샷을 사용 설정할 수 있습니다. 포드 스냅샷에는 GKE Sandbox 및 GKE용 워크로드 아이덴티티 제휴가 필요합니다. Autopilot 클러스터는 기본적으로 두 기능을 모두 사용 설정합니다. Standard 클러스터의 경우 클러스터에서 GKE용 워크로드 아이덴티티 제휴를 사용 설정하고 GKE Sandbox에서 실행되도록 노드 풀을 구성해야 합니다.
클러스터에서 포드 스냅샷을 사용 설정하려면 사용하려는 GKE 작업 모드의 단계를 따르세요.
Autopilot
새 클러스터에서 포드 스냅샷을 사용 설정하려면 다음 명령어를 실행합니다.
gcloud container clusters create-auto CLUSTER_NAME \ --enable-pod-snapshots \ --location=CONTROL_PLANE_LOCATION \ --cluster-version=CLUSTER_VERSION다음을 바꿉니다.
CLUSTER_NAME: 클러스터 이름입니다.CONTROL_PLANE_LOCATION: 클러스터 컨트롤 플레인의 위치입니다.CLUSTER_VERSION: 새 클러스터의 버전이며 1.35.3-gke.1234000 이상이어야 합니다.
기존 클러스터에서 포드 스냅샷을 사용 설정하려면 다음 단계를 따르세요.
클러스터를 버전 1.35.3-gke.1234000 이상으로 업그레이드합니다.
gcloud container clusters upgrade CLUSTER_NAME \ --cluster-version=CLUSTER_VERSION \ --location=CONTROL_PLANE_LOCATION다음을 바꿉니다.
CLUSTER_NAME: 클러스터 이름입니다.CLUSTER_VERSION: 클러스터를 업그레이드할 버전으로, 1.35.3-gke.1234000 이상이어야 합니다.CONTROL_PLANE_LOCATION: 클러스터 컨트롤 플레인의 위치입니다.
클러스터에서 포드 스냅샷을 사용 설정합니다.
gcloud container clusters update CLUSTER_NAME \ --enable-pod-snapshots \ --location=CONTROL_PLANE_LOCATION다음을 바꿉니다.
CLUSTER_NAME: 클러스터 이름입니다.CONTROL_PLANE_LOCATION: 클러스터 컨트롤 플레인의 위치입니다.
기본 whole-pod 범위가 있는 포드 스냅샷은 E2 머신 유형을 지원하지 않지만 파일 시스템 스냅샷 (rootfs-only)은 지원합니다. Autopilot 클러스터에서 GKE는 기본적으로 E2 노드에 포드를 예약할 수 있습니다. whole-pod 범위를 사용하는 경우 ComputeClass 커스텀 리소스를 사용하여 워크로드가 호환되는 하드웨어에서 실행되도록 합니다.
ComputeClass 커스텀 리소스를 만들고 사용하려면 다음 단계를 따르세요.
다음 매니페스트를
non-e2-class.yaml로 저장합니다.apiVersion: cloud.google.com/v1 kind: ComputeClass metadata: name: non-e2-class spec: priorities: - machineFamily: n2 - machineFamily: c3 activeMigration: optimizeRulePriority: false whenUnsatisfiable: DoNotScaleUp매니페스트를 적용합니다.
kubectl apply -f non-e2-class.yaml포드 사양에서
cloud.google.com/compute-class노드 선택기를 사용하여 ComputeClass 커스텀 리소스를 참조합니다.spec: nodeSelector: cloud.google.com/compute-class: non-e2-class # Multiple lines are omitted here
표준
새 클러스터에서 포드 스냅샷을 사용 설정하려면 다음 명령어를 실행합니다.
gcloud container clusters create CLUSTER_NAME \ --enable-pod-snapshots \ --cluster-version=CLUSTER_VERSION \ --workload-pool=PROJECT_ID.svc.id.goog \ --workload-metadata=GKE_METADATA \ --location=CONTROL_PLANE_LOCATION다음을 바꿉니다.
CLUSTER_NAME: 클러스터 이름입니다.CLUSTER_VERSION: 새 클러스터의 버전이며 1.35.3-gke.1234000 이상이어야 합니다.PROJECT_ID: 프로젝트 ID입니다.CONTROL_PLANE_LOCATION: 클러스터 컨트롤 플레인의 위치입니다.
기존 클러스터에서 포드 스냅샷을 사용 설정하려면 다음 단계를 따르세요.
클러스터를 버전 1.35.3-gke.1234000 이상으로 업그레이드합니다.
gcloud container clusters upgrade CLUSTER_NAME \ --node-pool=NODE_POOL_NAME \ --cluster-version=CLUSTER_VERSION \ --location=CONTROL_PLANE_LOCATION다음을 바꿉니다.
CLUSTER_NAME: 클러스터 이름입니다.NODE_POOL_NAME: 노드 풀의 이름입니다.CLUSTER_VERSION: 클러스터를 업그레이드할 버전으로, 1.35.3-gke.1234000 이상이어야 합니다.CONTROL_PLANE_LOCATION: 클러스터 컨트롤 플레인의 위치입니다.
클러스터에서 포드 스냅샷을 사용 설정합니다.
gcloud beta container clusters update CLUSTER_NAME \ --enable-pod-snapshots \ --location=CONTROL_PLANE_LOCATION다음을 바꿉니다.
CLUSTER_NAME: 클러스터 이름입니다.CONTROL_PLANE_LOCATION: 클러스터 컨트롤 플레인의 위치입니다.
Standard 클러스터의 GKE Sandbox에서 포드를 실행하려면 GKE Sandbox가 사용 설정된 노드 풀을 만들거나 업데이트해야 합니다. 노드 풀을 업데이트하려면 --sandbox type=gvisor 플래그를 사용합니다. GKE Sandbox가 사용 설정된 노드 풀을 만들려면 다음 명령어를 실행합니다.
gcloud container node-pools create NODE_POOL_NAME \
--cluster=CLUSTER_NAME \
--node-version=NODE_VERSION \
--machine-type=MACHINE_TYPE \
--location=CONTROL_PLANE_LOCATION \
--image-type=cos_containerd \
--sandbox type=gvisor
다음을 바꿉니다.
NODE_POOL_NAME: 새 노드 풀의 이름입니다.CLUSTER_NAME: 클러스터 이름입니다.NODE_VERSION: 노드 풀에 사용할 버전입니다.MACHINE_TYPE: 노드에 사용할 머신 유형입니다.CONTROL_PLANE_LOCATION: 클러스터 컨트롤 플레인의 위치입니다.
GKE Sandbox에 대한 자세한 내용은 GKE Sandbox로 워크로드 격리 강화를 참조하세요.
스토어 스냅샷
GKE는 포드 스냅샷을 Cloud Storage 버킷에 저장합니다. 각 스냅샷에는 애플리케이션 메모리와 포드의 GPU 상태(선택사항)가 포함됩니다. Cloud Storage에 인증하기 위해 포드 스냅샷은 포드의 ServiceAccount 객체를 사용하며, 여기에는 GKE용 워크로드 아이덴티티 제휴가 필요합니다.
포드 스냅샷에는 다음 버킷 구성이 필요합니다.
- 계층적 네임스페이스: 초당 읽기 및 쓰기 쿼리 수를 늘리려면 계층적 네임스페이스를 사용 설정해야 합니다. 계층적 네임스페이스를 사용하려면 균일한 버킷 수준 액세스도 사용 설정해야 합니다.
- 소프트 삭제: 포드 스냅샷은 병렬 복합 업로드를 사용하므로 소프트 삭제와 같은 데이터 보호 기능을 사용 중지합니다. 이러한 기능을 사용 설정된 상태로 두면 임시 객체의 소프트 삭제로 인해 스토리지 요금이 크게 증가할 수 있습니다.
- 위치: Cloud Storage 버킷 위치는 GKE 클러스터와 동일한 위치에 있어야 합니다. 서로 다른 리전 간에 스냅샷을 전송하면 성능에 영향을 줄 수 있기 때문입니다.
필수 구성으로 버킷을 만들려면 다음 명령어를 실행합니다.
gcloud storage buckets create gs://BUCKET_NAME \
--uniform-bucket-level-access \
--enable-hierarchical-namespace \
--soft-delete-duration=0d \
--location=LOCATION
다음을 바꿉니다.
BUCKET_NAME: 버킷의 이름입니다.LOCATION: 버킷의 위치입니다.
버킷 만들기에 대한 전체 옵션 목록은 buckets create 명령어 문서의 플래그를 참조하세요.
워크로드에 Cloud Storage 버킷에 대한 액세스 권한 부여
기본적으로 GKE는 Cloud Storage에 액세스할 수 없습니다. 포드 스냅샷을 읽고 쓰려면 워크로드 포드에서 사용하는 Kubernetes ServiceAccount 객체에 해당 권한이 포함된 IAM 역할을 부여하거나 단기 토큰을 사용하여 멀티 테넌시를 사용 설정해야 합니다.
특정 Kubernetes ServiceAccount 객체에 역할 부여
특정 Kubernetes ServiceAccount 객체에 역할을 부여하려면 다음 단계를 따르세요.
kubectl명령어를 사용하여 클러스터와 통신하려면 클러스터의 사용자 인증 정보를 가져옵니다.gcloud container clusters get-credentials CLUSTER_NAME \ --location=CONTROL_PLANE_LOCATION다음을 바꿉니다.
CLUSTER_NAME: 클러스터 이름입니다.CONTROL_PLANE_LOCATION: 클러스터 컨트롤 플레인의 위치입니다.
각 포드에 대해 다음 단계를 따르세요.
ServiceAccount 객체를 만듭니다.
kubectl create serviceaccount SERVICEACCOUNT_NAME \ --namespace=NAMESPACE다음을 바꿉니다.
SERVICEACCOUNT_NAME: ServiceAccount 객체의 이름입니다.NAMESPACE: 포드의 네임스페이스입니다.
ServiceAccount 객체에 버킷에 액세스할 수 있는 권한을 부여합니다. 보안 요구사항에 따라 다음 옵션 중 하나를 선택합니다.
- 표준 권한: 전체 읽기, 쓰기, 삭제 액세스 권한을 부여합니다.
- 한 번 쓰기 권한: 완료된 스냅샷 파일을 덮어쓰거나 삭제하지 못하도록 하지만 동시 복합 업로드를 위해 임시 객체를 삭제할 수 있는 권한을 부여합니다.
권한을 부여하려면 선택한 옵션에 해당하는 명령어를 실행합니다.
스탠더드 권한
gcloud storage buckets add-iam-policy-binding gs://BUCKET_NAME \ --member="principal://iam.googleapis.com/projects/PROJECT_NUMBER/locations/global/workloadIdentityPools/PROJECT_ID.svc.id.goog/subject/ns/NAMESPACE/sa/SERVICEACCOUNT_NAME" \ --role="roles/storage.bucketViewer"gcloud storage buckets add-iam-policy-binding gs://BUCKET_NAME \ --member="principal://iam.googleapis.com/projects/PROJECT_NUMBER/locations/global/workloadIdentityPools/PROJECT_ID.svc.id.goog/subject/ns/NAMESPACE/sa/SERVICEACCOUNT_NAME" \ --role="roles/storage.objectUser"일회성 쓰기 권한
gcloud storage buckets add-iam-policy-binding gs://BUCKET_NAME \ --member="principal://iam.googleapis.com/projects/PROJECT_NUMBER/locations/global/workloadIdentityPools/PROJECT_ID.svc.id.goog/subject/ns/NAMESPACE/sa/SERVICEACCOUNT_NAME" \ --role="roles/storage.bucketViewer"gcloud storage buckets add-iam-policy-binding gs://BUCKET_NAME \ --member="principal://iam.googleapis.com/projects/PROJECT_NUMBER/locations/global/workloadIdentityPools/PROJECT_ID.svc.id.goog/subject/ns/NAMESPACE/sa/SERVICEACCOUNT_NAME" \ --role="roles/storage.objectCreator"gcloud storage buckets add-iam-policy-binding gs://BUCKET_NAME \ --member="principal://iam.googleapis.com/projects/PROJECT_NUMBER/locations/global/workloadIdentityPools/PROJECT_ID.svc.id.goog/subject/ns/NAMESPACE/sa/SERVICEACCOUNT_NAME" \ --role="roles/storage.objectViewer"gcloud storage buckets add-iam-policy-binding gs://BUCKET_NAME \ --member="principal://iam.googleapis.com/projects/PROJECT_NUMBER/locations/global/workloadIdentityPools/PROJECT_ID.svc.id.goog/subject/ns/NAMESPACE/sa/SERVICEACCOUNT_NAME" \ --role="roles/storage.objectUser" \ --condition='expression=resource.type == "storage.googleapis.com/Object" && (resource.name.extract("/pages.img_{part}") != "" || resource.name.extract("/fs_checkpoint_pages.img_{part}") != ""),title=allow_pcu_temp_part_cleanup,description=Allow deleting temporary parallel composite upload part objects only'다음을 바꿉니다.
BUCKET_NAME: 버킷의 이름입니다.PROJECT_NUMBER: 프로젝트 번호PROJECT_ID: 프로젝트 ID입니다.NAMESPACE: 포드의 네임스페이스입니다.SERVICEACCOUNT_NAME: ServiceAccount 객체의 이름입니다.
단기 토큰을 사용하여 멀티테넌시 사용 설정
개별 ServiceAccount 객체에 권한을 부여하는 대신 수명이 짧고 범위가 제한된 토큰으로 멀티테넌시를 사용 설정할 수 있습니다. 이 접근 방식은 수동 IAM 바인딩과 관련된 전파 지연을 방지하는 데 도움이 됩니다. 각 ServiceAccount 객체에 권한을 부여하는 대신 스냅샷 스토리지 버킷에 대한 스토리지 관리자 역할 (roles/storage.admin)을 GKE 노드 서비스 계정에 한 번 부여합니다. 그러면 노드 서비스 계정은 특정 경로에 대해 요청 시 단기 토큰을 만듭니다.
포드 스냅샷으로 토큰을 사용 설정하려면 GKE 버전 1.35.3-gke.1737000 이상이 필요합니다.
멀티테넌시를 사용 설정하려면 다음 단계를 따르세요.
노드 서비스 계정에 버킷을 사용할 수 있는 권한을 부여하려면 다음 명령어를 실행합니다.
gcloud storage buckets add-iam-policy-binding gs://BUCKET_NAME \ --member="serviceAccount:service-PROJECT_NUMBER@gcp-sa-gkenode.iam.gserviceaccount.com" \ --role="roles/storage.admin"다음을 바꿉니다.
BUCKET_NAME: 버킷의 이름입니다.PROJECT_NUMBER: 프로젝트 번호
스냅샷 스토리지를 구성할 때
tokenSource필드 값을federatedP4SA으로 설정합니다.
Cloud Storage 버킷에 대한 포드 스냅샷 컨트롤러 액세스 권한 부여
포드 스냅샷 컨트롤러가 Cloud Storage 버킷 내에서 스냅샷을 삭제하도록 허용하려면 프로젝트의 GKE 서비스 에이전트에 스토리지 객체 사용자 역할 (roles/storage.objectUser)을 부여해야 합니다. 역할을 부여하려면 다음 명령어를 실행합니다.
gcloud projects add-iam-policy-binding PROJECT_ID \
--member="serviceAccount:service-PROJECT_NUMBER@container-engine-robot.iam.gserviceaccount.com" \
--role="roles/storage.objectUser" \
--condition="expression=resource.name.startsWith(\"projects/_/buckets/BUCKET_NAME\"),title=restrict_to_bucket,description=Restricts access to one bucket only"
다음을 바꿉니다.
PROJECT_ID: 프로젝트 IDPROJECT_NUMBER: 프로젝트 번호BUCKET_NAME: 버킷의 이름입니다.
선택사항: Cloud Storage 버킷의 관리형 폴더 만들기
멀티 테넌트 사용 사례에서 유용한, 서로 신뢰할 수 없는 포드의 스냅샷 권한을 격리하려면 관리형 폴더를 만듭니다. 관리 폴더를 설정하려면 다음 단계를 따르세요.
포드 스냅샷에 필요한 권한만 포함된 커스텀 IAM 역할을 만듭니다. 선택한 옵션에 해당하는 명령어를 실행합니다.
스탠더드 권한
gcloud iam roles create podSnapshotGcsReadWriter \ --project=PROJECT_ID \ --permissions="storage.objects.get,storage.objects.list,storage.objects.create,storage.objects.delete,storage.folders.create"일회성 쓰기 권한
gcloud iam roles create podSnapshotGcsReadWriter \ --project=PROJECT_ID \ --permissions="storage.objects.get,storage.objects.list,storage.objects.create,storage.folders.create"PROJECT_ID를 프로젝트 ID로 바꿉니다.대상 네임스페이스의 모든 ServiceAccount 객체에 스토리지 버킷 뷰어 역할 (
roles/storage.bucketViewer)을 부여합니다. 이 역할을 사용하면 ServiceAccount 객체가 버킷 메타데이터를 읽을 수 있지만 버킷의 객체를 읽거나 쓸 수 있는 권한은 부여되지 않습니다.gcloud storage buckets add-iam-policy-binding gs://BUCKET_NAME \ --member="principalSet://iam.googleapis.com/projects/PROJECT_NUMBER/locations/global/workloadIdentityPools/PROJECT_ID.svc.id.goog/namespace/NAMESPACE" \ --role="roles/storage.bucketViewer"다음을 바꿉니다.
BUCKET_NAME: 버킷의 이름입니다.PROJECT_NUMBER: 프로젝트 번호PROJECT_ID: 프로젝트 ID입니다.NAMESPACE: 포드의 네임스페이스입니다.
포드 스냅샷을 저장해야 하는 각 ServiceAccount 객체에 대해 다음 단계를 따르세요.
ServiceAccount 객체의 관리형 폴더를 만듭니다.
gcloud storage managed-folders create gs://BUCKET_NAME/FOLDER_PATH/다음을 바꿉니다.
BUCKET_NAME: 버킷의 이름입니다.FOLDER_PATH: 관리형 폴더의 경로 (예:my-app-snapshots)
ServiceAccount 객체에 관리형 폴더에 대한 커스텀
podSnapshotGcsReadWriter역할을 부여합니다. 권한을 부여하려면 선택한 옵션에 대한 명령어를 실행합니다.스탠더드 권한
gcloud storage managed-folders add-iam-policy-binding gs://BUCKET_NAME/FOLDER_PATH/ \ --member="principal://iam.googleapis.com/projects/PROJECT_NUMBER/locations/global/workloadIdentityPools/PROJECT_ID.svc.id.goog/subject/ns/NAMESPACE/sa/SERVICEACCOUNT_NAME" \ --role="projects/PROJECT_ID/roles/podSnapshotGcsReadWriter"일회성 쓰기 권한
gcloud storage managed-folders add-iam-policy-binding gs://BUCKET_NAME/FOLDER_PATH/ \ --member="principal://iam.googleapis.com/projects/PROJECT_NUMBER/locations/global/workloadIdentityPools/PROJECT_ID.svc.id.goog/subject/ns/NAMESPACE/sa/SERVICEACCOUNT_NAME" \ --role="projects/PROJECT_ID/roles/podSnapshotGcsReadWriter"gcloud storage managed-folders add-iam-policy-binding gs://BUCKET_NAME/FOLDER_PATH/ \ --member="principal://iam.googleapis.com/projects/PROJECT_NUMBER/locations/global/workloadIdentityPools/PROJECT_ID.svc.id.goog/subject/ns/NAMESPACE/sa/SERVICEACCOUNT_NAME" \ --role="roles/storage.objectUser" \ --condition='expression=resource.type == "storage.googleapis.com/Object" && (resource.name.extract("/pages.img_{part}") != "" || resource.name.extract("/fs_checkpoint_pages.img_{part}") != ""),title=allow_pcu_temp_part_cleanup,description=Allow deleting temporary parallel composite upload part objects only'다음을 바꿉니다.
BUCKET_NAME: 버킷의 이름입니다.FOLDER_PATH: 관리형 폴더의 경로 (예:my-app-snapshots)PROJECT_NUMBER: 프로젝트 번호PROJECT_ID: 프로젝트 ID입니다.NAMESPACE: 포드의 네임스페이스입니다.SERVICEACCOUNT_NAME: ServiceAccount 객체의 이름입니다.
스냅샷용 스토리지 구성
포드 스냅샷을 저장할 위치를 지정하려면 PodSnapshotStorageConfig 커스텀 리소스를 만듭니다.
다음 매니페스트를
example-pod-snapshot-storage-config.yaml로 저장합니다. 이 예시에서는 Cloud Storage 버킷BUCKET_NAME내의FOLDER_PATH/경로에 포드 스냅샷을 저장하도록 GKE를 구성합니다.apiVersion: podsnapshot.gke.io/v1 kind: PodSnapshotStorageConfig metadata: name: example-pod-snapshot-storage-config spec: snapshotStorageConfig: gcs: bucket: "BUCKET_NAME" path: "FOLDER_PATH" tokenSource: "TOKEN_SOURCE"다음을 바꿉니다.
BUCKET_NAME: Cloud Storage 버킷 이름입니다.FOLDER_PATH: Cloud Storage 관리형 폴더의 경로입니다.TOKEN_SOURCE: 액세스용 ID 공급업체입니다. 멀티테넌시에podKSA(기본값) 또는federatedP4SA를 사용합니다.
매니페스트를 적용합니다.
kubectl apply -f example-pod-snapshot-storage-config.yaml
다음 단계
포드 스냅샷을 트리거하는 방법 알아보기