이 문서에서는 성능을 유지하고 비용을 제어하며 다운타임을 방지하기 위해 Google Cloud 에서 컴퓨팅 용량을 확장하고 하드웨어 리소스를 확보하는 방법을 간략하게 설명합니다. 가변적인 수요를 처리하기 위해 Compute Engine 인스턴스를 자동 확장하고, Google Kubernetes Engine(GKE)의 컨테이너 또는 클러스터의 워크로드를 조정하고, 용량을 미리 예약하고, 리소스 간에 트래픽을 분산할 수 있습니다.
이 문서의 권장사항은 컴퓨팅 인프라를 관리하고 확장하는 Cloud Run 및 Batch를 제외한 모든 사용 가능한 컴퓨팅 옵션에 적용됩니다. 확장하기 전에 Google Cloud 에서 사용할 수 있는 컴퓨팅 옵션에 대한 자세한 내용은 컴퓨팅 옵션 선택을 참조하세요.
컴퓨팅 인프라 확장 옵션
컴퓨팅 용량을 확장하고 리소스 가용성을 개선하려면 컴퓨팅 서비스에서 지원하는 기능 중에서 선택하세요. 예약, 자동 확장 처리, 부하 분산기와 같은 여러 기능을 결합하여 워크로드 요구사항을 충족할 수 있습니다. 목적, 지원되는 컴퓨팅 옵션, 트리거, 사용 사례를 기준으로 이러한 기능을 나란히 평가하려면 이 문서의 확장 옵션 비교를 참조하세요.
각 컴퓨팅 서비스는 용량을 확장하고 다음 옵션을 사용하여 리소스를 가져올 수 있도록 도와줍니다.
모든 컴퓨팅 옵션: 예약을 위한 Cloud Run을 제외한 컴퓨팅 서비스 전반에서 하드웨어 가용성을 사전에 높은 수준으로 보장하고 정상 백엔드 전반에서 사용자 요청을 라우팅할 수 있습니다. 다음과 같은 크로스 프로덕트 옵션을 사용할 수 있습니다.
예약: 즉시 사용하거나 미래 날짜에 사용하기 위해 특정 영역의 용량을 요청합니다. 예약은 자동 확장 처리가 아니지만 그래픽 처리 장치(GPU), Tensor Processing Unit(TPU), 로컬 SSD 디스크와 같은 하드웨어를 워크로드 수평 확장 시 사용할 수 있다는 높은 수준의 보장을 제공합니다.
Cloud Load Balancing을 사용한 트래픽 분산: 정상 컴퓨팅 인스턴스, 노드 풀 또는 컨테이너에 수신 요청을 분산하고 용량 확장에 따라 새 리소스로 트래픽을 라우팅합니다.
Compute Engine: 가상 머신(VM) 또는 베어메탈 인스턴스를 만들거나 관리형 인스턴스 그룹(MIG)을 사용할 때 용량을 확장합니다. MIG는 컴퓨팅 인스턴스 그룹을 단일 항목으로 관리하며 부하, 일정 또는 하드웨어 가용성에 따라 용량을 추가하거나 삭제할 수 있습니다. 하드웨어 격리가 필요한 워크로드의 경우 전용 물리적 서버에서 단독 테넌트 노드 그룹을 자동 확장할 수도 있습니다. 다음 옵션을 사용할 수 있습니다.
MIG 자동 확장: CPU 사용량, 부하 분산기 용량, Cloud Monitoring 측정항목, 일정 또는 예측을 기반으로 MIG에서 컴퓨팅 인스턴스를 추가하거나 삭제합니다.
MIG 인스턴스 유연성: MIG에서 여러 머신 유형의 순위를 지정하여 리소스 확보 가능성을 개선합니다.
MIG의 일괄 모드 및 크기 조절 요청: Flex-start VM이 있는 GPU, TPU, H4D 인스턴스를 포함하여 전체 용량을 사용할 수 있게 되면 MIG에서 요청된 모든 컴퓨팅 인스턴스를 동시에 추가합니다.
MIG의 대기 풀: MIG에서 사전 구성된 일시중지되거나 중지된 컴퓨팅 인스턴스의 대기 풀을 유지하여 수평 확장을 가속화합니다. 트래픽 또는 CPU 사용량이 증가하면 MIG는 새 컴퓨팅 인스턴스를 만드는 대신 컴퓨팅 인스턴스를 재개하거나 시작합니다.
일괄 컴퓨팅 인스턴스 생성: 자동 영역 및 머신 유형 선택을 통해 단일 API 요청으로 여러 컴퓨팅 인스턴스를 만듭니다.
단독 테넌트 노드 그룹 자동 확장: 게스트 컴퓨팅 인스턴스 수요에 따라 전용 물리적 단독 테넌트 노드를 추가하거나 삭제하여 하드웨어 격리를 유지하고 사용자 라이선스 사용 비용을 최적화합니다.
커스텀 조정자: 자체 또는 오픈소스 스케줄러에서 Compute Engine API를 호출하여 커스텀 작업 큐 또는 비즈니스 규칙에 따라 컴퓨팅 인스턴스를 만들고, 크기를 조절하고, 삭제합니다.
Cluster Director: Google은 Slurm 조정 또는 영역 MIG에서 지원하는 관리형 컴퓨팅 조정을 사용하는 인공지능(AI), 머신러닝(ML), 고성능 컴퓨팅(HPC) 워크로드를 위한 관리형 클러스터를 배포합니다. Slurm 클러스터에서 Slurm 스케줄러는 대기 중인 작업이 정적 기준 노드를 초과하면 동적 컴퓨팅 노드를 만들고 5분 동안 유휴 상태가 되면 전원을 끕니다. 관리형 컴퓨팅 클러스터에서는 SSH를 통해 워크로드를 실행하거나 자체 스케줄러를 통합하고 MIG 대상 크기를 조정할 때 용량을 확장합니다. 다음 옵션을 사용할 수 있습니다.
클러스터 조정: 작업 큐 수요에 따라 관리형 Slurm 파티션 내에서 동적 컴퓨팅 노드를 자동 확장하거나 영역 MIG에서 지원하는 관리형 컴퓨팅 클러스터를 프로비저닝하여 SSH를 통해 워크로드를 실행하거나 자체 스케줄러를 통합합니다.
실시간 클러스터 수정: 활성 클러스터를 업데이트하여 정적 또는 최대 동적 노드 수를 늘리거나, MIG 크기를 조절하거나 추가하거나, 컴퓨팅 리소스 구성을 추가하거나, 활성 작업을 중단하지 않고 파티션 및 노드 세트를 추가합니다.
용량 소비 옵션: 용량 블록의 미래용 예약, 캘린더 모드의 미래용 예약, Flex-start VM, 스팟 VM 또는 주문형 컴퓨팅 인스턴스를 통해 클러스터 컴퓨팅 노드를 가져옵니다.
Cluster Toolkit: Slurm 또는 GKE에서 조정하는 YAML 청사진 및 Terraform 모듈을 사용하여 자체 관리형 AI, ML, HPC 클러스터를 코드로 정의합니다. 용량은 Slurm 작업 큐 또는 Kubernetes 포드 수요에 따라 또는 클러스터 청사진을 수정하고 다시 배포할 때 확장됩니다. 다음 옵션을 사용할 수 있습니다.
Slurm 동적 노드 세트: Slurm이 큐에 추가된 작업을 기반으로 임시 컴퓨팅 인스턴스를 만들고 삭제하도록
slurm-nodeset-dynamic모듈을 구성합니다.GKE 노드 풀 자동 확장: 포드 수요가 변경될 때 GKE가 노드를 추가하거나 삭제하도록
gke-node-pool모듈을 사용하여 청사진에서 최소 및 최대 노드 수를 설정합니다.실시간 청사진 재구성: 청사진을 업데이트하고 다시 배포하여 활성 Slurm 클러스터에서 파티션과 정적 노드를 추가하거나 크기를 조절하거나 배포된 GKE 클러스터에서 노드 풀의 크기를 조절합니다.
다중 예약 Slurm 파티션: 여러 예약 지원 노드 집합을 하나의 Slurm 파티션으로 그룹화하여 대규모 작업이 개별 예약에 걸쳐 용량을 분산할 수 있습니다.
GKE: 용량이 두 레이어에 걸쳐 확장됩니다. 워크로드 자동 확장 처리는 수요 변화에 따라 포드 복제본 수 또는 컨테이너 CPU 및 메모리 요청을 조정합니다. 인프라 자동 확장 처리는 기본 노드와 노드 풀을 추가하거나 삭제합니다. Google은 Autopilot 모드에서 노드 용량을 관리하는 반면, Standard 모드에서는 클러스터 자동 확장 처리, 노드 풀 자동 생성, 커스텀
ComputeClass리소스를 구성합니다. 시작 가속기는 새 포드가 트래픽을 제공하기 전에 필요한 시간도 줄여줍니다. 다음 옵션을 사용할 수 있습니다.노드 및 클러스터 용량: 노드 수를 조정하고, 노드 풀을 만들고, 다음 기능을 사용하여 하드웨어를 가져옵니다.
커스텀 ComputeClasses: 우선순위가 지정된 하드웨어 대체 규칙, 스팟 VM 또는 Flex-start 환경설정, 예약 사용, 우선순위가 높은 하드웨어로의 활성 마이그레이션, 워크로드 수준 노드 풀 자동 생성을 정의합니다.
클러스터 자동 확장 처리: 포드가 리소스를 기다리거나 노드가 충분히 활용되지 않을 때 기존 Standard 모드 노드 풀에서 노드를 추가하거나 삭제합니다.
노드 풀 자동 생성: 대기 중인 포드의 CPU, 메모리, GPU, TPU 또는 영역 요구사항에 따라 노드 풀을 동시에 만들고 삭제합니다.
Flex-start 프로비저닝: 큐 기반 프로비저닝을 통해 노드별로 또는 한 번에 최대 7일 동안 GPU, TPU, H4D 노드를 가져오고 ComputeClasses를 통해 만료되는 노드를 교체합니다.
용량 버퍼:
ComputeClass우선순위에 맞는 활성 버퍼를 포함하여 예비 활성 또는 정지된 대기 노드를 미리 프로비저닝하여 대기 중인 포드가 새 노드를 기다리지 않고 예약되도록 합니다.컨테이너 최적화 컴퓨팅 플랫폼: Autopilot 클러스터 및 Standard 클러스터의 Autopilot 모드 워크로드에
Balanced및Scale-OutComputeClass를 사용하여 노드 할당 및 포드 배치를 가속화합니다.GKE의 단독 테넌트 노드: 전용 물리적 서버에서 Standard 모드 노드 풀을 실행하여 격리 또는 라이선스 요구사항을 충족합니다.
포드 및 워크로드 용량: 다음 기능을 사용하여 포드 복제본, 컨테이너 크기, 일괄 큐를 조정합니다.
수평형 포드 자동 확장(HPA): CPU 사용량, 메모리 사용량 또는 커스텀 측정항목을 기준으로 포드 복제본을 추가하거나 삭제합니다.
수직형 포드 자동 확장(VPA): 이전 사용량을 기준으로 컨테이너 CPU 및 메모리 요청과 한도를 조정합니다.
다차원 포드 자동 확장(MPA): 동일한 워크로드에 대해 CPU의 HPA와 메모리의 VPA를 동시에 결합합니다.
커스텀 및 외부 측정항목: 애플리케이션 측정항목 또는 Pub/Sub 및 Cloud Load Balancing과 같은 외부 서비스에서 HPA 확장 결정을 트리거합니다.
0으로 축소: 유휴 포드 및 노드 풀을 복제본 0개로 축소하고 HPA 커스텀 및 외부 측정항목 또는 Kubernetes 이벤트 기반 자동 확장(KEDA) 트리거에서 수요가 재개되면 절전 모드를 해제합니다.
Kueue 작업 큐: 일괄 및 AI 워크로드를 큐에 추가하고, 팀 간에 리소스 할당량을 공유하고, 동시 노드 할당을 조정합니다.
시작 가속: 다음 기능을 사용하여 수평 확장 중에 컨테이너 초기화 및 모델 로드 시간을 단축합니다.
병렬 스트리밍이 있는 Cloud Storage FUSE: 병렬 읽기 및 파일 캐시를 사용하여 Cloud Storage 버킷을 로컬 파일 시스템으로 마운트합니다.
CPU 시작 부스트: 컨테이너가 초기화되는 동안 임시 추가 CPU를 부여한 후 CPU 요청을 기본값으로 되돌립니다.
이미지 스트리밍: Artifact Registry에서 요청 시 컨테이너 이미지 블록을 스트리밍하여 전체 이미지 다운로드를 기다리지 않고 포드가 시작됩니다.
보조 부팅 디스크: 노드 부팅 중에 컨테이너 이미지 또는 모델 데이터가 미리 로드된 Persistent Disk 볼륨을 노드에 병렬로 연결합니다.
인플레이스 포드 크기 조절: 포드를 다시 시작하지 않고 활성 컨테이너에서 CPU 및 메모리 할당을 업데이트합니다.
포드 스냅샷: 콜드 부팅 대신 저장된 메모리 및 파일 시스템 체크포인트에서 포드 복제본을 복원합니다.
Run:ai Model Streamer: Cloud Storage 또는 영구 볼륨에서
safetensors형식의 모델 가중치를 GPU 또는 TPU 메모리로 병렬로 스트리밍합니다.볼륨 채우기 도구: 포드가 시작되기 전에 Cloud Storage의 모델 가중치와 데이터 세트로 Google Cloud Hyperdisk ML 볼륨을 미리 로드합니다.
Google Cloud VMware Engine: Google은 물리적 ESXi 호스트가 클러스터에 가입하거나 클러스터를 나갈 때 용량이 확장되거나 축소되는 전용 VMware 프라이빗 클라우드 클러스터를 관리합니다. 지속적인 CPU, 메모리 또는 vSAN 스토리지 사용량이 구성된 기준점을 초과할 때 ESXi 호스트를 추가하거나 삭제하려면 자동 확장 정책을 사용합니다.
확장 옵션 비교
운영 요구사항에 맞는 확장 또는 리소스 확보 옵션을 선택하려면 다음 표에서 기능을 비교하세요.
| 확장 옵션 | 주요 목적 | 지원되는 컴퓨팅 옵션 | 호환되는 확장 옵션 | 확장 트리거 | 사용 사례 |
|---|---|---|---|---|---|
| 예약 | 즉시 사용하거나 높은 수준의 가용성 보장으로 미래에 사용할 수 있도록 영역 용량을 예약합니다. | Cloud Run을 제외한 모든 컴퓨팅 옵션 | 모든 확장 옵션 | 수동 또는 캘린더 예약 요청, 자동 확장 처리가 아님 |
|
| Cloud Load Balancing을 사용한 트래픽 분산 | 정상 컴퓨팅 인스턴스, 노드 풀 또는 컨테이너에 수신 트래픽 분산 | 모든 컴퓨팅 옵션 | 모든 확장 옵션 | 수신되는 사용자 요청 및 백엔드 상태 점검 |
|
| MIG 자동 확장 | 가변적인 워크로드 수요에 따라 MIG의 컴퓨팅 인스턴스 추가 또는 삭제 | Compute Engine | 예약, MIG 인스턴스 유연성, MIG의 대기 풀, 단독 테넌트 노드 그룹 자동 확장, 커스텀 조정자 | CPU 사용량, 부하 분산기 용량, Cloud Monitoring 측정항목, 일정 또는 예측 |
|
| MIG 인스턴스 유연성 | MIG에서 여러 머신 유형의 순위를 매겨 리소스 확보 가능성 개선 | Compute Engine | MIG 자동 확장, 예약, 스팟 VM | MIG 인스턴스 생성 또는 수평 확장 중에 기본 머신 유형의 용량이 부족한 경우 |
|
| MIG의 일괄 모드 및 크기 조절 요청 | 전체 용량을 사용할 수 있게 되면 MIG에서 요청된 모든 컴퓨팅 인스턴스를 동시에 추가합니다. | Compute Engine 및 Cluster Director | 예약, 라이브 클러스터 수정, 커스텀 조정자 | 일괄 모드 또는 크기 조절 요청 생성 시 설정된 목표 크기, 전체 하드웨어 용량을 사용할 수 있을 때 충족됨 |
|
| MIG의 대기 풀 | MIG 수평 확장을 가속화할 수 있도록 사전 구성된 일시정지 또는 중지된 컴퓨팅 인스턴스의 대기 풀을 유지합니다. | Compute Engine | MIG 자동 확장, 예약 | 풀링된 컴퓨팅 인스턴스를 재개하거나 시작하는 수동 크기 조절 또는 MIG 수평 확장 수요 |
|
| 컴퓨팅 인스턴스 일괄 생성 | 자동 영역 및 머신 선택을 사용하여 하나의 API 요청으로 여러 컴퓨팅 인스턴스 만들기 | Compute Engine | 예약, 스팟 VM, 커스텀 조정자 | 단일 API 또는 Google Cloud CLI 일괄 삽입 요청 |
|
| 단독 테넌트 노드 그룹 자동 확장 | 격리된 워크로드를 위한 전용 물리적 서버 자동 확장 | Compute Engine 및 GKE | 예약, MIG 자동 확장, 커스텀 조정자, 클러스터 자동 확장 처리 | 게스트 컴퓨팅 인스턴스의 리소스 수요 |
|
| 커스텀 조정자 | Ray, SkyPilot, HTCondor와 같은 자체 스케줄러에서 컴퓨팅 인스턴스 생성, MIG 대상 크기, 삭제를 제어합니다. | Compute Engine 및 Cluster Director | 예약, MIG 자동 확장, MIG의 일괄 모드 및 크기 조절 요청, 일괄 컴퓨팅 인스턴스 생성, 단독 테넌트 노드 그룹 자동 확장, 라이브 클러스터 수정 | 커스텀 비즈니스 측정항목 또는 외부 스케줄러 큐 |
|
| Slurm 조정 및 동적 노드 | 일괄, AI, HPC 작업을 위해 Slurm 파티션에서 동적 컴퓨팅 노드 자동 확장 | Cluster Director 및 Cluster Toolkit | 예약, Flex-start VM, 스팟 VM, 라이브 클러스터 수정, 라이브 청사진 재구성 | 큐에 추가된 Slurm 작업 및 노드 유휴 제한 시간 |
|
| 라이브 클러스터 수정 | 활성 클러스터에서 파티션, 노드 세트, MIG 또는 정적 및 동적 노드 한도 추가 또는 크기 조절 | Cluster Director | Slurm 조정 및 동적 노드, MIG의 일괄 모드 및 크기 조절 요청, 커스텀 조정자, 예약 | 활성 클러스터에 대한 클러스터 업데이트 요청 |
|
| 실시간 청사진 재구성 | 청사진을 업데이트하고 다시 배포하여 활성 클러스터에서 Slurm 파티션, 정적 노드 또는 GKE 노드 풀을 추가하거나 크기를 조절합니다. | Cluster Toolkit | Slurm 조정 및 동적 노드, 클러스터 자동 확장 처리, 예약 | 활성 클러스터의 청사진 업데이트 및 재배포 |
|
| 커스텀 ComputeClass | 우선순위가 지정된 하드웨어 대체 규칙, 용량 소비, 노드 마이그레이션 정의 | Standard 및 Autopilot 모드의 GKE | 클러스터 자동 확장 처리, 노드 풀 자동 생성, GKE의 Flex-start 프로비저닝, 예약, 용량 버퍼 | ComputeClass 선택기와 일치하는 대기 중인 포드 또는 우선순위가 높은 하드웨어의 가용성 |
|
| 클러스터 자동 확장 처리 | 기존 노드 풀에서 노드 추가 또는 삭제 | Standard 모드의 GKE 및 Cluster Toolkit GKE 청사진 | 커스텀 ComputeClass, 예약, 단독 테넌트 노드 그룹 자동 확장, HPA, VPA, 용량 버퍼, 0으로 축소 | 대기 중인 포드 또는 노드 사용률 저하 |
|
| 노드 풀 자동 생성 | 포드 하드웨어 요구사항에 맞게 노드 풀을 동시에 만들고 삭제 | GKE: Autopilot 모드에서 관리, Standard 모드에서 구성 가능 | GKE의 커스텀 ComputeClass, 예약, flex-start 프로비저닝, HPA, VPA, 용량 버퍼 | 기존 노드 풀에 없는 머신 시리즈, 가속기 또는 영역이 필요한 대기 중인 포드 |
|
| GKE의 flex-start 프로비저닝 | 큐 기반 프로비저닝을 사용하여 용량이 열릴 때 노드별로 또는 한 번에 모두 GPU, TPU, H4D 노드 가져오기 | Standard 및 Autopilot 모드의 GKE | 커스텀 ComputeClasses, 노드 풀 자동 생성, 클러스터 자동 확장 처리, Kueue 작업 큐 | 하드웨어 용량이 열릴 때 대기 중인 포드 또는 큐에 추가된 ProvisioningRequest 객체 |
|
| 용량 버퍼 | 빠른 포드 배치 및 확보를 위해 예비 활성 또는 정지된 대기 노드를 사전 프로비저닝합니다. | Standard 및 Autopilot 모드의 GKE | 커스텀 ComputeClass, 클러스터 자동 확장 처리, 노드 풀 자동 생성, HPA, 예약 | 예약된 포드의 버퍼링된 노드 용량 소비 |
|
| 컨테이너 최적화 컴퓨팅 플랫폼 | 관리형 인프라와 Balanced 또는 Scale-Out ComputeClass를 사용하여 노드 준비 및 포드 배치 속도 향상 |
GKE: Autopilot 클러스터 및 Standard 클러스터의 Autopilot 모드 워크로드 | 노드 풀 자동 생성, HPA, VPA, 용량 버퍼, 예약 | 추가 컴퓨팅 용량이 필요한 대기 중인 포드 |
|
| HPA | 워크로드 수요에 맞게 포드 복제본 추가 또는 삭제 | Standard 및 Autopilot 모드의 GKE | 클러스터 자동 확장 처리, 노드 풀 자동 생성, MPA, 커스텀 및 외부 측정항목, 0으로 축소 | CPU 사용량, 메모리 사용량 또는 커스텀 및 외부 측정항목 |
|
| VPA | 사용량에 따라 컨테이너 CPU 및 메모리 요청과 한도 조정 | Standard 및 Autopilot 모드의 GKE | 클러스터 자동 확장 처리, 노드 풀 자동 생성, MPA, 인플레이스 포드 크기 조절, 예약 | 이전 컨테이너 CPU 및 메모리 사용량 |
|
| MPA | CPU 및 컨테이너 메모리 요청에서 포드 복제본을 동시에 확장 | Standard 및 Autopilot 모드의 GKE | 클러스터 자동 확장 처리, 노드 풀 자동 생성, 커스텀 및 외부 측정항목 | 동시 CPU 수요 변화 및 컨테이너 메모리 사용량 변경 |
|
| 커스텀 및 외부 측정항목 | 애플리케이션 또는 외부 서비스 신호를 기반으로 포드 복제본 확장 | Standard 및 Autopilot 모드의 GKE | HPA, MPA, 0으로 확장, 클러스터 자동 확장 처리, 노드 풀 자동 생성 | 애플리케이션 측정항목 또는 외부 큐 및 트래픽 측정항목 |
|
| Scale-to-zero | 유휴 포드 및 노드 풀을 0으로 축소하고 요청 또는 이벤트에 따라 절전 모드 해제 | Standard 및 Autopilot 모드의 GKE | HPA, 커스텀 및 외부 측정항목, 클러스터 자동 확장 처리, 노드 풀 자동 생성 | HPA 커스텀 및 외부 측정항목 또는 KEDA 트리거에 수요가 없거나 새로운 수요가 있음 |
|
| Kueue 작업 큐 | 일괄 작업 큐에 추가, 팀 할당량 적용, 동시 노드 할당 조정 | Standard 및 Autopilot 모드의 GKE | GKE의 Flex-start 프로비저닝, 커스텀 ComputeClass, 클러스터 자동 확장 처리, 노드 풀 자동 생성 | 클러스터 할당량 및 하드웨어 용량이 열려 있을 때 허용된 일괄 작업 |
|
| 병렬 스트리밍을 사용하는 Cloud Storage FUSE | 병렬 읽기 및 캐시를 사용하여 Cloud Storage 버킷을 파일 시스템으로 마운트 | Standard 및 Autopilot 모드의 GKE | HPA, 클러스터 자동 확장 처리, 노드 풀 자동 생성, 포드 스냅샷 | 마운트된 버킷에서 포드 시작 및 순차 파일 읽기 |
|
| CPU 시작 부스트 | 초기화 중에 컨테이너에 임시 추가 CPU 부여 | Standard 및 Autopilot 모드의 GKE | HPA, VPA, 클러스터 자동 확장 처리, 노드 풀 자동 생성 | 컨테이너 시작 및 초기화 단계 |
|
| 이미지 스트리밍 | 포드 시작 중에 Artifact Registry에서 요청 시 컨테이너 이미지 블록 스트리밍 | Standard 및 Autopilot 모드의 GKE | HPA, 클러스터 자동 확장 처리, 노드 풀 자동 생성, 용량 버퍼 | 포드가 시작될 때 Artifact Registry에서 컨테이너 이미지 가져오기 |
|
| 보조 부팅 디스크 | 노드 부팅 시 컨테이너 이미지 또는 모델 데이터가 있는 미리 로드된 영구 디스크 볼륨 연결 | Standard 및 Autopilot 모드의 GKE | 커스텀 ComputeClass, HPA, 클러스터 자동 확장 처리, 노드 풀 자동 생성, 용량 버퍼 | 보조 부팅 디스크 이미지로 구성된 노드 풀의 노드 부팅 |
|
| 인플레이스 포드 크기 조절 | 포드를 다시 시작하지 않고 활성 컨테이너 CPU 및 메모리 할당 업데이트 | Standard 및 Autopilot 모드의 GKE | VPA, 클러스터 자동 확장 처리, 노드 풀 자동 생성 | 업데이트된 컨테이너 CPU 또는 메모리 요청 및 한도 |
|
| 포드 스냅샷 | 저장된 메모리 및 파일 시스템 체크포인트에서 포드 복제본 복원 | Standard 및 Autopilot 모드의 GKE | HPA, 클러스터 자동 확장 처리, 노드 풀 자동 생성, 용량 버퍼 | 저장된 스냅샷에서 포드 복제본 생성 |
|
| Run:ai Model Streamer | 모델 텐서를 GPU 또는 TPU 메모리로 병렬 스트리밍 | Standard 및 Autopilot 모드의 GKE | HPA, 클러스터 자동 확장 처리, 노드 풀 자동 생성, 볼륨 채우기 도구 | AI 추론 서버 시작 및 모델 로드 요청 |
|
| 볼륨 포퓰레이터 | Cloud Storage의 데이터로 Hyperdisk ML 볼륨 미리 로드 | Standard 및 Autopilot 모드의 GKE | HPA, 클러스터 자동 확장 처리, 노드 풀 자동 생성, 포드 스냅샷 | GCPDataSource 리소스를 참조하는 PersistentVolumeClaim 생성 |
|
| 자동 확장 정책 | VMware 프라이빗 클라우드 클러스터에서 ESXi 호스트 추가 또는 삭제 | VMware Engine | Cloud Load Balancing | 지속적인 CPU, 메모리 또는 vSAN 스토리지 사용량 |
|
확장성 권장사항
병목 현상이나 용량 부족 없이 확장되는 인프라를 설계하려면 이 섹션의 권장사항을 컴퓨팅 용량, 네트워크 설계, 애플리케이션 아키텍처 전반에 적용하세요.
컴퓨팅 용량 및 확보 가능성 계획
수요 증가에 대비해 인프라를 준비하고 하드웨어 가용성을 개선하려면 다음 관행을 적용합니다.
워크로드 요구사항 추정: 자동 확장 처리를 구성하기 전에 기준 사용량과 최대 변동을 측정합니다. 과거 사용량을 검사하고, 수요를 예측하고, 정확한 최소 및 최대 컴퓨팅 인스턴스 한도를 설정하려면 용량 플래너를 사용합니다.
리소스 확보를 위한 설계: GPU 또는 TPU와 같은 부족한 하드웨어를 요청할 때는 다음 세 가지 차원에서 컴퓨팅 프로비저닝을 최적화합니다.
위치 유연성: 리전 MIG를 사용하여 여러 영역에 워크로드를 분산합니다.
머신 유형 유연성: MIG 인스턴스 유연성 또는 GKE 커스텀 ComputeClasses를 통해 여러 머신 시리즈를 허용합니다.
시간 유연성: 작업이 용량을 기다릴 수 있는 경우 Flex-start 프로비저닝을 사용합니다.
높은 용량 보장을 위해 예약 사용: 기준 트래픽, 최대 규모 이벤트 또는 부족한 GPU 및 TPU의 경우 용량을 미리 예약합니다. 예약을 사용하면 워크로드가 수평 확장될 때 대상 영역에서 리소스를 사용할 수 있다는 높은 수준의 보장을 얻을 수 있습니다. 단일 Slurm 작업이 하나의 예약을 초과하는 경우 여러 예약에 걸쳐 Cluster Toolkit 파티션을 확장합니다.
지연 시간에 민감한 워크로드를 위한 예비 용량 사전 준비: 갑작스러운 트래픽 급증 시 애플리케이션이 새 컴퓨팅 인스턴스가 프로비저닝될 때까지 기다릴 수 없는 경우 바로 사용할 수 있는 예비 용량을 유지합니다. GKE 용량 버퍼를 구성하여 활성 또는 대기 노드를 사전 프로비저닝하거나 Compute Engine MIG의 대기 풀을 사용하여 전체 운영체제 부팅 지연 없이 정지된 컴퓨팅 인스턴스를 재개합니다.
확장성을 고려한 네트워크 설계
지연이나 주소 소진 없이 확장된 리소스 간에 데이터를 이동하려면 다음 네트워크 관행을 적용하세요.
충분한 IP 주소 할당: 서브넷에 자동 확장 처리 한도의 최대 인스턴스 또는 노드 수에 충분한 여유 IP 주소가 있는지 확인합니다. GKE에서 포드 및 서비스의 보조 IP 범위도 확인합니다. 서브넷에 IP 주소가 부족하면 자동 확장 처리가 새 컴퓨팅 인스턴스 또는 포드를 만들 수 없습니다.
높은 처리량의 네트워크 인터페이스 선택: 노드 간에 대규모 데이터 세트 또는 모델 가중치를 전송하는 워크로드의 경우 Google 가상 네트워크 인터페이스 카드 또는 원격 직접 메모리 액세스와 같은 고대역폭 네트워크 인터페이스 컨트롤러를 선택합니다. 이러한 인터페이스는 CPU 오버헤드를 줄이고 확장된 컴퓨팅 인스턴스 간의 대역폭을 늘립니다.
인스턴스 배치 최적화: 멀티 노드 AI 학습 또는 HPC 작업의 경우 Cluster Director 및 Cluster Toolkit에서 압축 배치 정책 또는 토폴로지 인식 배치를 사용하여 물리적 서버의 컴퓨팅 인스턴스를 서로 가깝게 그룹화합니다. 물리적으로 가깝게 배치하면 확장된 노드 간의 네트워크 홉과 지연 시간이 줄어듭니다. 내결함성 웹 서비스의 경우 단일 영역 중단으로 인해 트래픽이 중단되지 않도록 컴퓨팅 인스턴스를 영역 간에 분산합니다.
확장성을 고려한 애플리케이션 설계
사용자 중단 없이 애플리케이션을 수평 확장 및 축소하려면 다음 아키텍처 관행을 적용하세요.
애플리케이션 계층을 스테이트리스(Stateless)로 유지: 사용자 세션 데이터, 체크포인트, 공유 파일을 로컬 인스턴스 디스크가 아닌 외부 스토리지 또는 데이터베이스에 저장합니다. 이 설계를 통해 자동 확장 처리는 데이터 손실 없이 언제든지 컴퓨팅 인스턴스와 포드를 추가하거나 삭제할 수 있습니다.
큐 및 마이크로서비스로 구성요소 분리: 모놀리식 워크로드를 Pub/Sub와 같은 부하 분산기 또는 메시지 큐로 연결된 독립적인 서비스로 분할합니다. 이 아키텍처를 사용하면 이벤트 기반 자동 확장 처리를 통해 각 서비스를 자체 수요에 따라 확장할 수 있으며 다운스트림 백엔드에 과부하를 주지 않고 트래픽 급증을 흡수할 수 있습니다.
컨테이너 시작 및 모델 로드 시간 단축: 리소스 생성과 트래픽 준비 사이의 지연 시간을 줄여 확장된 용량이 요청을 즉시 처리할 수 있도록 합니다. GKE에서 컨테이너 이미지를 스트리밍하거나 미리 로드하고 CPU 시작 부스트 또는 포드 스냅샷을 사용하여 런타임 초기화를 가속화합니다. AI 워크로드의 경우 Cloud Storage FUSE, Run:ai Model Streamer 또는 자동 입력된 볼륨에서 AI 모델 가중치를 스트리밍합니다.