이 문서에서는 Managed Service for Apache Kafka가 Kafka 클러스터의 스토리지를 관리하는 방법과 클러스터에서 디스크 용량을 구성하는 방법을 설명합니다. 서비스는 클러스터를 만들 때 디스크를 자동으로 프로비저닝하지만 Kafka 워크로드에 따라 기본값보다 더 많은 디스크 용량을 할당할 수 있습니다.
개요
Managed Service for Apache Kafka는 계층화된 스토리지를 사용합니다. 계층화된 스토리지는 다음 두 스토리지 계층을 결합합니다.
- 브로커에 연결된 사전 프로비저닝된 디스크 형태의 제한된 양의 빠른 로컬 스토리지
- 사실상 무제한의 원격 스토리지 원격 스토리지는 비용이 저렴하고 사전 프로비저닝할 필요가 없습니다.
계층화된 스토리지 시스템을 사용하면 디스크 공간 부족 위험을 줄이면서 대량의 데이터를 저장할 수 있습니다. 로컬 스토리지 단독으로 사용하는 것보다 비용이 저렴할 수도 있습니다.
브로커가 메시지를 수신하면 메시지를 로컬 세그먼트 파일에 씁니다. 세그먼트 파일이 최대 크기 또는 기간에 도달하면 닫히고('롤링') 원격 저장소로 이동합니다. 언제든지 파티션당 하나의 열린 세그먼트 파일이 있으므로 로컬 저장소의 볼륨은 파티션 수와 세그먼트 파일의 최대 크기에 따라 확장됩니다. 파티션을 더 많이 처리하는 브로커에는 더 많은 로컬 저장공간이 필요합니다.
세그먼트 파일의 크기를 설정하려면 log.roll.ms 및 log.segment.bytes 브로커 구성을 설정합니다.
로그 압축을 사용 설정하면 해당 주제에 로컬 저장소만 사용됩니다.
기본 디스크 구성
기본적으로 Managed Service for Apache Kafka는 모든 브로커에 대해 vCPU당 디스크 용량을 100GiB 이상 프로비저닝합니다. 클러스터를 확장하면 서비스에서 브로커가 CPU당 100GiB 이상을 갖도록 합니다. 브로커당 vCPU 수가 감소하더라도 브로커당 디스크 용량은 감소하지 않습니다.
할당된 디스크 용량을 확인하려면 클러스터의 유효 디스크 용량을 확인하세요.
맞춤 디스크 구성
기본 디스크 구성은 대부분의 사용자에게 안전하고 비용 효율적인 로컬 스토리지를 제공합니다. 하지만 클러스터를 만들거나 업데이트할 때 맞춤 디스크 구성을 설정하여 로컬 디스크 크기를 지정할 수도 있습니다.
다음과 같은 이유로 디스크 크기를 늘릴 수 있습니다.
키 공간이 큰 로그 압축 주제에서 로그 압축을 사용 설정하면 Kafka는 각 키의 최신 메시지를 디스크에 저장합니다. 키 공간이 크면 디스크에 무기한으로 보관되는 메시지가 많아질 수 있습니다.
파티션 수가 많음 각 파티션에는 롤링된 세그먼트를 저장할 공간과 브로커가 롤링된 세그먼트 파일을 원격 저장소에 복사하는 동안 새 세그먼트 파일을 저장할 공간이 필요합니다. vCPU당 파티션이 200개를 초과하는 경우 맞춤 스토리지 구성을 설정하는 것이 좋습니다.
높은 부하 브로커에 과부하가 걸리면 롤링된 파일을 원격 스토리지로 충분히 빠르게 이동할 디스크 용량이 부족할 수 있으므로 로컬 스토리지가 더 필요할 수 있습니다.
디스크 공간 부족 오류 브로커의 디스크 공간이 부족한 경우 디스크 용량을 늘려 클러스터를 작동시킬 수 있습니다.
자세한 내용은 필요한 디스크 크기 추정을 참고하세요.
디스크 구성 요구사항
커스텀 디스크 구성은 다음 요구사항을 충족해야 합니다.
브로커당 디스크 크기는 각 브로커의 vCPU 수에 100GiB를 곱한 값 이상이어야 합니다.
예를 들어 vCPU가 6개이고 브로커가 3개인 클러스터에는 브로커당 200GiB 이상이 필요합니다.
브로커당 디스크 크기는 32,768GiB (32TiB)를 초과할 수 없습니다.
브로커당 디스크 크기는 줄일 수 없습니다. 클러스터를 업데이트하는 경우 새 디스크 크기는 현재 유효 디스크 용량 이상이어야 합니다.
클러스터를 스케일 업하는 경우 새 브로커가 추가될 수 있다는 점을 고려하여 업데이트된 vCPU 수와 디스크 크기가 이전 요구사항을 충족해야 합니다. 브로커 수를 계산하려면 클러스터 확장을 참고하세요.
예를 들어 브로커당 vCPU 3개와 디스크 200GiB가 있는 클러스터가 있다고 가정해 보겠습니다. 클러스터를 vCPU 9개로 확장하면 최소 디스크 크기는 300GiB (vCPU 9개 / 브로커 3개 × 100GiB)입니다. 이 요구사항을 충족하려면 동일한 업데이트 요청에서 vCPU 수와 함께 디스크 크기를 설정해야 합니다.
맞춤 디스크 구성 설정
클러스터를 만들 때 또는 기존 클러스터를 업데이트하여 맞춤 디스크 구성을 설정할 수 있습니다. 이 구성은 클러스터의 모든 브로커에 적용됩니다.
콘솔
Kafka 클러스터 만들기 또는 Kafka 클러스터 수정 페이지에서 다음 단계를 수행합니다.
용량 구성에서 맞춤 로컬 스토리지 크기 사용 설정 전환 버튼을 클릭하여 사용 위치로 전환합니다.
맞춤 로컬 스토리지 필드에 브로커당 디스크 크기를 GiB 단위로 입력합니다. 값이 디스크 구성 요구사항을 충족해야 합니다. 그렇지 않으면 오류가 발생합니다.
저장을 클릭합니다.
gcloud
gcloud managed-kafka clusters create 또는 gcloud managed-kafka clusters update 명령어에 --broker-disk-size-gib 플래그를 지정합니다.
클러스터 만들기:
gcloud managed-kafka clusters create CLUSTER_ID \
--location=LOCATION \
--broker-disk-size-gib=DISK_SIZE
# Other configruration flags
...
클러스터 업데이트:
gcloud managed-kafka clusters update CLUSTER_ID \
--location=LOCATION \
--broker-disk-size-gib=DISK_SIZE
다음을 바꿉니다.
- CLUSTER_ID: 클러스터의 이름
- LOCATION: 클러스터의 위치입니다.
- DISK_SIZE: 브로커당 디스크 크기(GiB)입니다. 이 값은 디스크 구성 요구사항을 충족해야 합니다. 그렇지 않으면 오류가 발생합니다.
Kafka 클러스터 생성 및 업데이트에 대한 자세한 내용은 다음 문서를 참고하세요.
맞춤 디스크 구성 보기
Managed Service for Apache Kafka 클러스터에서 맞춤 디스크 구성을 보려면 다음 단계를 수행하세요.
콘솔
Google Cloud 콘솔에서 클러스터 페이지로 이동합니다.
클러스터 목록에서 보려는 클러스터를 클릭합니다.
구성 탭을 선택합니다.
용량에서 클러스터에 맞춤 디스크 구성이 있는 경우 맞춤 로컬 스토리지 행에 브로커당 디스크 크기가 표시됩니다. 그렇지 않으면 행에
Disabled가 표시됩니다.
gcloud
gcloud managed-kafka clusters describe 명령어를 실행합니다.
gcloud managed-kafka clusters describe CLUSTER_ID \
--location=LOCATION
다음을 바꿉니다.
- CLUSTER_ID: 클러스터의 이름
- LOCATION: 클러스터의 위치입니다.
반환된 클러스터 설명에서 brokerCapacityConfig 필드는 다음 구성을 보여줍니다.
brokerCapacityConfig:
diskSizeGib: '3000'
맞춤 디스크 구성을 설정하지 않은 경우 이 필드는 비어 있습니다.
brokerCapacityConfig: {}
유효 디스크 용량 보기
클러스터의 유효 디스크 용량은 브로커당 프로비저닝된 디스크 공간입니다. 클러스터의 유효 디스크 용량을 보려면 --full 플래그와 함께 gcloud managed-kafka clusters describe 명령어를 실행합니다.
콘솔
Google Cloud 콘솔에서 클러스터 페이지로 이동합니다.
클러스터 목록에서 보려는 클러스터를 클릭합니다.
구성 탭을 선택합니다.
용량에서 유효 로컬 스토리지 행은 브로커당 디스크 크기를 보여줍니다.
gcloud
gcloud managed-kafka clusters describe CLUSTER_ID --full \
--location=LOCATION
다음을 바꿉니다.
- CLUSTER_ID: 클러스터의 이름
- LOCATION: 클러스터의 위치입니다.
반환된 클러스터 설명에서 effectiveCapacityConfig 필드에는 브로커당 디스크 크기와 브로커 수가 포함됩니다.
effectiveCapacityConfig:
brokerCount: '3'
brokerDiskSizeGib: '1024'
총 디스크 용량은 brokerCount × brokerDiskSizeGib과 같습니다.
가격 책정
클러스터에서 기본 디스크 구성을 사용하는 경우 브로커당 실제 디스크 크기가 이 값을 초과할 수 있지만 클러스터 vCPU당 100GiB에 대한 요금이 청구됩니다.
클러스터에서 맞춤 디스크 구성을 설정하면 모든 브로커의 실제 디스크 크기에 대한 요금이 청구됩니다.