데이터 액세스 감사 로그 비용 관리
Bigtable은 일반적으로 대규모 대용량 워크로드에 사용됩니다. 따라서 로그 볼륨을 관리하지 않을 경우 Bigtable에서 매우 많은 수의 DATA_READ 및 DATA_WRITE 로그를 생성하여 예기치 않게 높은 로그 스토리지 비용을 초래할 수 있습니다. 데이터 액세스 감사 로깅을 사용하는 경우 몇 가지 단계를 수행하여 로그 볼륨을 관리해야 합니다.
Bigtable 인증 권장사항을 따르면 대부분의 데이터 액세스 감사 로그 활동은 서비스 계정에서 생성됩니다. 서비스 계정은 애플리케이션이 Bigtable과 같은 Google Cloud서비스에 대해 인증하고 API를 호출하는 데 사용하는 계정입니다. 서비스 계정 로그를 관리하는 것이 로그 볼륨을 줄이는 데 가장 중요한 단계입니다. 다른 기준을 사용하여 로그를 제한하고자 할 수도 있습니다.
다음과 같은 방법으로 Bigtable에 대한 데이터 액세스 감사 로깅을 사용 설정할 수 있습니다.
- Google Cloud 콘솔 사용
- Cloud Logging API 사용
감사 로깅을 사용 설정한 후 다음 단계를 수행하여 로그 볼륨을 제한합니다.
서비스 계정 식별
먼저 로그가 필요하지 않은 서비스 계정을 확인합니다. 유용하지 않거나 로깅되지 않아야 하는 서비스 계정 목록은 애플리케이션 및 비즈니스 요구사항에 따라 다릅니다. Cloud Bigtable API(Data API) 권한이 있는 서비스 계정 목록을 가져오려면 조직의 IAM 정책을 검색하면 됩니다. 주 구성원 탭의 IAM 권한 Google Cloud 콘솔 페이지에서도 볼 수 있습니다.
로그 제한사항 설정
다음으로 로그 제한을 설정합니다. 서비스 계정 로그를 제한하여 Bigtable 로그 볼륨을 관리하는 방법에는 두 가지가 있습니다. 감사 구성을 사용하여 서비스 계정을 예외시키거나 로그 제외 필터를 사용하여 서비스 계정 로그를 제외할 수 있습니다. 각 방법마다 Cloud Logging API 또는 Google Cloud 콘솔을 사용할 수 있습니다.
감사 구성을 사용하여 서비스 계정 예외
감사 구성을 사용하여 서비스 계정을 예외시키는 것이 애초에 특정 로그가 생성되는 것을 방지할 수 있기 때문에 권장 방법입니다. 자세한 안내는 다음을 참조하세요.
제외 필터를 사용하여 서비스 계정 제외
제외 필터를 사용하면 로그 버킷으로 수집에서 제외할 로그를 지정할 수 있습니다. 이 방식에서는 로그가 생성된 후 삭제되므로 데이터를 제공하는 Bigtable 서비스 구성요소에 처리 로드를 계속 적용합니다. 이러한 로드로 인해 대신 감사 구성을 사용하는 것이 좋습니다.Google Cloud 콘솔 및 API를 사용하여 필터를 설정하는 방법에 대한 자세한 내용은 싱크 만들기를 참고하세요.
데이터 액세스 감사 로그 비용 추정
Bigtable은 일반적으로 대용량 워크로드에 사용되므로 매우 많은 로그를 생성할 수 있습니다. Bigtable에 데이터 액세스 감사 로깅을 사용 설정하기 전에 매월 감사 로깅에서 발생할 수 있는 Cloud 감사 로그 수집 및 스토리지 비용을 예측하고 이해해야 합니다.
데이터 액세스 감사 로깅 비용은 매달 로깅하도록 선택한 Bigtable 요청 수와 직접적으로 관련됩니다. 다음 표는 모든 데이터 요청을 로깅한다는 가정 하에 초당 평균 요청 및 로그 저장 기간을 기준으로 계산한 Cloud 감사 로그 비용의 대략적인 추정치를 보여줍니다. 이러한 추정치를 계산하는 방법에 대한 자세한 내용은 비용 계산을 참조하세요.
| 초당 평균 요청 수 | 로그 보관 시간 | 대략적인 월간 비용 |
|---|---|---|
| 1,000 | 30 | $1,197 |
| 1,000 | 90 | $1,246 |
| 10,000 | 30 | $12,195 |
| 10,000 | 90 | $12,684 |
| 100,000 | 30 | $122,177 |
| 100,000 | 90 | $124,621 |
비용 계산
다음과 같은 가정으로 시작하세요.
- 한 달은 평균적으로 약 2,628,000초입니다.
- 평균 감사 크기는 약 1KB입니다.
- 월별로 수집되는 처음 50GiB의 감사 로그에는 요금이 청구되지 않으며 이 양을 초과한 후에는 $0.50/GiB가 청구됩니다.
- 스토리지는 30일 동안 무료입니다. 이후에는 $0.01/GiB의 스토리지 요금이 청구됩니다.
이 페이지에 설명된 메서드는 모든 트래픽을 기반으로 총 추정치를 제공합니다. 프로덕션에서는 서비스 계정 로깅을 제한하는 것이 좋습니다.
월간 로그 볼륨 계산
먼저 트래픽이 평균 한 달 동안 생성하는 평균 로그 양을 추정합니다.
- 애플리케이션이 한 달 동안 Bigtable에 보내는 초당 평균 요청 수를 수집합니다.
- 클라이언트 측 측정항목을 사용하면 지난달의 평균 초당 쿼리 수(QPS)를 확인할 수 있습니다.
- Google Cloud 콘솔에서 인스턴스의 시스템 통계 페이지를 사용하려면 이를 사용하여 지난달의 초당 읽기 요청 및 쓰기 요청의 평균값을 결정한 다음 이 두 값을 함께 추가합니다.
- 초당 요청 수에 2,628,000을 곱해서 월별 평균 요청 수를 구합니다.
- 이 숫자를 10e6, 즉 1,000,000으로 나눕니다. 계산 결과가 바로 매달 생성될 수 있는 예상 월별 로그 볼륨(GB)입니다.
- 월별 로그 볼륨(GB)에 .93을 곱하여 대략적인 월별 로그 볼륨(GiB)을 구합니다.
수집 비용 계산
- 계산한 월별 로그 볼륨(GiB 단위)에서 50GiB를 뺍니다. 처음 50GiB는 무료입니다.
- 남은 로그 볼륨에 $0.50를 곱하면 월별 수집 비용을 예상할 수 있습니다.
스토리지 비용 계산
- 로그가 30일 후에 만료되도록 계획한 경우 스토리지 비용은 $0.00입니다.
- 로그를 30일 넘게 저장하면 월별 로그 볼륨에 $0.01를 곱하여 스토리지 비용을 추정할 수 있습니다. 스토리지 비용은 첫 달 후에 발생합니다.
상세 예시
초당 요청 5,000회, 90일 동안 로그 보관
이 예시에서는 초당 평균 요청 수가 5,000개이고 로그를 90일 동안 유지한다고 가정합니다. 이 페이지의 단계를 사용하여 다음 추정값을 계산합니다.
- 5,000에 2,628,000을 곱하여 매월 13,140,000,000개의 요청에 도달합니다.
- 13,140,000,000을 10e6으로 나누면 약 13,140GB의 월별 로그 볼륨이 나옵니다.
- .93과 곱하여 이 수를 GiB로 변환하면 12,220이 됩니다.
- 월별 로그 볼륨에서 50GiB를 빼면 12,170GiB가 됩니다.
- $0.50를 곱하면 수집 비용이 $6,085가 됩니다.
- 로그가 있는 첫 달의 스토리지 비용은 $0입니다.
- 두 번째 달의 로그 스토리지 비용은 12,170에 $0.01를 곱한 값 또는 약 $122입니다.
- 두 번째 달 이후에는 매달 월별 스토리지 비용은 그 두 배인 $244입니다.
- 두 번째 달 이후의 예상 데이터 액세스 감사 로깅 비용은 약 $6,329/월입니다.
방정식 형식으로 표현하면 (((((초당 요청 5,000회 * 2,628,000초)/1,000,000) * .93) - 50 GiB) * $0.50) + $122 = $6,207입니다.
이 예시에서 월간 데이터 액세스 로깅 비용은 약 월 $6,329입니다.