경계 없는 레이크하우스의 할당량 및 시스템 한도

경계 없는 레이크하우스 리소스에는 리소스 소비를 제어하고 서비스 안정성을 유지하는 데 도움이 되는 구성 가능한 할당량과 고정된 시스템 한도가 있습니다. 할당량은 상향을 요청하거나 할당량 조정자를 사용하여 조정할 수 있는 기준 할당을 설정하는 반면, 시스템 한도는 변경할 수 없는 고정된 운영 기준점입니다.

Google Cloud 프로젝트 수준에서 할당량이 작동하는 방식과 사용량을 추적하는 방법은 Cloud 할당량 개요를 참조하세요.

할당량 및 시스템 한도 측정항목 이름 가져오기

할당량 및 시스템 한도에는 표시 이름과 측정항목 이름이라는 두 가지 유형의 이름이 있습니다. 표시 이름에는 공백과 대문자가 있어 사람이 더 쉽게 읽을 수 있습니다. 측정항목 이름은 소문자일 가능성이 높으며 공백 대신 밑줄로 구분됩니다. 정확한 형식은 서비스에 따라 다릅니다.

다음 안내에서는 Google Cloud 콘솔 또는 Google Cloud CLI를 사용하여 할당량 및 시스템 한도의 측정항목 이름을 가져오는 방법을 보여줍니다.

콘솔

  1. Google Cloud 콘솔에서 Identity and Access Management (IAM) 및 관리자 > 할당량 및 시스템 한도 페이지로 이동합니다.

    할당량 및 시스템 한도로 이동

    이 페이지의 표에는 사용량이 있거나 값이 조정된 할당량 및 시스템 한도와 다른 할당량의 참조 항목이 표시됩니다. 참조 항목에는 이름 열의 목록 끝에 괄호로 묶인 '기본값' 단어가 있습니다. 예를 들어 SetIAM Policy requests per minute per region (default)는 SetIamPolicyRequestsPerMinutePerProject 할당량의 참조 항목입니다.

  2. 측정항목 열이 표시되지 않으면 다음 단계를 수행합니다.

    1. 열 표시 옵션을 클릭합니다.
    2. 측정항목을 선택합니다.
    3. 확인을 클릭합니다. 테이블에 측정항목 열이 표시됩니다.

    측정항목 열에 측정항목 이름이 표시됩니다. 결과를 필터링하려면 필터 옆에 있는 필드에 속성 이름이나 값을 입력합니다.

gcloud

gcloud CLI를 사용하여 서비스의 측정항목 이름을 가져오려면 quotas info list 명령어를 실행합니다. 측정항목 이름을 나열하지 않는 줄을 건너뛰려면 출력을 metric:를 검색어로 사용하는 grep와 같은 명령어에 전달하거나 gcloud CLI --format 플래그를 사용합니다.

gcloud quotas info list --project=PROJECT_ID_OR_NUMBER \
    --service=SERVICE_NAME --format="value(metric)"

다음을 바꿉니다.

  • PROJECT_ID_OR_NUMBER: 프로젝트 ID 또는 프로젝트 번호
  • SERVICE_NAME: 할당량 측정항목을 확인할 서비스의 이름. 예를 들어 Compute Engine의 서비스 이름은 compute.googleapis.com입니다. 서비스 이름의 googleapis.com 부분을 포함합니다.

할당량 상향 조정 요청

대부분의 할당량을 조정하려면 Google Cloud 콘솔을 사용합니다. 자세한 내용은 할당량 조정 요청을 참조하세요.

할당량

레이크하우스에는 다음 할당량이 적용됩니다.

Lakehouse 런타임 카탈로그

Lakehouse 런타임 카탈로그에는 다음 한도가 적용됩니다.

한도 기본값 참고
일일 테이블 수정 수정 1,500회

프로젝트에서 테이블당 하루에 최대 1,500개의 테이블 수정을 수행할 수 있습니다. 테이블 데이터를 추가하거나 덮어쓰는 로드 작업, 복사 작업 또는 쿼리 작업은 테이블에 대한 수정사항 하나로 간주됩니다. 이 한도는 변경할 수 없습니다.

DML 문은 제외되며 일일 테이블 수정 횟수에 포함되지 않습니다.

스트리밍 데이터는 제외되며 일일 테이블 수정 횟수에 포함되지 않습니다.

테이블당 최대 테이블 메타데이터 업데이트 작업 속도 10초당 작업 5개 프로젝트에서 10초마다 테이블당 최대 5개의 테이블 메타데이터 업데이트 작업을 수행할 수 있습니다. 이 한도는 다음에서 수행되는 모든 테이블 메타데이터 업데이트 작업에 적용됩니다. 이 한도에는 대상 테이블에 데이터를 추가하거나 덮어쓰거나 DML DELETE, INSERT, MERGE, TRUNCATE TABLE, 또는 UPDATE 문을 사용하여 테이블에 데이터를 쓰는 모든 로드 작업, 복사 작업 및 쿼리 작업의 합계도 포함됩니다. DML 문은 이러한 제한에 포함되지만 제한에 도달하더라도 차단되지 않습니다. DML 작업에는 전용 비율 제한이 있습니다.

이 한도를 초과하면 Exceeded rate limits: too many table update operations for this table과 같은 오류 메시지가 표시됩니다. 일시적인 오류이므로 지수 백오프로 다시 시도할 수 있습니다.

이 한도로 집계되는 작업을 식별하려면 로그를 검사하면 됩니다. 이 오류를 진단 및 해결하기 위한 안내는 할당량 오류 문제 해결을 참조하세요.

테이블당 최대 열 수 열 10,000개 각 테이블, 쿼리 결과 또는 뷰 정의에 최대 10,000개의 열을 포함할 수 있습니다. 여기에는 중첩 및 반복 열이 포함됩니다.

크로스 클라우드 데이터 액세스

할당량 값
제휴 카탈로그의 최대 네임스페이스 총 개수 네임스페이스 100개
제휴 카탈로그의 네임스페이스당 최대 테이블 수 네임스페이스당 테이블 300개
제휴 카탈로그의 최대 총 테이블 수 테이블 10,000개
제휴 카탈로그의 최대 네임스페이스 필터 수 네임스페이스 필터 16개

시스템 제한

다음 표에는 Lakehouse에 적용되는 시스템 한도와 각 시스템 한도의 값이 나와 있습니다.

시스템 한도 값
탐색 스캔에서 지원하는 Cloud Storage 버킷당 Lakehouse에서 관리하는 최대 Apache Iceberg 테이블 수 버킷당 테이블 1,000개