이 문서에는 Knowledge Catalog (이전 명칭: Dataplex Universal Catalog)에 적용되는 할당량이 나열되어 있습니다.
Google Cloud 는 공정성을 보장하고 리소스 사용 및 가용성의 급증을 줄이기 위해 할당량을 사용합니다. 할당량은 Google Cloud 프로젝트에서 사용할 수 있는Google Cloud 리소스 양을 제한합니다. 할당량은 하드웨어, 소프트웨어, 네트워크 구성요소를 포함하여 다양한 리소스 유형에 적용됩니다. 예를 들어 할당량에 따라 서비스에 대한 API 호출 수, 프로젝트에서 동시에 사용하는 부하 분산기 수, 만들 수 있는 프로젝트 수가 제한될 수 있습니다. 할당량은 서비스 과부하를 방지하여Google Cloud 사용자 커뮤니티를 보호합니다. 또한 할당량은 자체 Google Cloud 리소스를 관리하는 데 도움이 됩니다.
Cloud Quotas 시스템은 다음을 수행합니다.
- Google Cloud 제품 및 서비스 소비량 모니터링
- 리소스 소비 제한
- 할당량값 변경을 요청하고 할당량 조정을 자동화하는 방법 제공
대부분의 경우 할당량이 허용하는 것보다 더 많은 리소스를 소비하려고 하면 시스템에서 리소스에 대한 액세스를 차단하고 수행하려는 작업이 실패합니다.
할당량은 일반적으로 Google Cloud 프로젝트 수준에서 적용됩니다. 한 프로젝트의 리소스를 사용해도 다른 프로젝트에서 사용 가능한 할당량에는 영향을 미치지 않습니다. Google Cloud 프로젝트 내에서 할당량은 모든 애플리케이션과 IP 주소에 공유됩니다.
자세한 내용은 Cloud Quotas 개요를 참고하세요.
Knowledge Catalog 리소스에도 시스템 한도가 있습니다. 한도는 변경할 수 없습니다.
Knowledge Catalog는 일정 기간의 API 요청 수와 프로젝트에서 만들 수 있는 리소스 수에 할당량을 적용합니다. 할당량은 예기치 않은 사용량 급증과 서비스 과부하를 방지합니다. 할당량이 적용되는 이유를 자세히 알아보세요.
Knowledge Catalog를 많이 사용할수록 할당량을 늘려야 할 수 있습니다. 할당량이 필요한 양보다 적거나 향후 사용량 증가가 예상된다면 미리 할당량 상향을 요청할 수 있습니다.
API 요청 유형 이해하기
리소스 관리, 메타데이터, 작업, 데이터 스캔과 같은 다양한 Knowledge Catalog 기능의 API 요청은 서비스 사용량과 보호를 관리하기 위해 일반 버킷으로 분류됩니다.
읽기 요청
읽기 요청은 구성이나 상태를 수정하지 않고 기존 리소스, 메타데이터 또는 실행 기록에 관한 정보를 가져오도록 설계된 작업입니다. 이러한 작업은 변경되지 않으며 새 처리 작업을 트리거하지 않습니다.
읽기 요청 작업에는 Get, List, Describe이 포함됩니다. 예를 들어 데이터 스캔의 정의 또는 스캔 작업의 상태를 보는 것은 읽기 요청입니다.
쓰기 요청
쓰기 요청에는 리소스 정의를 생성, 업데이트 또는 삭제하는 모든 작업과 보안 정책을 수정하는 작업이 포함됩니다. 환경의 상태를 변경하는 작업입니다.
쓰기 요청 작업에는 Create, Update, Delete, Cancel, SetIamPolicy이 포함됩니다. 예를 들어 데이터 품질 스캔을 구성하거나 기존 데이터 프로필 스캔을 업데이트하는 것은 쓰기 요청입니다.
요청 실행
실행 요청은 사전 구성된 리소스의 활성 실행을 트리거하는 것을 구체적으로 나타냅니다. 쓰기 요청 (반복 일정을 만들 수 있음)과 달리 실행 요청은 구성된 로직의 주문형 실행에 자주 사용됩니다.
예를 들어 데이터 스캔 실행을 수동으로 시작하는 것은 실행 요청입니다.
Dataplex API 요청 할당량
Dataplex API는 출처와 관계없이 다양한 수준에서 Knowledge Catalog 리소스 관리 및 검색 요청에 할당량을 적용합니다. 여기에는 API 호출에서 직접 발생하는 요청, 클라이언트 라이브러리, Google Cloud CLI, Google Cloud 콘솔이 포함됩니다.
Knowledge Catalog 요청에 적용되는 할당량은 다음과 같습니다.
| 할당량 | 기본값 |
|---|---|
| 프로젝트별 리전별 분당 항목 및 관점 읽기 요청 수 | 6000 |
| 프로젝트별 리전별 분당 항목 및 관점 쓰기 요청 수 | 1500 |
| 프로젝트별 사용자별 분당 관점 유형, 항목 유형, 항목 그룹 읽기 요청 수 | 100 |
| 프로젝트별 분당 관점 유형, 항목 유형, 항목 그룹 읽기 요청 수 | 200 |
| 프로젝트별 사용자별 분당 관점 유형, 항목 유형, 항목 그룹 쓰기 요청 수 | 10 |
| 프로젝트별 분당 관점 유형, 항목 유형, 항목 그룹 쓰기 요청 수 | 20 |
| 프로젝트별 사용자별 분당 검색 요청 수 | 900 |
| 프로젝트별 분당 검색 요청 수 | 1200 |
| 조직별 분당 검색 요청 수 | 2400 |
| 조직별 일일 검색 요청 수 | 345600 |
| 프로젝트별 리전별 분당 메타데이터 작업 읽기 요청 수 | 400 |
| 프로젝트별 사용자별 리전별 분당 메타데이터 작업 읽기 요청 수 | 200 |
| 프로젝트별 리전별 분당 메타데이터 작업 쓰기 요청 수 | 20 |
| 프로젝트별 사용자별 리전별 분당 메타데이터 작업 쓰기 요청 수 | 10 |
| 프로젝트별 리전별 분당 데이터 스캔 읽기 요청 수 | 1200 |
| 프로젝트별 사용자별 리전별 분당 데이터 스캔 읽기 요청 수 | 600 |
| 프로젝트별 리전별 분당 데이터 스캔 쓰기 요청 수 | 200 |
| 프로젝트별 사용자별 리전별 분당 데이터 스캔 쓰기 요청 수 | 100 |
| 프로젝트별 리전별 분당 데이터 스캔 실행 요청 수 | 60 |
| 프로젝트별 사용자별 리전별 분당 데이터 스캔 실행 요청 수 | 30 |
| 프로젝트별 BigQuery 객체 테이블의 비정형 데이터에 대한 데이터 프로필 스캔의 일일 총 실행 횟수 | 140 |
| 조직별 일일 메타데이터 내보내기 작업에서 내보낸 메타데이터 양 | 10GB |
|
조직별 일일 메타데이터 내보내기 작업에서 내보내기를 위해 스캔하는 메타데이터 양 이 할당량은 메타데이터 내보내기 작업 범위에 포함된 조직, 프로젝트 또는 항목 그룹에 있는 메타데이터 총 볼륨을 평가합니다. |
100GB |
다음 표에 나열된 모든 Knowledge Catalog 요청의 경우 프로젝트별 수준과 프로젝트별 사용자당 수준에서 모두 할당량이 적용됩니다.
| 할당량 | 예시 |
|---|---|
| 리소스 관리 읽기 요청 수 | 레이크 가져오기, 영역 나열 |
| 리소스 관리 쓰기 요청 수 | 레이크 만들기, 애셋 삭제 |
| 메타데이터 가져오기 요청 수 | 항목 가져오기, 파티션 가져오기 |
| 메타데이터 나열 요청 수 | 항목 나열, 파티션 나열 |
| 메타데이터 쓰기 요청 수 | 항목 업데이트, 파티션 삭제 |
| 태스크 및 작업 리소스 읽기 요청 수 | 태스크 가져오기, 작업 나열 |
| 태스크 및 작업 리소스 쓰기 요청 수 | 태스크 만들기, 작업 취소 |
| IAM 정책 설정 요청 수 | IAM 정책 설정 |
Data Lineage API 요청 할당량
Data Lineage API는 다음에 할당량을 적용합니다.
- 데이터만 반환하는 읽기 요청 수
- 데이터를 만들거나 변경하는 쓰기 요청 수
- OpenLineage 만들기
데이터 계보 요청에는 다음 할당량이 적용됩니다.
| 할당량 | 기본값 |
|---|---|
| 프로젝트별 사용자별 리전별 분당 읽기 요청 수 | 1000 |
| 프로젝트별 사용자별 리전별 분당 쓰기 요청 수 | 6000 |
| 프로젝트별 사용자별 리전별 분당 계보 열기 요청 수 | 3000 |
데이터 제품 API 요청 할당량
Dataplex API는 데이터 제품 및 데이터 애셋의 메타데이터 작업 및 수명 주기 요청에 속도 제한을 적용합니다. 이러한 한도는 요청이 Google Cloud 콘솔, Google Cloud CLI, 클라이언트 라이브러리 또는 직접 API 호출에서 시작되는지 여부에 관계없이 적용됩니다.
데이터 제품 및 데이터 애셋 요청에는 다음 할당량이 적용됩니다.
| 할당량 | 기본값 |
|---|---|
| 프로젝트별 리전별 분당 데이터 제품 읽기 요청 수 | 500 |
| 프로젝트별 사용자별 리전별 분당 데이터 제품 읽기 요청 수 | 250 |
| 프로젝트별 리전별 분당 데이터 제품 생성 및 삭제 요청 수 | 250 |
| 프로젝트별 사용자별 리전별 분당 데이터 제품 생성 및 삭제 요청 수 | 125 |
| 프로젝트별 분당 데이터 제품 업데이트 요청 수 | 10 |
| 프로젝트별 사용자별 분당 데이터 제품 업데이트 요청 수 | 5 |
| 프로젝트별 리전별 분당 데이터 애셋 읽기 요청 수 | 500 |
| 프로젝트별 사용자별 리전별 분당 데이터 애셋 읽기 요청 수 | 250 |
| 프로젝트별 리전별 분당 데이터 애셋 쓰기 요청 수 | 30 |
| 프로젝트별 사용자별 리전별 분당 데이터 애셋 쓰기 요청 수 | 15 |
리소스 할당량
레이크, 영역, 애셋, 주문형 태스크, 반복 태스크 리소스 유형의 경우 리소스 할당량이 프로젝트별 수준으로 적용됩니다. Google Cloud 콘솔의 할당량 페이지에서 Knowledge Catalog 할당량의 현재 사용량을 확인할 수 있습니다.
할당량 상향 조정 요청
Google Cloud 콘솔에서 할당량 페이지로 이동합니다.
수정할 할당량을 선택합니다.
작업 더보기 > 할당량 수정을 클릭합니다.
새 할당량 값과 요청 설명을 입력합니다.
다음을 클릭합니다.
연락처 정보를 입력합니다.
요청 제출을 클릭합니다.
대부분의 할당량을 조정하려면 Google Cloud 콘솔을 사용합니다. 자세한 내용은 할당량 조정 요청을 참조하세요.
할당량 종속 항목
Knowledge Catalog 사용량에 다른 Google Cloud 제품이 포함될 수 있습니다. 예를 들어 데이터를 탐색하려면 Cloud Storage 또는 BigQuery API를 호출하여 기본 리소스와 상호작용해야 합니다. 이러한 제품에는 Knowledge Catalog 사용에 적용되는 할당량이 포함되어 있으며, 프로젝트 수준으로 적용됩니다.
Knowledge Catalog와 함께 사용할 수 있는 다른 제품의 할당량 페이지는 다음과 같습니다.
이 목록은 일부일 뿐 모든 내용을 포함하지는 않습니다.
한도
Knowledge Catalog에는 다음 한도가 적용됩니다.
| 한도 | 값 |
|---|---|
| 항목 및 관점 요청 크기(스키마 관점 포함) | 2MB |
| 항목 ID 길이 | 4,000자(영문 기준) |
| 항목의 정규화된 이름 길이 | 4,000자(영문 기준) |
| 항목의 항목 소스 표시 이름 길이 | 500자(영문 기준) |
| 항목의 항목 소스 설명 길이 | 2,000자(영문 기준) |
| 항목의 항목 소스 리소스 길이 | 4,000자(영문 기준) |
| 항목의 항목 소스 시스템 길이 | 64자(영문 기준) |
| 항목의 항목 소스 플랫폼 길이 | 64자(영문 기준) |
| 항목의 항목 소스 라벨 길이 | 키 및 값당 128자(영문 기준) |
| 관점의 JSON 콘텐츠 크기 (스키마 및 데이터 프로필 관점 제외) | 120KB |
| 데이터 프로필 관점의 JSON 콘텐츠 크기 | 1MB |
| 총 항목 크기 | 5MB |
| 항목의 최대 관점 수 | 10,000 |
| 항목 유형, 관점 유형, 항목 그룹의 표시 이름 길이 | 256 |
| 항목 유형, 관점 유형, 항목 그룹의 설명 길이 | 1024 |
| 관점 유형 템플릿의 필드 이름 길이 | 63 |
| 항목 유형의 최대 필수 관점 유형 수 | 20 |
| 관점 유형 템플릿의 최대 enum 값 수 | 1024 |
| Knowledge Catalog 검색 결과의 최대 항목 수 | 500 ( Google Cloud 콘솔 또는 API 사용 시 semanticSearch=false의 키워드 전용 검색 모드)100 (기타 모든 검색 사례) |
| 리전별 프로젝트당 최대 데이터 스캔 수 | 1000 |
| 리전별 프로젝트당 최대 데이터 제품 수 | 200 |
| 데이터 제품당 최대 데이터 애셋 수 | 50 |