Knowledge Catalog 통계 보기
메타데이터를 저장, 관리, 액세스할 수 있는 플랫폼인 Knowledge Catalog를 사용하여 Firestore 리소스를 검색하고 관리할 수 있습니다. Knowledge Catalog를 사용하여 Firestore 메타데이터를 분석하고 다음과 같은 작업을 지원할 수 있습니다.
- 사용 사례의 종속 항목과 적합성 등의 분석
- 변경 관리
- 스키마 개선
Knowledge Catalog는 신규 및 기존 Firestore 데이터베이스에서 기본적으로 사용 설정되며 다음 메타데이터를 자동으로 가져옵니다.
| 리소스 | 유형 | 필드 |
|---|---|---|
| 데이터베이스 | 컨트롤 플레인 |
|
| 데이터베이스 스키마 | 데이터 영역 |
|
시작하기 전에
Firestore에서 Knowledge Catalog 통계를 사용하려면 먼저 Firestore 데이터베이스가 있어야 합니다. 자세한 내용은, 데이터베이스 만들기 및 관리를 참조하세요.
검색 결과에 액세스하는 데 필요한 역할
Knowledge Catalog에서 Firestore 메타데이터를 검색하고 보려면 주 구성원에게 dataplex.projects.search 권한을 포함한 Firestore 리소스를 볼 수 있는 권한이 있어야 합니다.
사용자,
그룹 또는 서비스 계정과 같은 주 구성원에게 이러한 권한을 부여하려면 Firestore 리소스가 포함된 프로젝트에 대한
Cloud Datastore 뷰어 (roles/datastore.viewer)
IAM 역할을 할당합니다.
| Knowledge Catalog 작업 | Firestore 리소스 | 필요한 역할이나 권한 |
|---|---|---|
| Firestore 리소스 검색 | 데이터베이스 | datastore.databases.getMetadata |
| 데이터베이스 스키마 | datastore.schemas.get |
역할 부여에 대한 자세한 내용은 액세스 관리를 참조하세요. Firestore IAM 역할에 대한 자세한 내용은 Firestore 역할 및 권한을 참조하세요.
항목 검색에 필요한 역할
항목을 검색하려면 검색에 사용되는 프로젝트에 대한 다음 IAM 역할이 최소 하나 이상 필요합니다.
- Dataplex Catalog 관리자(
roles/dataplex.catalogAdmin) - Dataplex Catalog 편집자(
roles/dataplex.catalogEditor) - Dataplex Catalog 뷰어(
roles/dataplex.catalogViewer)
검색 결과에 대한 권한은 선택한 프로젝트와는 별도로 확인됩니다. 자세한 내용은 Knowledge Catalog로 데이터 애셋 검색을 참조하세요.
메타데이터 탐색 유형
Knowledge Catalog 메타데이터 탐색은 연결된 데이터 소스(예: Firestore)를 스캔하여 데이터 애셋(예: 컬렉션 및 데이터베이스)을 식별하고 스키마, 설명, 위치와 같은 기술 메타데이터를 Knowledge Catalog 카탈로그로 추출하는 자동화된 프로세스입니다. 이 프로세스는 카탈로그가 소스 시스템과 동기화된 상태로 유지되도록 주기적으로 실행됩니다.
키워드 및 자연어 검색
Knowledge Catalog에서는 키워드 검색과 자연어 검색을 지원합니다.
- 키워드 검색을 사용하면 특정 키워드, 필터, 정의된 구문을 사용하여 리소스를 찾을 수 있습니다. 예를 들어
system=Firestore AND type=Database를 입력하여 모든 Firestore 데이터베이스를 볼 수 있습니다. - 자연어 검색 (프리뷰)은 AI를 사용하여 시맨틱 쿼리를 이해합니다. 일상적인 언어를 사용하여 리소스를 찾을 수 있으므로 복잡한 구문이 필요 없습니다. 예를 들어
List all Firestore databases related to sales와 같은 쿼리를 입력할 수 있습니다.
자세한 내용은 Knowledge Catalog 검색 구문을 참조하세요.
예시: Firestore 컬렉션 그룹 스키마 탐색
메타데이터 탐색 프로세스를 이해하기 위해 user-firestore-database라는 Firestore 데이터베이스를 가정해 보겠습니다. 이 데이터베이스에는 user-schema라는 컬렉션 그룹 스키마가 있습니다.
탐색이 완료되면 콘솔의 Knowledge Catalog 페이지에서 또는 Knowledge Catalog API를 사용하여 이러한 애셋(user-firestore-database
및 user-schema)을 검색할 수 있습니다.Google Cloud
그런 다음 애셋에 대한 세부정보를 보고 추가 비즈니스 또는 운영 메타데이터로 보강할 수 있습니다.
관점을 사용하여 메타데이터 보강
관점 유형은 관점 템플릿으로 사용할 수 있는 재사용 가능한 리소스입니다. 관점 유형을 사용하면 작업과 불완전한 관점의 중복을 방지할 수 있습니다. Knowledge Catalog를 사용하여 필요한 관점 유형을 만들 수 있습니다.
커스텀 관점 유형을 만든 후 관점을 Firestore 리소스에 연결할 수 있습니다. 관점을 리소스에 연결하면 다음 작업을 수행할 수 있습니다.
- 애셋에 비즈니스 메타데이터 추가
- 비즈니스 메타데이터 및 기타 커스텀 메타데이터별로 애셋 검색
관점 유형을 만들고 관점을 Firestore에 연결하는 방법에 대한 자세한 내용은 관점 관리 및 메타데이터 보강을 참조하세요.
Firestore 애셋 검색
콘솔의 Knowledge Catalog 검색 페이지를 사용하여 Firestore 애셋을 검색합니다. Google Cloud
Knowledge Catalog 검색 페이지로 이동합니다.
필터 패널에서 시스템을 클릭한 후 Firestore를 선택합니다.
선택사항입니다. 유형 별칭에서 다음 유형 별칭 중 하나 이상을 선택하여 특정 유형의 Firestore 애셋으로 검색 결과를 필터링할 수 있습니다.
- 데이터베이스
- 데이터베이스 스키마
- 기타
쿼리를 사용하여 키워드 검색 수행
Knowledge Catalog의 검색창을 사용하여 키워드 검색어를 수행할 수 있습니다. 예를 들어 system=Firestore AND type=Database를 입력하여 모든 Firestore 데이터베이스를 볼 수 있습니다.
자세한 내용은 Knowledge Catalog 검색 구문을 참조하세요.
모든 Firestore 애셋을 보려면 system=Firestore를 입력합니다. 구체적인 키워드를 입력할 수 있습니다. 예를 들어 모든 Firestore 데이터베이스를 보려면 다음 명령어를 실행합니다.
system=Firestore AND type=Database
또한 복잡한 표현식에 괄호 및 논리 연산자 AND와 OR을 사용할 수도 있습니다. 검색 필드에서 사용할 수 있는 표현식에 대한 자세한 내용은 Knowledge Catalog 검색 구문을 참조하세요.
특정 Firestore 애셋에 대한 검색어를 검색창에 직접 입력할 수 있습니다. 쿼리 문자열 형식은 다음과 같습니다.
type="projects/dataplex-types/locations/global/entryTypes/QUERY_STRING"
다음을 바꿉니다.
QUERY_STRING: 다음 목록을 사용하여 쿼리할 Firestore 애셋 유형에 따라 쿼리 문자열을 식별합니다.firestore-databasefirestore-schema
예시 쿼리는 다음과 같습니다.
type="projects/1234567890/locations/global/entryTypes/firestore-schema"
관점 유형별로 검색
Knowledge Catalog에는 검색을 수행하는 데 사용할 수 있는 몇 가지 관점 유형이 기본 제공됩니다.
관점 유형별로 검색하려면 다음 단계를 수행합니다.
- 관점 패널에서 관점 유형 추가 메뉴를 클릭합니다.
Firestore를 입력한 후 다음 관점 유형 중에서 하나 이상을 선택하여 검색 결과를 해당 유형으로 제한합니다.- Firestore 데이터베이스
- Firestore 스키마
- 확인 을 클릭합니다.
- 결과 테이블에서 애셋 이름을 클릭하여 해당 애셋의 메타데이터를 봅니다.
- 선택사항: 애셋을 개선하거나 봅니다. 다음 중 원하는 작업을 수행할 수 있습니다.
- 애셋에 대한 서식 있는 텍스트 설명을 추가하려면 개요에서 추가를 클릭합니다.
- 관점을 애셋에 연결하려면 관점에서 추가를 클릭합니다.
- 인스턴스의 구성원 데이터베이스를 보려면 항목 목록 탭을 클릭한 후 검색에 하위 항목 모두 표시 를 클릭합니다.
- 항목 세부정보에서 애셋의 전체 세부정보를 봅니다. 항목 이름을 클릭하여 추가 항목으로 드릴다운합니다.
Firestore에서 자연어 검색
자연어 검색 (프리뷰)은 AI를 사용하여 시맨틱 쿼리를 이해합니다. 일상적인 언어를 사용하여 리소스를 찾을 수 있으므로 복잡한 구문이 필요 없습니다. 예를 들어 List all Firestore collections related to sales와 같은 쿼리를 입력할 수 있습니다.
자세한 내용은 Knowledge Catalog 검색 구문을 참조하세요.
Firestore에서 구문 검색
키워드 검색을 사용하면 특정 키워드, 필터, 정의된 구문을 사용하여 리소스를 찾을 수 있습니다. 예를 들어 system=Firestore AND type=Database를 입력하여 모든 Firestore 데이터베이스를 볼 수 있습니다.
자세한 내용은 Knowledge Catalog 검색 구문을 참조하세요.
워크플로 예시: 데이터베이스에서 스키마로 드릴다운
데이터베이스에서 스키마로 드릴다운하려면 다음 단계를 따르세요.
Knowledge Catalog 검색 페이지로 이동합니다.
필터 패널에서 시스템을 선택한 후 Firestore를 선택합니다. 또는 검색창에
system=Firestore를 입력합니다.데이터베이스를 선택합니다.
Firestore 세부정보 페이지에서 항목 목록 탭을 클릭한 후 검색에 하위 항목 모두 표시 를 클릭합니다.
Firestore 데이터베이스 세부정보 페이지에서 항목 목록 탭을 클릭한 후 검색에 하위 항목 모두 표시 를 클릭합니다. Knowledge Catalog에서 데이터베이스의 컬렉션 그룹을 표시합니다.
컬렉션 그룹 이름을 선택한 후 컬렉션 그룹 세부정보 페이지에서 스키마 를 클릭하여 스키마를 봅니다.
선택사항: 관점 유형을 데이터베이스에 추가하려면 관점 추가 버튼을 클릭합니다.
가격 책정
Knowledge Catalog에 Firestore 기술 메타데이터를 저장하는 데는 요금이 청구되지 않습니다. 표준 Knowledge Catalog 가격 책정은 API 호출 및 추가 비즈니스 메타데이터 보강에 적용됩니다. 자세한 내용은 Knowledge Catalog 가격 책정 페이지를 참조하세요.
제한사항
- 컬렉션 그룹 10,000개가 수집된 후 쿼리 결과가 잘립니다.
- 일괄 수집 중에 데이터베이스 업데이트가 Knowledge Catalog에 반영되는 데 최대 48시간이 걸릴 수 있습니다.
- 실시간 수집 중에 데이터베이스 업데이트가 Knowledge Catalog에 반영되는 데 최대 5분이 걸릴 수 있습니다.
- 실시간 수집 중에는 컬렉션 그룹이 업데이트되지 않습니다.
- 컬렉션 그룹 스키마는 실시간 수집 중에 업데이트되지만 이 업데이트는 알파벳순으로 상위 100개의 최상위 기본 필드만 포함합니다. 나머지 스키마 정보는 실시간 수집 후 24~48시간 후에 업데이트됩니다.
- 추출 프로세스에는 몇 분이 걸릴 수 있습니다.