Knowledge Catalog의 검색 기능 정보

Knowledge Catalog (이전 명칭: Dataplex Universal Catalog)에서 검색을 사용하면 시맨틱 일치, 키워드, 구조화된 조건자가 포함된 자연어 쿼리를 사용하여 조직 전체의 리소스를 검색할 수 있습니다. 특정 데이터 애셋을 조회하거나, 시스템 전반에서 관련 메타데이터를 탐색하거나, 프로그래매틱 및 에이전트 워크플로의 범위가 지정된 결과를 검색할 수 있습니다.

사용 사례

다음 목록에서는 일반적인 검색 사용 사례와 설명 및 예시 쿼리를 설명합니다.

  • 타겟팅된 애셋 조회: 애셋 이름, 열 또는 설명과 관련된 키워드를 검색하여 특정 애셋을 찾습니다.

    쿼리 예

    • retail_transactions_2026
    • customer_id
    • column:customer_id

  • 광범위한 데이터 탐색: 개방형 자연어 또는 키워드 쿼리를 사용하여 조직 전체에서 관련 애셋을 식별합니다.

    쿼리 예

    • quarterly financial reports
    • ad campaign click through rates tables
    • server health metrics
    • audit logs system=bigquery

  • 워크플로의 범위가 지정된 애셋 검색: 프로젝트와 같은 특정 컨테이너 내에서 또는 유형이나 시스템과 같은 특정 속성을 사용하여 애셋을 열거합니다. 이 접근 방식은 프로그래매틱 및 에이전트 워크플로에 자주 사용됩니다.

    쿼리 예

    • type=table projectid:banking-prod aspect:classification.tier=PII
    • system=spanner projectid:inventory-service (parent=marketing_analytics OR parent=finance_analytics)

작동 방식

검색은 Knowledge Catalog에서 유지보수되는 데이터 애셋의 모든 컨텍스트를 자동으로 색인 생성합니다. 여기에는 다음이 포함됩니다.

  • BigQuery 및 Cloud SQL과 같은 Google Cloud 데이터 소스에서 자동으로 수집되는 메타데이터
  • 커넥터 및 통합을 통해 수집하는 리소스의 컨텍스트
  • 비즈니스 컨텍스트를 나타내거나 데이터 시맨틱스를 설명하는 등 리소스에 대해 만드는 추가 컨텍스트입니다. 컨텍스트는 측면 또는 연결된 비즈니스 용어 형식으로 캡처될 수도 있습니다.

쿼리를 처리할 때 검색은 시맨틱 및 키워드 일치 조합을 적용합니다. 다음 표에서는 Knowledge Catalog 검색에 사용할 수 있는 쿼리 유형과 설명 및 샘플 쿼리를 보여줍니다.

쿼리 유형 사용 예시
단일 키워드 애셋 이름, 설명, 스키마와 같은 메타데이터 요소에서 정확한 일치 및 하위 문자열 일치를 수행합니다. prd_fin_invoices_fct_v02
부분 키워드 및 토큰화된 프래그먼트 메타데이터 콘텐츠에서 하위 문자열을 일치시켜 약어, 분리된 단어 또는 이름 변형이 있는 리소스도 찾습니다. fin transactions 2026 (prd_fin_transactions_fy2026_raw 일치)
자연어 쿼리 정확한 이름이나 열 일치가 필요하지 않은 시맨틱 일치를 사용합니다. customer churn prediction features
구조화된 술어 자유 텍스트 쿼리를 명시적 조건자 필터와 결합하여 검색 결과를 좁힙니다. audit logs system=bigquery
확장 문법 특정 범위로 좁혀진 정확한 검색 확장 문법은 에이전트 및 프로그래매틱 사용 사례에서 가장 많이 사용됩니다. 자세한 내용은 검색 문법을 참조하세요. (system:bigquery OR system:spanner) AND column:credit_card_number aspect:classification.tier=PII -projectid:sandbox-project

Knowledge Catalog에서 검색에 액세스하는 방법은 다음과 같습니다.

검색 범위

Knowledge Catalog의 검색 결과는 소스 시스템에서 해당 리소스에 대해 있는 권한을 존중합니다.

예를 들어 객체에 대해 BigQuery 메타데이터 읽기 액세스 권한이 있으면 해당 객체가 Knowledge Catalog 검색 결과에 표시됩니다. BigQuery 테이블에 대한 액세스 권한이 있지만 이 테이블이 포함된 데이터 세트에 대한 액세스 권한이 없어도 예상대로 테이블이 Knowledge Catalog 검색에 표시됩니다.

기본적으로 검색 범위는 조직으로 지정됩니다. 결과에는 검색 중인 프로젝트와 동일한 조직의 리소스만 포함됩니다.

검색 결과에는 검색이 수행되는 프로젝트와 동일한 VPC 서비스 제어 경계에 속하는 리소스만 포함됩니다.Google Cloud 콘솔을 사용하는 경우 콘솔에서 선택한 프로젝트입니다.

프로젝트의 VPC 서비스 제어 경계 내 리소스 이상으로 검색 결과의 범위를 확장하려면 VPC 서비스 제어 인그레스 및 이그레스 규칙을 사용하세요. 이러한 규칙은 조직 전반에서 효율적인 비공개 데이터 교환을 용이하게 합니다.Google Cloud 콘솔을 사용하거나 JSON 또는 YAML 파일을 통해 인그레스 및 이그레스 규칙을 구성할 수 있습니다. 다음 YAML 예시와 VPC 서비스 제어 문서를 참조하여 특정 요구사항에 맞게 규칙을 맞춤설정합니다.

egressPolicies:
  - egressFrom:
      identityType: ANY_USER_ACCOUNT
    egressTo:
      # Specify which resources should be present in the search results. In this example,
      # BigQuery.
      operations:
      - methodSelectors:
        - method: '*'
        serviceName: bigquery.googleapis.com
      # Specify project ids under which the search is performed.
      resources:
      - projects/SEARCH_PROJECT_ID
ingressPolicies:
  - ingressFrom:
      identityType: ANY_USER_ACCOUNT
      sources:
      - accessLevel: '*'
    ingressTo:
      # Specify which resources should be present in the search results. In this example,
      # BigQuery.
      operations:
      - methodSelectors:
        - method: '*'
        serviceName: bigquery.googleapis.com
      # Specify project ids to expose in search results.
      resources:
      - projects/INGRESS_PROJECT_ID

Knowledge Catalog 검색을 사용하는 데 필요한 Identity and Access Management 역할에 대한 자세한 내용은 Knowledge Catalog IAM 역할을 참조하세요.

VPC 서비스 제어를 사용하여 환경별로 검색 결과 격리

개발, 테스트, 프로덕션과 같은 환경 간에 Knowledge Catalog 검색 결과를 격리하려면 환경마다 별도의 VPC 서비스 제어 경계를 구성합니다. 데이터 애셋이 포함된 프로젝트와 검색을 수행하는 데 사용되는 프로젝트 모두 해당 환경의 경계에 할당합니다. 특정 경계에 있는 프로젝트에서 수행되는 검색은 같은 경계에 있는 애셋의 결과만 반환합니다.

검색에서 재현율 제한

Knowledge Catalog 검색은 철저한 인벤토리 검색 대신 탐색적 검색에 최적화되어 있으므로 검색어가 전체 재현율을 보장하지 않습니다. 쿼리에서 일치하는 결과를 생략할 수 있으며 반환된 결과는 반복되는 쿼리에 따라 달라질 수 있습니다.

재현율 손실 원인

검색 시 Knowledge Catalog는 액세스 제어 한도인 600개의 제한 (권한 평가 규칙)에 따라 권한을 동적으로 확인합니다. 액세스 검사가 이 한도를 초과하면 시스템은 빠른 검색을 위해 조기에 검사를 중지합니다. 이 경우 검색에서 일치하는 애셋이 제외될 수 있습니다.

다음 조건 중 하나라도 해당하는 경우 이 한도에 도달할 가능성이 높습니다.

  • 수백 개의 개별 리소스에 직접 할당된 IAM 역할
  • 개별 리소스에 대한 액세스 권한을 부여하는 여러 Google 그룹스의 멤버십
  • 수백 개의 개별 리소스에 직접 액세스 권한이 부여된 Google 그룹스의 멤버십

재현율 제한 및 누락된 결과 해결

재현율 문제를 해결하거나 전체 메타데이터를 검색하려면 목표에 맞는 접근 방식을 선택하세요.

  • 누락되거나 일관되지 않은 검색 결과를 수정하려면 총 액세스 검사를 줄여 600개 제한을 넘지 않도록 합니다. 필요한 리소스에만 액세스 권한을 부여하고 권한이 필요하지 않은 리소스 또는 Google 그룹스에서 액세스 권한을 삭제합니다. 개별 리소스 대신 프로젝트 또는 폴더 수준에서 역할을 부여할 수도 있습니다.
  • 완전하고 보장된 메타데이터 인벤토리를 검색하려면 검색을 사용하지 마세요. 대신 Cloud Storage로 메타데이터를 내보내고 BigQuery로 전체 데이터 세트를 쿼리합니다.

다음 단계