커넥터 작업 관리

이 문서에서는 메타데이터 가져오기에 사용되는 Knowledge Catalog (이전 명칭: Dataplex Universal Catalog) 커넥터 작업을 보고, 업데이트하고, 삭제하는 방법을 설명합니다.

시작하기 전에

커넥터 작업을 관리하려면 적절한 IAM 역할이 필요합니다. 자세한 내용은 IAM 역할을 참고하세요.

  • 작업 및 실행 기록을 보려면 다음 단계를 따르세요.
  • 작업을 수정, 삭제하거나 수동으로 트리거하려면 다음을 참고하세요.
    • BigQuery 관리자 (roles/bigquery.admin)
    • Dataplex 관리자 (roles/dataplex.admin) 또는 Dataplex 편집자 (roles/dataplex.editor)

BigQuery Data Transfer Service를 사용 설정해야 합니다.

또한 BigQuery Data Transfer Service 서비스 에이전트(service-PROJECT_NUMBER@gcp-sa-bigquerydatatransfer.iam.gserviceaccount.com)에 dataplex.entryGroups.import 권한 또는 Dataplex 항목 그룹 가져오기 권한 (roles/dataplex.entryGroupImporter) 역할을 부여해야 합니다. 이 권한은 프로젝트 수준 또는 항목 그룹 수준에서 부여할 수 있습니다.

커넥터 작업 보기

  1. Google Cloud 콘솔에서 Knowledge Catalog 페이지로 이동합니다.

    Knowledge Catalog로 이동

  2. 탐색 메뉴의 관리 섹션에서 커넥터를 클릭합니다. 커넥터 페이지에는 프로젝트의 모든 메타데이터 가져오기 작업이 나열됩니다.

  3. 특정 작업의 세부정보, 실행 기록 또는 구성을 보려면 목록에서 표시 이름을 클릭합니다.

작업 실행 기록 및 로그 보기

커넥터 작업의 경우 성공한 실행과 실패한 실행을 포함한 실행 기록을 볼 수 있습니다. 90일이 지난 작업 실행은 자동으로 삭제됩니다.

  1. 커넥터 페이지에서 보려는 작업의 표시 이름을 클릭합니다.
  2. 실행 기록 탭을 클릭합니다. 이 탭에는 최근 작업 실행이 표시됩니다.
  3. 특정 실행의 로그를 보려면 목록에서 실행을 찾아 세부정보 보기를 클릭합니다.

로깅 및 모니터링

Knowledge Catalog 메타데이터 커넥터는 가져오기 구성에 대한 관측 가능성을 제공하는 Cloud Monitoring 및 Cloud Logging으로 로그와 측정항목을 내보냅니다. Monitoring을 사용하여 대시보드를 설정하여 메타데이터 가져오기 구성을 모니터링하고, 실행 성능을 평가하고, 오류 메시지를 확인하여 실행 실패 문제를 해결할 수 있습니다. 로깅을 사용하여 실행 또는 구성과 관련된 로그를 볼 수 있습니다.

커넥터 작업 업데이트

일정, 대상 항목 그룹, 알림 설정, 가져올 소스 객체 등 기존 작업의 구성을 수정할 수 있습니다.

  1. 커넥터 페이지에서 업데이트할 작업의 표시 이름을 클릭합니다.
  2. 수정을 클릭합니다.
  3. 필요에 따라 작업 구성을 수정합니다.
  4. 저장을 클릭합니다.

커넥터 작업 사용 중지 또는 사용 설정

작업을 사용 중지하면 이름이 disabled 상태로 업데이트되고 새 작업 실행이 예약되지 않습니다. 이미 진행 중인 실행은 완료됩니다. 작업을 사용 중지해도 Knowledge Catalog로 이미 가져온 메타데이터는 삭제되지 않습니다.

  1. 커넥터 페이지에서 사용 중지하거나 사용 설정하려는 작업을 찾습니다.
  2. 작업을 클릭한 다음 사용 중지 또는 사용 설정을 선택합니다.

커넥터 작업 삭제

작업을 삭제하면 새 실행이 예약되지 않고 진행 중인 실행이 중지됩니다. 작업을 삭제해도 Knowledge Catalog로 이미 가져온 메타데이터는 삭제되지 않습니다.

  1. 커넥터 페이지에서 삭제하려는 작업을 찾습니다.
  2. 작업을 클릭한 다음 삭제를 선택합니다.
  3. 확인하려면 delete를 입력하고 삭제를 클릭합니다.

수동으로 작업 트리거

정기 일정 외에 작업 실행을 시작할 수 있습니다. 이를 백필이라고도 합니다.

  1. 커넥터 페이지에서 실행할 작업의 표시 이름을 클릭합니다.

  2. 지금 전송 실행을 클릭하고 일회성 전송 실행을 선택합니다.