MySQL에서 메타데이터 가져오기

이 문서에서는 Knowledge Catalog 커넥터를 사용하여 MySQL에서 Knowledge Catalog (이전의 Dataplex Universal Catalog)로 메타데이터를 가져오는 방법을 설명합니다.

이 커넥터는 온프레미스, Cloud SQL 또는 다른 클라우드 환경에서 호스팅되는 MySQL 인스턴스를 지원합니다.

MySQL에서 메타데이터를 가져오기 전에 다음 작업을 완료하세요.

  1. 필요한 역할 및 권한을 부여합니다.
  2. Knowledge Catalog 및 BigQuery Data Transfer Service API를 사용 설정합니다.
  3. MySQL 기본 요건을 충족합니다.
  4. 네트워킹 기본 요건을 충족합니다.

IAM 역할 및 권한

Knowledge Catalog 커넥터 작업을 만들고 관리하려면 Knowledge Catalog 및 BigQuery Data Transfer Service에 대한 권한을 부여하는 Identity and Access Management (IAM) 역할이 필요합니다.

MySQL 커넥터를 구성하는 데 필요한 권한을 얻으려면 관리자에게 다음 IAM 역할을 부여해 달라고 요청하세요.

또한 BigQuery Data Transfer Service 서비스 에이전트 (service-PROJECT_NUMBER@gcp-sa-bigquerydatatransfer.iam.gserviceaccount.com)에 dataplex.entryGroups.import 권한 또는 Dataplex 항목 그룹 가져오기 (roles/dataplex.entryGroupImporter) 역할을 부여해야 합니다. 이 역할은 프로젝트 수준 또는 항목 그룹 수준에서 부여할 수 있습니다.

역할 부여에 대한 자세한 내용은 Manage access를 참조하세요.

API 사용 설정

Knowledge Catalog 및 BigQuery Data Transfer Service API를 사용 설정합니다.

API 사용 설정

MySQL 기본 요건

MySQL 전송의 기본 요건을 충족하는지 확인합니다. 자세한 내용은 BigQuery Data Transfer Service 문서의 MySQL 기본 요건을 참조하세요.

BigQuery Data Transfer Service 기본 요건 외에도 MySQL 데이터베이스는 메타데이터 추출을 위해 다음 요구사항을 충족해야 합니다.

  • 최소 버전: MySQL 버전 8.0 이상
  • 최소 필수 권한: 추출 도구는 INFORMATION_SCHEMA를 성공적으로 쿼리하고 메타데이터를 수집하기 위해 특정 권한이 필요합니다.

이러한 권한은 다음 메타데이터 적용 범위를 보장합니다.

  • 인스턴스 및 데이터베이스 정보: 호스트 이름, 포트, 버전, 스키마 구성
  • 테이블 및 열: 핵심 구조, 데이터 유형, 크기 및 행 수와 같은 운영 메타데이터
  • 색인 및 파티션: 보조 색인, 파티션 메서드, 표현식
  • 뷰: 가상 테이블 구조 및 정의
  • 루틴: 저장 프로시져, 함수, 매개변수
  • 제약조건: 기본 키, 외래 키, 고유, 검사 제약조건 세부정보
  • 트리거: 트리거 정의 및 이벤트 타이밍

이러한 권한을 부여하려면 다음 SQL 스크립트를 실행합니다.

  1. 사용자를 만듭니다.

    CREATE USER 'USERNAME'@'%'
IDENTIFIED BY 'PASSWORD';

  2. 메타데이터 액세스 권한을 부여합니다. 단일 대상 데이터베이스 또는 인스턴스의 모든 데이터베이스에 대한 액세스 권한을 부여할 수 있습니다.

    단일 대상 데이터베이스 또는 스키마에 대한 액세스 권한을 부여하려면 다음 안내를 따르세요.

    GRANT SELECT, SHOW VIEW, REFERENCES, EXECUTE, TRIGGER
ON DATABASE_NAME.*
TO 'USERNAME'@'%';

    또는 인스턴스의 모든 데이터베이스에 대한 액세스 권한을 부여하려면 다음 안내를 따르세요.

    GRANT SELECT, SHOW VIEW, REFERENCES, EXECUTE, TRIGGER
ON *.*
TO 'USERNAME'@'%';

  3. 추출 도구가 인스턴스에서 사용 가능한 모든 데이터베이스를 나열하도록 허용합니다.

    GRANT SHOW DATABASES ON *.* TO 'USERNAME'@'%';

  4. 변경사항을 적용합니다.

    FLUSH PRIVILEGES;

다음을 바꿉니다.

  • USERNAME: 구성하려는 데이터베이스 사용자입니다.
  • PASSWORD: 데이터베이스 사용자의 비밀번호입니다.
  • DATABASE_NAME: 액세스하려는 MySQL 데이터베이스의 이름입니다.

네트워킹 기본 요건

BigQuery Data Transfer Service가 데이터베이스에 액세스하도록 하려면 비공개 네트워크 내에서 비공개 IP 주소를 사용하여 외부 데이터베이스 또는 서드 파티 클라우드 데이터 소스에 안전하게 연결할 때 Private Service Connect를 통한 연결을 위한 네트워크 연결이 필요합니다.

공용 IP 주소를 사용하여 온프레미스 환경 또는 클라우드 호스팅 인스턴스에 연결하는 경우 네트워크 연결이 필요하지 않습니다.

MySQL 커넥터 구성

  1. 콘솔에서 Knowledge Catalog 페이지로 이동합니다. Google Cloud

    Knowledge Catalog로 이동

  2. 탐색 메뉴의 관리 섹션에서 커넥터 를 클릭합니다.

  3. 연결 추가 를 클릭합니다.

  4. 커넥터 목록에서 MySQL 카드를 선택합니다.

  5. 데이터 소스 세부정보 섹션에서 MySQL 인스턴스의 연결 세부정보를 제공합니다.

    • 네트워크 연결의 경우 필요한 경우 기존 네트워크 연결을 선택하거나 새로 만듭니다.
    • 호스트, 포트, 데이터베이스 이름, 사용자 이름, 비밀번호를 입력합니다.
    • TLS를 사용하는 경우 TLS 모드 를 선택하고 신뢰할 수 있는 PEM 인증서 를 제공합니다.
    • 가져올 MySQL 메타데이터 객체의 경우 찾아보기를 클릭하여 객체를 선택합니다.

  6. 대상 설정 섹션에서 다음을 수행합니다.

    • 찾아보기 를 클릭하고 가져온 메타데이터를 저장할 기존 Knowledge Catalog 항목 그룹 을 선택하거나 새 항목 그룹 만들기 를 클릭합니다.
    • 지금 또는 나중에 항목 그룹에 권한을 설정할지 선택합니다. 사용자가 가져온 메타데이터를 볼 수 있도록 권한을 설정합니다. 프로젝트 수준에서 BigQuery Data Transfer Service 서비스 에이전트 (service-PROJECT_NUMBER@gcp-sa-bigquerydatatransfer.iam.gserviceaccount.com)에 Dataplex 항목 그룹 가져오기 (roles/dataplex.entryGroupImporter) 역할 또는 dataplex.entryGroups.import 권한을 부여하지 않은 경우 항목 그룹 수준에서 부여해야 합니다.

  7. 커넥터 구성 이름 섹션의 표시 이름에 메타데이터 가져오기 작업의 이름을 입력합니다.

  8. 일정 옵션 섹션에서 메타데이터 가져오기 작업의 빈도를 구성합니다. 주문형을 선택하면 작업을 수동으로 트리거할 때만 실행됩니다.

  9. 선택사항: 알림 옵션 섹션에서 작업 실패에 대한 이메일 또는 Pub/Sub 알림을 구성합니다.

  10. 선택사항: 고급 옵션 섹션에서 암호화 설정을 구성합니다. 고객 관리 암호화 키 (CMEK)를 선택하는 경우 Knowledge Catalog 메타데이터 가져오기 작업을 시작하기 전에 스테이징된 모든 임시 데이터를 암호화하는 데 키가 사용됩니다. 대상 Knowledge Catalog 항목 그룹의 메타데이터를 암호화하는 데는 사용되지 않습니다.

  11. 저장 을 클릭합니다.

작업을 만든 후 Knowledge Catalog는 구성에 따라 첫 번째 실행을 예약하거나 수동으로 시작할 수 있습니다.

다음 단계