MySQL에서 메타데이터 가져오기

이 문서에서는 Knowledge Catalog 커넥터를 사용하여 MySQL에서 Knowledge Catalog (이전 명칭: Dataplex Universal Catalog)로 메타데이터를 가져오는 방법을 설명합니다.

이 커넥터는 온프레미스, Cloud SQL 또는 기타 클라우드 환경에서 호스팅되는 MySQL 인스턴스를 지원합니다.

MySQL에서 메타데이터를 가져오려면 다음 작업을 완료해야 합니다.

  1. 필요한 역할 및 권한을 부여합니다.
  2. Knowledge Catalog 및 BigQuery Data Transfer Service API를 사용 설정합니다.
  3. MySQL 기본 요건을 충족합니다.
  4. 네트워킹 기본 요건을 충족합니다.

IAM 역할 및 권한

Knowledge Catalog 커넥터 작업을 만들고 관리하려면 Knowledge Catalog 및 BigQuery Data Transfer Service에 대한 권한을 부여하는 ID 및 액세스 관리 (IAM) 역할이 필요합니다.

MySQL 커넥터를 구성하는 데 필요한 권한을 얻으려면 관리자에게 다음 IAM 역할을 부여해 달라고 요청하세요.

또한 BigQuery Data Transfer Service 서비스 에이전트(service-PROJECT_NUMBER@gcp-sa-bigquerydatatransfer.iam.gserviceaccount.com)에 dataplex.entryGroups.import 권한 또는 Dataplex 항목 그룹 가져오기 권한(roles/dataplex.entryGroupImporter) 역할을 부여해야 합니다. 이 역할은 프로젝트 수준 또는 항목 그룹 수준에서 부여할 수 있습니다.

역할 부여에 대한 자세한 내용은 액세스 관리를 참조하세요.

API 사용 설정

Knowledge Catalog 및 BigQuery Data Transfer Service API를 사용 설정합니다.

API 사용 설정

MySQL 기본 요건

MySQL 전송의 기본 요건을 충족하는지 확인합니다. 자세한 내용은 BigQuery Data Transfer Service 문서의 MySQL 사전 요구사항을 참고하세요.

BigQuery Data Transfer Service 기본 요건 외에도 MySQL 데이터베이스가 메타데이터 추출을 위해 다음 요구사항을 충족해야 합니다.

  • 최소 버전: MySQL 버전 8.0 이상
  • 최소 필수 권한: 추출 도구는 INFORMATION_SCHEMA를 성공적으로 쿼리하고 메타데이터를 수집하기 위해 특정 권한이 필요합니다.

이러한 권한은 다음 메타데이터 범위를 보장합니다.

  • 인스턴스 및 데이터베이스 정보: 호스트 이름, 포트, 버전, 스키마 구성
  • 표 및 열: 핵심 구조, 데이터 유형, 크기 및 행 수와 같은 운영 메타데이터입니다.
  • 색인 및 파티션: 보조 색인, 파티션 방법, 표현식
  • 뷰: 가상 테이블 구조 및 정의입니다.
  • 루틴: 저장 프로시져, 함수, 매개변수
  • 제약 조건: 기본 키, 외래 키, 고유 및 확인 제약 조건에 관한 세부정보입니다.
  • 트리거: 트리거 정의 및 이벤트 타이밍입니다.

이러한 권한을 부여하려면 다음 SQL 스크립트를 실행하세요.

  1. 사용자를 만듭니다.

    CREATE USER 'USERNAME'@'%'
IDENTIFIED BY 'PASSWORD';

  2. 메타데이터 액세스 권한을 부여합니다. 단일 대상 데이터베이스에 대한 액세스 권한을 부여하거나 인스턴스의 모든 데이터베이스에 대한 액세스 권한을 부여할 수 있습니다.

    단일 대상 데이터베이스 또는 스키마에 대한 액세스 권한을 부여하려면 다음 단계를 따르세요.

    GRANT SELECT, SHOW VIEW, REFERENCES, EXECUTE, TRIGGER
ON DATABASE_NAME.*
TO 'USERNAME'@'%';

    또는 인스턴스의 모든 데이터베이스에 대한 액세스 권한을 부여하려면 다음 단계를 따르세요.

    GRANT SELECT, SHOW VIEW, REFERENCES, EXECUTE, TRIGGER
ON *.*
TO 'USERNAME'@'%';

  3. 추출 도구가 인스턴스에서 사용 가능한 모든 데이터베이스를 나열하도록 허용합니다.

    GRANT SHOW DATABASES ON *.* TO 'USERNAME'@'%';

  4. 변경사항을 적용합니다.

    FLUSH PRIVILEGES;

네트워킹 기본 요건

비공개 네트워크 내의 비공개 IP 주소를 사용하여 외부 데이터베이스 또는 서드 파티 클라우드 데이터 소스에 안전하게 연결하여 BigQuery Data Transfer Service가 데이터베이스에 액세스하도록 하려면 Private Service Connect를 통한 연결을 위한 네트워크 연결이 필요합니다.

공용 IP 주소를 사용하여 온프레미스 환경 또는 클라우드 호스팅 인스턴스에 연결하는 경우 네트워크 연결이 필요하지 않습니다.

MySQL 커넥터 구성

  1. Google Cloud 콘솔에서 Knowledge Catalog 페이지로 이동합니다.

    Knowledge Catalog로 이동

  2. 탐색 메뉴의 관리 섹션에서 커넥터를 클릭합니다.

  3. 연결 추가를 클릭합니다.

  4. 커넥터 목록에서 MySQL 카드를 선택합니다.

  5. 데이터 소스 세부정보 섹션에서 MySQL 인스턴스의 연결 세부정보를 제공합니다.

    • 네트워크 연결의 경우 필요한 경우 기존 네트워크 연결을 선택하거나 새로 만듭니다.
    • 호스트, 포트, 데이터베이스 이름, 사용자 이름, 비밀번호를 입력합니다.
    • TLS를 사용하는 경우 TLS 모드를 선택하고 신뢰할 수 있는 PEM 인증서를 제공합니다.
    • 가져올 MySQL 메타데이터 객체에서 찾아보기를 클릭하여 객체를 선택합니다.

  6. 대상 설정 섹션에서 다음을 수행합니다.

    • 찾아보기를 클릭하고 가져온 메타데이터를 저장할 기존 Knowledge Catalog 항목 그룹을 선택하거나 새 항목 그룹 만들기를 클릭합니다.
    • 지금 또는 나중에 항목 그룹에 권한을 설정할지 선택합니다. 사용자가 가져온 메타데이터를 볼 수 있도록 권한을 설정합니다. 프로젝트 수준에서 BigQuery Data Transfer Service 서비스 에이전트(service-PROJECT_NUMBER@gcp-sa-bigquerydatatransfer.iam.gserviceaccount.com)에 Dataplex 항목 그룹 가져오기 도구(roles/dataplex.entryGroupImporter) 역할 또는 dataplex.entryGroups.import 권한을 부여하지 않은 경우 항목 그룹 수준에서 부여해야 합니다.

  7. 커넥터 구성 이름 섹션의 표시 이름에 메타데이터 가져오기 작업 이름을 입력합니다.

  8. 일정 옵션 섹션에서 메타데이터 가져오기 작업의 빈도를 구성합니다. 주문형을 선택하면 수동으로 트리거할 때만 작업이 실행됩니다.

  9. 선택사항: 알림 옵션 섹션에서 작업 실패에 대한 이메일 또는 Pub/Sub 알림을 구성합니다.

  10. 선택사항: 고급 옵션 섹션에서 암호화 설정을 구성합니다. 고객 관리 암호화 키 (CMEK)를 선택하는 경우 이 키는 Knowledge Catalog 메타데이터 가져오기 작업을 시작하기 전에 스테이징된 임시 데이터를 암호화하는 데 사용됩니다. 대상 Knowledge Catalog 항목 그룹의 메타데이터를 암호화하는 데 사용되지 않습니다.

  11. 저장을 클릭합니다.

작업을 만든 후 Knowledge Catalog는 구성에 따라 첫 번째 실행을 예약하거나 수동으로 시작할 수 있습니다.

다음 단계