커스텀 파이프라인을 사용하여 메타데이터 가져오기

이 문서에서는 메타데이터 가져오기 API 메서드와 자체 파이프라인을 사용하여 서드 파티 시스템에서 Dataplex Universal Catalog로 메타데이터를 가져오는 방법을 설명합니다. Dataplex Universal Catalog 메타데이터는 항목과 해당 항목 관점으로 구성됩니다.

대신 Google Cloud관리 조정 파이프라인을 사용하여 메타데이터를 추출하고 가져오려면 관리형 연결 파이프라인을 사용하는 것이 좋습니다. 관리형 연결 파이프라인을 사용하면 메타데이터를 추출하고 메타데이터 가져오기 API 메서드(메타데이터 가져오기 파일)의 입력으로 사용할 수 있는 형식으로 출력을 생성하는 자체 커넥터를 가져올 수 있습니다. 그런 다음 Workflows를 사용하여 파이프라인 태스크를 조정합니다.

다음과 같은 종류의 메타데이터 가져오기 작업을 실행할 수 있습니다.

항목 전체 동기화와 관점 증분 가져오기: 커스텀 항목에 지원됩니다.
관점만 증분 가져오기: 커스텀 항목 및 시스템 항목에 속하는 관점에 지원됩니다. 커스텀 항목의 경우 선택적 관점과 필수 관점 모두 수정할 수 있습니다. 시스템 항목의 경우 선택적 관점을 수정할 수 있습니다.

대략적인 단계

메타데이터 가져오기 API를 사용하여 메타데이터를 가져오려면 다음과 같은 대략적인 단계를 수행합니다.

작업 범위를 결정합니다.

또한 Dataplex Universal Catalog가 항목 및 관점에 대해 비교 로직과 동기화 모드를 적용하는 방법을 이해합니다.
가져올 데이터를 정의하는 메타데이터 가져오기 파일을 하나 이상 만듭니다.
메타데이터 가져오기 파일을 Cloud Storage 버킷에 저장합니다.
메타데이터 가져오기 작업을 실행합니다.

이 페이지의 단계에서는 개발자가 항목 그룹, 항목 유형, 관점 유형을 포함하여 Dataplex Universal Catalog 메타데이터 개념에 익숙하다고 가정합니다. 자세한 내용은 Dataplex Universal Catalog의 메타데이터 관리 정보를 참조하세요.

시작하기 전에

메타데이터를 가져오기 전에 이 섹션의 태스크를 완료합니다.

필수 역할

Cloud Storage 버킷에 액세스하는 데 필요한 권한이 Dataplex Universal Catalog 서비스 계정에 있게 하려면 관리자에게 Dataplex Universal Catalog 서비스 계정에 버킷에 대한 스토리지 객체 뷰어(roles/storage.objectViewer) IAM 역할과 storage.buckets.get 권한을 부여해 달라고 요청하세요.

메타데이터 가져오기 작업을 관리하는 데 필요한 권한을 얻으려면 관리자에게 다음 IAM 역할을 부여해 달라고 요청하세요.

전체 항목 동기화 메타데이터 작업에서 항목과 해당 항목의 관점 수정:
- 항목 유형 또는 항목 유형이 정의된 프로젝트에 대한 Dataplex 항목 유형 사용자(roles/dataplex.entryTypeUser)
- 관점 유형 또는 관점 유형이 정의된 프로젝트에 대한 Dataplex 관점 유형 사용자(roles/dataplex.aspectTypeUser)
관점 전용 메타데이터 작업에서 필수 관점 수정:
- 항목 유형 또는 항목 유형이 정의된 프로젝트에 대한 Dataplex 항목 유형 사용자(roles/dataplex.entryTypeUser)
- 관점 유형 또는 관점 유형이 정의된 프로젝트에 대한 Dataplex 관점 유형 사용자(roles/dataplex.aspectTypeUser)
관점 전용 메타데이터 작업에서 선택적 관점 수정: 관점 유형 또는 관점 유형이 정의된 프로젝트에 대한 Dataplex 관점 유형 사용자(roles/dataplex.aspectTypeUser) 관점 전용 메타데이터 작업에서 선택적 관점을 수정할 때는 연결된 항목 유형에 대한 권한이 필요 없습니다.
메타데이터 가져오기 작업 만들기:
- 프로젝트 또는 리소스에 대한 Dataplex 항목 그룹 가져오기 작업자(roles/dataplex.entryGroupImporter)
- 프로젝트 또는 리소스에 대한 Dataplex 항목 및 EntryLink 소유자(roles/dataplex.entryOwner)
메타데이터 작업 보기: 프로젝트에 대한 Dataplex 메타데이터 작업 뷰어(roles/dataplex.metadataJobViewer)
메타데이터 작업 만들기, 보기, 취소: 프로젝트에 대한 Dataplex 메타데이터 작업 소유자(roles/dataplex.metadataJobOwner)

역할 부여 방법에 대한 자세한 내용은 프로젝트, 폴더, 조직에 대한 액세스 관리를 참조하세요.

커스텀 역할 또는 다른 사전 정의된 역할을 통해 필요한 권한을 얻을 수도 있습니다.

Google Cloud 리소스 만들기

다음 Google Cloud 리소스를 준비합니다.

가져오려는 항목의 항목 그룹을 만듭니다.
가져오려는 관점의 관점 유형을 만듭니다.
가져오려는 항목의 항목 유형을 만듭니다.
관점 전용 메타데이터 작업을 실행하는 경우 가져오려는 관점의 항목을 만듭니다.
메타데이터 가져오기 파일을 저장할 Cloud Storage 버킷을 만듭니다.

메타데이터 가져오기 작업 구성요소

메타데이터를 가져올 때 메타데이터 작업의 다음 구성요소를 고려하세요.

작업 범위: 작업에 포함할 항목 그룹, 항목 유형, 관점 유형입니다.
동기화 모드: 작업의 항목과 관점이 업데이트되는 방식입니다.
메타데이터 가져오기 파일: 작업의 항목과 관점에 설정할 값을 정의하는 파일입니다. 같은 메타데이터 작업에 메타데이터 가져오기 파일을 여러 개 제공할 수 있습니다. Cloud Storage에 파일을 저장합니다.
비교 로직: Dataplex Universal Catalog에서 수정할 항목과 관점을 결정하는 방법입니다.

작업 범위

작업 범위는 항목 그룹과 항목 유형을 정의하고 메타데이터 가져오기 작업에 포함할 관점 유형을 정의합니다. 메타데이터를 가져올 때는 작업 범위 내에서 리소스에 속하는 항목과 관점을 수정합니다.

작업 범위를 정의하려면 다음 안내를 따르세요.

항목 그룹: 작업에 포함할 항목 그룹을 하나 이상 지정합니다. 작업에서 이러한 항목 그룹에 속하는 항목과 관점만 수정합니다. 항목 그룹과 작업은 같은 리전에 있어야 합니다.
항목 유형: 작업에 포함할 항목 유형을 하나 이상 지정합니다. 작업에서 이러한 항목 유형에 속하는 항목과 관점만 수정합니다. 항목 유형 위치가 작업 위치와 일치하거나 항목 유형이 전역적이어야 합니다.
관점 유형: 작업에 포함할 관점 유형을 하나 이상 지정합니다. 작업에서 이러한 관점 유형에 속하는 관점만 수정합니다. 관점 유형 위치가 작업 위치와 일치하거나 관점 유형이 전역적이어야 합니다.

작업 범위에는 메타데이터 가져오기 파일에 지정된 모든 항목 유형과 관점 유형이 포함되어야 합니다.

메타데이터 작업을 만들 때 작업 범위를 지정합니다.

동기화 모드

동기화 모드는 메타데이터 가져오기 작업의 항목과 관점이 업데이트되는 방식을 지정합니다. 항목과 관점 모두에 동기화 모드를 제공합니다. 가져오려는 리소스에 따라 다음 동기화 모드 조합이 지원됩니다.

목표 항목 동기화 모드 관점 동기화 모드 결과

항목과 해당 관점 가져오기

목표	항목 동기화 모드	관점 동기화 모드	결과
항목과 해당 관점 가져오기	`FULL`	`INCREMENTAL`	작업 범위의 모든 항목이 수정됩니다. Dataplex Universal Catalog에 항목이 있지만 메타데이터 가져오기 파일에 포함되지 않은 경우 메타데이터 작업이 실행되면 항목이 삭제됩니다. 메타데이터 가져오기 파일의 `updateMask` 필드 및 `aspectKeys` 필드에 관점에 대한 참조가 포함된 경우에만 관점이 수정됩니다. 가져오기 항목 구조를 참조하세요.
관점만 가져오기	`NONE`	`INCREMENTAL`	관점이 작업 범위에 포함되어 있고 메타데이터 가져오기 파일의 `aspectKeys` 필드에 관점에 대한 참조가 포함된 경우에 관점이 수정됩니다. 가져오기 항목 구조를 참조하세요. 작업 범위의 항목에 속한 다른 메타데이터는 수정되지 않습니다.

FULL

INCREMENTAL

작업 범위의 모든 항목이 수정됩니다.

Dataplex Universal Catalog에 항목이 있지만 메타데이터 가져오기 파일에 포함되지 않은 경우 메타데이터 작업이 실행되면 항목이 삭제됩니다.

메타데이터 가져오기 파일의 updateMask 필드 및 aspectKeys 필드에 관점에 대한 참조가 포함된 경우에만 관점이 수정됩니다. 가져오기 항목 구조를 참조하세요.

관점만 가져오기

NONE

INCREMENTAL

관점이 작업 범위에 포함되어 있고 메타데이터 가져오기 파일의 aspectKeys 필드에 관점에 대한 참조가 포함된 경우에 관점이 수정됩니다. 가져오기 항목 구조를 참조하세요.

작업 범위의 항목에 속한 다른 메타데이터는 수정되지 않습니다.

메타데이터 작업을 만들 때 동기화 모드를 지정합니다.

메타데이터 가져오기 파일

메타데이터 가져오기 파일은 수정하려는 항목 및 관점 컬렉션입니다. 이 파일은 이러한 항목과 관점에 속하는 모든 필드에 설정할 값을 정의합니다. 메타데이터 가져오기 작업을 실행하기 전에 파일을 준비합니다.

다음과 같은 일반 가이드라인이 적용됩니다.

같은 메타데이터 작업에 메타데이터 가져오기 파일을 여러 개 제공할 수 있습니다.
전체 항목 동기화 메타데이터 작업을 실행하면 파일에 제공하는 항목이 작업 범위 내에 있는 모든 리소스의 모든 기존 항목을 완전히 대체합니다. 즉, 추가하거나 업데이트하려는 값뿐만 아니라 작업의 모든 항목에 대한 값을 포함해야 합니다. 프로젝트에서 시작 지점으로 사용할 현재 항목 목록을 가져오려면 entries.list API 메서드를 사용합니다.

주의: Dataplex Universal Catalog에 항목이 있지만 메타데이터 가져오기 파일에 포함되지 않은 경우 메타데이터 작업이 실행되면 항목이 삭제됩니다. 메타데이터 가져오기 파일에 데이터가 없으면 작업 범위에 속하는 모든 항목과 관점이 삭제됩니다.
메타데이터 작업의 일부로 메타데이터 가져오기 파일을 제공해야 합니다. 작업 범위 내에 있는 항목의 모든 기존 데이터를 삭제하려면 빈 메타데이터 가져오기 파일을 제공합니다.
파일에 포함된 모든 항목과 관점은 작업 범위에 정의하는 항목 그룹, 항목 유형, 관점 유형에 속해야 합니다.

다음 섹션의 세부적인 가이드라인을 수행하여 메타데이터 가져오기 파일을 만듭니다.

파일 구조

메타데이터 가져오기 파일의 각 줄에는 가져오기 항목 하나에 해당하는 JSON 객체가 포함되어 있습니다. 가져오기 항목은 항목과 연결된 관점에 대해 수정할 값을 기술하는 객체입니다.

단일 메타데이터 가져오기 파일에서 가져오기 항목을 여러 개 제공할 수 있습니다. 하지만 메타데이터 작업에서 같은 가져오기 항목을 2회 이상 제공하지 마세요. 각 가져오기 항목을 구분하려면 줄바꿈 문자(0x0a)를 사용합니다.

각 가져오기 항목 사이에 줄바꿈 문자가 사용된 메타데이터 가져오기 파일은 다음 예시와 같이 표시됩니다.

{ "entry": { "name": "entry 1", #Information about entry 1 }
{ "entry": { "name": "entry 2", #Information about entry 2 }

가져오기 항목 구조

메타데이터 가져오기 파일의 각 가져오기 항목에는 다음 필드가 포함될 수 있습니다(ImportItem 참조). 다음 예시는 가독성을 위해 줄바꿈이 사용되었지만 파일을 저장할 때는 각 가져오기 항목 다음에만 줄바꿈 문자를 사용해야 합니다. 단일 가져오기 항목의 필드 사이에는 줄바꿈을 사용하지 마세요.

{
  "entry": {
    "name": "ENTRY_NAME",
    "entryType": "ENTRY_TYPE",
    "entrySource": {
      "resource": "RESOURCE",
      "system": "SYSTEM",
      "platform": "PLATFORM",
      "displayName": "DISPLAY_NAME",
      "description": "DESCRIPTION",
      "createTime": "ENTRY_CREATE_TIMESTAMP",
      "updateTime": "ENTRY_UPDATE_TIMESTAMP"
    },
    "aspects": {
      "ASPECT": {
        "data": {
          "KEY": "VALUE"
        },
        "aspectSource": {
          "createTime": "ASPECT_CREATE_TIMESTAMP",
          "updateTime": "ASPECT_UPDATE_TIMESTAMP"
        }
      },
      # Additional aspect maps
    },
    "parentEntry": "PARENT_ENTRY",
    "fullyQualifiedName": "FULLY_QUALIFIED_NAME"
  },
  "updateMask": "UPDATE_MASK_FIELDS",
  "aspectKeys": [
    "ASPECT_KEY",
    # Additional aspect keys
  ],
}

다음을 바꿉니다.

entry: 항목과 연결된 관점에 대한 정보. 관점 전용 메타데이터 가져오기 작업에서 Dataplex Universal Catalog는 관점 지도를 제외한 항목의 모든 선택적 필드를 무시합니다.
- ENTRY_NAME: 항목의 상대적 리소스 이름(projects/PROJECT_ID_OR_NUMBER/locations/LOCATION_ID/entryGroups/ENTRY_GROUP_ID/entries/ENTRY_ID 형식)
- ENTRY_TYPE: 이 항목을 만드는 데 사용된 항목 유형의 상대적 리소스 이름(projects/PROJECT_ID_OR_NUMBER/locations/LOCATION_ID/entryTypes/ENTRY_TYPE_ID 형식)
- entrySource: 항목으로 표시되는 데이터 리소스에 대한 소스 시스템 정보
  - RESOURCE: 소스 시스템의 리소스 이름
  - SYSTEM: 소스 시스템 이름
  - PLATFORM: 소스 시스템이 포함된 플랫폼
  - DISPLAY_NAME: 사용자 친화적인 표시 이름
  - DESCRIPTION: 항목에 대한 설명
  - ENTRY_CREATE_TIMESTAMP: 항목이 소스 시스템에서 생성된 시간
  - ENTRY_UPDATE_TIMESTAMP: 항목이 소스 시스템에서 업데이트된 시간
- aspects: 항목에 연결된 관점. aspect 객체와 해당 데이터를 관점 지도라고 합니다.
  - ASPECT: 항목에 연결된 관점. 관점이 항목에 연결된 방식에 따라 다음 형식 중 하나를 사용합니다.
    - 관점이 항목에 직접 연결된 경우 관점 유형의 상대적 리소스 이름을 PROJECT_ID_OR_NUMBER.LOCATION_ID.ASPECT_TYPE_ID 형식으로 제공합니다.
    - 관점이 항목 경로에 연결된 경우 항목 유형 경로를 PROJECT_ID_OR_NUMBER.LOCATION_ID.ASPECT_TYPE_ID@PATH 형식으로 제공합니다.
  - KEY 및 VALUE: 관점 유형 메타데이터 템플릿에 따른 관점의 콘텐츠. 콘텐츠는 UTF-8로 인코딩되어야 합니다. 필드 최대 크기는 120KB입니다. data 사전은 비어 있더라도 필요합니다.
  - ASPECT_CREATE_TIMESTAMP: 관점이 소스 시스템에서 생성된 시간
  - ASPECT_UPDATE_TIMESTAMP: 관점이 소스 시스템에서 업데이트된 시간
- PARENT_ENTRY: 상위 항목의 리소스 이름
- FULLY_QUALIFIED_NAME: 외부 시스템에서 참조될 수 있는 항목의 이름. 정규화된 이름을 참조하세요.
UPDATE_MASK_FIELDS: Entry 리소스에 상대적인 경로에 있는 업데이트할 필드. 각 필드를 쉼표로 구분합니다.

전체 항목 동기화 작업에서 Dataplex Universal Catalog에는 관점을 포함하여 수정할 수 있는 항목의 모든 필드에 대한 경로가 포함됩니다. updateMask 필드는 항목이 생성되거나 다시 생성될 때 무시됩니다.

관점 전용 메타데이터 작업에서는 이 값을 aspects로 설정합니다.
ASPECT_KEY: 수정할 관점. 다음 문법을 지원합니다.
- ASPECT_TYPE_REFERENCE: 항목에 직접 연결된 관점의 관점 유형과 일치합니다.
- ASPECT_TYPE_REFERENCE@PATH: 관점 유형 및 지정된 경로와 일치합니다.
- ASPECT_TYPE_REFERENCE@*: 모든 경로의 관점 유형과 일치합니다.
- *@PATH: 지정된 경로의 모든 관점 유형과 일치합니다.
ASPECT_TYPE_REFERENCE를 PROJECT_ID_OR_NUMBER.LOCATION_ID.ASPECT_TYPE_ID 형식의 관점 유형에 대한 참조로 바꿉니다.

전체 항목 동기화 작업에서 이 필드를 비워두면 지정된 항목 내에 있는 관점만 지정됩니다. Dataplex Universal Catalog는 항목의 모든 필수 관점에 대한 키를 암시적으로 추가합니다.

파일 요구사항

메타데이터 가져오기 파일에는 다음과 같은 요구사항이 있습니다.

파일 형식은 줄바꿈으로 구분된 JSON 파일인 JSON Lines 파일로 지정됩니다. 각 가져오기 항목을 구분하려면 줄바꿈 문자(0x0a)를 사용합니다.
파일은 UTF-8 문자 인코딩을 사용해야 합니다.
지원되는 파일 확장자는 .jsonl 및 .json입니다.
각 메타데이터 가져오기 파일의 파일 크기는 1GiB 미만이어야 합니다. 메타데이터 작업에 있는 모든 데이터의 최대 총 크기는 3GB입니다. 여기에는 작업과 연결된 모든 파일과 메타데이터가 포함됩니다.
파일에 지정하는 항목 유형과 관점 유형은 메타데이터 작업 범위에 포함되어야 합니다.
파일을 Cloud Storage 버킷에 업로드해야 합니다. CLOUD_STORAGE_URI/deletions/ 폴더에 파일을 저장하지 마세요.

비교 논리

Dataplex Universal Catalog는 메타데이터 가져오기 파일에 제공하는 값과 타임스탬프를 프로젝트에 있는 값 및 타임스탬프와 비교하여 수정할 항목과 관점을 결정합니다.

Dataplex Universal Catalog는 상위 수준에서 작업 실행 시 데이터 기간 초과 문제를 일으키지 않고 메타데이터 가져오기 파일에서 최소 하나 이상의 제안된 변경에 따라 프로젝트 상태가 변경될 때 프로젝트 값을 변경합니다. 제안된 변경은 메타데이터 가져오기 파일의 업데이트 마스크 필드나 관점 키 필드에서 참조되어야 합니다.

비교 로직은 실행하는 메타데이터 가져오기 작업의 종류에 따라 다릅니다.

전체 항목 동기화 작업

전체 항목 동기화 메타데이터 작업에서 Dataplex Universal Catalog는 작업 범위에 속하는 항목마다 다음 중 하나를 실행합니다.

항목 및 연결된 관점을 만듭니다. 메타데이터 가져오기 파일에 프로젝트에 없는 항목이 포함된 경우 Dataplex Universal Catalog에서 항목 및 연결된 관점을 만듭니다.
항목 및 연결된 관점을 삭제합니다. 프로젝트에 항목이 있지만 메타데이터 가져오기 파일에 항목이 포함되지 않은 경우 Dataplex Universal Catalog는 프로젝트에서 항목 및 연결된 관점을 삭제합니다.
항목 및 연결된 관점을 업데이트합니다. 메타데이터 가져오기 파일과 프로젝트 모두에 항목이 있으면 Dataplex Universal Catalog에서 항목 소스 타임스탬프 및 항목과 연결된 관점 소스 타임스탬프를 평가하여 수정할 값을 결정합니다. 그런 다음 Dataplex Universal Catalog에서 다음 중 하나 이상을 수행합니다.
- 항목을 다시 만듭니다. 메타데이터 가져오기 파일의 항목 소스 만들기 타임스탬프가 프로젝트에 있는 해당 타임스탬프보다 최신이면 Dataplex Universal Catalog는 프로젝트에서 항목을 다시 만듭니다.
- 항목을 업데이트합니다. 메타데이터 가져오기 파일의 항목 소스 업데이트 타임스탬프가 프로젝트에 있는 해당 타임스탬프보다 최신이면 Dataplex Universal Catalog는 프로젝트에서 항목을 업데이트합니다.
- 관점을 만듭니다. 관점이 프로젝트에 없지만 메타데이터 가져오기 파일의 관점 지도, 업데이트 마스크 필드, 관점 키 필드에 포함되면 Dataplex Universal Catalog에서 관점을 만듭니다.
- 관점을 삭제합니다. 관점이 프로젝트에 있고 메타데이터 가져오기 파일의 업데이트 마스크 필드와 관점 키 필드에 포함되어 있지만 관점 지도에는 포함되지 않은 경우 Dataplex Universal Catalog에서 관점을 삭제합니다.
- 관점을 업데이트합니다. 관점이 프로젝트에 있고 메타데이터 가져오기 파일의 관점 지도, 업데이트 마스크 필드, 관점 키 필드에 포함되어 있으며 메타데이터 가져오기 파일의 관점 소스 업데이트 타임스탬프가 프로젝트에 있는 해당 타임스탬프보다 최신인 경우 Dataplex Universal Catalog에서 관점을 업데이트합니다.
  
  메타데이터 가져오기 파일에 관점 소스 업데이트 타임스탬프가 제공되지 않았지만 해당 항목이 업데이트로 표시된 경우 Dataplex Universal Catalog에서 관점도 업데이트합니다.
  
  하지만 메타데이터 가져오기 파일의 관점 최소 하나 이상에 프로젝트에 있는 해당 타임스탬프보다 오래된 타임스탬프가 있으면 Dataplex Universal Catalog에서 연결된 항목을 업데이트하지 않습니다.

관점 전용 작업

관점 전용 메타데이터 작업에서 Dataplex Universal Catalog는 작업 범위에 속하는 관점마다 다음 중 하나를 실행합니다.

관점을 만듭니다. 관점이 프로젝트에 없지만 메타데이터 가져오기 파일의 관점 지도, 업데이트 마스크 필드, 관점 키 필드에 포함되면 Dataplex Universal Catalog에서 관점을 만듭니다.
관점을 삭제합니다. 선택적 관점의 경우 관점이 프로젝트에 있고 메타데이터 가져오기 파일의 업데이트 마스크 필드와 관점 키 필드에 포함되어 있지만 관점 지도에는 포함되지 않은 경우 Dataplex Universal Catalog에서 관점을 삭제합니다.

필수 관점을 삭제할 수 없습니다.
관점을 업데이트합니다. 관점이 프로젝트에 있고 메타데이터 가져오기 파일의 관점 지도, 업데이트 마스크 필드, 관점 키 필드에 포함되어 있으며 메타데이터 가져오기 파일의 관점 소스 업데이트 타임스탬프가 프로젝트에 있는 해당 타임스탬프보다 최신인 경우 Dataplex Universal Catalog에서 관점을 업데이트합니다.

메타데이터 가져오기 파일에 관점 소스 업데이트 타임스탬프가 제공되지 않으면 Dataplex Universal Catalog에서 관점도 업데이트합니다.

Dataplex Universal Catalog는 해당 항목의 항목 소스 업데이트 타임스탬프와 관계없이 관점 소스 업데이트 타임스탬프를 기반으로 관점을 업데이트합니다.

메타데이터 가져오기 파일 만들기

메타데이터를 가져오기 전에 작업에 사용할 메타데이터 가져오기 파일을 만듭니다. 다음 단계를 수행합니다.

이 문서의 앞부분에서 설명한 안내에 따라 메타데이터 가져오기 파일을 준비합니다.
Cloud Storage 버킷에 파일을 업로드합니다.

같은 메타데이터 작업에 메타데이터 가져오기 파일을 여러 개 제공할 수 있습니다. 파일을 여러 개 제공하려면 같은 Cloud Storage 버킷에 파일을 저장합니다. 작업을 실행할 때 특정 파일이 아닌 버킷을 지정합니다. Dataplex Universal Catalog는 하위 폴더에 있는 파일을 포함하여 버킷에 저장된 모든 파일에서 메타데이터를 가져옵니다.

메타데이터 가져오기 작업 실행

메타데이터 가져오기 파일을 만든 후에 메타데이터 가져오기 작업을 실행합니다.

C#

이 샘플을 사용해 보기 전에 Dataplex Universal Catalog 빠른 시작: 클라이언트 라이브러리 사용의 C# 설정 안내를 따르세요. 자세한 내용은 Dataplex Universal Catalog C# API 참고 문서를 참조하세요.

Dataplex Universal Catalog에 인증하려면 애플리케이션 기본 사용자 인증 정보를 설정합니다. 자세한 내용은 로컬 개발 환경의 인증 설정을 참조하세요.

using Google.Api.Gax.ResourceNames;
using Google.Cloud.Dataplex.V1;
using Google.LongRunning;

public sealed partial class GeneratedCatalogServiceClientSnippets
{
    /// <summary>Snippet for CreateMetadataJob</summary>
    /// <remarks>
    /// This snippet has been automatically generated and should be regarded as a code template only.
    /// It will require modifications to work:
    /// - It may require correct/in-range values for request initialization.
    /// - It may require specifying regional endpoints when creating the service client as shown in
    ///   https://cloud.google.com/dotnet/docs/reference/help/client-configuration#endpoint.
    /// </remarks>
    public void CreateMetadataJobRequestObject()
    {
        // Create client
        CatalogServiceClient catalogServiceClient = CatalogServiceClient.Create();
        // Initialize request argument(s)
        CreateMetadataJobRequest request = new CreateMetadataJobRequest
        {
            ParentAsLocationName = LocationName.FromProjectLocation("[PROJECT]", "[LOCATION]"),
            MetadataJob = new MetadataJob(),
            MetadataJobId = "",
            ValidateOnly = false,
        };
        // Make the request
        Operation<MetadataJob, OperationMetadata> response = catalogServiceClient.CreateMetadataJob(request);

        // Poll until the returned long-running operation is complete
        Operation<MetadataJob, OperationMetadata> completedResponse = response.PollUntilCompleted();
        // Retrieve the operation result
        MetadataJob result = completedResponse.Result;

        // Or get the name of the operation
        string operationName = response.Name;
        // This name can be stored, then the long-running operation retrieved later by name
        Operation<MetadataJob, OperationMetadata> retrievedResponse = catalogServiceClient.PollOnceCreateMetadataJob(operationName);
        // Check if the retrieved long-running operation has completed
        if (retrievedResponse.IsCompleted)
        {
            // If it has completed, then access the result
            MetadataJob retrievedResult = retrievedResponse.Result;
        }
    }
}

Go

이 샘플을 사용해 보기 전에 Dataplex Universal Catalog 빠른 시작: 클라이언트 라이브러리 사용의 Go 설정 안내를 따르세요. 자세한 내용은 Dataplex Universal Catalog Go API 참고 문서를 참조하세요.

Dataplex Universal Catalog에 인증하려면 애플리케이션 기본 사용자 인증 정보를 설정합니다. 자세한 내용은 로컬 개발 환경의 인증 설정을 참조하세요.


package main

import (
	"context"

	dataplex "cloud.google.com/go/dataplex/apiv1"
	dataplexpb "cloud.google.com/go/dataplex/apiv1/dataplexpb"
)

func main() {
	ctx := context.Background()
	// This snippet has been automatically generated and should be regarded as a code template only.
	// It will require modifications to work:
	// - It may require correct/in-range values for request initialization.
	// - It may require specifying regional endpoints when creating the service client as shown in:
	//   https://pkg.go.dev/cloud.google.com/go#hdr-Client_Options
	c, err := dataplex.NewCatalogClient(ctx)
	if err != nil {
		// TODO: Handle error.
	}
	defer c.Close()

	req := &dataplexpb.CreateMetadataJobRequest{
		// TODO: Fill request struct fields.
		// See https://pkg.go.dev/cloud.google.com/go/dataplex/apiv1/dataplexpb#CreateMetadataJobRequest.
	}
	op, err := c.CreateMetadataJob(ctx, req)
	if err != nil {
		// TODO: Handle error.
	}

	resp, err := op.Wait(ctx)
	if err != nil {
		// TODO: Handle error.
	}
	// TODO: Use resp.
	_ = resp
}

Java

이 샘플을 사용해 보기 전에 Dataplex Universal Catalog 빠른 시작: 클라이언트 라이브러리 사용의 Java 설정 안내를 따르세요. 자세한 내용은 Dataplex Universal Catalog Java API 참고 문서를 참조하세요.

Dataplex Universal Catalog에 인증하려면 애플리케이션 기본 사용자 인증 정보를 설정합니다. 자세한 내용은 로컬 개발 환경의 인증 설정을 참조하세요.

import com.google.cloud.dataplex.v1.CatalogServiceClient;
import com.google.cloud.dataplex.v1.CreateMetadataJobRequest;
import com.google.cloud.dataplex.v1.LocationName;
import com.google.cloud.dataplex.v1.MetadataJob;

public class SyncCreateMetadataJob {

  public static void main(String[] args) throws Exception {
    syncCreateMetadataJob();
  }

  public static void syncCreateMetadataJob() throws Exception {
    // This snippet has been automatically generated and should be regarded as a code template only.
    // It will require modifications to work:
    // - It may require correct/in-range values for request initialization.
    // - It may require specifying regional endpoints when creating the service client as shown in
    // https://cloud.google.com/java/docs/setup#configure_endpoints_for_the_client_library
    try (CatalogServiceClient catalogServiceClient = CatalogServiceClient.create()) {
      CreateMetadataJobRequest request =
          CreateMetadataJobRequest.newBuilder()
              .setParent(LocationName.of("[PROJECT]", "[LOCATION]").toString())
              .setMetadataJob(MetadataJob.newBuilder().build())
              .setMetadataJobId("metadataJobId-2021530679")
              .setValidateOnly(true)
              .build();
      MetadataJob response = catalogServiceClient.createMetadataJobAsync(request).get();
    }
  }
}

Python

이 샘플을 사용해 보기 전에 Dataplex Universal Catalog 빠른 시작: 클라이언트 라이브러리 사용의 Python 설정 안내를 따르세요. 자세한 내용은 Dataplex Universal Catalog Python API 참고 문서를 참조하세요.

Dataplex Universal Catalog에 인증하려면 애플리케이션 기본 사용자 인증 정보를 설정합니다. 자세한 내용은 로컬 개발 환경의 인증 설정을 참조하세요.

# This snippet has been automatically generated and should be regarded as a
# code template only.
# It will require modifications to work:
# - It may require correct/in-range values for request initialization.
# - It may require specifying regional endpoints when creating the service
#   client as shown in:
#   https://googleapis.dev/python/google-api-core/latest/client_options.html
from google.cloud import dataplex_v1


def sample_create_metadata_job():
    # Create a client
    client = dataplex_v1.CatalogServiceClient()

    # Initialize request argument(s)
    metadata_job = dataplex_v1.MetadataJob()
    metadata_job.import_spec.scope.entry_groups = [
        "entry_groups_value1",
        "entry_groups_value2",
    ]
    metadata_job.import_spec.scope.entry_types = [
        "entry_types_value1",
        "entry_types_value2",
    ]
    metadata_job.import_spec.entry_sync_mode = "NONE"
    metadata_job.import_spec.aspect_sync_mode = "NONE"
    metadata_job.type_ = "EXPORT"

    request = dataplex_v1.CreateMetadataJobRequest(
        parent="parent_value",
        metadata_job=metadata_job,
    )

    # Make the request
    operation = client.create_metadata_job(request=request)

    print("Waiting for operation to complete...")

    response = operation.result()

    # Handle the response
    print(response)

Ruby

이 샘플을 사용해 보기 전에 Dataplex Universal Catalog 빠른 시작: 클라이언트 라이브러리 사용의 Ruby 설정 안내를 따르세요. 자세한 내용은 Dataplex Universal Catalog Ruby API 참고 문서를 참조하세요.

Dataplex Universal Catalog에 인증하려면 애플리케이션 기본 사용자 인증 정보를 설정합니다. 자세한 내용은 로컬 개발 환경의 인증 설정을 참조하세요.

require "google/cloud/dataplex/v1"

##
# Snippet for the create_metadata_job call in the CatalogService service
#
# This snippet has been automatically generated and should be regarded as a code
# template only. It will require modifications to work:
# - It may require correct/in-range values for request initialization.
# - It may require specifying regional endpoints when creating the service
# client as shown in https://cloud.google.com/ruby/docs/reference.
#
# This is an auto-generated example demonstrating basic usage of
# Google::Cloud::Dataplex::V1::CatalogService::Client#create_metadata_job.
#
def create_metadata_job
  # Create a client object. The client can be reused for multiple calls.
  client = Google::Cloud::Dataplex::V1::CatalogService::Client.new

  # Create a request. To set request fields, pass in keyword arguments.
  request = Google::Cloud::Dataplex::V1::CreateMetadataJobRequest.new

  # Call the create_metadata_job method.
  result = client.create_metadata_job request

  # The returned object is of type Gapic::Operation. You can use it to
  # check the status of an operation, cancel it, or wait for results.
  # Here is how to wait for a response.
  result.wait_until_done! timeout: 60
  if result.response?
    p result.response
  else
    puts "No response received."
  end
end

REST

메타데이터를 가져오려면 metadataJobs.create 메서드를 사용합니다.

요청 데이터를 사용하기 전에 다음을 바꿉니다.

PROJECT_NUMBER: Google Cloud 프로젝트 번호 또는 프로젝트 ID
LOCATION_ID: Google Cloud 위치(예: us-central1)
METADATA_JOB_ID: (선택사항) 메타데이터 작업 ID
CLOUD_STORAGE_URI: 메타데이터 가져오기 파일이 포함된 Cloud Storage 버킷이나 폴더의 URI. 파일 요구사항에 대한 자세한 내용은 메타데이터 가져오기 파일을 참조하세요.
ENTRY_GROUP: 작업 범위 내에 있는 항목 그룹의 상대 리소스 이름(projects/PROJECT_ID_OR_NUMBER/locations/LOCATION_ID/entryGroups/ENTRY_GROUP_ID 형식). 자세한 내용은 작업 범위를 참조하세요.
ENTRY_TYPE: 작업 범위 내에 있는 항목 유형의 상대적 리소스 이름(projects/PROJECT_ID_OR_NUMBER/locations/LOCATION_ID/entryTypes/ENTRY_TYPE_ID 형식). 자세한 내용은 작업 범위를 참조하세요.
ASPECT_TYPE: 작업 범위 내에 있는 관점 유형의 상대적 리소스 이름(projects/PROJECT_ID_OR_NUMBER/locations/LOCATION_ID/aspectTypes/ASPECT_TYPE_ID 형식). 전체 항목 동기화 작업을 만들 때는 선택사항이고 관점 전용 작업을 만들 때는 필수사항입니다. 자세한 내용은 작업 범위를 참조하세요.
ENTRY_SYNC_MODE: 항목 동기화 모드(예: FULL 또는 NONE). 자세한 내용은 동기화 모드를 참조하세요.
LOG_LEVEL: 캡처할 로그 수준(예: INFO 또는 DEBUG). 자세한 내용은 작업 로그 보기 및 문제 해결을 참조하세요.

HTTP 메서드 및 URL:

POST https://dataplex.googleapis.com/v1/projects/PROJECT_NUMBER/locations/LOCATION_ID/metadataJobs?metadataJobId=METADATA_JOB_ID

JSON 요청 본문:

{
  "type": "IMPORT",
  "import_spec": {
    "source_storage_uri": "gs://CLOUD_STORAGE_URI/",
    "scope": {
      "entryGroups": [
        "ENTRY_GROUP"
      ],
      "entry_types": [
        "ENTRY_TYPE"
      ],
      "aspect_types": [
        "ASPECT_TYPE"
      ]
    },
    "entry_sync_mode": "ENTRY_SYNC_MODE",
    "aspect_sync_mode": "INCREMENTAL",
    "log_level": "LOG_LEVEL"
  }
}

요청을 보내려면 다음 옵션 중 하나를 펼칩니다.

cURL(Linux, macOS, Cloud Shell)

참고: 다음 명령어는 gcloud init 또는 gcloud auth login을 실행하거나 gcloud CLI에 자동으로 로그인하는 Cloud Shell을 사용하여 사용자 계정으로 gcloud CLI에 로그인했다고 가정합니다. gcloud auth list를 실행하면 현재 활성 계정을 확인할 수 있습니다.

요청 본문을 request.json 파일에 저장하고 다음 명령어를 실행합니다.

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://dataplex.googleapis.com/v1/projects/PROJECT_NUMBER/locations/LOCATION_ID/metadataJobs?metadataJobId=METADATA_JOB_ID"

PowerShell(Windows)

참고: 다음 명령어는 gcloud init 또는 gcloud auth login을 실행하여 사용자 계정으로 gcloud CLI에 로그인했다고 가정합니다. gcloud auth list를 실행하면 현재 활성 계정을 확인할 수 있습니다.

요청 본문을 request.json 파일에 저장하고 다음 명령어를 실행합니다.

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://dataplex.googleapis.com/v1/projects/PROJECT_NUMBER/locations/LOCATION_ID/metadataJobs?metadataJobId=METADATA_JOB_ID" | Select-Object -Expand Content

응답은 장기 실행 작업을 식별합니다.

메타데이터 작업 세부정보 확인

작업 상태 및 수정된 항목 수와 같은 메타데이터 작업에 대한 정보를 확인하려면 다음 단계를 수행합니다. 실패한 작업 문제 해결 방법에 대한 자세한 내용은 이 문서의 작업 로그 보기 및 문제 해결 섹션을 참조하세요.

C#

Dataplex Universal Catalog에 인증하려면 애플리케이션 기본 사용자 인증 정보를 설정합니다. 자세한 내용은 로컬 개발 환경의 인증 설정을 참조하세요.

using Google.Cloud.Dataplex.V1;

public sealed partial class GeneratedCatalogServiceClientSnippets
{
    /// <summary>Snippet for GetMetadataJob</summary>
    /// <remarks>
    /// This snippet has been automatically generated and should be regarded as a code template only.
    /// It will require modifications to work:
    /// - It may require correct/in-range values for request initialization.
    /// - It may require specifying regional endpoints when creating the service client as shown in
    ///   https://cloud.google.com/dotnet/docs/reference/help/client-configuration#endpoint.
    /// </remarks>
    public void GetMetadataJobRequestObject()
    {
        // Create client
        CatalogServiceClient catalogServiceClient = CatalogServiceClient.Create();
        // Initialize request argument(s)
        GetMetadataJobRequest request = new GetMetadataJobRequest
        {
            MetadataJobName = MetadataJobName.FromProjectLocationMetadataJob("[PROJECT]", "[LOCATION]", "[METADATAJOB]"),
        };
        // Make the request
        MetadataJob response = catalogServiceClient.GetMetadataJob(request);
    }
}

Go

Dataplex Universal Catalog에 인증하려면 애플리케이션 기본 사용자 인증 정보를 설정합니다. 자세한 내용은 로컬 개발 환경의 인증 설정을 참조하세요.


package main

import (
	"context"

	dataplex "cloud.google.com/go/dataplex/apiv1"
	dataplexpb "cloud.google.com/go/dataplex/apiv1/dataplexpb"
)

func main() {
	ctx := context.Background()
	// This snippet has been automatically generated and should be regarded as a code template only.
	// It will require modifications to work:
	// - It may require correct/in-range values for request initialization.
	// - It may require specifying regional endpoints when creating the service client as shown in:
	//   https://pkg.go.dev/cloud.google.com/go#hdr-Client_Options
	c, err := dataplex.NewCatalogClient(ctx)
	if err != nil {
		// TODO: Handle error.
	}
	defer c.Close()

	req := &dataplexpb.GetMetadataJobRequest{
		// TODO: Fill request struct fields.
		// See https://pkg.go.dev/cloud.google.com/go/dataplex/apiv1/dataplexpb#GetMetadataJobRequest.
	}
	resp, err := c.GetMetadataJob(ctx, req)
	if err != nil {
		// TODO: Handle error.
	}
	// TODO: Use resp.
	_ = resp
}

Java

Dataplex Universal Catalog에 인증하려면 애플리케이션 기본 사용자 인증 정보를 설정합니다. 자세한 내용은 로컬 개발 환경의 인증 설정을 참조하세요.

import com.google.cloud.dataplex.v1.CatalogServiceClient;
import com.google.cloud.dataplex.v1.GetMetadataJobRequest;
import com.google.cloud.dataplex.v1.MetadataJob;
import com.google.cloud.dataplex.v1.MetadataJobName;

public class SyncGetMetadataJob {

  public static void main(String[] args) throws Exception {
    syncGetMetadataJob();
  }

  public static void syncGetMetadataJob() throws Exception {
    // This snippet has been automatically generated and should be regarded as a code template only.
    // It will require modifications to work:
    // - It may require correct/in-range values for request initialization.
    // - It may require specifying regional endpoints when creating the service client as shown in
    // https://cloud.google.com/java/docs/setup#configure_endpoints_for_the_client_library
    try (CatalogServiceClient catalogServiceClient = CatalogServiceClient.create()) {
      GetMetadataJobRequest request =
          GetMetadataJobRequest.newBuilder()
              .setName(MetadataJobName.of("[PROJECT]", "[LOCATION]", "[METADATAJOB]").toString())
              .build();
      MetadataJob response = catalogServiceClient.getMetadataJob(request);
    }
  }
}

Python

Dataplex Universal Catalog에 인증하려면 애플리케이션 기본 사용자 인증 정보를 설정합니다. 자세한 내용은 로컬 개발 환경의 인증 설정을 참조하세요.

# This snippet has been automatically generated and should be regarded as a
# code template only.
# It will require modifications to work:
# - It may require correct/in-range values for request initialization.
# - It may require specifying regional endpoints when creating the service
#   client as shown in:
#   https://googleapis.dev/python/google-api-core/latest/client_options.html
from google.cloud import dataplex_v1


def sample_get_metadata_job():
    # Create a client
    client = dataplex_v1.CatalogServiceClient()

    # Initialize request argument(s)
    request = dataplex_v1.GetMetadataJobRequest(
        name="name_value",
    )

    # Make the request
    response = client.get_metadata_job(request=request)

    # Handle the response
    print(response)

Ruby

Dataplex Universal Catalog에 인증하려면 애플리케이션 기본 사용자 인증 정보를 설정합니다. 자세한 내용은 로컬 개발 환경의 인증 설정을 참조하세요.

require "google/cloud/dataplex/v1"

##
# Snippet for the get_metadata_job call in the CatalogService service
#
# This snippet has been automatically generated and should be regarded as a code
# template only. It will require modifications to work:
# - It may require correct/in-range values for request initialization.
# - It may require specifying regional endpoints when creating the service
# client as shown in https://cloud.google.com/ruby/docs/reference.
#
# This is an auto-generated example demonstrating basic usage of
# Google::Cloud::Dataplex::V1::CatalogService::Client#get_metadata_job.
#
def get_metadata_job
  # Create a client object. The client can be reused for multiple calls.
  client = Google::Cloud::Dataplex::V1::CatalogService::Client.new

  # Create a request. To set request fields, pass in keyword arguments.
  request = Google::Cloud::Dataplex::V1::GetMetadataJobRequest.new

  # Call the get_metadata_job method.
  result = client.get_metadata_job request

  # The returned object is of type Google::Cloud::Dataplex::V1::MetadataJob.
  p result
end

REST

메타데이터 작업에 대한 정보를 확인하려면 metadataJobs.get 메서드를 사용합니다.

메타데이터 작업 목록 가져오기

최근의 메타데이터 작업 목록을 가져올 수 있습니다. 최종 상태에 도달한 이전 작업은 시스템에서 주기적으로 삭제됩니다.

C#

Dataplex Universal Catalog에 인증하려면 애플리케이션 기본 사용자 인증 정보를 설정합니다. 자세한 내용은 로컬 개발 환경의 인증 설정을 참조하세요.

using Google.Api.Gax;
using Google.Api.Gax.ResourceNames;
using Google.Cloud.Dataplex.V1;
using System;

public sealed partial class GeneratedCatalogServiceClientSnippets
{
    /// <summary>Snippet for ListMetadataJobs</summary>
    /// <remarks>
    /// This snippet has been automatically generated and should be regarded as a code template only.
    /// It will require modifications to work:
    /// - It may require correct/in-range values for request initialization.
    /// - It may require specifying regional endpoints when creating the service client as shown in
    ///   https://cloud.google.com/dotnet/docs/reference/help/client-configuration#endpoint.
    /// </remarks>
    public void ListMetadataJobsRequestObject()
    {
        // Create client
        CatalogServiceClient catalogServiceClient = CatalogServiceClient.Create();
        // Initialize request argument(s)
        ListMetadataJobsRequest request = new ListMetadataJobsRequest
        {
            ParentAsLocationName = LocationName.FromProjectLocation("[PROJECT]", "[LOCATION]"),
            Filter = "",
            OrderBy = "",
        };
        // Make the request
        PagedEnumerable<ListMetadataJobsResponse, MetadataJob> response = catalogServiceClient.ListMetadataJobs(request);

        // Iterate over all response items, lazily performing RPCs as required
        foreach (MetadataJob item in response)
        {
            // Do something with each item
            Console.WriteLine(item);
        }

        // Or iterate over pages (of server-defined size), performing one RPC per page
        foreach (ListMetadataJobsResponse page in response.AsRawResponses())
        {
            // Do something with each page of items
            Console.WriteLine("A page of results:");
            foreach (MetadataJob item in page)
            {
                // Do something with each item
                Console.WriteLine(item);
            }
        }

        // Or retrieve a single page of known size (unless it's the final page), performing as many RPCs as required
        int pageSize = 10;
        Page<MetadataJob> singlePage = response.ReadPage(pageSize);
        // Do something with the page of items
        Console.WriteLine($"A page of {pageSize} results (unless it's the final page):");
        foreach (MetadataJob item in singlePage)
        {
            // Do something with each item
            Console.WriteLine(item);
        }
        // Store the pageToken, for when the next page is required.
        string nextPageToken = singlePage.NextPageToken;
    }
}

Go

Dataplex Universal Catalog에 인증하려면 애플리케이션 기본 사용자 인증 정보를 설정합니다. 자세한 내용은 로컬 개발 환경의 인증 설정을 참조하세요.


package main

import (
	"context"

	dataplex "cloud.google.com/go/dataplex/apiv1"
	dataplexpb "cloud.google.com/go/dataplex/apiv1/dataplexpb"
	"google.golang.org/api/iterator"
)

func main() {
	ctx := context.Background()
	// This snippet has been automatically generated and should be regarded as a code template only.
	// It will require modifications to work:
	// - It may require correct/in-range values for request initialization.
	// - It may require specifying regional endpoints when creating the service client as shown in:
	//   https://pkg.go.dev/cloud.google.com/go#hdr-Client_Options
	c, err := dataplex.NewCatalogClient(ctx)
	if err != nil {
		// TODO: Handle error.
	}
	defer c.Close()

	req := &dataplexpb.ListMetadataJobsRequest{
		// TODO: Fill request struct fields.
		// See https://pkg.go.dev/cloud.google.com/go/dataplex/apiv1/dataplexpb#ListMetadataJobsRequest.
	}
	it := c.ListMetadataJobs(ctx, req)
	for {
		resp, err := it.Next()
		if err == iterator.Done {
			break
		}
		if err != nil {
			// TODO: Handle error.
		}
		// TODO: Use resp.
		_ = resp

		// If you need to access the underlying RPC response,
		// you can do so by casting the `Response` as below.
		// Otherwise, remove this line. Only populated after
		// first call to Next(). Not safe for concurrent access.
		_ = it.Response.(*dataplexpb.ListMetadataJobsResponse)
	}
}

Java

Dataplex Universal Catalog에 인증하려면 애플리케이션 기본 사용자 인증 정보를 설정합니다. 자세한 내용은 로컬 개발 환경의 인증 설정을 참조하세요.

import com.google.cloud.dataplex.v1.CatalogServiceClient;
import com.google.cloud.dataplex.v1.ListMetadataJobsRequest;
import com.google.cloud.dataplex.v1.LocationName;
import com.google.cloud.dataplex.v1.MetadataJob;

public class SyncListMetadataJobs {

  public static void main(String[] args) throws Exception {
    syncListMetadataJobs();
  }

  public static void syncListMetadataJobs() throws Exception {
    // This snippet has been automatically generated and should be regarded as a code template only.
    // It will require modifications to work:
    // - It may require correct/in-range values for request initialization.
    // - It may require specifying regional endpoints when creating the service client as shown in
    // https://cloud.google.com/java/docs/setup#configure_endpoints_for_the_client_library
    try (CatalogServiceClient catalogServiceClient = CatalogServiceClient.create()) {
      ListMetadataJobsRequest request =
          ListMetadataJobsRequest.newBuilder()
              .setParent(LocationName.of("[PROJECT]", "[LOCATION]").toString())
              .setPageSize(883849137)
              .setPageToken("pageToken873572522")
              .setFilter("filter-1274492040")
              .setOrderBy("orderBy-1207110587")
              .build();
      for (MetadataJob element : catalogServiceClient.listMetadataJobs(request).iterateAll()) {
        // doThingsWith(element);
      }
    }
  }
}

Python

Dataplex Universal Catalog에 인증하려면 애플리케이션 기본 사용자 인증 정보를 설정합니다. 자세한 내용은 로컬 개발 환경의 인증 설정을 참조하세요.

# This snippet has been automatically generated and should be regarded as a
# code template only.
# It will require modifications to work:
# - It may require correct/in-range values for request initialization.
# - It may require specifying regional endpoints when creating the service
#   client as shown in:
#   https://googleapis.dev/python/google-api-core/latest/client_options.html
from google.cloud import dataplex_v1


def sample_list_metadata_jobs():
    # Create a client
    client = dataplex_v1.CatalogServiceClient()

    # Initialize request argument(s)
    request = dataplex_v1.ListMetadataJobsRequest(
        parent="parent_value",
    )

    # Make the request
    page_result = client.list_metadata_jobs(request=request)

    # Handle the response
    for response in page_result:
        print(response)

Ruby

Dataplex Universal Catalog에 인증하려면 애플리케이션 기본 사용자 인증 정보를 설정합니다. 자세한 내용은 로컬 개발 환경의 인증 설정을 참조하세요.

require "google/cloud/dataplex/v1"

##
# Snippet for the list_metadata_jobs call in the CatalogService service
#
# This snippet has been automatically generated and should be regarded as a code
# template only. It will require modifications to work:
# - It may require correct/in-range values for request initialization.
# - It may require specifying regional endpoints when creating the service
# client as shown in https://cloud.google.com/ruby/docs/reference.
#
# This is an auto-generated example demonstrating basic usage of
# Google::Cloud::Dataplex::V1::CatalogService::Client#list_metadata_jobs.
#
def list_metadata_jobs
  # Create a client object. The client can be reused for multiple calls.
  client = Google::Cloud::Dataplex::V1::CatalogService::Client.new

  # Create a request. To set request fields, pass in keyword arguments.
  request = Google::Cloud::Dataplex::V1::ListMetadataJobsRequest.new

  # Call the list_metadata_jobs method.
  result = client.list_metadata_jobs request

  # The returned object is of type Gapic::PagedEnumerable. You can iterate
  # over elements, and API calls will be issued to fetch pages as needed.
  result.each do |item|
    # Each element is of type ::Google::Cloud::Dataplex::V1::MetadataJob.
    p item
  end
end

REST

최근 메타데이터 작업 목록을 가져오려면 metadataJobs.list 메서드를 사용합니다.

메타데이터 작업 취소

실행하지 않으려는 메타데이터 작업을 취소할 수 있습니다.

C#

Dataplex Universal Catalog에 인증하려면 애플리케이션 기본 사용자 인증 정보를 설정합니다. 자세한 내용은 로컬 개발 환경의 인증 설정을 참조하세요.

using Google.Cloud.Dataplex.V1;

public sealed partial class GeneratedCatalogServiceClientSnippets
{
    /// <summary>Snippet for CancelMetadataJob</summary>
    /// <remarks>
    /// This snippet has been automatically generated and should be regarded as a code template only.
    /// It will require modifications to work:
    /// - It may require correct/in-range values for request initialization.
    /// - It may require specifying regional endpoints when creating the service client as shown in
    ///   https://cloud.google.com/dotnet/docs/reference/help/client-configuration#endpoint.
    /// </remarks>
    public void CancelMetadataJobRequestObject()
    {
        // Create client
        CatalogServiceClient catalogServiceClient = CatalogServiceClient.Create();
        // Initialize request argument(s)
        CancelMetadataJobRequest request = new CancelMetadataJobRequest
        {
            MetadataJobName = MetadataJobName.FromProjectLocationMetadataJob("[PROJECT]", "[LOCATION]", "[METADATAJOB]"),
        };
        // Make the request
        catalogServiceClient.CancelMetadataJob(request);
    }
}

Go

Dataplex Universal Catalog에 인증하려면 애플리케이션 기본 사용자 인증 정보를 설정합니다. 자세한 내용은 로컬 개발 환경의 인증 설정을 참조하세요.


package main

import (
	"context"

	dataplex "cloud.google.com/go/dataplex/apiv1"
	dataplexpb "cloud.google.com/go/dataplex/apiv1/dataplexpb"
)

func main() {
	ctx := context.Background()
	// This snippet has been automatically generated and should be regarded as a code template only.
	// It will require modifications to work:
	// - It may require correct/in-range values for request initialization.
	// - It may require specifying regional endpoints when creating the service client as shown in:
	//   https://pkg.go.dev/cloud.google.com/go#hdr-Client_Options
	c, err := dataplex.NewCatalogClient(ctx)
	if err != nil {
		// TODO: Handle error.
	}
	defer c.Close()

	req := &dataplexpb.CancelMetadataJobRequest{
		// TODO: Fill request struct fields.
		// See https://pkg.go.dev/cloud.google.com/go/dataplex/apiv1/dataplexpb#CancelMetadataJobRequest.
	}
	err = c.CancelMetadataJob(ctx, req)
	if err != nil {
		// TODO: Handle error.
	}
}

Java

Dataplex Universal Catalog에 인증하려면 애플리케이션 기본 사용자 인증 정보를 설정합니다. 자세한 내용은 로컬 개발 환경의 인증 설정을 참조하세요.

import com.google.cloud.dataplex.v1.CancelMetadataJobRequest;
import com.google.cloud.dataplex.v1.CatalogServiceClient;
import com.google.cloud.dataplex.v1.MetadataJobName;
import com.google.protobuf.Empty;

public class SyncCancelMetadataJob {

  public static void main(String[] args) throws Exception {
    syncCancelMetadataJob();
  }

  public static void syncCancelMetadataJob() throws Exception {
    // This snippet has been automatically generated and should be regarded as a code template only.
    // It will require modifications to work:
    // - It may require correct/in-range values for request initialization.
    // - It may require specifying regional endpoints when creating the service client as shown in
    // https://cloud.google.com/java/docs/setup#configure_endpoints_for_the_client_library
    try (CatalogServiceClient catalogServiceClient = CatalogServiceClient.create()) {
      CancelMetadataJobRequest request =
          CancelMetadataJobRequest.newBuilder()
              .setName(MetadataJobName.of("[PROJECT]", "[LOCATION]", "[METADATAJOB]").toString())
              .build();
      catalogServiceClient.cancelMetadataJob(request);
    }
  }
}

Python

Dataplex Universal Catalog에 인증하려면 애플리케이션 기본 사용자 인증 정보를 설정합니다. 자세한 내용은 로컬 개발 환경의 인증 설정을 참조하세요.

# This snippet has been automatically generated and should be regarded as a
# code template only.
# It will require modifications to work:
# - It may require correct/in-range values for request initialization.
# - It may require specifying regional endpoints when creating the service
#   client as shown in:
#   https://googleapis.dev/python/google-api-core/latest/client_options.html
from google.cloud import dataplex_v1


def sample_cancel_metadata_job():
    # Create a client
    client = dataplex_v1.CatalogServiceClient()

    # Initialize request argument(s)
    request = dataplex_v1.CancelMetadataJobRequest(
        name="name_value",
    )

    # Make the request
    client.cancel_metadata_job(request=request)

Ruby

Dataplex Universal Catalog에 인증하려면 애플리케이션 기본 사용자 인증 정보를 설정합니다. 자세한 내용은 로컬 개발 환경의 인증 설정을 참조하세요.

require "google/cloud/dataplex/v1"

##
# Snippet for the cancel_metadata_job call in the CatalogService service
#
# This snippet has been automatically generated and should be regarded as a code
# template only. It will require modifications to work:
# - It may require correct/in-range values for request initialization.
# - It may require specifying regional endpoints when creating the service
# client as shown in https://cloud.google.com/ruby/docs/reference.
#
# This is an auto-generated example demonstrating basic usage of
# Google::Cloud::Dataplex::V1::CatalogService::Client#cancel_metadata_job.
#
def cancel_metadata_job
  # Create a client object. The client can be reused for multiple calls.
  client = Google::Cloud::Dataplex::V1::CatalogService::Client.new

  # Create a request. To set request fields, pass in keyword arguments.
  request = Google::Cloud::Dataplex::V1::CancelMetadataJobRequest.new

  # Call the cancel_metadata_job method.
  result = client.cancel_metadata_job request

  # The returned object is of type Google::Protobuf::Empty.
  p result
end

REST

메타데이터 작업을 취소하려면 metadataJobs.cancel 메서드를 사용합니다.

작업 로그 보기 및 문제 해결

Cloud Logging을 사용하여 메타데이터 작업 로그를 봅니다. 자세한 내용은 Dataplex Universal Catalog 로그 모니터링을 참조하세요.

메타데이터 작업을 만들 때 로그 수준을 구성합니다. 다음 로그 수준을 사용할 수 있습니다.

INFO: 전체 작업 수준에서 로그를 제공합니다. 가져오기 항목에 대한 집계 로그를 포함하지만 오류가 있는 가져오기 항목을 지정하지 않습니다.
DEBUG: 각 가져오기 항목에 대한 상세 로그를 제공합니다. 디버그 수준 로깅을 사용하여 특정 가져오기 항목 관련 문제를 해결합니다. 예를 들어 디버그 수준 로깅을 사용하여 작업 범위에서 누락된 리소스, 연결된 항목 유형 또는 관점 유형에 해당하지 않는 항목이나 관점, 메타데이터 가져오기 파일 관련 기타 잘못된 구성을 식별합니다.

참고: 메타데이터 작업 크기와 생성된 로그 수에 따라 디버그 수준 로깅을 사용하면 추가 비용이 발생할 수 있습니다. 자세한 내용은 Google Cloud Observability 가격 책정을 참조하세요.

확인 오류

Dataplex Universal Catalog는 프로젝트의 현재 메타데이터에 대해 메타데이터 가져오기 파일을 검증합니다. 검증 문제가 있으면 작업 상태에서 다음 상태 중 하나를 반환할 수 있습니다.

FAILED: 메타데이터 가져오기 파일에서 오류가 발생하면 반환됩니다. Dataplex Universal Catalog에서 메타데이터를 가져오지 않으며 작업이 실패합니다. 메타데이터 가져오기 파일 오류 예시에는 다음이 포함됩니다.
- 파일의 항목을 유효한 가져오기 항목으로 파싱할 수 없습니다.
- 파일의 항목이나 관점이 작업 범위에 속하지 않는 항목 그룹, 항목 유형 또는 관점 유형에 속합니다.
- 작업에서 같은 항목 이름이 2회 이상 지정되었습니다.
- 관점 지도나 관점 키에 지정된 관점 유형에서 PROJECT_ID_OR_NUMBER.LOCATION_ID.ASPECT_TYPE_ID@OPTIONAL_PATH 형식을 사용하지 않습니다.
- 필수 관점이 삭제 대상으로 표시되어 있습니다.
SUCCEEDED_WITH_ERRORS: 메타데이터 가져오기 파일을 성공적으로 파싱할 수 있지만 파일의 항목을 가져올 때 프로젝트의 항목 상태가 일치하지 않는 문제가 발생하면 반환됩니다. Dataplex Universal Catalog는 이러한 항목을 무시하고 파일에서 나머지 메타데이터를 가져옵니다.

작업 로그를 사용하여 오류를 해결합니다.

커스텀 파이프라인을 사용하여 메타데이터 가져오기 컬렉션을 사용해 정리하기 내 환경설정을 기준으로 콘텐츠를 저장하고 분류하세요.

대략적인 단계

시작하기 전에

필수 역할

Google Cloud 리소스 만들기

메타데이터 가져오기 작업 구성요소

작업 범위

동기화 모드

메타데이터 가져오기 파일

파일 구조

가져오기 항목 구조

파일 요구사항

비교 논리

전체 항목 동기화 작업

관점 전용 작업

메타데이터 가져오기 파일 만들기

메타데이터 가져오기 작업 실행

C#

C#

Go

Go

Java

Java

Python

Python

Ruby

Ruby

REST

cURL(Linux, macOS, Cloud Shell)

PowerShell(Windows)

메타데이터 작업 세부정보 확인

C#

C#

Go

Go

Java

Java

Python

Python

Ruby

Ruby

REST

메타데이터 작업 목록 가져오기

C#

C#

Go

Go

Java

Java

Python

Python

Ruby

Ruby

REST

메타데이터 작업 취소

C#

C#

Go

Go

Java

Java

Python

Python

Ruby

Ruby

REST

작업 로그 보기 및 문제 해결

확인 오류

다음 단계

커스텀 파이프라인을 사용하여 메타데이터 가져오기