교차 클라우드 데이터 액세스 문제 해결

Lakehouse를 사용하여 크로스 클라우드 데이터에 액세스할 때 백그라운드 메타데이터 새로고침, Cross-Cloud Interconnect를 통한 비공개 상호 연결 라우팅, 서비스 디렉터리 엔드포인트 확인과 관련된 문제를 진단하고 해결할 수 있습니다. 이러한 문제를 해결하면 제휴 테이블 메타데이터를 최신 상태로 유지하고 비공개 크로스 클라우드 쿼리 실행을 복원할 수 있습니다.

데이터 및 리소스가 오래되었거나 업데이트되지 않음

Lakehouse 페더레이션 카탈로그는 새로고침 간격을 기준으로 원격 클라우드에서 메타데이터를 동기화합니다. 페더레이션 카탈로그에 많은 리소스(공유, 스키마, 네임스페이스, 테이블)가 포함된 경우 페더레이션 카탈로그의 백그라운드 메타데이터 새로고침에 더 오랜 시간이 걸릴 수 있습니다. 이전 새로고침이 초과되면 현재 새로고침을 건너뛰고 다음 새로고침이 다음 예약된 간격으로 실행됩니다.

쿼리된 데이터가 오래된 것으로 표시되면 페더레이션 카탈로그의 백그라운드 메타데이터 새로고침이 오버런되거나 실패할 수 있습니다. 원격 클라우드에서 리소스를 삭제하면 다음 백그라운드 메타데이터 새로고침이 완료될 때 Lakehouse에서 삭제됩니다.

Google Cloud 콘솔의 Lakehouse 페이지에서 또는 Google Cloud CLI를 사용하여 페더레이션 카탈로그의 백그라운드 메타데이터 새로고침 상태를 확인합니다.

레이크하우스로 이동

gcloud biglake iceberg catalogs describe FEDERATED_CATALOG_NAME \
    --project="PROJECT_ID"

gcloud biglake delta-sharing catalogs describe FEDERATED_CATALOG_NAME \
    --project="PROJECT_ID"

AWS Glue Data Catalog 문제 해결

Lakehouse 런타임 카탈로그의 AWS Glue 페더레이션 카탈로그에서 --metadata-service-directory-name를 구성한 후 백그라운드 메타데이터 새로고침이 실패하면 다음을 확인하세요.

  • 비공개 카탈로그 엔드포인트 매핑 확인: 백그라운드 메타데이터 새로고침을 위한 하이브리드 연결 네트워크 엔드포인트 그룹(NEG) 또는 서비스 디렉터리 엔드포인트가 Amazon S3 인터페이스 VPC 엔드포인트가 아닌 TCP 포트 443의 AWS Glue 인터페이스 VPC 엔드포인트(com.amazonaws.AWS_REGION.glue)의 비공개 IP 주소를 가리키는지 확인합니다.
  • IAM 역할 신뢰 정책 및 권한 확인: Amazon Web Services(AWS) IAM 역할 신뢰 정책이 페더레이션 카탈로그의Google Cloud 서비스 계정(biglake-service-account)에서 역할(sts:AssumeRoleWithWebIdentity)을 맡도록 허용하고 역할에 AWS Glue 데이터베이스 및 테이블 메타데이터를 읽을 수 있는 권한(glue:GetDatabase, glue:GetDatabases, glue:GetTable, glue:GetTables)이 있는지 확인합니다.
  • VPC 엔드포인트 보안 그룹 규칙 확인: AWS Glue 인터페이스 VPC 엔드포인트에 연결된 AWS 보안 그룹이Google Cloud 가상 프라이빗 클라우드 (VPC) 서브넷 및 프록시 전용 서브넷 CIDR 범위에서 TCP 포트 443의 인바운드 HTTPS 트래픽을 허용하는지 확인합니다.

Databricks Unity Catalog 문제 해결

백그라운드 메타데이터 새로고침 중에 테이블이 비어 있거나 발견되지 않음

페더레이션 카탈로그 백그라운드 메타데이터 새로고침이 완료(예: Refresh successfully completed)를 나타내지만 페더레이션 카탈로그의 테이블이 표시되지 않거나 테이블 나열에서 0 항목을 반환하는 경우 다음을 확인하세요.

  • EXTERNAL USE SCHEMA 권한: Databricks Unity Catalog의 대상 스키마 또는 카탈로그에 Databricks 서비스 주 구성원에 EXTERNAL USE SCHEMA 권한이 부여되었는지 확인합니다. 이 권한이 없으면 백그라운드 메타데이터 새로고침 및 쿼리에 대한 사용자 인증 정보 판매가 실패합니다.
  • 외부 데이터 액세스 설정: Databricks Unity Catalog metastore에서 외부 데이터 액세스가 사용 설정되어 있는지 확인합니다.
  • 외부 위치: Databricks Unity Catalog 및 테이블이 기본 스토리지가 아닌 외부 스토리지 위치 (예: Amazon S3, Microsoft Azure Data Lake Storage Gen2, Cloud Storage)를 사용하는지 확인합니다.

Cross-Cloud Interconnect를 통한 백그라운드 메타데이터 새로고침 실패

Lakehouse 런타임 카탈로그에서 Databricks Unity Catalog에 --metadata-service-directory-name가 구성된 경우 백그라운드 메타데이터 새로고침이 실패하면 다음을 확인하세요.

  • Workspace 비공개 엔드포인트 대상: 메타데이터 서비스 디렉터리 엔드포인트 또는 내부 리전 프록시 네트워크 부하 분산기 백엔드가 원격 스토리지 엔드포인트가 아닌 TCP 포트 443의 Databricks 작업공간 AWS PrivateLink 인터페이스 엔드포인트 또는 Azure 비공개 엔드포인트의 비공개 IP 주소를 타겟팅하고 --unity-instance-name가 작업공간 호스트 이름과 일치하는지 확인합니다.
  • Workspace 비공개 액세스 설정: Databricks 작업공간에서 비공개 액세스 설정 또는 IP 액세스 목록을 적용하는 경우 Google CloudVPC 네트워크에서 비공개 엔드포인트를 통해 도착하는 요청이 허용되는지 확인합니다.

백그라운드 메타데이터 새로고침이 실패하거나 401 승인되지 않음 오류가 반환됨

백그라운드 메타데이터 새로고침 상태에서 오류(예: 401 Unauthorized)를 보고하거나 스키마를 검색할 수 없는 경우 다음을 확인합니다.

  • 서비스 주 구성원 제휴 정책: Databricks 계정 콘솔(계정 설정 > 보안 > ID 공급업체 설정 > 제휴 정책)에서 서비스 주 구성원 제휴 정책이 다음과 같이 구성되어 있는지 확인합니다.
    • 발급기관 URL: https://accounts.google.com
    • 주체: 페더레이션 카탈로그의 biglake-service-account 서비스 계정의 숫자 고유 ID(이메일 주소 아님)입니다.
    • 대상: https://accounts.cloud.databricks.com
  • Secret Manager 권한: 보안 비밀 기반 인증을 사용하는 경우 지정된 리전 위치에 보안 비밀이 있고 biglake-service-account에 Secret Manager 보안 비밀 접근자(roles/secretmanager.secretAccessor) 역할이 부여되었는지 확인합니다.
  • 서비스 주 구성원 권한: Databricks 서비스 주 구성원에 대상 작업공간 및 Databricks Unity Catalog에 대한 읽기 액세스 권한이 있는지 확인합니다.

401 승인되지 않음 또는 토큰 검증 오류로 인해 대화형 쿼리가 실패함

사용자 ID 제휴가 사용 설정되면 대화형 쿼리가 최종 사용자 ID 토큰을 동적으로 생성하고 Databricks의 계정 전체 제휴 정책에 따라 유효성을 검사합니다. 백그라운드 메타데이터 새로고침이 정상인데 쿼리가 401 Unauthorized 또는 토큰 검증 오류로 실패하면 다음을 확인하세요.

  • 계정 전체 제휴 정책 구성: Databricks 계정 콘솔의 계정 설정 > 보안 > ID 공급업체 설정 > 제휴 정책에서 계정 전체 제휴 정책(서비스 주 구성원 정책과 다름)이 생성되었는지 확인합니다.
  • 대소문자 구분 잠재고객 일치: Databricks는 aud(잠재고객) 클레임을 엄격하게 대소문자를 구분하여 검증합니다. Databricks 계정 전체 제휴 정책의 잠재고객 필드가 페더레이션 카탈로그에서 가져온 metastore 범위 audience 클레임(databricks-METASTORE_ID)의 정확한 대소문자와 일치하는지 확인합니다. 대문자 또는 소문자 불일치(예: databricks- 프리픽스 또는 metastore UUID)가 있으면 Databricks 토큰 검증에서 401 Unauthorized로 쿼리를 거부합니다.
  • 발급기관 URL: 발급기관 URL이 페더레이션 카탈로그의 정확한 issuer-url 클레임과 일치하는지 확인합니다. https://www.gstatic.com/biglake/federation/organizations/ORGANIZATION_ID
  • Metastore 대상 사용 가능 여부: Metastore 범위의 audience 클레임은 첫 번째 백그라운드 메타데이터 새로고침 주기가 완료된 후에만 채워집니다(일반적으로 5분 이내). 플레이스홀더 값으로 정책을 구성하거나 첫 번째 새로고침 주기가 완료되기 전에 정책을 구성하면 쿼리가 실패합니다. gcloud biglake iceberg catalogs describe을 실행하여 정책을 구성하기 전에 제휴 카탈로그의 audience 클레임이 채워졌는지 확인합니다.

Snowflake Horizon Catalog 문제 해결

백그라운드 메타데이터 새로고침이 코드 16 (인증되지 않음)으로 실패함

Snowflake Horizon Catalog의 백그라운드 메타데이터 새로고침이 Code 16 (UNAUTHENTICATED) 상태로 실패하면 다음을 확인합니다.

  • 보안 비밀 페이로드 형식 지정: Secret Manager의 보안 비밀 토큰에 원시 프로그래매틱 액세스 토큰(PAT) 문자열이 아닌 필수 JSON 구조({"client_secret": "SNOWFLAKE_PAT_TOKEN", "scope": "session:role:SNOWFLAKE_ROLE"})가 포함되어 있는지 확인합니다.
  • 토큰 만료 및 권한: Snowflake PAT가 유효하고 연결된 사용자 및 역할에 대상 카탈로그 및 데이터베이스를 읽을 수 있는 권한이 있는지 확인합니다.
  • PrivateLink 또는 Private Link 계정 식별자: AWS PrivateLink 또는 Azure Private Link를 사용하여 Cross-Cloud Interconnect를 통해 메타데이터를 동기화하도록 --metadata-service-directory-name를 구성한 경우 --snowflake-account-identifier가 공개 계정 식별자가 아닌 Snowflake .privatelink 계정 식별자 (예: myorg-myaccount.privatelink)를 지정하는지 확인합니다.
  • 네트워크 정책: 백그라운드 메타데이터 새로고침이 공개 인터넷을 통해 연결되고 Snowflake 네트워크 정책이 활성 상태인 경우 goog.json의 Google 이그레스 IP 주소 범위가 네트워크 정책의 허용된 IP 목록에 포함되어 있는지 확인합니다.

Cross-Cloud Interconnect를 통한 백그라운드 메타데이터 새로고침 실패

Lakehouse 런타임 카탈로그에서 Snowflake Horizon Catalog에 --metadata-service-directory-name가 구성된 경우 백그라운드 메타데이터 새로고침이 실패하면 다음을 확인하세요.

  • Snowflake 비공개 엔드포인트 대상: 메타데이터 서비스 디렉터리 엔드포인트 또는 내부 리전 프록시 네트워크 부하 분산기 백엔드가 원격 객체 스토리지 엔드포인트가 아닌 TCP 포트 443에서 Snowflake AWS PrivateLink 인터페이스 엔드포인트 또는 Azure 비공개 엔드포인트의 비공개 IP 주소를 가리키는지 확인합니다.
  • 비공개 계정 식별자: --snowflake-account-identifier에서 .privatelink 계정 식별자(예: myorg-myaccount.privatelink)를 사용하는지 확인합니다.

연결 또는 라우팅 문제

Cross-Cloud Interconnect를 통해 트래픽을 라우팅할 때 쿼리 전송 또는 백그라운드 메타데이터 새로고침 실패가 발생하면 다음을 확인하세요.

  • 경로 전파 확인:Google Cloud 에서 Cloud Router를 확인하여 AWS VPC 또는 Azure 가상 네트워크 (VNet) 프리픽스를 학습했는지 확인합니다. AWS 또는 Azure 경로 테이블을 확인하여 Google CloudVPC 네트워크로 돌아가는 경로가 있는지 확인합니다. 내부 리전 프록시 네트워크 부하 분산기를 사용하는 경우 Cloud Router가 커스텀 BGP 경로 공지를 통해 프록시 전용 서브넷 CIDR 범위를 공지하는지 확인합니다.
  • 내부 부하 분산기 상태 확인: Google Cloud 콘솔에서 네트워크 서비스 > 부하 분산으로 이동하여 전송 및 메타데이터 백엔드 서비스의 하이브리드 연결 네트워크 엔드포인트 그룹 (NEG) 백엔드가 정상인지 확인합니다. 백엔드가 비정상인 경우 비공개 상호 연결 연결 및 원격 보안 규칙을 확인합니다.
  • Google Cloud에서 연결 테스트: 내부 부하 분산기 또는 서비스 디렉터리 엔드포인트와 동일한 Google Cloud VPC 네트워크 및 서브넷에 테스트 VM 인스턴스를 만들고 TCP 포트 443에서 AWS Elastic Network Interface (ENI) 또는 Azure 비공개 엔드포인트 네트워크 인터페이스 (NIC) IP 주소에 대한 연결을 테스트합니다(예: curl 또는 nc 사용).
  • 서비스 디렉터리 구성 및 권한 확인: --service-directory-name(쿼리 전송용) 및 --metadata-service-directory-name(백그라운드 메타데이터 새로고침용)에 구성된 서비스 디렉터리 서비스가 제휴 카탈로그와 동일한 Google Cloud 리전에 있는지 확인합니다. 페더레이션 카탈로그의 백그라운드 메타데이터 새로고침이 Permission 'servicedirectory.services.resolve' denied 오류로 실패하면 페더레이션 카탈로그의 고유 서비스 계정 ID(biglake-service-account 필드)에 서비스 디렉터리 서비스를 호스팅하는 각 프로젝트에 대한 roles/servicedirectory.viewer 및 roles/servicedirectory.pscAuthorizedService 역할이 있는지 확인합니다.
  • 보안 그룹 및 방화벽 규칙 확인:Google Cloud 방화벽 규칙, AWS 보안 그룹, Azure 네트워크 보안 그룹 (NSG)이 Google Cloud VPC CIDR 범위(프록시 전용 서브넷 CIDR 범위 포함)와 원격 비공개 엔드포인트 간에 포트 443에서 TCP 트래픽을 허용하는지 확인합니다.