BigQuery로 FOCUS Cloud Billing 데이터 내보내기 설정

이 문서에서는 BigQuery로 FOCUS 사용량 비용 Cloud Billing 데이터 내보내기를 설정하는 데 필요한 모든 단계를 설명합니다. FOCUS 사용량 비용 내보내기는 FinOps Open Cost and Usage Specification(FOCUS) 표준에 따라 정규화된 상세 사용량 비용 데이터가 포함된 변경 불가능한 BigQuery 데이터 세트(연결된 데이터 세트)입니다.

BigQuery로 FOCUS 사용량 비용 Cloud Billing 데이터 내보내기를 사용 설정하려면 다음 단계를 따르세요.

  • 내보낸 Cloud Billing 데이터가 저장될 프로젝트를 만들고 프로젝트에서 결제를 사용 설정합니다 (아직 설정하지 않은 경우).
  • 프로젝트 및 Cloud Billing 계정에 대한 권한을 구성합니다.
  • FOCUS 사용량 비용 결제 내보내기를 사용 설정합니다.

이 문서에서는 이러한 각 단계에 대해 자세히 설명합니다.

FOCUS Export의 BigQuery 사용 비용

BigQuery를 사용하여 결제 사용량 및 비용 데이터를 저장하고 분석하면 BigQuery 사용 요금이 발생합니다. BigQuery의 기본 비용은 BigQuery에 저장되는 데이터의 스토리지와 쿼리 처리에 사용되는 컴퓨팅입니다.

FOCUS 청구 데이터 내보내기는 연결된 데이터 세트를 사용하여 Google에서 관리하는 변경 불가능한 내보내기로 제공되므로 FOCUS 데이터에 대한 스토리지 비용이 청구되지 않습니다. 하지만 FOCUS 데이터를 쿼리하면 요금이 청구됩니다. 자세한 내용은 BigQuery 사용 비용을 참고하세요.

Google Cloud 콘솔 정보

Google Cloud 콘솔(문서 보기, 콘솔 열기)은Google Cloud 제품을 사용하는 시스템을 프로비저닝, 구성, 관리, 모니터링하는 데 사용되는 웹 UI입니다. Google Cloud 콘솔을 사용하여 Google Cloud 및 Cloud Billing 리소스를 설정하고 관리할 수 있습니다.

이 태스크에 필요한 권한

Google Cloud 결제 사용량 비용 데이터의 FOCUS 내보내기를 사용 설정하고 구성하려면 다음 권한이 필요합니다.

다른 프로젝트 권한이 필요할 수도 있습니다.Google Cloud 조직의 구성원이 새 프로젝트를 만들려면 조직 또는 폴더에 대한 프로젝트 생성자 역할이 필요합니다. 특히 새 프로젝트를 만들려면 다음 권한이 필요합니다.

  • resourcemanager.organizations.get
  • resourcemanager.projects.create

Google Cloud 권한에 관한 자세한 내용은 다음을 참조하세요.

BigQuery로 Cloud Billing 데이터 내보내기 사용 설정

이 섹션의 3단계를 완료하여 BigQuery로 FOCUS 사용 비용 내보내기를 사용 설정합니다.

1. 프로젝트 선택 또는 생성

BigQuery로 내보낸 Cloud Billing 데이터는 BigQuery 데이터 세트에 포함되어 있습니다. 데이터 세트는 지정한Google Cloud 프로젝트 내에 포함됩니다.

Cloud Billing 계정의 내보낸 Cloud Billing 데이터를 포함하여 모든 FinOps 및 결제 관리 작업을 모두 처리할 수 있도록 별도의 Google Cloud 프로젝트를 만들어 사용하는 것이 좋습니다. 결제 관리 사용 사례에 FinOps 중심 프로젝트를 사용할 경우의 이점에 대해 자세히 알아보세요.

Google Cloud 콘솔의 프로젝트 선택기 페이지에서 Google Cloud 프로젝트를 선택하거나 만듭니다.

프로젝트를 선택하거나 만드는 데 필요한 역할

  • 프로젝트 선택: 프로젝트를 선택하는 데는 특정 IAM 역할이 필요하지 않습니다. 역할이 부여된 프로젝트를 선택하면 됩니다.
  • 프로젝트 만들기: 프로젝트를 만들려면 resourcemanager.projects.create 권한이 포함된 프로젝트 생성자 역할(roles/resourcemanager.projectCreator)이 필요합니다. 역할 부여 방법 알아보기

프로젝트 선택기로 이동

프로젝트 만들기 및 관리에 대해 자세히 알아보세요.

2. 결제가 사용 설정되어 있는지 확인

데이터 세트를 포함하도록 선택한 Google Cloud 프로젝트에서 결제가 사용 설정되었는지, 그리고 Google Cloud 프로젝트가 BigQuery 데이터 세트로 내보낼 데이터가 포함된 동일한 Cloud Billing 계정에 연결되어있는지 확인합니다.

3. BigQuery로 FOCUS 사용 비용 내보내기 사용 설정

Google Cloud 콘솔의 결제 섹션에서 Cloud Billing 데이터 내보내기를 사용 설정합니다.

FOCUS 사용량 비용 내보내기는 Google에서 제공하는 변경 불가능한 BigQuery 데이터 세트를 사용하여 FinOps Open Cost and Usage Specification (FOCUS) 표준을 사용하여 정규화된 상세 사용량 비용 데이터를 포함합니다. FOCUS는 기술 결제 데이터 생성기가 일관된 비용 및 사용량 데이터 세트를 생성하기 위한 명확한 요구사항을 정의하는 개방형 사양입니다. FOCUS 내보내기의 열은 일반적으로 상세 사용량 비용 내보내기의 필드에 매핑됩니다.

Cloud Billing 데이터를 FOCUS BigQuery 데이터 세트로 내보내려면 다음 단계를 따르세요.

  1. Google Cloud 콘솔에서 결제 내보내기 페이지로 이동합니다.

    결제 내보내기 페이지로 이동

  2. 프롬프트에서 결제 데이터를 내보내려는 Cloud Billing 계정을 선택합니다. 선택한 결제 계정에 대해 결제 내보내기 페이지가 열립니다.

  3. BigQuery 내보내기 탭에서 FOCUS 내보내기 사용 설정을 클릭하여 FOCUS 내보내기를 구성합니다.

  4. 프로젝트 목록에서 BigQuery 데이터 세트를 포함하도록 설정한 프로젝트를 선택합니다.

    BigQuery에서 선택한 프로젝트는 내보낸 데이터를 Google에서 제공하는 변경 불가능한 FOCUS 데이터 세트에 저장하는 데 사용됩니다.

    FOCUS 사용량 비용 내보내기의 경우 Cloud Billing 데이터에는 동일한 Cloud Billing 계정으로 결제되는Google Cloud 프로젝트 모두에 대한 사용량 및 비용 데이터가 포함됩니다.

  5. BigQuery로 데이터를 내보내려면 BigQuery API가 필요합니다. 선택한 프로젝트에 BigQuery API가 사용 설정되지 않은 경우 사용 설정하라는 메시지가 표시됩니다. 필요한 경우 BigQuery API 사용 설정을 클릭하여 API를 사용 설정합니다.

  6. FOCUS 데이터 세트의 데이터 위치를 선택합니다. 데이터 위치는 데이터가 저장되는 멀티 리전 또는 리전을 지정합니다. 데이터 세트 내의 모든 테이블이 이 위치를 공유합니다.

    1. 위치 유형으로 멀티 리전 (권장) 또는 리전을 선택합니다.

    2. 지정된 위치 유형의 위치를 선택합니다.

      FOCUS 사용량 비용 내보내기 (표준 사용량 비용 및 상세 사용량 비용 데이터 내보내기도 포함)에 멀티 리전 위치 (EU 또는 미국)를 선택하는 것이 좋습니다. Cloud Billing 내보내기는 모든 멀티 리전 위치(EU 또는 미국)를 지원합니다. 하지만 BigQuery로 Cloud Billing 내보내기에는 데이터 세트 리전 위치의 하위 집합만 지원됩니다.

      선택한 위치가 지난달의 데이터가 데이터 세트에 소급 추가되었는지 여부에 영향을 줄 수 있습니다. 데이터 세트 위치 및 데이터 가용성에 대한 자세한 내용은 제한사항을 참고하세요.

      데이터 세트를 만든 후에는 위치를 변경할 수 없습니다. 위치에 대해 자세히 알아보기

  7. 저장을 클릭합니다.

FOCUS 데이터 세트 및 데이터 테이블

FOCUS 사용량 비용 내보내기를 사용 설정한 직후 BigQuery 내보내기는 FOCUS 내보내기 설정을 기반으로 새 데이터 세트에 결제 데이터가 포함된 데이터 세트와 테이블을 만듭니다.

  • FOCUS 내보내기를 사용 설정할 때 지정한 Google Cloud 프로젝트에 변경 불가능한 데이터 세트가 다음 이름 지정 패턴을 사용하여 생성됩니다.

    gcp_billing_immutable_<BILLING_ACCOUNT_ID>_<Location>

    데이터 세트의 이름은 다음 세 가지 구성요소로 구성됩니다.

    1. gcp_billing_immutable - FOCUS 내보내기의 데이터 세트 이름입니다.
    2. Billing_account_ID - FOCUS 내보내기가 사용 설정된 Cloud Billing 계정의 ID입니다.
    3. Location - FOCUS 내보내기를 사용 설정할 때 선택한 특정 리전 또는 멀티 리전 위치입니다.

    데이터 세트 이름 예: gcp_billing_immutable_010101_F0FFF0_61C528_us

  • FOCUS 데이터 세트에 FOCUS 청구 데이터 테이블이 생성됩니다. 이름은 다음과 같습니다.

    gcp_billing_export_focus_<BILLING_ACCOUNT_ID>

    테이블 이름 예: gcp_billing_export_focus_010101_F0FFF0_61C528

FOCUS 사용량 비용 내보내기 설정 업데이트

FOCUS 사용량 비용을 BigQuery로 내보내도록 사용 설정한 후에는 다음과 같은 다양한 데이터 내보내기 설정을 변경할 수 있습니다. 예를 들면 다음과 같습니다.

  • FOCUS 데이터 세트가 저장된 프로젝트를 변경합니다.
  • FOCUS 데이터 세트의 리전 설정을 변경합니다. 리전 설정을 변경하면 변경할 수 없는 새 데이터 세트가 생성됩니다.
  • FOCUS 사용량 비용 내보내기를 사용 중지합니다.

결제 데이터를 저장하는 프로젝트나 데이터 세트를 업데이트하거나 FOCUS 내보내기를 사용 중지하기 전에 이러한 업데이트가 BigQuery로 내보낸 FOCUS 결제 데이터에 어떤 영향을 미칠 수 있는지에 대한 제한사항 및 데이터 가용성 가이드라인을 검토하세요.

FOCUS 사용량 비용 내보내기 사용 중지

BigQuery로 내보내는 Cloud Billing 데이터 유형을 사용 중지하려면 다음 단계를 따르세요.

  1. FOCUS 내보내기 사용 중지를 선택합니다.
  2. 확인을 선택하여 선택사항을 저장합니다.

나중에 FOCUS 사용량 비용 내보내기를 다시 사용 설정하는 경우 FOCUS 내보내기를 처음 사용 설정했을 때 생성된 변경 불가능한 동일한 데이터 세트를 사용하려면 동일한 프로젝트 및 위치 설정을 다시 선택해야 합니다. FOCUS 내보내기가 사용 중지된 기간 동안 내보내지 않은 데이터의 백필은 지원되지 않습니다.

FOCUS 사용량 비용 내보내기 다시 사용 설정

이전에 사용 중지된 FOCUS 내보내기를 다시 사용 설정하려면 BigQuery로 Cloud Billing 데이터 내보내기 사용 설정을 참고하세요.

  • FOCUS 내보내기를 처음 사용 설정할 때 생성된 동일한 변경 불가능한 데이터 세트를 사용하려면 원래 사용한 것과 동일한 프로젝트 및 리전 설정을 다시 선택하세요.
  • 다른 프로젝트 또는 리전 설정을 선택하면 변경 불가능한 새 데이터 세트가 생성되고 FOCUS 내보내기를 다시 사용 설정한 날짜를 기준으로 FOCUS 데이터가 새 데이터 세트로 내보내집니다.

FOCUS 사용량 비용 내보내기의 프로젝트 또는 데이터 세트 변경

FOCUS 결제 데이터가 저장되는 프로젝트 또는 데이터 세트를 업데이트하려면 다음 단계를 따르세요.

  1. FOCUS는 FOCUS 사용량 비용 내보내기를 사용 설정할 때 생성되는 변경 불가능한 데이터 세트를 사용합니다. FOCUS 내보내기 설정을 수정하려면 먼저 FOCUS 내보내기를 사용 중지해야 합니다.
  2. 다음으로 FOCUS 내보내기 사용 설정을 선택하고 FOCUS 내보내기의 프로젝트 및 위치 설정을 선택합니다.

  3. 저장을 선택하여 FOCUS 내보내기 설정을 확인합니다.

    사용 설정 프로세스 중에 이전 구성과 다른 프로젝트 또는 리전을 선택하면 선택한 프로젝트에 새로운 변경 불가능한 데이터 세트가 생성됩니다.

데이터 세트 권한 정보

Cloud Billing을 BigQuery로 내보내기는 서비스 계정을 사용하여 데이터 세트 권한을 관리합니다.

FOCUS를 BigQuery로 내보내기를 사용 설정하면 Google에서 제공하는 변경 불가능한 데이터 세트에 서비스 계정이 소유자로 자동 추가됩니다. 서비스 계정은 다음과 같습니다.

billing-export-bigquery@system.gserviceaccount.com

서비스 계정은 Google에서 소유하고 관리하며, 오프라인 프로세스에서 FOCUS 데이터 세트와 테이블을 만들고 Cloud Billing 레코드를 기록하는 데 필요한 권한을 제공합니다.

BigQuery로 결제 데이터 내보내기에 영향을 줄 수 있는 제한사항을 참조하세요.

FOCUS 사용량 비용 데이터 표

FOCUS 사용량 비용 내보내기를 사용 설정하면 BigQuery에서 변경 불가능한 데이터 세트와 변경 불가능한 BigQuery 데이터 세트의 FOCUS 데이터 테이블을 만듭니다. FOCUS 테이블 스키마에 대해 자세히 알아보려면 FOCUS 데이터 내보내기 구조를 참고하세요.

데이터 로드 빈도

BigQuery로 FOCUS 사용량 비용 내보내기를 처음 사용 설정하면 Google Cloud 비용 데이터가 BigQuery 데이터 세트에 전파되는 데 몇 시간이 걸릴 수 있습니다. 시간순으로 데이터를 내보냅니다. 내보내기가 이번 달과 지난달의 데이터를 소급하여 포함하도록 구성된 경우 내보낸 데이터가 현재 사용량 데이터를 완전히 따라잡으려면 최대 5일이 걸릴 수 있습니다.

BigQuery 테이블로 로드하는 데이터 빈도에 대해 자세히 알아보기

제한사항

Cloud Billing 데이터를 BigQuery로 내보내려면 다음과 같은 제한사항이 적용됩니다.

Cloud Billing 데이터 내보내기의 테이블 스키마

Cloud Billing 데이터 내보내기에 사용되는 테이블 스키마가 변경될 수 있습니다.

Cloud Billing 데이터를 BigQuery 테이블로 내보낼 때 새로운 필드가 추가되는 경우 테이블 스키마가 변경되며, 이로 인해 내보낸 열을 직접 참조하는 쿼리가 실패할 수 있습니다. 이 문제를 해결하려면 내보낸 테이블을 쿼리하여 해당 정보를 원하는 구조로 표시하는 BigQuery 뷰를 만드는 것이 좋습니다.

그런 다음 보고서 및 대시보드를 피드하는 쿼리를 조정하여 내보낸 테이블이 아닌 뷰에서 데이터를 가져오면 됩니다. 뷰를 사용하면 쿼리와 대시보드에 사용되는 데이터 구조를 표준화할 수 있습니다.

모든 관련 테이블이 쿼리에 동일한 스키마를 표시하도록 생성된 뷰에서 데이터를 정규화해야 합니다. 그러면 이후의 스키마 변경사항으로부터 사용자가 보호되기 때문에 데이터 스키마가 변경될 때 해당 인스턴스에서 뷰의 기본 쿼리를 수정하면 됩니다.

FOCUS 내보내기 및 데이터 보관

Google에서 제공하는 FOCUS BigQuery 내보내기로 내보낸 결제 데이터에는 2년의 TTL (Time To Live) 정책이 적용됩니다. 2년이 지난 데이터는 BigQuery 데이터 세트에서 제공된 FOCUS 내보내기 테이블에서 자동으로 삭제됩니다. 2년이 지난 FOCUS 청구 데이터 기록을 보관해야 하는 경우 FOCUS 데이터를 소유한 장기 스토리지 테이블에 복사하세요.

BigQuery 데이터 세트 위치 및 데이터 가용성

Cloud Billing 데이터에서 사용할 수 있는 BigQuery 데이터 세트 위치:

BigQuery 데이터 세트는 위치(멀티 리전 위치(EU 또는 미국) 또는 리전 위치)를 사용하도록 구성됩니다. 데이터 세트 위치는 생성될 때 설정됩니다. 데이터 세트가 생성된 후에는 위치를 변경할 수 없습니다.

Cloud Billing 데이터 내보내기는 모든 멀티 리전 위치(EU 또는 미국)를 지원하지만 리전 위치의 하위 집합만 지원합니다. Cloud Billing 내보내기 설정을 구성할 때 지원되지 않는 리전 위치를 사용하도록 구성된 데이터 세트를 만들거나 선택하는 경우 내보내기 설정을 저장하려고 하면 잘못된 데이터 세트 리전 오류가 표시됩니다.

다음 표에는 Cloud Billing 데이터를 포함하는 BigQuery 데이터 세트에서 사용할 수 있는 멀티 리전 위치와 리전 위치가 나와 있습니다.

미주 아시아 태평양 유럽 중동

멀티 리전: 미국

리전:

  • northamerica-northeast1(몬트리올)
  • southamerica-east1(상파울루)
  • us-central1(아이오와)
  • us-east1(사우스캐롤라이나)
  • us-east4(북 버지니아)
  • us-west1(오리건)
  • us-west2(로스앤젤레스)
  • us-west3(솔트레이크시티)
  • us-west4(라스베이거스)

리전:

  • asia-east1(타이완)
  • asia-east2(홍콩)
  • asia-northeast1(도쿄)
  • asia-northeast2(오사카)
  • asia-northeast3(서울)
  • asia-south1(뭄바이)
  • asia-southeast1(싱가포르)
  • asia-southeast2(자카르타)
  • australia-southeast1(시드니)

멀티 리전: EU

리전:

  • europe-central2(바르샤바)
  • europe-north1(핀란드)
  • europe-west1(벨기에)
  • europe-west2(런던)
  • europe-west3(프랑크푸르트)
  • europe-west4(네덜란드)
  • europe-west6(취리히)

리전:

  • me-central1(도하)
  • me-central2(담맘)
  • me-west1(텔아비브)

위치 및 데이터 가용성:

  • FOCUS 사용량 비용 데이터, 표준 사용량 비용 데이터 또는 상세 사용량 비용 데이터가 포함된 BigQuery 데이터 세트의 경우 데이터 세트에 구성하는 위치의 유형은 Google Cloud Billing 데이터를 데이터 세트로 내보낼 때의 타이밍에 영향을 줍니다.

    • 멀티 리전 위치(EU 또는 미국)를 사용하도록 데이터 세트를 구성한 경우 내보내기를 다시 사용 설정하지 않는 한 내보내기를 처음 사용 설정한 이전 월부터 발생한 Google Cloud 결제 데이터가 데이터 세트에 포함됩니다. 즉, 이번 달과 지난달에 대해 Google Cloud 결제 데이터가 소급하여 추가됩니다. 내보낸 데이터의 초기 백필의 경우 현재 사용량 데이터가 표시되기 전에 소급 Cloud Billing 데이터 내보내기가 완료되는 데 최대 5일이 걸릴 수 있습니다.

    • 데이터 세트가 지원되는 리전 위치를 사용하도록 구성된 경우 FOCUS 사용량 비용 데이터, 표준 사용량 비용 데이터, 상세 사용량 비용 데이터는 Cloud Billing 내보내기를 사용 설정한 날짜부터 발생한 Google Cloud 결제 데이터만 반영합니다. 즉, Google Cloud 결제 데이터는 멀티 리전이 아닌 데이터 세트 위치에 대해 소급하여 추가되지 않으므로 내보내기를 사용 설정하기 전의 Cloud Billing 데이터가 표시되지 않습니다.

    • 자세한 내용은 데이터 가용성을 참조하세요.

  • 가격 책정 데이터가 포함된 BigQuery 데이터 세트는 Cloud Billing 내보내기를 설정한 날짜부터 발생한 Google Cloud 결제 데이터만 수집합니다. 즉, Google Cloud 가격 책정 데이터는 소급하여 추가되지 않으므로 내보내기를 사용 설정하기 전의 Cloud Billing 가격 책정 데이터는 표시되지 않습니다. 자세한 내용은 데이터 가용성을 참고하세요.

내보내기 설정 사용 중지, 다시 사용 설정 또는 수정

내보낸 결제 데이터가 저장되는 프로젝트 또는 데이터 세트를 업데이트하기 위해 사용 중지, 다시 사용 설정 또는 내보내기 설정을 수정하는 경우 이전에 내보낸 결제 데이터가 새 데이터 세트에 다시 채워지지 않습니다. 다른 프로젝트 또는 데이터 세트로 전환하기 전에 내보낸 결제 정보를 포함하려면 새 데이터 세트를 이전 데이터 세트와 수동으로 조인해야 합니다. 자세한 내용은 조인 작업을 참고하세요.

데이터 세트 암호화

BigQuery 데이터 세트는 데이터 세트를 만들 때 암호화 키 옵션( Google-owned and Google-managed encryption key또는 고객 관리 암호화 키(CMEK))을 설정하여 저장 데이터 암호화를 사용하도록 구성됩니다. 데이터 세트 암호화 옵션은 생성 시에만 설정할 수 있습니다. 데이터 세트가 생성된 후에는 암호화 설정을 변경할 수 없습니다.

이미 BigQuery로 Cloud Billing 데이터 내보내기를 사용 설정했고 데이터 세트가Google-managed encryption key를 사용하도록 구성된 경우 bq 명령줄 도구를 사용하여 데이터 세트의 각 테이블에서 CMEK를 사용 설정할 수 있습니다. 달리 구성하지 않는 한 BigQuery는 데이터 세트 기본 키를 사용하여 내보내기 테이블을 자동으로 보호합니다.

BigQuery 테이블에 CMEK를 사용 설정하는 방법 알아보기

행 수준 보안

내보낸 데이터가 포함된 테이블에서 BigQuery 행 수준 보안을 사용하려면 BigQuery TRUE 필터를 사용하여 Cloud Billing 내보내기 서비스 계정 billing-export-bigquery@system.gserviceaccount.com에 테이블에 대한 전체 액세스 권한을 부여해야 합니다. 다음 명령어는 Cloud Billing 서비스 계정에 대한 액세스 권한을 부여합니다.

CREATE ROW ACCESS POLICY cloud_billing_export_policy
ON `__project_id__.__dataset_id__.__table_id__`
GRANT TO ('serviceAccount:billing-export-bigquery@system.gserviceaccount.com')
FILTER USING (TRUE);

FOCUS 또는 상세 사용량 비용 데이터 및 GKE

FOCUS 사용량 비용 데이터 또는 상세 사용량 비용 데이터를 내보낼 때 내보내기에는 Compute Engine 및 기타 서비스에 대한 리소스 수준 정보가 자동으로 포함됩니다. 하지만 Google Kubernetes Engine (GKE) 데이터의 경우 FOCUS 또는 상세 데이터 내보내기에서 GKE 클러스터 비용 분석을 보려면 GKE에 대한 비용 할당을 사용 설정해야 합니다.

리소스 수준 태그

리소스 수준 태그가 BigQuery 내보내기에 전파되는 데 최대 1시간이 걸릴 수 있습니다. 1시간 내에 태그가 추가 또는 삭제되었거나 1시간 미만 동안 리소스가 존재하면 내보내기에 표시되지 않을 수 있습니다.

리소스 수준 태그는 표준 사용량 비용 내보내기 및 상세 사용량 비용 내보내기의 여러 리소스에 사용할 수 있습니다.