Google Cloud Observability는 구조화된 스토리지 컨테이너 전반에서 Cloud Logging, Cloud Monitoring, Cloud Trace의 원격 분석 데이터를 저장하고 정리합니다. 스토리지 모델을 이해하면 데이터 레지던시를 구성하고, 암호화 정책을 적용하고, 원격 분석을 BigQuery와 같은 분석 서비스에 연결하는 데 도움이 됩니다.
로그 데이터
로그 데이터는 Logging에서 로그 데이터를 저장하는 데 사용하는 컨테이너인 로그 버킷에 있습니다. 시스템에서Google Cloud 프로젝트, 결제 계정, 폴더 또는 조직을 만들면 Cloud Logging은 리소스에 _Required 및 _Default라는 로그 버킷을 만듭니다.
위치: Cloud Logging의 기본 리소스 설정에서 위치를 지정하지 않는 한 Cloud Logging이 이러한 버킷의 위치를 선택합니다. 버킷을 만든 후에는 위치를 변경할 수 없습니다.
암호화: 이러한 버킷은Google-owned and Google-managed encryption keys 를 사용합니다. 단, Cloud Logging의 기본 리소스 설정에서 고객 관리 암호화 키(CMEK)를 지정하는 경우는 예외입니다. 버킷이 생성된 후에는 이 구성을 변경할 수 없습니다.
기본적으로 로그 데이터는 데이터가 발생한 Google Cloud 프로젝트, 결제 계정, 폴더 또는 조직에 있습니다. 하지만 Logging을 구성하여 로그 데이터가 발생한 리소스에서 다른 위치(예: 다른 프로젝트 또는 중앙 집중식 로그 버킷)로 로그 데이터를 라우팅할 수 있습니다. 자세한 내용은 로그 항목 저장 및 로그 항목 라우팅을 참고하세요.
Cloud Logging을 사용하면 다음과 같이 로그 데이터를 리전화할 수 있습니다.
- 조직 정책은 새 로그 버킷의 위치를 제한하고 로그 버킷이 CMEK를 사용하도록 요구할 수 있습니다.
조직 및 폴더의 경우 Cloud Logging의 기본 리소스 설정을 사용하면 다음을 구성할 수 있습니다.
- 새
_Required및_Default로그 버킷의 위치 - 로그 데이터를 암호화하는 Cloud Key Management Service 키
- 기본 싱크의 구성
리소스 계층 구조의 하위 요소는 기본 리소스 설정을 구성하지 않는 한 이러한 설정을 자동으로 상속합니다. 예를 들어 조직의 Cloud Logging에 대한 기본 리소스 설정을 구성하면 조직의 리소스 계층 구조에 있는 모든 폴더와 프로젝트가 해당 설정을 자동으로 상속합니다. 하지만 해당 조직의 폴더에 Cloud Logging의 기본 리소스 설정을 설정하면 폴더 수준 설정이 사용됩니다.
Cloud Logging의 기본 리소스 설정은 기존 리소스가 아닌 새 리소스에만 적용됩니다. 자세한 내용은 Cloud Logging의 기본 리소스 설정 구성을 참고하세요.
- 새
측정항목 데이터
측정항목 데이터는 데이터가 발생한 Google Cloud 프로젝트에 있습니다.
스토리지 정책에 대한 자세한 내용은 Monitoring의 데이터 레지던시를 참고하세요.
Trace 데이터
추적 데이터는 _Trace라는 모니터링 가능성 버킷에서 관리하는 데이터 세트에 저장됩니다. 데이터 세트를 보유하려면 _Trace 버킷이 있어야 합니다.
_Trace 버킷은 자동으로 또는 수동으로 만들 수 있습니다.
자동 생성: 시스템은 애플리케이션 또는 Google Cloud 서비스에서 추적 데이터를 수신하면 버킷을 자동으로 생성합니다. 시스템은 관측 가능성 버킷에 적용되는 기본 설정을 사용하여 버킷의 위치와 암호화 키를 결정합니다. 기본 설정을 정의하지 않은 경우 시스템에서 지원되는 위치를 선택하고 버킷은 Google 기본 암호화를 사용합니다.
Cloud Run Functions, Cloud Run, App Engine에서 생성된 추적 데이터는 시스템에서 관측 가능성 버킷을 생성하도록 하지 않습니다. 이러한 서비스의 스팬은 관측 가능성 버킷이 있는 경우에만 저장됩니다.
수동 생성: Observability API를 사용하여 Google Cloud 프로젝트가 추적 데이터를 수신하기 전에
_Trace버킷을 만들 수 있습니다. 버킷의 위치를 제공해야 합니다. 다음과 같은 Cloud Key Management Service 키를 제공할 수 있습니다.- 키를 제공하면 시스템에서 해당 키를 사용하여 저장된 데이터를 암호화합니다.
- Cloud KMS 키를 제공하지 않으면 버킷의 상위 리소스에 적용되는 기본 설정에 따라 암호화 키가 결정됩니다. 기본 설정에서 Cloud KMS 키를 지정하면 해당 키가 저장된 데이터를 암호화합니다. 그렇지 않으면 Google 기본 암호화가 사용됩니다.
_Trace 버킷이 생성되면 시스템에서 버킷용 Spans이라는 데이터 세트와 데이터 세트의 _AllSpans라는 뷰도 생성합니다. 이 뷰에는 데이터 세트의 모든 데이터가 포함됩니다.
자세한 내용은 다음을 참조하세요.
관측 가능성 스토리지 모델
Observability API 스토리지 모델은 다음 아키텍처를 기반으로 합니다.
- 모니터링 가능성 버킷
- 관측 가능성 버킷은 데이터를 저장하는 데이터 세트의 관리 엔티티입니다. 모니터링 가능성 버킷은 특정 위치에 있으며 데이터 보관 정책이 있습니다. Google Cloud 서비스가 관측 가능성 API를 사용하여 데이터를 저장하면 시스템은 서비스 이름, 데이터를 저장하는 데이터 세트, 저장된 데이터에 대한 읽기 액세스를 제공하는 뷰를 기반으로 관측 가능성 버킷을 만듭니다.
예를 들어 Cloud Trace 서비스의 경우 시스템에서 시스템 생성 버킷
_Trace, 데이터 세트Spans, 뷰_AllSpans의 이름을 지정합니다. 관측 가능성 버킷의 구조에 대해 알아보려면Bucket를 참고하세요. - 데이터 세트
- 데이터 세트는 데이터를 저장합니다. 시스템은 데이터 세트를 관리하는 관측 가능성 버킷을 만들 때 데이터 세트 하나를 자동으로 만듭니다. 예를 들어 시스템에서
_Trace버킷을 만들면 추적 데이터를 저장하는Spans라는 데이터 세트도 만듭니다. 데이터 세트의 구조에 관해 알아보려면Dataset를 참고하세요. - 데이터 세트의 뷰
- 각 데이터 세트는 하나 이상의 뷰를 호스팅합니다. 뷰는 데이터 세트의 항목 하위 집합에 대한 읽기 액세스 권한을 제공합니다. 시스템은 데이터 세트를 만들 때 뷰 하나를 만듭니다. 이 뷰에는 데이터 세트의 모든 데이터가 포함됩니다.
뷰의 이름은 서비스에 따라 다릅니다. 예를 들어 Cloud Trace 서비스의 경우 시스템은
Spans데이터 세트에_AllSpans라는 뷰를 만듭니다. 뷰 구조에 대해 알아보려면View를 참고하세요. - 데이터 세트의 링크
각 데이터 세트에는 링크가 최대 하나 포함될 수 있습니다. 데이터 세트의 링크를 만들면 시스템에서 연결된 BigQuery 데이터 세트를 만듭니다. 그런 다음 BigQuery를 사용하거나 BigQuery API를 사용하는 다른 서비스를 사용하여 데이터 세트의 데이터를 쿼리할 수 있습니다. 링크 구조에 대한 자세한 내용은
Link를 참고하세요.시스템은 데이터 세트에 링크를 자동으로 만들지 않습니다.
예를 들어 추적 데이터가 _Trace 모니터링 가능성 버킷 내의 Spans 데이터 세트에 있습니다. 시스템은 저장된 모든 범위를 포함하는 이 데이터 세트에 _AllSpans 뷰를 만듭니다.
모니터링 가능성 버킷의 데이터 레지던시
특정 위치에 데이터를 저장하거나 고객 관리 암호화 키 (CMEK)를 사용해야 하는 규정 준수 또는 규제 요구사항이 있는 경우 조직 정책과 관측 가능성 버킷의 기본 설정을 모두 구성하는 것이 좋습니다.
조직, 폴더, 프로젝트의 경우 모니터링 가능성 버킷의 기본 설정을 사용하면 다음을 구성할 수 있습니다.
- 기본 스토리지 위치입니다.
- 각 위치의 기본 Cloud Key Management Service 키입니다.
시스템에서 기본 설정을 사용하는 방법에는 두 가지가 있습니다.
시스템에서 관측 가능성 버킷을 자동으로 만들 때 기본 설정을 사용하여 버킷의 위치와 암호화 키를 결정합니다. 기본 설정을 정의하지 않은 경우 시스템에서 위치를 선택하고 버킷은 Google 기본 암호화를 사용합니다.
API 요청을 실행하여 관측 가능성 버킷 생성을 시작할 때 위치를 제공합니다. 하지만 API 요청의 인수에 키가 지정되지 않는 한 시스템은 기본 설정에 정의된 Cloud KMS 키를 자동으로 사용하여 데이터를 암호화합니다.
관측 가능성 버킷의 상위 항목은 항상 프로젝트이므로 버킷을 만들 때 시스템은 먼저 프로젝트 수준 기본 설정을 검색합니다. 이러한 설정이 없으면 시스템은 상위 요소의 상위 요소에서 기본 설정을 검색합니다. 예를 들어 폴더의 기본 설정을 정의하면 기본 설정이 구성된 하위 항목을 제외하고 폴더의 하위 항목에 해당 설정이 적용됩니다.
조직 정책을 사용하여 새 관측 가능성 버킷의 위치를 제한하거나, CMEK 사용을 요구하거나, 암호화에 사용할 수 있는 Cloud KMS 키를 제한할 수도 있습니다. CMEK 사용을 요구하는 조직 정책을 구성하는 경우 관측 가능성 버킷의 기본 설정을 구성해야 합니다. 그렇지 않으면 시스템에서 생성한 모니터링 가능성 버킷의 프로비저닝이 실패합니다.
자세한 내용은 모니터링 가능성 버킷의 기본값 설정을 참고하세요.제한사항
다음은 할 수 없습니다.
- 관측 가능성 버킷을 수정하거나 삭제합니다.
- 데이터 세트를 만들거나 삭제하거나 수정합니다.
- 뷰를 만들거나, 삭제하거나, 수정합니다.
- Google Cloud 콘솔을 사용하여 버킷, 데이터 세트, 뷰 또는 링크를 나열합니다.