BigQuery로 트레이스 데이터 분석

미리보기

이 제품 또는 기능에는 서비스별 약관의 일반 서비스 약관 섹션에 있는 'GA 이전 제공 서비스 약관'이 적용됩니다. GA 이전 제품 및 기능은 '현재 상태 그대로' 제공되며 지원이 제한될 수 있습니다. 자세한 내용은 출시 단계 설명을 참조하세요.

이 문서에서는 추적 데이터의 연결된 BigQuery 데이터 세트를 만드는 방법과 해당 데이터 세트를 쿼리하는 방법을 설명합니다. 연결된 데이터 세트를 사용하면 모니터링 가능성 데이터를 다른 비즈니스 데이터와 조인하는 쿼리를 만들고 실행할 수 있습니다. 예를 들어 BigQuery Studio 및 Looker Studio에서 연결된 데이터 세트를 쿼리할 수 있습니다. BigQuery 백엔드에서 로그 애널리틱스 쿼리를 실행할 수도 있습니다.

로그 애널리틱스를 시작하려면 추적 쿼리 및 분석을 참조하세요.

연결된 데이터 세트가 필요한 경우

추적 데이터를 쿼리하거나 추적 및 로그 데이터를 쿼리할 때는 연결된 BigQuery 데이터 세트가 필요하지 않습니다. 이러한 시나리오에서는 로그 애널리틱스 페이지를 사용할 수 있습니다. 로그 데이터 쿼리에 대한 자세한 내용은 로그 애널리틱스로 로그 쿼리 및 분석을 참조하세요.

다음 작업을 수행하려면 연결된 BigQuery 데이터 세트가 필요합니다.

• 추적 데이터를 다른 BigQuery 데이터 세트와 조인합니다.
• BigQuery Studio 페이지 또는 Looker Studio와 같은 다른 서비스에서 추적 데이터를 쿼리합니다.
• BigQuery 엔진의 로그 애널리틱스 페이지에서 쿼리를 실행합니다.

시작하기 전에

계정에 로그인합니다. Google Cloud 를 처음 사용하는 경우 Google Cloud, 계정을 만들어 실제 시나리오에서 제품이 어떻게 작동하는지 평가해 보세요. 신규 고객에게는 워크로드를 실행, 테스트, 배포하는 데 사용할 수 있는 $300의 무료 크레딧이 제공됩니다.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the Observability API.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the API

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the Observability API.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the API

연결된 BigQuery 데이터 세트 만들기

이 섹션에서는 사용 설정해야 하는 API, 연결된 데이터 세트를 만드는 데 필요한 역할, 연결된 데이터 세트를 만드는 방법을 설명합니다.

기본 요건

1. 시작하기 전에 섹션의 단계를 완료합니다.

2. 모니터링 가능성 데이터 세트에 링크를 만드는 데 필요한 권한을 얻으려면 관리자에게 프로젝트에 대한 다음 IAM 역할을 부여해 달라고 요청하세요.

   • 모니터링 가능성 편집자 (roles/observability.editor)
   • BigQuery 사용자 (roles/bigquery.user)
   • 로그 뷰어 (roles/logging.viewer)

   역할 부여에 대한 자세한 내용은 프로젝트, 폴더, 조직에 대한 액세스 관리를 참조하세요.

   커스텀 역할이나 다른 사전 정의된 역할을 통해 필요한 권한을 얻을 수도 있습니다.

모니터링 가능성 데이터 세트에 링크 만들기

REST

BigQuery 데이터 세트에 대한 링크를 만들려면 projects.locations.buckets.datasets.links.create 엔드포인트에 요청을 보냅니다.

다음 형식을 갖는 상위 매개변수를 지정해야 합니다.

projects/PROJECT_ID/locations/LOCATION/buckets/BUCKET_ID/datasets/DATASET_ID

이전 표현식의 필드는 다음과 같은 의미를 갖습니다.

• PROJECT_ID: 프로젝트 식별자
• LOCATION: 모니터링 가능성 버킷의 위치
• BUCKET_ID: 모니터링 가능성 버킷의 ID 예를 들어 이 ID는 _Trace일 수 있습니다.
• DATASET_ID: 쿼리 중인 데이터 세트의 ID 예를 들어 이 ID는 Spans일 수 있습니다.

이 명령어에는 쿼리 매개변수와 요청 본문이 필요합니다.

• 쿼리 매개변수 linkId를 지정하고 BigQuery 데이터 세트의 이름으로 설정해야 합니다. 예를 들어 linkId="my_link"입니다. BigQuery 데이터 세트 이름은 프로젝트에 고유해야 하며 Google Cloud 101자로 제한되고 문자, 숫자, 밑줄만 포함할 수 있습니다.

• 요청 본문은 Link 객체입니다. name 필드의 값은 다음 형식을 갖습니다.

  projects/PROJECT_ID/locations/LOCATION/buckets/BUCKET_ID/dataset/DATASET_ID/links/LINK_ID
  

  name 필드에 제공하는 값은 쿼리 매개변수에서 참조하는 연결된 BigQuery 데이터 세트와 일치해야 합니다.

  LINK_ID 필드는 BigQuery 데이터 세트의 이름입니다.

응답은 Operation 객체입니다. 이 객체에는 메서드의 진행 상황에 대한 정보가 포함되어 있습니다. 메서드가 완료되면 Operation 객체에 상태 데이터가 포함됩니다.

모니터링 가능성 API 엔드포인트의 전체 목록은 모니터링 가능성 API 참조 문서를 확인하세요.

BigQuery Studio에서 추적 데이터 쿼리

이 섹션에서는 BigQuery Studio 페이지에서 추적 데이터를 쿼리하는 방법을 설명합니다.

BigQuery 사용과 관련된 비용에 대한 자세한 내용은 BigQuery 가격 책정을 참조하세요.

기본 요건

1. 시작하기 전에 섹션의 단계를 완료합니다.

2. BigQuery에서 연결된 데이터 세트를 쿼리하는 데 필요한 권한을 얻으려면 관리자에게 프로젝트 또는 연결된 데이터 세트에 대한 BigQuery 데이터 뷰어 (roles/bigquery.dataViewer) IAM 역할을 부여해 달라고 요청하세요. 역할 부여에 대한 자세한 내용은 프로젝트, 폴더, 조직에 대한 액세스 관리를 참조하세요.

   커스텀 역할이나 다른 사전 정의된 역할을 통해 필요한 권한을 얻을 수도 있습니다.

3. 연결된 BigQuery 데이터 세트 라는 모니터링 가능성 버킷의 _Trace가 있는지 확인합니다. 연결된 데이터 세트가 없으면 만듭니다.

BigQuery Studio 사용

로그 애널리틱스 페이지에서 BigQuery를 열고 추적 데이터를 쿼리하려면 다음을 수행합니다.

1. 콘솔에서 로그 애널리틱스 페이지로 이동합니다. Google Cloud

   로그 애널리틱스로 이동

   검색창을 사용하여 이 페이지를 찾은 경우 부제목이 Logging 인 결과를 선택합니다.

2. 쿼리를 입력하거나 로드합니다. 자세한 내용은 추적 쿼리 및 분석을 참조하세요.

3. 툴바에서 쿼리 실행 또는 BigQuery에서 실행이라는 메뉴를 펼치고 BigQuery에서 열기를 선택합니다.

   BigQuery Studio 페이지가 열립니다. 이 페이지에서 FROM 문은 BigQuery 테이블 경로 구문을 사용하여 연결된 데이터 세트를 지정합니다. 쿼리 수정과 같이 지원되는 작업을 쿼리에서 실행할 수 있습니다.

   BigQuery에서 열기 옵션이 사용 중지되어 있으면 연결된 데이터 세트가 없거나 BigQuery에서 쿼리를 열고 보는 데 필요한 권한이 없는 것입니다.

4. BigQuery Studio 페이지에서 쿼리 실행 을 클릭합니다.

BigQuery 엔진에서 쿼리 실행

기본적으로 로그 애널리틱스 페이지는 기본 쿼리 엔진에서 작성하는 쿼리를 실행합니다. 실행하는 쿼리는 슬롯에 대해 다른 모든 쿼리와 경쟁합니다. 따라서 슬롯을 사용할 수 없어 쿼리 실행이 지연될 수 있습니다. 기본 쿼리 엔진은 모니터링 가능성 뷰, 로그 버킷의 뷰, 분석 뷰만 쿼리할 수 있습니다.

연결된 데이터 세트를 만들 때 로그 애널리틱스 페이지에서 기본 쿼리 엔진과 BigQuery 엔진 중에서 선택할 수 있습니다. 예약된 BigQuery 슬롯이 있고 BigQuery 엔진에서 쿼리를 실행하는 옵션을 선택하면 예약된 슬롯이 사용됩니다. BigQuery 엔진에서 실행되는 쿼리는 모니터링 가능성 뷰, 로그 버킷의 뷰, 분석 뷰를 쿼리할 수 있습니다. 이러한 쿼리는 모니터링 가능성 데이터를 BigQuery 테이블과 조인할 수도 있습니다.

BigQuery 엔진에서 쿼리를 실행하는 데는 두 가지 기본 사용 사례가 있습니다.

• SQL 기반 알림 정책을 만듭니다. 이러한 정책의 쿼리는 BigQuery 엔진에서 실행해야 합니다.

  참고: 모니터링 가능성 데이터 세트의 뷰를 쿼리하도록 SQL 기반 알림 정책을 구성할 수는 없습니다.

• 모니터링 가능성 데이터와 다른 비즈니스 데이터 간의 조인 결과를 표시하는 차트를 대시보드에 저장하려고 합니다.

  FROM 절은 모니터링 가능성 데이터 세트의 뷰 또는 로그 버킷의 뷰를 지정해야 하며 쿼리 중인 데이터의 연결된 데이터 세트도 있어야 합니다. 모니터링 가능성 데이터를 다른 비즈니스 데이터와 조인하려면 BigQuery 테이블을 지정하는 JOIN 문을 추가합니다. BigQuery 테이블을 쿼리하려면 필요한 IAM 권한이 있어야 합니다.

BigQuery 사용과 관련된 비용에 대한 자세한 내용은 BigQuery 가격 책정을 참조하세요.

기본 요건

1. 시작하기 전에 섹션의 단계를 완료합니다.

2. BigQuery 슬롯을 사용하여 로그 애널리틱스에서 쿼리를 실행하는 데 필요한 권한을 얻으려면 관리자에게 다음 IAM 역할을 부여해 달라고 요청하세요.

   • 모니터링 가능성 뷰 접근자 (roles/observability.viewAccessor) 쿼리하려는 모니터링 가능성 뷰의 이 역할은 권한 부여를 특정 뷰로 제한할 수 있는 IAM 조건을 지원합니다. 역할 부여에 조건을 연결하지 않으면 주 구성원이 모든 모니터링 가능성 뷰에 액세스할 수 있습니다.
   • 로그 뷰어 (roles/logging.viewer) 프로젝트의
   • BigQuery 사용자 (roles/bigquery.user) 프로젝트의
   • BigQuery 작업 사용자 (roles/bigquery.jobUser) 프로젝트의

   역할 부여에 대한 자세한 내용은 프로젝트, 폴더, 조직에 대한 액세스 관리를 참조하세요.

   커스텀 역할이나 다른 사전 정의된 역할을 통해 필요한 권한을 얻을 수도 있습니다.

3. 연결된 BigQuery 데이터 세트 라는 모니터링 가능성 버킷의 _Trace가 있는지 확인합니다. 연결된 데이터 세트가 없으면 만듭니다.

BigQuery 슬롯에서 쿼리를 실행하도록 로그 애널리틱스 페이지를 구성할 계획이고 Virtual Private Cloud (VPC) 서비스 제어와 함께 프로젝트를 사용하는 경우 BigQuery Enterprise 버전을 사용하고 있는지 확인합니다. 자세한 내용은 BigQuery 버전 이해를 참조하세요.

BigQuery 엔진 사용

로그 애널리틱스 페이지를 사용할 때 BigQuery 엔진에서 쿼리를 실행하려면 다음을 수행합니다.

1. 콘솔에서 로그 애널리틱스 페이지로 이동합니다. Google Cloud

   로그 애널리틱스로 이동

   검색창을 사용하여 이 페이지를 찾은 경우 부제목이 Logging 인 결과를 선택합니다.

2. 쿼리를 입력하거나 로드합니다. 자세한 내용은 추적 쿼리 및 분석을 참조하세요.

3. 툴바로 이동하여 BigQuery에서 실행 이라는 버튼이 표시되는지 확인합니다.

   툴바에 쿼리 실행이 표시되면 설정을 클릭하고 BigQuery를 선택합니다.

   사용 중지된 BigQuery에서 실행 버튼은 연결된 데이터 세트가 없음을 나타냅니다. 이 오류를 해결하려면 연결된 BigQuery 데이터 세트를 만듭니다.

4. BigQuery에서 실행 을 클릭합니다.

다음 단계

• 알림 정책으로 SQL 쿼리 결과 모니터링
• SQL 쿼리 저장 및 공유.
• SQL 쿼리 결과 차트로 표시
• 샘플 SQL 쿼리.