노트북 갤러리를 사용하여 노트북을 만들고 실행하기

노트북 갤러리를 사용하여 노트북을 만들고 실행하기

BigQuery Studio의 노트북 갤러리를 사용하여 데이터 분석을 시작하세요.

시작하기 전에

Google Cloud 계정에 로그인합니다. Google Cloud를 처음 사용하는 경우 계정을 만들고 Google 제품의 실제 성능을 평가해 보세요. 신규 고객에게는 워크로드를 실행, 테스트, 배포하는 데 사용할 수 있는 $300의 무료 크레딧이 제공됩니다.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

If you're using an existing project for this guide, verify that you have the permissions required to complete this guide. If you created a new project, then you already have the required permissions.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

If you're using an existing project for this guide, verify that you have the permissions required to complete this guide. If you created a new project, then you already have the required permissions.

1. BigQuery API를 사용 설정합니다.

   API 사용 설정에 필요한 역할

   API를 사용 설정하려면 serviceusage.services.enable 권한이 포함된 서비스 사용량 관리자 IAM 역할(roles/serviceusage.serviceUsageAdmin)이 필요합니다. 역할 부여 방법 알아보기

   API 사용 설정하기

   새 프로젝트에서는 BigQuery API가 자동으로 사용 설정됩니다.

2. (선택사항) 프로젝트에 대한 결제를 사용 설정합니다. 결제를 사용 설정하거나 신용카드를 제공하지 않는 경우 이 문서의 단계가 계속 작동합니다. BigQuery에서는 단계를 수행하기 위한 샌드박스를 제공합니다. 자세한 내용은 BigQuery 샌드박스 사용 설정을 참조하세요.
   참고: 프로젝트에 결제 계정이 있고 BigQuery 샌드박스를 사용하려는 경우 프로젝트의 결제를 중지하세요.

필요한 역할

노트북을 실행하는 데 필요한 권한을 얻으려면 관리자에게 프로젝트에 대한 다음 IAM 역할을 부여해 달라고 요청하세요.

• BigQuery 읽기 세션 사용자(roles/bigquery.readSessionUser)
• BigQuery Studio 사용자(roles/bigquery.studioUser)

역할 부여 방법에 대한 자세한 내용은 프로젝트, 폴더, 조직에 대한 액세스 관리를 참조하세요.

커스텀 역할이나 다른 사전 정의된 역할을 통해 필요한 권한을 얻을 수도 있습니다.

BigQuery의 노트북을 처음 사용하는 경우 노트북 만들기 페이지의 필요한 권한을 참고하세요.

노트북 갤러리

노트북 갤러리는 사전 빌드된 노트북 템플릿을 검색하고 사용할 수 있는 중앙 허브입니다. 이러한 템플릿을 사용하면 데이터 준비, 데이터 분석, 시각화와 같은 일반적인 작업을 실행할 수 있습니다. 노트북 템플릿을 사용하면 BigQuery Studio 기능을 살펴보고, 워크플로를 관리하고, 권장사항을 홍보할 수도 있습니다.

노트북 갤러리 템플릿을 사용하면 수집 및 탐색부터 고급 분석 및 BigQuery ML에 이르기까지 데이터 수명 주기의 각 단계에서 의도-통계 워크플로 전체를 간소화할 수 있습니다.

노트북 갤러리에서는 모든 기술 수준에 맞는 템플릿을 제공합니다. 갤러리에는 SQL, Python, Apache Spark, DataFrame의 기본 템플릿이 포함되어 있습니다. BigQuery의 생성형 AI 및 멀티모달 데이터 분석과 같은 주제를 살펴볼 수도 있습니다.

노트북 갤러리 템플릿 사용에 대한 자세한 내용은 노트북 갤러리를 사용하여 노트북 만들기를 참고하세요.

노트북 갤러리 템플릿에서 노트북 만들기

다음 예시에서는 BigQuery Studio 노트북 소개 템플릿을 사용합니다. 이 노트북에서는 다음 작업을 수행하는 방법을 보여줍니다.

• 데이터 쿼리: SQL 셀을 사용하여 쿼리를 실행합니다.
• 쿼리 결과 시각화: 시각화 셀을 사용하여 코드 없이 시각화를 만듭니다.
• 데이터 정리 및 변환: BigQuery DataFrames(pandas) API를 사용하여 데이터를 정렬, 중복 삭제, 필터링합니다.
• AI 예측 실행: BigQuery DataFrames에서 (AI.FORECAST 함수)를 사용하여 예측을 생성합니다. AI.FORECAST 함수는 TimesFM 파운데이션 모델을 사용하여 모델 학습 없이 데이터 세트에서 직접 예측을 생성합니다.
• 데이터 플롯: Python의 내장 시각화 라이브러리를 사용하여 데이터를 플롯합니다. Matplotlib 및 Pandas로 구동되는 BigQuery DataFrames 시각화 라이브러리를 사용하여 데이터를 플롯합니다.

노트북을 사용하려면 템플릿을 열고 실행 가능한 노트북으로 변환한 다음 노트북의 런타임 환경에 연결하고 노트북을 실행합니다.

템플릿을 열고 실행 가능한 노트북으로 변환

노트북 갤러리 템플릿에서 만든 노트북을 사용하려면 먼저 템플릿을 실행 가능한 노트북으로 변환해야 합니다.

노트북 갤러리에서 BigQuery Studio 노트북 소개 템플릿을 열고 실행 가능한 노트북으로 변환하려면 다음 단계를 따르세요.

1. Studio 페이지로 이동합니다.

   Studio로 이동

2. 화살표 드롭다운을 클릭한 다음 노트북 > 모든 템플릿을 선택합니다.

3. 또는 BigQuery Studio 홈페이지에서 노트북 갤러리 보기를 클릭합니다.

   

4. BigQuery Studio 노트북 소개 카드를 클릭하거나 갤러리에서 검색합니다.

5. 템플릿이 열리면 이 템플릿 사용을 클릭하여 템플릿을 실행 가능한 노트북으로 변환합니다.

기본 런타임에 연결

노트북을 실행하려면 먼저 Vertex AI 런타임에 연결해야 합니다. 런타임은 노트북에서 코드를 실행하는 컴퓨팅 리소스입니다. 런타임은 노트북과 같은 리전에 있어야 합니다.

런타임에 대한 자세한 내용은 런타임 및 런타임 템플릿을 참조하세요. 지역 설정 구성에 관한 자세한 내용은 코드 애셋의 기본 리전 설정을 참고하세요.

참고: VPC 서비스 제어를 사용하는 경우 런타임에 연결하기 전에 VPC 서비스 제어를 사용한 비공개 Google 액세스를 구성해야 합니다. 그렇지 않으면 서비스에서 Failed to connect to Runtime Network projects/projectid/global/networks/default' was not found.

오류를 반환합니다.

이 튜토리얼에서는 기본 런타임을 사용합니다. 기본 런타임은 최소한의 설정이 필요한 사전 설정된 런타임입니다. 기본 런타임에 연결하려면 다음 단계를 따르세요.

1. 노트북을 연 상태에서 연결을 클릭합니다.

   아직 활성 런타임이 없는 경우 기본 런타임에 연결하는 데 몇 분 정도 걸릴 수 있습니다.

2. 런타임이 준비되면 RAM 및 디스크 그래프가 표시된 체크표시가 표시됩니다. 그래프 위로 마우스를 가져가면 런타임 유형과 런타임 구성이 표시됩니다.

   

노트북 실행

BigQuery Studio의 노트북 소개에는 텍스트, SQL, 시각화, 코드 셀이 포함되어 있습니다. 텍스트 셀이 아닌 셀은 개별적으로 실행할 수 있으며, 첫 번째 셀부터 마지막 셀까지 순서대로 모든 셀을 실행할 수도 있습니다.

이 튜토리얼에서는 단계별로 결과를 볼 수 있도록 노트북의 셀을 개별적으로 실행합니다. 노트북을 실행하려면 다음 단계를 따르세요.

1. SQL 셀을 사용하여 데이터 쿼리 섹션에서 SQL 셀 위로 마우스를 가져간 다음 셀 실행을 클릭합니다.

   

   이 SQL 셀은 대기 수준 기록 공개 데이터 세트의 bigquery-public-data.epa_historical_air_quality.pm25_frm_daily_summary 테이블을 쿼리하고 지난 몇 년간 샌프란시스코의 일일 평균 PM2.5 (일반적인 대기 수준 측정항목)를 반환합니다.

2. 결과를 확인합니다. 쿼리 결과가 DataFrame에 표시됩니다.

   

   참고: 결과를 지우거나 복사하려면 코드 셀 출력 작업을 클릭합니다.

3. 데이터 시각화 섹션에서 시각화 셀 위로 마우스를 가져간 다음 셀 실행을 클릭합니다.

4. 생성된 시각화를 확인합니다.

   

   결과에는 이전에 생성한 df DataFrame의 일일 평균 PM2.5 값을 표시하는 시계열 차트가 표시됩니다. 이 차트는 시간 경과에 따른 PM2.5 수준의 추세를 보여줍니다.

5. 데이터 정리 섹션에서 코드 셀 위로 마우스를 가져간 다음 셀 실행을 클릭합니다.

6. 결과를 확인합니다. 결과가 DataFrame에 표시됩니다.

   

   위 코드의 기능은 다음과 같습니다.

   • bigframes.pandas 라이브러리를 가져옵니다.
   • date_local 필드가 타임스탬프인지 확인합니다.
   • 예측에 필요한 날짜별로 결과를 정렬합니다.
   • 중복 행을 삭제합니다.
   • avg_pm25이 null인 행을 삭제합니다.
   • 이상치 필터링
   • 결과를 df_cleaned라는 BigQuery DataFrames에 표시합니다.

7. AI.FORECAST을 사용하여 값 예측 섹션에서 SQL 셀 위로 마우스를 가져간 다음 셀 실행을 클릭합니다.

8. 결과를 확인합니다. 쿼리 결과가 DataFrame에 표시됩니다.

   

   이 SQL 셀은 AI.FORECAST 함수를 사용하여 이전에 생성한 df_cleaned DataFrame을 사용하여 미래의 일일 평균 PM2.5를 예측하는 쿼리를 실행합니다.

9. Python을 사용하여 데이터 시각화 섹션에서 코드 셀 위로 마우스를 가져간 다음 셀 실행을 클릭합니다.

10. 결과를 확인합니다. 결과가 차트에 표시됩니다.

    

    Python 코드는 다음을 실행합니다.

    • datetime 모듈을 가져옵니다.
    • 먼저 이전 데이터를 플롯하고 축을 가져옵니다.
    • 예측된 데이터를 동일한 축에 표시합니다.
    • 신뢰 구간을 표시합니다.

    이 시각화는 표준 Python 플롯과 유사하지만 df_cleaned.plot는 BigQuery DataFrames 명령어입니다. 이 명령어는 전체 데이터 세트가 아닌 차트를 렌더링하는 데 필요한 데이터 (샘플)만 가져옵니다.

삭제

이 페이지에서 사용한 리소스 비용이 Google Cloud 계정에 청구되지 않도록 하려면 다음 단계를 수행합니다.

주의: 프로젝트를 삭제하면 다음과 같은 결과가 발생합니다.

• 프로젝트의 모든 항목이 삭제됩니다. 이 문서의 태스크에 기존 프로젝트를 사용한 경우 프로젝트를 삭제하면 프로젝트에서 수행한 다른 작업도 삭제됩니다.
• 커스텀 프로젝트 ID가 손실됩니다. 이 프로젝트를 만들 때 앞으로 사용할 커스텀 프로젝트 ID를 만들었을 수 있습니다. appspot.com URL과 같이 프로젝트 ID를 사용하는 URL을 보존하려면 전체 프로젝트를 삭제하는 대신 프로젝트 내에서 선택한 리소스만 삭제합니다.

여러 아키텍처, 튜토리얼 또는 빠른 시작을 살펴보려는 경우 프로젝트를 재사용하면 프로젝트 할당량 한도 초과를 방지할 수 있습니다.

1. Google Cloud 콘솔에서 리소스 관리 페이지로 이동합니다.

   리소스 관리로 이동

2. 프로젝트 목록에서 삭제할 프로젝트를 선택하고 삭제를 클릭합니다.
3. 대화상자에서 프로젝트 ID를 입력한 후 종료를 클릭하여 프로젝트를 삭제합니다.

또는 프로젝트를 유지하고 이 튜토리얼에서 사용한 리소스를 삭제하려면 다음 단계를 따르세요.

1. Studio 페이지로 이동합니다.

   Studio로 이동

2. 왼쪽 창에서 프로젝트를 펼친 다음 Notebooks를 클릭합니다.

3. 삭제하려는 노트북에서 작업 열기 > 삭제를 클릭합니다.

4. 노트북 삭제 대화상자에서 삭제를 클릭하여 확인합니다.

다음 단계

노트북 갤러리에서 다른 샘플 노트북 템플릿을 실행하려면 다음을 참고하세요.

• SQL 사용자를 위한 노트북 시작하기
• Python 사용자를 위한 노트북 시작하기

DataFrame에 대해 자세히 알아보려면 다음을 참고하세요.

• BigQuery DataFrames 소개
• BigQuery DataFrames API 참조

BigQuery의 생성형 AI 및 ML 함수에 대해 자세히 알아보려면 생성형 AI 개요를 참고하세요.