BigQuery에서 Colab Enterprise 데이터 과학 에이전트 사용

Colab Enterprise 및 BigQuery용 데이터 과학 에이전트(DSA)를 사용하면 Colab Enterprise 노트북 내에서 탐색적 데이터 분석을 자동화하고, 머신러닝 태스크를 수행하고, 인사이트를 제공할 수 있습니다.

시작하기 전에

  1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  3. Verify that billing is enabled for your Google Cloud project.

  4. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  5. Verify that billing is enabled for your Google Cloud project.

  6. Enable the BigQuery, Vertex AI, Dataform, and Compute Engine APIs.

    Roles required to enable APIs

    To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

    Enable the APIs

    새 프로젝트에서는 BigQuery API가 자동으로 사용 설정됩니다.

    7. BigQuery의 Colab Enterprise를 처음 사용하는 경우 노트북 만들기 페이지의 설정 단계를 참조하세요.

    제한사항

    • 데이터 과학 에이전트는 다음 데이터 소스를 지원합니다.
      • CSV 파일
      • BigQuery 테이블
    • 데이터 과학 에이전트가 생성한 코드는 노트북의 런타임에서만 실행됩니다.
    • VPC 서비스 제어가 사용 설정된 프로젝트에서는 데이터 과학 에이전트가 지원되지 않습니다.
    • @mention 함수를 사용하여 BigQuery 테이블을 검색하는 것은 현재 프로젝트로 제한됩니다. 표 선택기를 사용하여 프로젝트를 검색합니다.
    • @mention 함수는 BigQuery 테이블만 검색합니다. 업로드할 수 있는 데이터 파일을 검색하려면 + 기호를 사용하세요.
    • 데이터 과학 에이전트의 PySpark는 Apache Spark 4.0용 서버리스 코드만 생성합니다. DSA는 Apache Spark 4.0용 서버리스로 업그레이드하는 데 도움이 되지만 이전 버전이 필요한 사용자는 데이터 과학 에이전트를 사용하면 안 됩니다.

    데이터 과학 에이전트 사용 시기

    데이터 과학 에이전트는 탐색적 데이터 분석부터 머신러닝 예측 생성에 이르기까지 다양한 작업을 지원합니다. DSA는 다음 용도로 사용할 수 있습니다.

    • 대규모 데이터 처리: BigQuery ML, BigQuery DataFrames 또는 Apache Spark용 서버리스를 사용하여 대규모 데이터 세트에서 분산 데이터 처리를 실행합니다. 이를 통해 단일 머신의 메모리에 맞지 않는 너무 큰 데이터를 효율적으로 정리, 변환, 분석할 수 있습니다.
    • 계획 생성: Python, SQL, Apache Spark용 서버리스, BigQuery DataFrames와 같은 일반적인 도구를 사용하여 특정 작업을 완료하는 계획을 생성하고 수정합니다.
    • 데이터 탐색: 데이터 세트를 탐색하여 구조를 파악하고, 누락된 값 및 이상치와 같은 잠재적인 문제를 식별하고, Python 또는 SQL을 사용하여 주요 변수의 분포를 검사합니다.
    • 데이터 정리: 데이터를 정리합니다. 예를 들어 이상치인 데이터 포인트를 삭제합니다.
    • 데이터 랭글링: 원-핫 인코딩 또는 라벨 인코딩과 같은 기법을 사용하거나 BigQuery ML 특성 변환 도구를 사용하여 범주형 특성을 수치적 표현으로 변환합니다. 분석을 위한 새로운 특성을 만듭니다.
    • 데이터 분석: 여러 변수 간의 관계를 분석합니다. 숫자형 특성 간의 상관관계를 계산하고 범주형 특성의 분포를 탐색합니다. 데이터에서 패턴과 트렌드를 찾습니다.
    • 데이터 시각화: 개별 변수의 분포와 변수 간의 관계를 나타내는 히스토그램, 박스 플롯, 분산형 차트, 막대그래프와 같은 시각화를 만듭니다. BigQuery에 저장된 테이블의 시각화를 Python으로 만들 수도 있습니다.
    • 특성 추출: 정리된 데이터 세트에서 새로운 특성을 추출합니다.
    • 데이터 분할: 엔지니어링된 데이터 세트를 학습, 검증, 테스트 데이터 세트로 분할합니다.
    • 모델 학습: Pandas DataFrame (X_train, y_train), BigQuery DataFrames, PySpark DataFrame의 학습 데이터를 사용하거나 BigQuery 테이블과 함께 BigQuery ML CREATE MODEL 문을 사용하여 모델을 학습시킵니다.
    • 모델 최적화: 검증 세트를 사용하여 모델을 최적화합니다. DecisionTreeRegressor, RandomForestRegressor 등의 대체 모델을 살펴보고 성능을 비교합니다.
    • 모델 평가: pandas DataFrame, BigQuery DataFrames 또는 PySpark DataFrame을 사용하여 테스트 데이터 세트에서 모델 성능을 평가합니다. BigQuery ML을 사용하여 학습된 모델의 경우 BigQuery ML 모델 평가 함수를 사용하여 모델 품질을 평가하고 모델을 비교할 수도 있습니다.
    • 모델 추론: BigQuery ML 추론 함수를 사용하여 BigQuery ML 학습 모델, 가져온 모델, 원격 모델로 추론을 실행합니다. BigFrames model.predict() 메서드 또는 PySpark 트랜스포머를 사용하여 예측할 수도 있습니다.

    BigQuery에서 데이터 과학 에이전트 사용

    다음 단계에서는 BigQuery에서 데이터 과학 에이전트를 사용하는 방법을 보여줍니다.

    1. Colab Enterprise 노트북을 만들거나 엽니다.

    2. 다음 방법 중 하나로 데이터를 참조합니다.

      • CSV 파일을 업로드하거나 프롬프트에서 + 기호를 사용하여 사용 가능한 파일을 검색합니다.
      • 현재 프로젝트 또는 액세스 권한이 있는 다른 프로젝트의 테이블 선택기에서 하나 이상의 BigQuery 테이블을 선택합니다.
      • 프롬프트에서 BigQuery 테이블 이름을 project_id:dataset.table 형식으로 참조합니다.
      • @ 기호를 입력하여 @mention 함수를 사용하여 BigQuery 테이블 이름을 검색합니다.

    3. 수행하려는 데이터 분석 또는 빌드하려는 프로토타입을 설명하는 프롬프트를 입력합니다. 데이터 과학 에이전트의 기본 동작은 sklearn과 같은 오픈소스 라이브러리를 사용하여 복잡한 머신러닝 작업을 수행하는 Python 코드를 생성하는 것입니다. 특정 도구를 사용하려면 프롬프트에 다음 키워드를 포함하세요.

      • BigQuery ML을 사용하려면 'SQL' 키워드를 포함하세요.
      • 'BigQuery DataFrames'를 사용하려면 'BigFrames' 또는 'BigQuery DataFrames' 키워드를 지정하세요.
      • PySpark를 사용하려면 'Apache Spark' 또는 'PySpark' 키워드를 포함하세요.

      도움이 필요하면 샘플 프롬프트를 참조하세요.

    4. 결과를 살펴봅니다.

    CSV 파일 분석

    BigQuery의 데이터 과학 에이전트를 사용하여 CSV를 분석하려면 다음 단계를 따르세요.

    1. BigQuery 페이지로 이동합니다.

      BigQuery로 이동

    2. BigQuery Studio 시작 페이지의 새로 만들기에서 노트북을 클릭합니다.

      또는 탭 바에서 + 아이콘 옆에 있는 드롭다운 화살표를 클릭한 다음 노트북 > 빈 노트북을 클릭합니다.

    3. 툴바에서 spark Gemini 전환 버튼을 클릭하여 채팅 대화상자를 엽니다.

    4. CSV 파일을 업로드합니다.

      1. 채팅 대화상자에서 Gemini에 추가 > 업로드를 클릭합니다.

      2. 필요한 경우 Google 계정을 승인합니다.

      3. CSV 파일의 위치로 이동한 다음 열기를 클릭합니다.

    5. 또는 프롬프트에 + 기호를 입력하여 업로드할 수 있는 파일을 검색합니다.

    6. 채팅 창에 프롬프트를 입력합니다. 예: Identify trends and anomalies in this file.

    7. 보내기를 클릭합니다. 결과가 채팅 창에 표시됩니다.

    8. 에이전트에게 계획을 변경해 달라고 요청하거나 수락 및 실행을 클릭하여 계획을 실행할 수 있습니다. 계획이 실행되면 생성된 코드와 텍스트가 노트북에 표시됩니다. 중지하려면 취소를 클릭합니다.

    BigQuery 테이블 분석

    BigQuery 테이블을 분석하려면 테이블 선택기에서 하나 이상의 테이블을 선택하거나, 프롬프트에 테이블에 대한 참조를 제공하거나, @ 기호를 사용하여 테이블을 검색합니다.

    1. BigQuery 페이지로 이동합니다.

      BigQuery로 이동

    2. BigQuery Studio 시작 페이지의 새로 만들기에서 노트북을 클릭합니다.

      또는 탭 바에서 + 아이콘 옆에 있는 드롭다운 화살표를 클릭한 다음 노트북 > 빈 노트북을 클릭합니다.

    3. 툴바에서 spark Gemini 전환 버튼을 클릭하여 채팅 대화상자를 엽니다.

    4. 채팅 창에 프롬프트를 입력합니다.

    5. 다음 방법 중 하나로 데이터를 참조합니다.

      1. 표 선택기를 사용하여 표를 하나 이상 선택합니다.

        1. Gemini에 추가 > BigQuery 테이블을 클릭합니다.

        2. BigQuery 테이블 창에서 프로젝트의 테이블을 하나 이상 선택합니다. 프로젝트 전반에서 표를 검색하고 검색창을 사용하여 표를 필터링할 수 있습니다.

      2. 프롬프트에 BigQuery 테이블 이름을 직접 포함합니다. 예를 들어 "탐색적 데이터 분석을 수행하고 project_id:dataset.table 테이블의 데이터에 관한 유용한 정보를 제공해 줘"라고 입력할 수 있습니다.

        다음을 바꿉니다.

        • project_id: 프로젝트 ID입니다.
        • dataset: 분석할 테이블이 포함된 데이터 세트의 이름
        • table: 분석 중인 테이블의 이름

      3. @을 입력하여 현재 프로젝트에서 BigQuery 테이블을 검색합니다.

    6. 보내기를 클릭합니다.

      결과가 채팅 창에 표시됩니다.

    7. 에이전트에게 계획을 변경해 달라고 요청하거나 수락 및 실행을 클릭하여 계획을 실행할 수 있습니다. 계획이 실행되면 생성된 코드와 텍스트가 노트북에 표시됩니다. 계획의 추가 단계에서는 수락 및 실행을 다시 클릭해야 할 수 있습니다. 중지하려면 취소를 클릭합니다.

    샘플 프롬프트

    사용하는 프롬프트의 복잡성과 관계없이 데이터 과학 에이전트는 필요에 맞게 미세 조정할 수 있는 계획을 생성합니다.

    다음 예시는 DSA와 함께 사용할 수 있는 프롬프트 유형을 보여줍니다.

    Python 프롬프트

    프롬프트에 'BigQuery ML' 또는 'SQL'과 같은 특정 키워드를 사용하지 않는 한 기본적으로 Python 코드가 생성됩니다.

    • k-최근접 이웃(KNN) 머신러닝 알고리즘을 사용하여 누락된 값을 조사하고 채워 줘.
    • 경력별 급여 차트를 만들어 줘. experience_level 열을 사용하여 급여를 그룹화하고 salary_in_usd 열의 값을 표시하는 각 그룹의 박스 플롯을 만들어야 해.
    • XGBoost 알고리즘을 사용하여 특정 과일의 class 변수를 결정하는 모델을 만들어 줘. 데이터를 학습 데이터 세트와 테스트 데이터 세트로 분할하여 모델을 생성하고 모델의 정확성을 확인해야 해. 올바른 예측과 잘못된 예측을 모두 포함하여 각 등급의 예측을 보여주는 혼동 행렬을 만들어 줘.
    • filename.csv에서 향후 6개월 동안의 target_variable을 예측해 줘.

    SQL 및 BigQuery ML 프롬프트

    • BigQuery SQL을 사용하여 bigquery-public-data.ml_datasets.census_adult_income에서 분류 모델을 만들고 평가해 줘.
    • SQL을 사용하여 bigquery-public-data.google_analytics_sample.ga_sessions_*를 기반으로 다음 달 웹사이트 트래픽을 예측해 줘. 그런 다음 과거 값과 예측 값을 그래프로 표시합니다.
    • KMeans 모델과 BigQuery ML SQL 함수를 사용하여 유사한 고객을 그룹화하여 타겟팅 시장 캠페인을 만듭니다. 클러스터링에 세 가지 기능을 사용합니다. 그런 다음 일련의 2D 산점도를 만들어 결과를 시각화합니다. bigquery-public-data.ml_datasets.census_adult_income 표를 사용합니다.
    • bigquery-public-data.imdb.reviews의 리뷰 콘텐츠를 사용하여 BigQuery ML에서 텍스트 임베딩을 생성합니다.

    지원되는 모델 및 머신러닝 작업 목록은 BigQuery ML 문서를 참고하세요.

    DataFrame 프롬프트

    • project_id:dataset.table의 데이터에 대한 pandas DataFrame을 만듭니다. null 값에 대한 데이터를 분석한 다음 그래프 유형을 사용하여 각 열의 분포를 그래프로 표시해야 해. 측정된 값에는 바이올린 플롯을 사용하고 카테고리에는 막대 플롯을 사용해.
    • filename.csv를 읽고 DataFrame을 구성합니다. DataFrame에서 분석을 실행하여 값으로 수행해야 하는 작업을 확인합니다. 예를 들어 대체하거나 삭제해야 하는 누락된 값이 있는지 또는 해결해야 하는 중복 행이 있는지 확인합니다. 데이터 파일을 사용하여 도시 위치별로 투자된 금액의 분포를 확인합니다. 위치를 평균 투자금 (USD)과 비교하여 상위 20개 결과를 내림차순으로 막대 그래프에 표시해 줘.
    • BigQuery DataFrames를 사용하여 project_id:dataset.table에서 분류 모델을 만들고 평가해 줘.
    • BigQuery DataFrames를 사용하여 project_id:dataset.table에서 시계열 예측 모델을 만들고 모델 평가를 시각화합니다.
    • BigQuery DataFrames를 사용하여 BigQuery 테이블 project_id:dataset.table에서 지난 1년간의 판매 수치를 시각화합니다.
    • BigQuery DataFrames를 사용하여 bigquery-public_data.ml_datasets.penguins 표에서 펭귄 종을 가장 잘 예측할 수 있는 특징을 찾습니다.

    PySpark 프롬프트

    • Apache Spark용 서버리스를 사용하여 project_id:dataset.table에서 분류 모델을 만들고 평가해 줘.
    • 유사한 고객을 그룹화하여 타겟팅 시장 캠페인을 만들지만 먼저 PCA 모델을 사용하여 차원 축소를 실행합니다. PySpark를 사용하여 테이블 project_id:dataset.table에서 이를 실행합니다.

    BigQuery의 Gemini 사용 중지

    Google Cloud 프로젝트에 대해 BigQuery의 Gemini를 사용 중지하려면 관리자가 Gemini for Google Cloud API를 사용 중지해야 합니다. 서비스 사용 중지를 참조하세요.

    특정 사용자에 대해 BigQuery의 Gemini를 사용 중지하려면 관리자가 해당 사용자의 Google Cloud를 위한 Gemini 사용자(roles/cloudaicompanion.user) 역할을 취소해야 합니다. 단일 IAM 역할 취소를 참조하세요.

    가격 책정

    프리뷰 버전에서는 노트북의 런타임에서 코드를 실행한 경우와 사용한 BigQuery 슬롯에 대해서만 요금이 청구됩니다. 자세한 내용은 Colab Enterprise 가격 책정을 참고하세요.

    지원되는 리전

    Colab Enterprise의 데이터 과학 에이전트가 지원되는 리전을 확인하려면 위치를 참조하세요.