BigQuery의 AI 소개

BigQuery는 다음과 같은 작업을 수행할 수 있는 다양한 AI 기능을 제공합니다.

  • 예측 머신러닝 (ML)을 실행합니다.
  • Gemini와 같은 대규모 언어 모델 (LLM)에 대해 추론을 실행합니다.
  • 임베딩 및 벡터 검색을 사용하여 애플리케이션을 빌드합니다.
  • 기본 제공 에이전트를 사용하여 코딩을 지원받습니다.
  • 데이터 파이프라인을 만듭니다.
  • 에이전트 도구로 BigQuery 기능에 액세스합니다.

머신러닝

BigQuery ML을 사용하면 시계열 예측, 이상 감지, 분류, 회귀, 클러스터링, 차원 축소, 추천과 같은 작업에 대한 모델을 학습시키고, 평가하고, 추론을 실행할 수 있습니다.

Google Cloud 콘솔, bq 명령줄 도구, REST API 또는 Colab Enterprise 노트북에서 BigQuery ML 기능을 사용할 수 있습니다. BigQuery ML을 사용하면 SQL 실무자가 기존 SQL 도구와 기술을 사용하여 모델을 빌드하고 평가할 수 있으므로 데이터 이동이 필요하지 않고 데이터에 ML을 적용하여 ML을 범용화하고 모델 개발 속도를 높일 수 있습니다. BigQuery ML을 사용하여 다음 유형의 ML 작업을 수행할 수 있습니다.

  • GoogleSQL 쿼리를 사용하여 ML 모델을 만들고 실행합니다.
  • Colab Enterprise 노트북을 만들어 ML 워크플로를 실행합니다. 노트북을 사용하면 SQL과 Python을 번갈아 사용하고 개발에 AI 또는 ML Python 라이브러리를 사용할 수 있습니다.
  • Explainable AI를 사용하여 예측 ML 모델의 결과를 이해합니다.
  • TimesFM, ARIMA_PLUS, ARIMA_PLUS_XREG 모델을 사용하여 시계열 데이터에 대해 예측 및 이상 감지를 실행합니다.
  • 기여 분석을 사용하여 다차원 데이터의 주요 측정항목 변경에 관한 인사이트를 생성할 수 있습니다.

자세한 내용은 BigQuery의 ML 소개를 참고하세요.

AI 함수

BigQuery는 텍스트 생성, 텍스트 또는 비정형 데이터 분석, 번역과 같은 AI 작업에 사용할 수 있는 다양한 SQL 함수를 제공합니다. 이러한 함수는 Vertex AI, Cloud AI API 또는 내장 BigQuery 모델에서 사용할 수 있는 Gemini 및 파트너 LLM 모델에 액세스하여 이러한 작업을 실행합니다.

AI 함수에는 다음과 같은 여러 카테고리가 있습니다.

  • 생성형 AI 함수. 이러한 함수는 콘텐츠 생성, 분석, 요약, 구조화된 데이터 추출, 분류, 삽입 생성, 데이터 보강과 같은 작업을 수행하는 데 도움이 됩니다. 생성형 AI 함수에는 두 가지 유형이 있습니다.

    • 범용 AI 함수를 사용하면 사용할 모델, 프롬프트, 매개변수를 완전히 제어하고 투명하게 확인할 수 있습니다.
    • 관리형 AI 함수는 필터링, 평가, 분류와 같은 일상적인 작업을 위한 간소화된 문법을 제공합니다. BigQuery에서 비용과 품질에 최적화된 모델을 선택합니다.

  • 작업별 함수 이러한 함수를 사용하면 다음과 같은 작업에 Cloud AI API를 사용할 수 있습니다.

자세한 내용은 작업별 솔루션 개요를 참고하세요.

BigQuery는 특정 데이터를 효율적으로 찾거나 멀티모달 데이터를 비롯한 데이터 간 유사성을 파악하는 데 도움이 되는 다양한 검색 기능과 기능을 제공합니다.

  • 텍스트 검색 SEARCH 함수를 사용하여 비정형 텍스트 또는 반정형 JSON 데이터에 대해 토큰화된 검색을 실행할 수 있습니다. 검색 색인을 만들어 검색 성능을 개선할 수 있습니다. 검색 색인을 사용하면 BigQuery에서 SEARCH 함수와 기타 함수 및 연산자를 사용하는 쿼리를 최적화할 수 있습니다. 자세한 내용은 색인 생성된 데이터 검색을 참고하세요.

  • 임베딩 생성 임베딩은 텍스트나 이미지와 같은 항목을 나타내는 고차원의 숫자 벡터이며, ML 모델에 의해 생성되는 경우가 많습니다. Vertex AI에서 제공하거나 호스팅하는 모델을 사용하거나 BigQuery로 가져와 실행하는 모델을 사용하여 멀티모달 임베딩을 생성할 수 있습니다.

    자율 임베딩 생성(프리뷰)을 사용 설정하여 BigQuery가 임베딩 열을 자동으로 유지하도록 할 수도 있습니다.

  • 벡터 검색. VECTOR_SEARCH 함수를 사용하여 임베딩을 검색하여 의미론적으로 유사한 항목을 찾을 수 있습니다. AI.SEARCH 함수(미리보기)를 사용하여 자율 임베딩 생성이 사용 설정된 테이블을 검색할 수 있습니다. 근사 최근접 이웃 검색 기법을 사용하여 더 빠르고 더 근사한 결과를 제공하는 벡터 색인을 만들어 벡터 검색 성능을 개선할 수 있습니다.

    벡터 검색의 일반적인 사용 사례로는 시맨틱 검색, 추천, 검색 증강 생성 (RAG)이 있습니다. 자세한 내용은 벡터 검색 소개를 참고하세요.

지원 AI 기능

BigQuery의 AI 기반 지원 기능(총칭하여 BigQuery의 Gemini라고 함)을 사용하면 데이터를 탐색, 준비, 쿼리, 시각화할 수 있습니다.

  • 데이터 인사이트. 데이터에 대한 자연어 질문과 이러한 질문에 답변하는 SQL 쿼리를 생성합니다.
  • 데이터 준비 컨텍스트를 인식하는 추천을 생성하여 데이터를 정리, 변환, 보강합니다.
  • SQL 코드 지원. SQL 쿼리를 생성, 완료, 설명합니다.
  • Python 코드 지원. PySpark 및 BigQuery DataFrames를 포함한 Python 코드를 생성, 완성하고 설명합니다.
  • 데이터 캔버스. 자연어를 사용하여 데이터를 쿼리하고 차트로 결과를 시각화하며 후속 질문을 할 수 있습니다.
  • SQL 변환기 다른 언어로 작성된 쿼리를 GoogleSQL로 이전하는 데 도움이 되는 Gemini로 향상된 SQL 변환 규칙을 만듭니다.

에이전트

에이전트는 AI를 사용하여 사용자를 대신해 작업을 완료할 수 있는 소프트웨어 도구입니다. 기본 제공 에이전트를 사용하거나 자체 에이전트를 만들어 데이터를 처리, 관리, 분석, 시각화할 수 있습니다.

  • 데이터 과학 에이전트를 사용하여 Colab Enterprise 노트북 내에서 탐색적 데이터 분석, 데이터 처리, ML 작업, 시각화 유용한 정보를 자동화합니다.

  • 데이터 엔지니어링 에이전트를 사용하여 BigQuery에서 데이터를 로드하고 처리하는 데이터 파이프라인을 빌드, 수정, 관리합니다. 자연어 프롬프트를 사용하여 다양한 데이터 소스에서 데이터 파이프라인을 생성하거나 기존 데이터 파이프라인을 데이터 엔지니어링 요구사항에 맞게 조정할 수 있습니다.

  • Gemini CLI를 사용하여 자연어 프롬프트를 통해 터미널에서 BigQuery 데이터와 상호작용합니다.

  • MCP 도구 상자를 사용하여 자체 AI 도구를 BigQuery에 연결하고 데이터와 상호작용합니다.

다음 단계