AI 색인 개요

AI 색인을 사용하면 임베딩을 수동으로 생성하거나 모델을 관리하지 않고도 테이블 열에서 자연어 검색을 수행할 수 있습니다. AI.SEARCH 함수를 사용하여 데이터를 쿼리할 수 있으며, BigQuery는 열 선택, 색인 최적화, 지속적인 유지보수를 자동으로 처리합니다.

AI 색인 정보

AI 색인은 AI.SEARCH 함수를 사용하여 BigQuery 테이블의 하나 이상의 열에서 자연어 검색을 사용할 수 있게 해주는 관리형 자체 최적화 색인 추상화입니다. 임베딩 모델, 임베딩 열 또는 벡터 색인을 관리하지 않고 하나 이상의 텍스트 열에서 자연어 검색을 수행하려면 AI 색인을 사용합니다. 특정 임베딩 모델 또는 커스텀 벡터 색인 옵션이 필요한 경우 임베딩을 생성하고 벡터 색인을 만듭니다.

BigQuery AI 색인을 사용하면 다음 작업을 더 효율적으로 수행할 수 있습니다.

  • 모델을 관리하지 않고 자연어 검색 수행: 임베딩을 생성하거나 벡터 색인을 구성하지 않고도 자연어 쿼리를 사용하여 데이터를 검색할 수 있습니다.
  • 자동 열 선택: AUTO COLUMNS 옵션으로 AI 색인을 만들면 BigQuery가 색인을 생성할 테이블의 후보 열을 자동으로 식별하고 선택하거나 포함할 열의 명시적 목록을 지정할 수 있습니다.
  • 적응형 색인 생성: BigQuery는 데이터 및 쿼리에 최적화된 색인 생성 및 검색 전략을 자동으로 결정하고 적용합니다.
  • 완전 관리형 수명 주기: 테이블 데이터가 변경되면 BigQuery는 기본 AI 아티팩트를 관리할 필요 없이 색인 생성, 유지보수, 업데이트, 새로고침을 자동으로 관리합니다.

워크로드 관리

기본적으로 BigQuery는 주문형 슬롯과 공유 슬롯 풀을 사용하여 AI 색인을 빌드, 새로고침, 최적화하는 데 필요한 백그라운드 프로세스를 처리합니다. 대규모 프로덕션 워크로드에서 예측 가능하고 일관된 색인 생성 성능을 보장하거나 행이 1,000,000개 이상인 테이블에 AI 색인을 만들려면 다음을 수행합니다.

  • 테이블이 있는 리전에 예약 만들기
  • job_type을 BACKGROUND로 설정하여 예약에 프로젝트를 할당합니다.

BACKGROUND 예약이 있으면 BigQuery는 이를 사용하여 AI 색인을 유지보수하는 백그라운드 작업을 실행합니다.

가격 책정

AI 색인 비용은 다음 카테고리로 분류됩니다.

  • DDL 문: CREATE AI INDEX 및 DROP AI INDEX 문을 실행하는 데 추가 요금이 부과되지 않습니다.
  • 백그라운드 색인 데이터 처리(gc_ 작업): 모든 데이터 처리는 BigQuery 슬롯을 사용하여 BigQuery 내에서 직접 실행됩니다. 기본적으로 BigQuery는 주문형 슬롯을 사용하여 이러한 작업을 처리하며 테이블의 프로젝트에는 DML 주문형 청구 모델에 따라 요금이 청구됩니다. BACKGROUND 예약이 프로젝트에 할당된 경우 BigQuery는 BACKGROUND 예약을 사용하여 이러한 백그라운드 DML 작업을 실행하고 예약에 슬롯 시간 사용량에 대한 요금이 청구됩니다. 자세한 내용은 백그라운드 작업 비용 추적을 참조하세요.
  • 임베딩 생성: AI 색인이 있는 테이블의 AI.SEARCH 쿼리에 대해 생성된 임베딩을 포함하여 AI 색인의 임베딩 생성은 AI 색인이 사용하는 기본 모델의 게시된 요율로 청구됩니다. Google은 모델 수명 주기 또는 성능 개선을 위해 시간이 지남에 따라 AI 색인에서 사용하는 기본 모델을 업데이트하고 모델에 대해 게시된 BigQuery 가격 책정에 따라 청구할 수 있습니다.
  • 색인 학습 및 최적화: 기본 공유 슬롯 풀을 사용하는 경우 색인 생성된 테이블 데이터의 총 크기가 조직 한도 미만이면 색인 구조를 학습하고 최적화하는 데 필요한 처리에 대한 추가 요금이 청구되지 않습니다.
  • 스토리지: AI 색인은 테이블에 존재하는 동안 스토리지 비용이 발생합니다. INFORMATION_SCHEMA.AI_INDEXES 뷰의 total_logical_bytes 열에서 AI 색인의 스토리지 크기를 볼 수 있습니다.
  • 쿼리: AI.SEARCH 함수를 사용하는 쿼리에는 표준 BigQuery 컴퓨팅 가격 책정이 적용됩니다. 쿼리의 임베딩 생성은 이 목록의 앞부분에서 설명한 대로 청구됩니다.

AI 색인 제한사항

AI 색인을 사용할 때는 다음과 같은 제한사항이 적용됩니다.

  • 행의 색인 생성된 열의 결합된 텍스트가 매우 긴 경우(예: 전체 문서 또는 긴 STRING 열이 많은 경우) 텍스트의 일부만 검색에 사용됩니다. 가장 유용한 필드가 사용되도록 하려면 CREATE AI INDEX에서 가장 신호가 높은 열을 먼저 나열하여 명시적인 열 목록을 지정합니다.
  • ID, UUID, 해시, 시스템 코드와 같이 자연어 의미가 없는 식별자 값에 대한 정확한 일치가 필요한 쿼리는 지원되지 않습니다. 기본적으로 AUTO COLUMNS에는 불투명 ID 열을 필터링하지 않고 모든 최상위 STRING 열이 포함됩니다. AI 색인에서 불투명 ID 열을 제외하려면 CREATE AI INDEX에 명시적 열 목록을 지정합니다.
  • 엄격한 숫자 제약 조건이 포함되거나 STRING 이외의 열에 대한 구조화된 필터링이 필요한 쿼리는 자연어 검색 텍스트만으로는 지원되지 않습니다. 대신 사전 필터 하위 쿼리에서 WHERE 절을 사용하여 구조화된 필터 또는 숫자 필터를 적용합니다.
  • AI 색인에 원시 로그, 스택 트레이스, URL, 머신 생성 문자열과 같이 행을 설명하지 않는 텍스트가 있는 열이 포함된 경우 검색 품질이 저하될 수 있습니다. 이러한 열을 제외하려면 AUTO COLUMNS를 사용하는 대신 색인을 생성할 열을 나열합니다.
  • CREATE OR REPLACE AI INDEX 및 ALTER AI INDEX 문은 지원되지 않습니다. 또한 AI 색인에 포함된 소스 열의 데이터 유형을 삭제, 이름 바꾸기, 변경할 수 없습니다. 색인이 생성된 열을 변경하려면 AI 색인을 삭제하고 다시 만듭니다.
  • AI 색인이 있는 테이블에서는 다음 테이블 작업이 지원되지 않습니다. 이러한 작업을 수행하려면 AI 색인을 삭제하세요.

    • 테이블 스키마(CREATE TABLE ... LIKE)에서 테이블을 만듭니다.
    • 리전 간 복사를 포함하여 테이블(bq cp 또는 CREATE TABLE ... COPY)을 복사하거나 AI 색인이 있는 기존 테이블에 데이터를 복사합니다.
    • 테이블을 클론합니다(CREATE TABLE ... CLONE).
    • 테이블 스냅샷(CREATE SNAPSHOT TABLE)을 만듭니다.
    • 테이블 이름을 바꿉니다(ALTER TABLE ... RENAME TO).
    • 테이블(RESTORE TABLE)을 복원합니다.

다음 단계