비전 웨어하우스 개요

Vision 웨어하우스는 개발자가 비정형 미디어 콘텐츠 (스트리밍 동영상, 이미지, 일괄 동영상)의 스토리지 및 AI 기반 검색을 기존 도구 및 애플리케이션에 통합할 수 있도록 지원하는 API입니다.

Vision 웨어하우스는 Gemini Enterprise Agent Platform Vision의 주요 구성요소입니다. 스토리지 저장소 역할을 하며 여러 데이터 유형 및 사용 사례에 대한 고급 검색 기능을 제공합니다. 구체적으로는 다음과 같습니다.

  • 스트리밍 동영상: Gemini Enterprise Agent Platform Vision 플랫폼 애플리케이션 또는 Vision 웨어하우스 API를 사용하여 라이브 동영상 스트림 및 실시간 동영상 분석 데이터를 가져오고 Vision 웨어하우스 API 또는 Google Cloud 콘솔을 사용하여 이미지를 검색할 수 있습니다.
  • 이미지: Vision 웨어하우스 API를 사용하여 이미지 및 메타데이터를 가져오고 Vision 웨어하우스 API를 사용하여 이미지를 분석하며 Vision 웨어하우스 API 또는 Google Cloud 콘솔을 사용하여 이미지를 검색할 수 있습니다.
  • 일괄 동영상: Vision 웨어하우스 API를 사용하여 일괄 동영상 및 메타데이터를 가져오고 Vision 웨어하우스 API를 사용하여 일괄 동영상을 분석하며 Vision 웨어하우스 API 또는 Google Cloud 콘솔을 사용하여 일괄 동영상을 검색할 수 있습니다.

API 리소스 개요

API 리소스 다이어그램

Storage API 리소스

코퍼스: 특정 유형의 미디어 애셋을 저장하는 컨테이너입니다. 여러 코퍼스를 만들어 다양한 유형의 미디어 애셋을 구성할 수 있습니다.

애셋: 코퍼스 내에 저장된 미디어 객체입니다. 애셋은 이미지, 일괄 동영상 또는 동영상 스트림일 수 있습니다. 코퍼스에는 일반적으로 동일한 유형의 애셋이 많이 포함되어 있습니다. 애셋과 연결된 주석을 지정할 수 있습니다. 애셋을 관리를 위해 컬렉션으로 그룹화할 수도 있습니다.

컬렉션: 애셋에 대한 참조 컨테이너 역할을 하는 코퍼스 내의 리소스입니다.

주석: 애셋과 연결된 Gemini Enterprise Agent Platform Vision에서 파생된 사용자 제공 메타데이터 또는 데이터입니다. 애셋에는 여러 주석이 있을 수 있습니다.

  • 예 1: 일괄 동영상 애셋에 '동영상 제목'이라는 텍스트 주석을 지정합니다.
  • 예 2: Gemini Enterprise Agent Platform Vision 모델의 분석된 데이터를 주석으로 저장합니다. 예를 들어 다양한 동영상 시간 프레임의 객체 인식 라벨을 주석으로 저장할 수 있습니다.

데이터 스키마: 코퍼스 내에서 주석이 해석되는 방식을 정의합니다. 데이터 스키마는 하나의 주석 유형과 검색 전략을 정의합니다. 각 주석은 데이터 스키마와 연결되어야 합니다.

Search API 리소스

색인 (이미지 및 일괄 동영상 버티컬에서 사용 가능): 분석된 애셋 및 주석의 관리형 표현인 코퍼스 수준 리소스입니다. 색인은 미디어 콘텐츠의 의미를 나타내는 임베딩 벡터 및 시맨틱 제한사항의 데이터 세트로 볼 수 있습니다. 색인을 검색을 위해 색인 엔드포인트에 배포할 수 있습니다.

색인 엔드포인트 (이미지 및 일괄 동영상 버티컬에서 사용 가능): Vision 웨어하우스 색인을 제공하는 관리형 환경입니다. 색인 엔드포인트는 검색 요청을 전송하기 위한 단일 액세스 지점을 제공합니다.

검색 구성: 검색 동작 및 검색 결과에 영향을 미치는 다양한 속성을 저장합니다.

  • 패싯 속성 (스트리밍 동영상 버티컬에서 사용 가능): 패싯 기반 히스토그램 검색 결과를 사용 설정하는 구성을 만듭니다.
  • 검색 기준 속성 (스트리밍 동영상 및 일괄 동영상 버티컬에서 사용 가능): 맞춤 검색 기준과 하나 이상의 데이터 스키마 키 간의 매핑을 만듭니다.

검색 상위어: 검색 서비스에서 단어의 상위어를 인식하는 기능을 맞춤설정할 수 있는 특정 유형의 검색 구성입니다. 예를 들어 사용자는 '동물'을 '고양이' 및 '개'의 상위어로 지정할 수 있습니다. '동물'을 검색하면 색인 데이터에 '고양이' 및 '개'가 있는 결과도 반환됩니다.

지원 언어

일괄 동영상 웨어하우스 및 이미지 웨어하우스는 시맨틱 검색을 위해 다음 언어를 지원합니다.

  • 영어
  • 스페인어
  • 포르투갈어
  • 프랑스어
  • 일본어
  • 중국어

Streaming Warehouse에는 언어 제한이 없습니다.

다음 단계