Vision Warehouse は、デベロッパーが非構造化メディア コンテンツ（ストリーミング動画、画像、バッチ動画）のストレージと AI ベースの検索を既存のツールやアプリケーションに統合できるようにする API です。
Vision Warehouse は、Gemini Enterprise Agent Platform Vision の主要コンポーネントです。 ストレージ リポジトリとして機能し、複数のデータ型とユースケースに対応する高度な検索機能を提供します。詳細は以下のとおりです。
- ストリーミング動画: Gemini Enterprise Agent Platform Vision プラットフォーム アプリケーションまたは Vision Warehouse API を使用して、ライブ動画ストリームとライブ動画分析 データをインポートし、Vision Warehouse API または Google Cloud コンソールを使用して画像を検索できます。
- 画像: Vision Warehouse API を使用して画像とメタデータをインポートし、 Vision Warehouse API を使用して画像を分析し、Vision Warehouse API または Google Cloud コンソールを使用して画像を検索できます。
- バッチ動画: Vision Warehouse API を使用してバッチ動画とメタデータをインポートし、Vision Warehouse API を使用して バッチ動画を分析し、Vision Warehouse API または Google Cloud コンソールを使用してバッチ動画を検索できます。
API リソースの概要
Storage API リソース
コーパス: 特定のタイプのメディア アセットを保持するコンテナ。複数のコーパスを作成して、さまざまなタイプのメディア アセットを整理できます。
アセット: コーパス内に保存されているメディア オブジェクト。アセットには、画像、バッチ動画、動画ストリームを使用できます。 通常、コーパスには同じタイプのアセットが多数含まれています。アセットに関連付けるアノテーションを指定できます。アセットをコレクションにグループ化して管理することもできます。
コレクション: コーパス内のリソースで、アセットへの参照のコンテナとして機能します。
アノテーション: ユーザーが指定したメタデータ、または Gemini Enterprise Agent Platform Vision から派生したアセットに関連付けられたデータ。アセットには複数のアノテーションを設定できます。
- 例 1: バッチ動画アセットに「video-title」という名前のテキスト アノテーションを指定します。
- 例 2: Gemini Enterprise Agent Platform Vision モデルから分析されたデータをアノテーションとして保存します。たとえば、さまざまな動画タイムフレームのオブジェクト認識ラベルをアノテーションとして保存できます。
データ スキーマ: コーパス内でアノテーションを解釈する方法を定義します。データ スキーマは、1 つのアノテーション タイプとその検索戦略を定義します。各アノテーションはデータ スキーマに関連付ける必要があります。
Search API リソース
インデックス （画像とバッチ動画のバーティカルで使用可能）: 分析されたアセットとアノテーションのマネージド表現であるコーパスレベルのリソース。インデックスは、メディア コンテンツの意味を表すエンベディング ベクトルとセマンティック制限のデータセットと見なすことができます。インデックスは、検索用のインデックス エンドポイントにデプロイできます。
インデックス エンドポイント （画像とバッチ動画のバーティカルで使用可能）: Vision Warehouse インデックスを提供するマネージド環境。インデックス エンドポイントは、検索リクエストを送信するための単一のアクセス ポイントを提供します。
検索構成: 検索動作と検索結果に影響するさまざまなプロパティを保存します。
- ファセット プロパティ（ストリーミング動画のバーティカルで使用可能）: ファセット ベースのヒストグラム検索結果を有効にする構成を作成します。
- 検索条件プロパティ（ストリーミング動画とバッチ動画のバーティカルで使用可能）: カスタム検索条件と 1 つ以上のデータ スキーマキーのマッピングを作成します。
検索上位語: 検索サービスで単語の上位語を認識する機能をカスタマイズできる特定のタイプの検索構成。たとえば、ユーザーは「cat」と「dog」の上位語として「animal」を指定できます。「animal」を検索すると、インデックス データに「cat」と「dog」が含まれる結果も返されます。
サポートされている言語
Batch Video Warehouse と Image Warehouse は、セマンティック検索で次の言語をサポートしています。
- 英語
- スペイン語
- ポルトガル語
- フランス語
- 日本語
- 中国語
Streaming Warehouse には言語制限はありません。
次のステップ
- 各メディア バーティカル（ ストリーミング動画、 画像、 および バッチ動画）の主要な API ユーザーフローを理解する。
- Vision Warehouse の 割り当てと上限を確認する。
- 料金について理解する。
- サポートを受ける方法を確認する。