IVFFLAT インデックスを作成する

このページでは、保存されたエンベディングを使用してインデックスを生成し、AlloyDB for PostgreSQL で IVFFlat インデックスを使用してエンベディングをクエリする方法について説明します。エンベディングの保存の詳細については、ベクトル エンベディングを保存するをご覧ください。

注: インデックスを作成する前に、AlloyDB データベースのテーブルにエンベディング ベクトルを追加していることを確認してください。

始める前に

インデックスの作成を開始する前に、以下の前提条件を整える必要があります。

• AlloyDB データベースのテーブルにエンベディング ベクトルが追加されている。

• Google が AlloyDB 用に拡張した pgvector に基づく vector 拡張機能のバージョン 0.5.0 以降がインストールされている。

  CREATE EXTENSION IF NOT EXISTS vector;
  

IVFFlat インデックスを作成する

標準の pgvector には、hnsw インデックスと比較してビルド時間が短く、メモリ使用量が少ない IVFFlat という名前の IVF インデックスのバージョンも用意されています。

IVFFlat インデックスを作成するには、次の操作を行います。

CREATE INDEX INDEX_NAME ON TABLE
  USING ivfflat (EMBEDDING_COLUMN DISTANCE_FUNCTION)
  WITH (lists = LIST_COUNT);

次のように置き換えます。

• INDEX_NAME: 作成するインデックスの名前（例: my-ivf-index）。

• TABLE: インデックスを追加するテーブル。

• EMBEDDING_COLUMN: vector データを格納する列。

• DISTANCE_FUNCTION: このインデックスで使用する距離関数。次のいずれかを選択します。

  • L2 距離: vector_l2_ops

  • 内積: vector_ip_ops

  • コサイン距離: vector_cosine_ops

• LIST_COUNT: このインデックスで使用するリストの数。この値を決定する方法の詳細については、IVFFlat インデックスをチューニングするをご覧ください。

  このインデックスを、vector ではなく real[] データ型を使用するエンベディング列に作成するには、列を vector データ型にキャストします。

CREATE INDEX INDEX_NAME ON TABLE
  USING ivfflat (CAST(EMBEDDING_COLUMN AS vector(DIMENSIONS)))'}} DISTANCE_FUNCTION)
  WITH (lists = LIST_COUNT);

DIMENSIONS は、エンベディング列のディメンション幅に置き換えます。ディメンションの確認方法については、ベクトル関数の vector_dims 関数をご覧ください。

インデックス作成の進行状況を確認するには、pg_stat_progress_create_index ビューを使用します。

SELECT * FROM pg_stat_progress_create_index;

phase 列には、インデックス作成の現在のステータスが表示されます。

目標の再現率と QPS のバランスを考慮してインデックスをチューニングするには、IVFFlat インデックスをチューニングするをご覧ください。

クエリの実行

エンベディングをデータベースに保存してインデックスを作成した後は、pgvector クエリ機能を使用してクエリを開始できます。

エンベディング ベクトルの最も近いセマンティック ネイバーを見つけるには、次のサンプルクエリを実行します。ここでは、インデックスの作成時に使用した距離関数を設定します。

  SELECT * FROM TABLE
    ORDER BY EMBEDDING_COLUMN DISTANCE_FUNCTION_QUERY ['EMBEDDING']
    LIMIT ROW_COUNT

次のように置き換えます。

• TABLE: テキストを比較するエンベディングを含むテーブル。

• INDEX_NAME: 使用するインデックスの名前。例: my-scann-index

• EMBEDDING_COLUMN: 保存されたエンベディングを含む列。

• DISTANCE_FUNCTION_QUERY: このクエリで使用する距離関数。インデックスの作成時に使用した距離関数に基づいて、次のいずれかを選択します。

  • L2 距離: <->

  • 内積: <#>

  • コサイン距離: <=>

• EMBEDDING: 保存されているセマンティック ネイバーの中で最も近いものを見つけるエンベディング ベクトル。

• ROW_COUNT: 返される行数。

  最も適合するものが 1 つだけ必要な場合は、1 を指定します。

他のクエリの例については、クエリをご覧ください。

embedding() 関数を使用してテキストをベクトルに変換することもできます。ベクトルを pgvector 最近傍演算子（L2 距離の場合は <->）のいずれかに適用して、意味的に最も類似したエンベディングを含むデータベース行を見つけます。

embedding() は real 配列を返すため、これらの値を pgvector 演算子で使用するには、embedding() 呼び出しを vector に明示的にキャストする必要があります。

次のステップ

• ScaNN インデックスを作成する
• ベクトル類似性検索を実行する
• ベクトルクエリのパフォーマンスを調整する
• ベクトル インデックス指標
• AlloyDB、pgvector、モデル エンドポイント管理を使用してスマート ショッピング アシスタントを構築する方法について学習する。