AlloyDB Omni から OpenSearch データにアクセスする

ドキュメントのバージョンを選択してください。

AlloyDB Omni の外部検索インテグレーションを使用して、OpenSearch に保存されているデータにアクセスして検索できます。この統合により、データのコピーや移動を行わずに、既存の OpenSearch インデックスとリレーショナル テーブルにまたがるフェデレーション検索を実行できます。

始める前に

始める前に、次のことを行います。

OpenSearch 認証情報を Secret Manager に保存する

AlloyDB Omni は、Secret Manager から OpenSearch 認証情報を保存して読み取ります。基本 HTTP 認証の場合、Secret Manager のシークレットの値は username:password 形式の文字列にする必要があります。Secret Manager の使用方法の詳細については、Secret Manager を使用してシークレットを作成してアクセスするをご覧ください。

AlloyDB Omni が使用するサービス アカウントに、Secret Manager からシークレットを読み取る secretmanager.secretAccessor 権限があることを確認します。詳細については、シークレットへのアクセスを管理するをご覧ください。

external_search_fdw 拡張機能を有効にして構成する

OpenSearch との統合を開始するには、外部データサーバーを介して OpenSearch クラスタへのアクセスを構成します。

  1. データベースに接続し、拡張機能を有効にします。

    CREATE EXTENSION external_search_fdw;

  2. 外部サーバーを作成します。

    CREATE SERVER OPENSEARCH_SERVER_NAME
FOREIGN DATA WRAPPER external_search_fdw
OPTIONS (
  server 'OPENSEARCH_SERVER_HOST_PORT',
  search_provider 'opensearch',
  auth_mode 'secret_manager',
  auth_method 'AUTH_METHOD',
  secret_path 'SECRET_PATH'
);

    次の変数を置き換えます。

    • OPENSEARCH_SERVER_NAME: 外部データサーバーの名前。例: opensearch

    • OPENSEARCH_SERVER_HOST_PORT: OpenSearch クラスタの公開 URL。例: https://search-my-domain.us-east-1.es.amazonaws.com:443

    • AUTH_METHOD: 使用する認証のタイプ。例: Basic

    • SECRET_PATH: OpenSearch 認証情報の Secret Manager パス。例: projects/PROJECT_ID/secrets/opensearch-credentials/versions/1

  3. OpenSearch サーバーのユーザー マッピングを定義します。

    CREATE USER MAPPING FOR CURRENT_USER
SERVER OPENSEARCH_SERVER_NAME;

  4. OpenSearch インデックスのスキーマを PostgreSQL 外部テーブルにマッピングします。

    CREATE FOREIGN TABLE OPENSEARCH_FD_TABLE(
    metadata external_search_fdw_schema.OpaqueMetadata,
    OPENSEARCH_FIELDS)
       SERVER OPENSEARCH_SERVER_NAME
       OPTIONS(
            remote_table_name 'OPENSEARCH_INDEX_NAME'
       );

    次の変数を置き換えます。

    • OPENSEARCH_FD_TABLE: OpenSearch テーブルを表す外部データテーブルの名前。例: my-fd-opensearch-table

    • OPENSEARCH_FIELDS: 各エントリが opensearch_field_name PG_DATA_TYPE 形式のカンマ区切りのリスト。サポートされている OpenSearch データ型と、それに対応する PostgreSQL 型の一覧については、サポートされているデータ型をご覧ください。

    • OPENSEARCH_INDEX_NAME: OpenSearch インデックスの名前。例: my-opensearch-index

OpenSearch データにクエリを実行する

AlloyDB Omni は、SQL クエリを OpenSearch REST API クエリに変換します。

標準 SQL クエリ

検索式には、Lucene 構文の標準 SQL を使用できます。

SELECT id, body
FROM OPENSEARCH_FD_TABLE
WHERE FILTER
ORDER BY metadata <@> 'QUERY';

次の変数を置き換えます。

  • OPENSEARCH_FD_TABLE: OpenSearch テーブルを表す外部データテーブルの名前。例: my-fd-opensearch-table

  • FILTER: （省略可）OpenSearch クエリに適用するフィルタ。例: a = 10 AND b < 105

  • QUERY: OpenSearch に送信するクエリ。例: body:database

クエリ DSL

高度なユースケースでは、OpenSearch JSON スタイルのクエリ ドメイン固有言語（DSL）を使用します。

SELECT id, title
FROM OPENSEARCH_FD_TABLE
ORDER BY metadata <@> $${
  "query": {
    "bool": {
      "must": { "match": { "title": "opensearch" } },
      "filter": { "term": { "category": "software" } }
    }
  },
  "sort": [
    { "price": { "order": "desc" } }
  ]
}$$
LIMIT 1;

OPENSEARCH_FD_TABLE は、OpenSearch テーブルを表す外部データテーブルの名前に置き換えます。例: my-fd-opensearch-table

OpenSearch データに対してハイブリッド検索を実行するには、OpenSearch トークン検索結果を AlloyDB Omni ベクトル検索結果と結合します。

SELECT *
FROM ai.hybrid_search(
  ARRAY[
    '{"limit": LIMIT,
      "weight": WEIGHT,
      "table_name": "OPENSEARCH_FD_TABLE",
      "key_column": "id",
      "query_text_input": "QUERY"}'::jsonb
  ])
ORDER BY score DESC;

次の変数を置き換えます。

  • LIMIT: 返される結果の数。例: 10

  • WEIGHT: この検索エントリの Reciprocal Rank Fusion（RRF）全体への貢献度。例: 0.5重みを指定しない場合、トラフィックは均等に分散されます。詳細については、ハイブリッド検索関数のパラメータをご覧ください。

  • OPENSEARCH_FD_TABLE: OpenSearch テーブルを表す外部データテーブルの名前。例: my-fd-opensearch-table

  • QUERY: OpenSearch に送信するクエリ。例: body:database

トラブルシューティング

OpenSearch クラスタのクエリ時に認証または接続の問題が発生した場合は、次の点を確認してください。

  • HTTP 401 または 403 認証エラー: Secret Manager の OpenSearch シークレットに username:password 形式の文字列が含まれていること、サービス アカウントに secretmanager.secretAccessor 権限があることを確認します。

  • 接続タイムアウト: AlloyDB Omni と OpenSearch エンドポイント間のネットワーク ルールとファイアウォール構成を確認します。

制限事項

  • 読み取り専用: AlloyDB Omni は OpenSearch データの読み取りを行いますが、書き込みは行いません。

  • データ マネジメント: AlloyDB Omni は、データベース データを OpenSearch に自動的にインデックス登録しません。OpenSearch インデックスへの入力と、AlloyDB Omni のデータと OpenSearch のインデックス付きデータとの整合性の維持は、お客様の責任となります。

  • スキーマ管理: AlloyDB Omni は、スキーマを OpenSearch と自動的に同期しません。OpenSearch インデックス スキーマが変更された場合は、対応する PostgreSQL 外部テーブルのスキーマを手動で更新します。

  • サポートされていない型: 地理空間型などの特殊な OpenSearch 型はサポートされていません。

  • 認証: OpenSearch クラスタで構成された基本認証（ユーザー名とパスワード）を使用する必要があります。

次のステップ