ベクトル検索は、Google Research が開発した画期的なテクノロジーを基盤として構築された強力なベクトル検索エンジンです。ベクトル検索では、ScaNN アルゴリズムを活用して、次世代の検索システムやレコメンデーション システム、生成 AI アプリケーションを構築できます。
Google 検索、YouTube、Google Play などの Google のコアプロダクトの基盤となっているのと同じ研究とテクノロジーを活用できます。つまり、大規模なデータセットを処理し、グローバル規模で高速な結果を提供する信頼性の高い拡張性、可用性、パフォーマンスを実現できます。ベクトル検索を使用すると、最先端のセマンティック検索機能を独自のアプリケーションに実装するためのエンタープライズ グレードのソリューションを利用できます。
ブログ: ベクトル検索によるマルチモーダル検索 |
|
|
|
使ってみる
ベクトル検索のインタラクティブなデモ: ベクトル検索テクノロジーでできることの現実的な例をライブデモで確認し、ベクトル検索の使用をいち早く開始しましょう。
ベクトル検索のクイックスタート: サンプル データセットを使用してベクトル検索インデックスを構築、デプロイ、クエリすることで、30 分間でベクトル検索を試すことができます。このチュートリアルでは、設定、データの準備、インデックスの作成、デプロイ、クエリ、クリーンアップについて説明します。
開始する前に: モデルを選択してトレーニングし、データを準備してエンベディングを準備します。次に、クエリ インデックスをデプロイするパブリック エンドポイントまたはプライベート エンドポイントを選択します。
ベクトル検索の料金と料金計算ツール: ベクトル検索の料金には、デプロイされたインデックスのホストに使用される仮想マシンの費用と、インデックスの構築と更新の費用が含まれます。最小限の設定（月額 $100 未満）でも、中程度のユースケースで高スループットを実現できます。毎月の費用を見積もるには:
- Google Cloud の料金計算ツールに移動します。
- [Add To Estimate] をクリックします。
- Gemini Enterprise Agent Platform を検索します。
- [Gemini Enterprise Agent Platform] ボタンをクリックします。
- [Service type] プルダウンから [Gemini Enterprise Agent Platform Vector Search] を選択します。
- デフォルトの設定をそのまま使用するか、独自の設定を構成します。1 か月あたりの推定費用は [Cost details] パネルに表示されます。
ドキュメント
ユースケースとブログ
ベクトル検索技術は、AI を使用する企業にとって中枢的なハブになりつつあります。IT システムでリレーショナル データベースが機能する仕組みと同様に、ドキュメント、コンテンツ、プロダクト、ユーザー、イベントなどのさまざまなビジネス要素を、関連性に基づいて接続します。ベクトル検索は、ドキュメントや画像などの従来のメディアの検索だけでなく、インテリジェントな推奨事項の提供、ビジネス上の問題とソリューションのマッチング、IoT シグナルとモニタリング アラートのリンクも可能です。これは、AI 対応のエンタープライズ データの増大する環境をナビゲートするために不可欠な汎用ツールです。
|
検索 / 情報検索
レコメンデーション |
Gemini Enterprise Agent Platform のベクトル検索によって高パフォーマンスの生成 AI アプリを実現: ベクトル検索は、e コマース、 RAG システム、レコメンデーション エンジンなど、chatbot、マルチモーダル 検索などとともに、さまざまなアプリケーションを強化します。ハイブリッド検索により、ニッチな用語の検索結果がさらに強化されます。Bloomreach、eBay、Mercado Libre などの企業は、パフォーマンス、拡張性、費用対効果に優れた Gemini Enterprise Agent Platform を使用して、検索の高速化やコンバージョンの増加などのメリットを実現しています。 eBay がレコメンデーションにベクトル検索を使用: eBay がレコメンデーション システムにベクトル検索を使用している方法に重点を置いて説明します。このテクノロジーにより、eBay は広範なカタログ内で類似商品を見つけることができ、ユーザー エクスペリエンスが向上します。 メルカリが Google のベクトル検索技術を活用して、新たなマーケットプレイスを創出: メルカリがベクトル検索を使用して新しいマーケットプレイス プラットフォームを改善する方法について説明します。ベクトル検索は、プラットフォームの おすすめ機能の基盤となり、ユーザーが関連性の高い商品をより効果的に見つけられるようにします。 **Gemini Enterprise Agent Platform Embeddings for Text: LLM の根拠づけが容易に**: テキストデータに Gemini Enterprise Agent Platform Embeddings を使用して LLM をグラウンディングすることに焦点を当てています。 ベクトル検索は、モデルの回答が事実に基づく情報を根拠にしていることを確認するために、関連するテキストの文章を見つけるうえで重要な役割を果たします。 マルチモーダル検索とは何か: 「視覚を備えた LLM」がビジネスを変える:LLM と画像認識を組み合わせたマルチモーダル検索について説明します。ベクトル検索がテキスト と画像データの両方を処理して比較し、より包括的な検索体験を可能にする仕組みについて説明します。 大規模なマルチモーダル検索が可能に: Gemini Enterprise Agent Platform を活用してテキストと画像検索を統合: 重み付けされた Rank-Biased Reciprocal Rank によるアンサンブル手法を使用してテキストと画像検索を組み合わせる Gemini Enterprise Agent Platform を使用したマルチモーダル検索エンジンの構築について説明します。これにより、ユーザー エクスペリエンスが向上し、より関連性の高い 結果が得られます。 Tensorflow Recommender とベクトル検索によるディープ リトリーブのスケーリング: ディープ リトリーブ モデル、トレーニング、デプロイ、スケーリングについて解説しながら、TensorFlow Recommender とベクトル検索を使用してプレイリストのレコメンデーション システムを構築する方法について説明します。 |
|
生成 AI: RAG とエージェントの検索 |
**Gemini Enterprise Agent Platform と Denodo が生成 AI でエンタープライズ データを活用する**: Gemini Enterprise Agent Platform と Denodo を統合することで、企業が 生成 AI を使用してデータから分析情報を得る方法を示します。ベクトル検索 は、エンタープライズ環境内で関連データに効率的にアクセスして分析するうえで重要です。 Infinite Nature と業界の特性: AI の多様な可能性を示す「自然」デモ: さまざまな業界における AI の可能性を示すデモを紹介します。ベクトル検索を利用して、生成レコメンデーション とマルチモーダル セマンティック検索を強化します。 Infinite Fleurs: AI を活用した創造性の全開: Google's Infinite Fleurs は、ベクトル検索と Gemini モデルを使用した AI 実験で、 ユーザーのメッセージに基づいて独自の花束を生成します。この技術は、さまざまな業界で創造性を刺激する AI の可能性を示しています 。 Google Cloud の RAG 用 LlamaIndex: LlamaIndex を使用して、大規模言語モデルによる検索拡張生成（RAG）を容易にする方法について説明します。LlamaIndex はベクトル検索を使用してナレッジベースから関連情報を取得し、より正確でコンテキストに適した回答を生成します。 **Gemini Enterprise Agent Platform での RAG とグラウンディング:** Gemini Enterprise Agent Platform での RAG とグラウンディングの手法について説明します。 ベクトル検索は、取得時に関連するグラウンディング情報 を特定するのに役立ち、生成されたコンテンツの精度と信頼性を高めます。 ベクトル検索 on LangChain: 質問応答や PDF 処理など、テキストデータ用のベクトル データベース インデックスの構築とデプロイに LangChain でベクトル検索を使用するガイドです。 |
|
BI、データ分析、モニタリングなど |
Agent Platform のストリーミング取り込みでリアルタイム AI を実現: ベクトル検索のストリーミング更新と、リアルタイム AI 機能を提供する方法について説明します。この技術により、受信データ ストリームをリアルタイムで処理 して分析できます。 |
関連リソース
ベクトル検索の使用を開始するには、次のリソースをご覧ください。
ノートブックとソリューション
|
|
|
Agent Platform ベクトル検索のクイックスタート: ベクトル検索の概要について説明します。このチュートリアルは、プラットフォームを初めて使用し、すぐに使い始めることを希望するユーザー を対象としています。 |
テキスト エンベディングとベクトル検索を使ってみる: テキスト エンベディングとベクトル検索の概要について説明します。これらの技術の仕組みと、検索結果の改善に役立つ方法について説明します。 |
|
|
|
セマンティック検索とキーワード検索の組み合わせ: Gemini Enterprise Agent Platform でのハイブリッド検索チュートリアル ベクトル検索: ハイブリッド検索にベクトル検索を使用する方法について説明します。ハイブリッド検索システムの設定と構成の手順について説明します。 |
**Gemini Enterprise Agent Platform RAG Engine とベクトル検索:** Gemini Enterprise Agent Platform RAG Engine とベクトル検索の使用方法について説明します。このドキュメントでは、これらの 2 つのテクノロジーを組み合わせて使用するメリットについて説明し、 実際のアプリケーションで使用できる例を示します。 |
|
|
|
Gemini Enterprise Agent Platform とベクトル検索を使用した RAG 対応生成 AI アプリケーション用インフラストラクチャ: ベクトル検索、Cloud Run、Cloud Storage を使用して生成 AI アプリケーションと RAG を構築するためのアーキテクチャについて詳しく説明します。ユースケース、設計の選択肢、主な考慮事項について説明します。 |
大規模な候補生成のための Two-Tower リトリーブを実装する: Gemini Enterprise Agent Platform を使用してエンドツーエンドの Two-Tower 候補生成ワークフローを実装する方法を示すリファレンス アーキテクチャを提供します。 Two-Tower モデリング フレームワークは、2 つの異なるエンティティ（ウェブ検索と候補アイテムなど）間のセマンティック類似性を学習するため、パーソナライズのユースケースに有効な検索手法です。 |
トレーニング
ベクトル検索とエンベディングを使ってみる ベクトル検索は、類似または関連するアイテムを見つけるために使用されます。レコメンデーション、検索、chatbot、テキスト分類に使用できます。このプロセスでは、エンベディングを作成して Google Cloudにアップロードし、クエリ用に インデックスに登録します。このラボでは Gemini Enterprise Agent Platform を使用したテキスト エンベディングに焦点を当てますが、エンベディングは他のデータ型に対しても生成できます。
**ベクトル検索とエンベディング** このコースでは、ベクトル検索を紹介し、エンベディングのための大規模言語モデル（LLM）API を組み込んだ検索アプリケーションを構築するために使用する方法を説明します。このコースは、ベクトル検索とテキスト エンベディングの概念の説明、Gemini Enterprise Agent Platform でベクトル検索を構築する実用的なデモ、演習ラボで構成されています。
テキスト エンベディングの理解と適用
Gemini Enterprise Agent Platform Embeddings API は、テキスト エンベディングを生成します。これは、
類似アイテムの識別などのタスクに使用されるテキストの数値表現です。
このコースでは、分類やセマンティック検索などのタスクにテキスト エンベディングを使用し、セマンティック検索と LLM を組み合わせて、Gemini Enterprise Agent Platform を使用して質問応答システムを構築します。
機械学習集中講座: エンベディング このコースでは、単語エンベディングについて説明し、スパース表現と比較します。 エンベディングを取得する方法について説明し、静的エンベディングとコンテキスト エンベディングを区別します。
関連商品
Gemini Enterprise Agent Platform エンベディング Embeddings API の概要について説明します。テキストとマルチモーダルのエンベディングのユースケースと、 追加のリソースと関連する Google Cloud サービスへのリンク。
Vertex AI Search Ranking API: ランキング API は、事前トレーニング済みの言語モデルを使用してクエリとの関連性に基づいてドキュメントを再ランク付けし、正確なスコアを提示します。ベクトル検索など、さまざまなソースからの検索結果を改善するのに最適です。
Gemini Enterprise Agent Platform Feature Store BigQuery をデータソースとして使用して特徴データを管理、サービングできます。オンライン サービング用のリソースをプロビジョニングし、メタデータ レイヤとして機能して、BigQuery から最新の特徴値を直接提示します。Feature Store を使用すると、クエリに対してベクトルストアから返されたアイテムの特徴値を即座に取得できます。
Gemini Enterprise Agent Platform Pipelines Gemini Enterprise Agent Platform Pipelines は、ML パイプラインで ML ワークフローをオーケストレートすることで、ML システムの自動化、モニタリング、ガバナンス をサーバーレスで実現します。Kubeflow Pipelines または TensorFlow Extended（TFX）フレームワークを使用して定義された ML パイプラインをバッチで実行できます。パイプラインを使用すると、エンベディングの生成、ベクトル検索インデックスの作成と更新、本番環境の検索システムとおすすめシステムの MLOps 設定を構築するための自動化されたパイプラインを構築できます。
詳細リソース
Gemini Enterprise Agent Platform エンベディングとタスクタイプを使用して生成 AI のユースケースを強化する Gemini Enterprise Agent Platform エンベディング とタスクタイプを使用して生成 AI アプリケーションを改善することに重点を置いています。ベクトル検索は、タスクタイプのエンベディングで使用して、より関連性の高い情報を検索することで、生成されたコンテンツのコンテキストと精度を高めることができます。
TensorFlow Recommender: レコメンデーション システムを構築するためのオープンソース ライブラリ。データの準備からデプロイまでのプロセスが簡素化され、柔軟なモデル構築がサポートされます。TFRS にはチュートリアルとリソースが用意されており、高度なレコメンデーション モデルを作成できます。
TensorFlow Ranking: TensorFlow Ranking は、スケーラブルなニューラル順序学習（LTR）モデルを構築するためのオープンソース ライブラリです。さまざまな損失関数とランキング指標をサポートしており、検索、レコメンデーションなどの分野で使用できます。このライブラリは Google AI によって積極的に開発されています。
ScaNN の発表: 効率的なベクトル類似度検索 Google の ScaNN は、効率的なベクトル類似度検索アルゴリズムであり、新しい手法を使用して最近傍の検索の精度と速度を向上させます。既存の方法よりも優れており、セマンティック検索を必要とする ML タスクに幅広く適用できます。Google の研究は、基礎的な ML や AI の社会的な影響など、さまざまな分野にわたっています。
SOAR: ScaNN によるベクトル検索をさらに高速化する新しいアルゴリズム Google の SOAR アルゴリズムは、制御された冗長性を導入することでベクトル検索の効率を高め、インデックスの小型化と高速検索を実現します。SOAR はベクトルを複数のクラスタに割り当て、「バックアップ」検索パスを作成してパフォーマンスを向上させます。
関連動画
Agent Platform を使用したベクトル検索のスタートガイド
ベクトル検索は、AI を活用したアプリケーションを構築するための強力なツールです。 この動画では、このテクノロジーの概要と、使用を開始するための手順について説明します。
ベクトル検索はハイブリッド検索に使用できます。これにより、ベクトル検索の強力さと従来の検索エンジンの柔軟性と速度を組み合わせることができます。この動画では、ハイブリッド検索の概要について説明し、ハイブリッド検索にベクトル検索を使用する方法をご覧いただきます。
ベクトル検索はすでに使用されています。エキスパートになる方法
ベクトル検索は、気付かないうちに毎日使用しているものである可能性があります。ソーシャル メディアで見つからない商品を見つけることから、頭から離れない曲を探すことまで、ベクトル検索はこうした日常的なエクスペリエンスの背後にある AI の魔法です。
DeepMind チームによる新しい「タスクタイプ」エンベディングで RAG 検索の品質が向上
Google DeepMind チームが開発した新しいタスクタイプ エンベディングを使用して、RAG システムの精度と関連性を高めましょう。この動画では、RAG 検索の品質に関する一般的な課題と、タスクタイプのエンベディングが質問と回答のセマンティック ギャップを効果的に埋めて、より効果的な検索と RAG のパフォーマンス向上につながる方法について説明します。
ベクトル検索の用語
このリストには、ベクトル検索を使用するために理解しておく必要のある重要な用語が含まれています。
ベクトル: ベクトルは、大きさと方向を持つ浮動小数点値のリストです。数値、空間上の点、方向など、あらゆる種類のデータを表すことができます。
エンベディング: エンベディングは、データをセマンティックな意味で表すために使用されるベクトルの一種です。エンベディングは通常、ML 技術を使用して作成され、自然言語処理（NLP）やその他の ML アプリケーションで一般的に使用されます。
高密度エンベディング: 高密度エンベディングは、ほとんどがゼロ以外の値を含む配列を使用して、テキストの意味を表現します。高密度エンベディングを使用すると、意味的類似性に基づいて類似した検索結果を返すことができます。
スパース エンベディング: スパース エンベディングは、高密度エンベディングと比較してゼロ以外の値がほとんど含まれない高次元配列を使用してテキスト構文を表現します。スパース エンベディングは、キーワード検索によく使用されます。
ハイブリッド検索: ハイブリッド検索では、高密度エンベディングとスパース エンベディングの両方を使用します。これにより、キーワード検索とセマンティック検索を組み合わせて検索できます。ベクトル検索は、高密度エンベディング、スパース エンベディング、ハイブリッド検索に基づく検索をサポートしています。
インデックス: 類似度検索でまとめてデプロイされるベクトルの集合。ベクトルはインデックスに追加することも、インデックスから削除することもできます。類似度検索クエリは特定のインデックスに対して実行され、そのインデックス内のベクトルが検索されます。
グラウンド トゥルース: ML の正確性を現実世界と比較して検証することを指す用語。「グラウンド トゥルース データセット」のように使用します。
再現率: インデックスによって返された最近傍の中で、実際に正しい最近傍であるものの割合。たとえば、20 個の最近傍に対する最近傍クエリで、正解（グラウンド トゥルース）の最近傍が 19 個返された場合、再現率は 19÷20×100 = 95% となります。
制限: ブール値ルールを使用して、検索をインデックスのサブセットに制限する機能。制限は「フィルタリング」とも呼ばれます。ベクトル検索では、数値フィルタリングとテキスト属性フィルタリングを使用できます。