このページでは、レコメンデーション アプリと検索アプリのアナリティクスを表示する方法について説明します。
アナリティクスにより、アプリの使用傾向、検索とレコメンデーションの品質、エンドユーザー エンゲージメントに関する分析情報が得られます。Vertex AI Search コンソールには、Looker を活用したインタラクティブなダッシュボードが用意されています。
- メディア レコメンデーション アプリの場合: 公開プレビュー版。ユーザー イベントに基づくレコメンデーションごとの指標を確認できます。指標は、期間とデバイスタイプでフィルタできます。
- カスタム検索アプリとメディア検索アプリの場合: 検索ログとユーザー イベントに基づいて、検索ごとの指標と検索セッションごとの指標を確認できます。指標は、期間、クエリ、デバイスタイプでフィルタできます。
- ヘルスケア検索アプリの場合: パブリック プレビュー。検索ログに基づいて、検索ごとの指標を確認できます。
指標は約 6 時間ごとに更新されるため、アプリの作成後、[アナリティクス] ページを使用できるようになるまでに数時間かかることがあります。
アナリティクス用のデータソース
このセクションでは、アプリの種類に応じたアナリティクスのデータソースについて説明します。
ユーザー イベントのアナリティクスを表示するには、ユーザー イベントの統合を完了する必要があります。
アップロードするユーザー イベントによって、生成されるアナリティクスが決まります。
メディア レコメンデーション アプリでは、一部の指標を表示するために次のユーザー イベントが必要です。
- アイテム表示イベント。クリック率に必要です。
- メディア完了イベント。再生あたりの完全再生率とおすすめあたりの完全再生率には必須です。
- メディア再生イベント。おすすめのメディアの再生回数、再生率、再生あたりの完全再生率、再生あたりの平均総再生時間に必須です。
検索アプリで一部の指標を表示するには、次のユーザー イベントが必要です。
- 検索イベント。クリック率に必要です。
- アイテム表示イベント。クリック率に必要です。
一部のアナリティクスでは、次の情報も使用されます。
- インプレッション。ユーザー イベントを取り込むときに、関連するアイテムを
UserEvent.Documents
に含めることで、Vertex AI Search に起因するインプレッション(アイテムの表示回数またはクリック数)を提供できます。この情報は、アトリビューションと検索ごとの指標の計算に必要です。 - アトリビューション トークン。アトリビューション トークンは、Vertex AI Search によって生成され、検索リクエストごとに返される一意の ID です。検索の結果として得られるユーザー イベントには、そのアトリビューション トークンを
UserEvent.attributionToken
として配置するようにしてください。これは、API で検索サービスが提供されているかどうかを識別するために必要です。指標の計算には、Google が生成したアトリビューション トークンを含むユーザー イベントのみが使用されます。 - ユーザー エージェント。ユーザー イベントに
UserInfo.userAgent
を設定すると、デバイスタイプでユーザー イベントの指標をフィルタできます。
検索ログ
検索アプリは、一部の指標のデータソースとして検索ログを使用します。
検索ログは検索リクエストに基づいています。Vertex AI Search でユーザー セッションを識別して、セッションごとのアナリティクスと質の高い検索結果を提供できるようにするには、オプション フィールド userPseudoId
を設定することを強くおすすめします。
検索ログやユーザー イベントがまだない場合は、すべての指標でデフォルト値が表示されます。
メディア レコメンデーションのアナリティクスを表示する
メディア レコメンデーションのアナリティクスを表示する手順は次のとおりです。
Google Cloud コンソールで、[AI Applications] ページに移動します。
アナリティクスを表示するアプリの名前をクリックします。
[アナリティクス] をクリックします。
指標をフィルタするには、次のいずれかのフィルタを指定し、[更新] ボタンをクリックして適用します。
- 期間(日)。既定の期間を選択するか、カスタムの期間を入力します(利用可能な場合)。
- デバイスの種類。クエリが行われたデバイスタイプを選択します。
検索アナリティクスを表示する
検索アプリのアナリティクスを表示する手順は次のとおりです。
Google Cloud コンソールで、[AI Applications] ページに移動します。
アナリティクスを表示するアプリの名前をクリックします。
[アナリティクス] をクリックします。
タブをクリックすると、対象の指標グループが表示されます。
- 検索ごと。指標は検索ごとにグループ化されます。医療検索の場合、この指標グループのみを使用できます。
- セッションごと。指標は検索セッションごとにグループ化されます。
- 比較。基準となる指標は、比較期間の指標とともに表示されます。ベースライン指標(過去の期間)と比較指標(後の期間)の期間を選択します。これらの期間を重複させることはできません。
指標をフィルタするには、フィルタを指定して [更新] ボタンをクリックし、フィルタを適用します。
メディアアプリとカスタム検索アプリでは、次のフィルタを使用できます。
- 期間(日)。既定の期間を選択するか、カスタムの期間を入力します(利用可能な場合)。
- 検索クエリ。条件と検索クエリの値を選択します。検索クエリ フィルタは複数追加できます。検索あたりと比較の指標で使用できます。
- デバイスの種類。クエリが行われたデバイスタイプを選択します。
医療検索アプリでは、次のフィルタを使用できます。
- 期間(日)。既定の期間を選択するか、カスタムの期間を入力します(利用可能な場合)。カスタムの期間で特定の日付を選択すると、その日付は UTC -08:00 タイムゾーンで検索が行われた日付になります。
- 検索クエリ。条件と検索クエリの値を選択します。検索クエリ フィルタは複数追加できます。
- ユーザーの現在地。検索リクエストで設定された病院、診療所、医療サービス プロバイダの場所を選択します。このフィルタは、検索リクエストで設定されている場合にのみ使用できます。
- ユーザーロール。検索リクエストを送信したユーザーの職種を選択します。このフィルタは、検索リクエストで設定されている場合にのみ使用できます。
- ユーザー設定。検索リクエストで設定された医療設定(入院、外来、ハイブリッド治療など)を選択します。このフィルタは、検索リクエストで設定されている場合にのみ使用できます。
指標の定義
次の表に、指標の定義方法を示します。
メディア レコメンデーションの指標
指標名 | 指標の定義 | メモ |
---|---|---|
おすすめの数 | おすすめの合計数 | |
おすすめの再生回数 | おすすめのメディア アイテムが再生された回数 | |
おすすめのクリック数 | おすすめのメディア アイテムがクリックされた回数 | |
クリック率 | おすすめのクリック数 ÷ おすすめの数 | おすすめのクリック数は、レコメンデーションに関連付けることができるアイテム表示イベントです。 |
おすすめのメディアの完了数 | おすすめのメディア アイテムが最後まで再生された回数 | |
おすすめあたりの再生率 | おすすめのメディア アイテムが再生された回数 ÷ おすすめの数 | |
1 回の再生あたりの完全再生率 | おすすめのメディア アイテムが最後まで再生された回数 ÷ メディア アイテムが再生された回数 | |
1 回の再生あたりの平均総再生時間 | おすすめのメディア アイテムが再生された時間(秒)÷ おすすめのメディア アイテムが再生された回数 | |
おすすめごとの完全再生率 | メディア アイテムが最後まで再生された回数 ÷ おすすめの数 | |
おすすめあたりの平均総再生時間 | おすすめのメディア アイテムの再生時間(秒)÷ おすすめの数 |
メディアとカスタム検索の指標
指標名 | 指標の定義 | 注 |
---|---|---|
検索回数 | 検索イベントの数 | 検索ログに基づきます。 |
結果なし率 | 結果のない検索イベント数 ÷ 検索回数 | 検索ログに基づきます。 |
検索あたりのクリック率(CTR) | 検索クリック数 ÷ 検索回数 | 検索クリックは、前の検索イベントに起因するアイテム表示イベントです。ユーザー イベントに基づく。 |
フィードバックの「いいね」と「よくない」の数 | 高評価と低評価の数 | アプリのユーザーから送信された高評価/低評価のフィードバック レスポンスの記録。 |
フィードバックの低評価の理由の内訳 | 低評価の理由の割合 | ユーザーが生成された回答を低評価にした場合、低評価の理由を複数選択できます。割合は、各理由が選択された頻度を示します。 |
検索セッション数 | 検索セッションの数 | 検索セッションとは、少なくとも 1 つの検索イベントを含むユーザー セッションです。ユーザー セッション(訪問とも呼ばれます)は、ユーザー イベントの連続したセットです。30 分間操作がないと、セッションは終了します。検索ログに基づく。 |
検索アクセスあたりのページビュー | 検索セッションでのアイテム表示イベントの数 ÷ 検索セッション数 | この指標には、Vertex AI Search に起因するものかどうかにかかわらず、検索アクセスのすべてのページビューが含まれます。ユーザー イベントに基づく。 |
直帰率 | 検索セッションでの直帰数 ÷ 検索セッション数 | 検索セッションの直帰とは、1 回の検索によるセッションとして定義されます。ここでユーザーは 1 回の検索を行った後に離れます。ユーザー イベントに基づく。 |
医療検索の指標
医療検索アプリでは、次の検索指標を使用できます。
指標名 | 指標の定義 | 注 |
---|---|---|
検索回数 | 検索イベントの数 | |
結果なしの数 | 結果のない検索イベント数 | |
検索あたりの結果なし率 | 検索 1 回あたりの結果のない検索イベント数 | |
患者数 | 検索が行われた患者 ID の数 | これは、患者ごとではなく、検索ユーザーごとに重複除去されます。たとえば、ユーザー 1 が患者 A と患者 B を検索し、ユーザー 2 が患者 B のみを検索した場合、カウントは 3 になります。 |
お客様の検索セッション数 | 検索ユーザー定義セッション数 | 検索でセッション ID を送信できます。詳細については、session をご覧ください。 |
検索ユーザー数 | 検索リクエストを送信したユーザーの数 | ユーザーは userInfo フィールドに基づいてカウントされます。 |
合成検索セッション数 | Google が定義した検索セッションの数 | 検索セッションとは、少なくとも 1 つの検索イベントを含むユーザー セッションです。ユーザー セッション(訪問とも呼ばれます)は、ユーザー イベントの連続したセットです。30 分間操作がないと、セッションは終了します。 |
分析をオフにする
既存のアプリの分析をオフにすることはできませんが、アプリを作成する際に分析をオフにして作成することはできます。
分析データを収集しない検索アプリを作成するには:
検索アプリを作成するの REST の手順に沿って、curl コマンドに次の内容を追加します。
"disableAnalytics": true