メディア レコメンデーションのデータ品質を確認する

このページでは、メディアデータのさまざまな指標が要件のしきい値を満たしているかどうかを確認する方法について説明します。

メディアデータの品質の確認について

メディア レコメンデーションでは最近のユーザー イベントが非常に重要であるため、取り込まれたデータとユーザー イベントの品質を定期的に確認する必要があります。メディアのおすすめアプリの [最適化] タブを確認して、おすすめの品質を向上させるためにデータをどのように改善できるかを判断します。

指標のしきい値が満たされていない場合、指標のステータスは警告になります。次に、指標とその説明を確認して、メディアの品質を向上させるためにどのような対応を取るべきかを判断する必要があります。

すべてのモデルと目標は、全般的な品質の指標のしきい値を満たす必要があります。一部のモデルと目標には、追加のアプリ固有の品質指標としきい値があります。同じデータストアを使用するすべてのアプリで、一般的な品質指標は同じですが、アプリ固有の品質指標はアプリのモデルと目標によって異なります。

レコメンデーション モデルと目標については、メディアアプリのレコメンデーション タイプについてをご覧ください。

データ品質の確認

コンソール

メディア レコメンデーションのデータの品質を確認する手順は次のとおりです。

  1. Google Cloud コンソールで、[AI Applications] ページに移動します。

    AI Applications

  2. データ品質を確認するメディア レコメンデーション アプリの名前をクリックします。

  3. ナビゲーション メニューで [データ品質] をクリックし、[最適化] タブをクリックします。このページには、アプリに関連付けられたデータのさまざまな指標のステータスが表示されます。

  4. ページ上部にある [全般的な品質] と [アプリ固有の品質] のステータスを確認します。1 つ以上の指標がしきい値を超えている場合、ページ上部の概要ステータスは警告として表示されます。

    2 つの指標テーブル（全般的な品質とアプリ固有の品質）には、個々の指標が一覧表示されます。

    [最適化] タブに、一般的な品質に関する警告指標 doc_with_same_title_percentage が 1 つ表示される

  5. 指標の表で、警告状態の指標の詳細を表示するには、[詳細を表示] をクリックします。

  6. 省略可: 準拠している指標のしきい値を確認するには、[詳細を表示] をクリックします。準拠している指標のしきい値は、指標の表に表示されません。

REST

メディアの推奨事項データの品質を確認するには、次のように requirements:checkRequirement メソッドを使用します。

コマンドラインで品質を確認する手順は次のとおりです。

  1. データストア ID を確認します。データストア ID がすでにある場合は、次のステップに進みます。

    1. Google Cloud コンソールで、[AI アプリケーション] ページに移動し、ナビゲーション メニューで [データストア] をクリックします。

      [データストア] ページに移動

    2. データストアの名前をクリックします。

    3. データストアの [データ] ページで、データストア ID を取得します。

  2. 次の curl コマンドを実行して、メディア レコメンデーションが一般的な指標のしきい値を満たしているかどうかを確認します。

    curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-H "X-GFE-SSL: yes" \
-H "X-Goog-User-Project: PROJECT_ID" \
"https://discoveryengine.googleapis.com/v1alpha/projects/PROJECT_ID/locations/global/requirements:checkRequirement" \
-d '{
      "location": "projects/PROJECT_ID/locations/global",
      "requirementType": "discoveryengine.googleapis.com/media_recs/general/all/warning",
      "resources": [
        {
          "labels": {
            "branch_id": "0",
            "collection_id": "default_collection",
            "datastore_id": "DATA_STORE_ID",
            "location_id": "global",
            "project_number": "PROJECT_ID"
          },
          "type": "discoveryengine.googleapis.com/Branch"
        },
        {
          "labels": {
            "collection_id": "default_collection",
            "datastore_id": "DATA_STORE_ID",
            "location_id": "global",
            "project_number": "PROJECT_ID"
          },
          "type": "discoveryengine.googleapis.com/DataStore"
        }
      ]
    }'

    次のように置き換えます。

    • PROJECT_ID: 実際の Google Cloud プロジェクト ID。
    • DATA_STORE_ID: Vertex AI Search データストアの ID。

  3. 出力を確認する：

    1. result の値を探します。

      • 値が SUCCESS の場合、データは一般的な要件を満たしています。ステップ 4 に進みます。

      • 値が WARNING の場合は、ステップ b に進みます。

      • 出力に result が表示されない場合は、次の理由が考えられます。

        • リクエストの PROJECT_ID または DATA_STORE_ID が正しくありません。

        • 一部の指標値は利用できません。6 時間後にもう一度お試しいただくか、カスタマー エンジニアにお問い合わせください。

    2. 式（requirement.Condition.Expression）を探します。この式が false と評価された場合、データに問題があります。

      指標の値は requirementCondition.metricResults.value フィールドにあります。警告しきい値は thresholdBindings.thresholdValues フィールドにあります。description フィールドは、指標の目的を理解するのに役立ちます。

      たとえば、doc_with_same_title_percentage の値が 30.47 で、doc_with_same_title_percentage_threshold の警告しきい値が 1 の場合、データストア内のタイトルの多くが同じであるというデータの問題があるため、調査が必要です。

  4. おすすめアプリに使用されているモデルと目標の組み合わせがこの表に表示されている場合は、モデルと目標の値を更新した check requirement メソッドも呼び出す必要があります。

    モデル 目標 MODEL_OBJ
    関連メディアのおすすめ コンバージョン率 oyml/cvr
    あなたへのおすすめ コンバージョン率 rfy/cvr
    もっと見る コンバージョン率 mlt/cvr
    最も人気 コンバージョン率 mp/cvr
    関連メディアのおすすめ セッションごとの視聴時間 oyml/wdps
    あなたへのおすすめ セッションごとの視聴時間 rfy/wdps
    もっと見る セッションごとの視聴時間 mlt/wdps 

    curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-H "X-GFE-SSL: yes" \
-H "X-Goog-User-Project: PROJECT_ID" \
"https://discoveryengine.googleapis.com/v1alpha/projects/PROJECT_ID/locations/global/requirements:checkRequirement" \
-d '{
      "location": "projects/PROJECT_ID/locations/global",
      "requirementType": "discoveryengine.googleapis.com/media_recs/MODEL_OBJ/warning",
      "resources": [
        {
          "labels": {
            "branch_id": "0",
            "collection_id": "default_collection",
            "datastore_id": "DATA_STORE_ID",
            "location_id": "global",
            "project_number": "PROJECT_ID"
          },
          "type": "discoveryengine.googleapis.com/Branch"
        },
        {
          "labels": {
            "collection_id": "default_collection",
            "datastore_id": "DATA_STORE_ID",
            "location_id": "global",
            "project_number": "PROJECT_ID"
          },
          "type": "discoveryengine.googleapis.com/DataStore"
        }
      ]
    }'

    次のように置き換えます。

    • PROJECT_ID: 実際の Google Cloud プロジェクト ID。
    • DATA_STORE_ID: Vertex AI Search データストアの ID。
    • MODEL_OBJ: レコメンデーション アプリに適した値を選択するには、上の表をご覧ください。

  5. 出力を確認する：

    1. result の値を探します。

      • 値が SUCCESS の場合、データは十分に優れています。

      • 値が WARNING の場合は、ステップ b に進みます。

      • 出力に result が表示されない場合は、次の理由が考えられます。

        • リクエストの PROJECT_ID または DATA_STORE_ID が正しくありません。

        • 一部の指標値は利用できません。6 時間後にもう一度お試しいただくか、カスタマー エンジニアにお問い合わせください。

    2. 式（requirement.Condition.Expression）を確認します。この式が false と評価された場合、データに問題があります。

      指標の値は requirementCondition.metricResults.value フィールドに、警告しきい値は thresholdBindings.thresholdValues フィールドにあります。description フィールドは、指標の目的を把握するのに役立ちます。