Cette page a été traduite par l'API Cloud Translation.

Créer des recommandations basées sur des commentaires implicites avec un modèle de factorisation matricielle

Ce tutoriel vous explique comment créer un modèle de factorisation matricielle et l'entraîner sur les données de session utilisateur Google Analytics 360 dans la table publique GA360_test.ga_sessions_sample. Vous utilisez ensuite le modèle de factorisation matricielle pour générer des recommandations de contenu pour les utilisateurs du site.

L'utilisation d'informations indirectes sur les préférences des clients, comme la durée des sessions utilisateur, pour entraîner le modèle est appelée entraînement avec feedback implicite. Les modèles de factorisation matricielle sont entraînés à l'aide de l'algorithme des moindres carrés alternés pondérés lorsque vous utilisez des commentaires implicites comme données d'entraînement.

Créer un ensemble de données

Créez un ensemble de données BigQuery pour stocker votre modèle de ML.

Console

Dans la console Google Cloud , accédez à la page BigQuery.

Accéder à la page "BigQuery"
Dans le volet Explorateur, cliquez sur le nom de votre projet.
Cliquez sur Afficher les actions > Créer un ensemble de données.
Sur la page Créer un ensemble de données, procédez comme suit :
- Dans le champ ID de l'ensemble de données, saisissez bqml_tutorial.
- Pour Type d'emplacement, sélectionnez Multirégional, puis sélectionnez US (plusieurs régions aux États-Unis).
- Conservez les autres paramètres par défaut, puis cliquez sur Créer un ensemble de données.

bq

Pour créer un ensemble de données, exécutez la commande bq mk en spécifiant l'option --location. Pour obtenir la liste complète des paramètres possibles, consultez la documentation de référence sur la commande bq mk --dataset.

Créez un ensemble de données nommé bqml_tutorial avec l'emplacement des données défini sur US et une description de BigQuery ML tutorial dataset :
```
bq --location=US mk -d \
 --description "BigQuery ML tutorial dataset." \
 bqml_tutorial
```
Au lieu d'utiliser l'option --dataset, la commande utilise le raccourci -d. Si vous omettez -d et --dataset, la commande crée un ensemble de données par défaut.
Vérifiez que l'ensemble de données a été créé :
```
bq ls
```

API

Appelez la méthode datasets.insert avec une ressource d'ensemble de données définie.

{
  "datasetReference": {
     "datasetId": "bqml_tutorial"
  }
}

BigQuery DataFrames

Avant d'essayer cet exemple, suivez les instructions de configuration pour BigQuery DataFrames du guide de démarrage rapide de BigQuery DataFrames. Pour en savoir plus, consultez la documentation de référence sur BigQuery DataFrames.

Pour vous authentifier auprès de BigQuery, configurez le service Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer les ADC pour un environnement de développement local.

import google.cloud.bigquery

bqclient = google.cloud.bigquery.Client()
bqclient.create_dataset("bqml_tutorial", exists_ok=True)

Préparer les exemples de données

Transformer les données de la table GA360_test.ga_sessions_sample en une structure plus adaptée à l'entraînement du modèle, puis écrire ces données dans une table BigQuery. La requête suivante calcule la durée de la session pour chaque utilisateur et chaque contenu. Vous pouvez ensuite l'utiliser comme feedback implicite pour déduire la préférence de l'utilisateur pour ce contenu.

Pour créer la table de données d'entraînement, procédez comme suit :

Dans la console Google Cloud , accédez à la page BigQuery.

Accéder à BigQuery

Créez la table de données d'entraînement. Dans l'éditeur de requête, collez la requête suivante, puis cliquez sur Exécuter :

CREATE OR REPLACE TABLE `bqml_tutorial.analytics_session_data`
AS
WITH
  visitor_page_content AS (
    SELECT
      fullVisitorID,
      (
        SELECT
          MAX(
            IF(
              index = 10,
              value,
              NULL))
        FROM
          UNNEST(hits.customDimensions)
      ) AS latestContentId,
      (LEAD(hits.time, 1) OVER (PARTITION BY fullVisitorId ORDER BY hits.time ASC) - hits.time)
        AS session_duration
    FROM
      `cloud-training-demos.GA360_test.ga_sessions_sample`,
      UNNEST(hits) AS hits
    WHERE
      # only include hits on pages
      hits.type = 'PAGE'
    GROUP BY
      fullVisitorId,
      latestContentId,
      hits.time
  )
# aggregate web stats
SELECT
  fullVisitorID AS visitorId,
  latestContentId AS contentId,
  SUM(session_duration) AS session_duration
FROM
  visitor_page_content
WHERE
  latestContentId IS NOT NULL
GROUP BY
  fullVisitorID,
  latestContentId
HAVING
  session_duration > 0
ORDER BY
  latestContentId;

Affichez un sous-ensemble des données d'entraînement. Dans l'éditeur de requête, collez la requête suivante, puis cliquez sur Exécuter :

SELECT * FROM `bqml_tutorial.analytics_session_data` LIMIT 5;

Le résultat doit ressembler à ce qui suit :

+---------------------+-----------+------------------+
| visitorId           | contentId | session_duration |
+---------------------+-----------+------------------+
| 7337153711992174438 | 100074831 | 44652            |
+---------------------+-----------+------------------+
| 5190801220865459604 | 100170790 | 121420           |
+---------------------+-----------+------------------+
| 2293633612703952721 | 100510126 | 47744            |
+---------------------+-----------+------------------+
| 5874973374932455844 | 100510126 | 32109            |
+---------------------+-----------+------------------+
| 1173698801255170595 | 100676857 | 10512            |
+---------------------+-----------+------------------+

Créer le modèle

Créez un modèle de factorisation matricielle et entraînez-le sur les données de la table analytics_session_data. Le modèle est entraîné pour prédire un indice de confiance pour chaque paire visitorId-contentId. L'indice de confiance est créé en recentrant les données et en appliquant une mise à l'échelle en fonction de la durée médiane de la session. Les enregistrements dont la durée de session est supérieure à 3,33 fois la médiane sont filtrés, car ils sont considérés comme des valeurs aberrantes.

L'instruction CREATE MODEL suivante utilise ces colonnes pour générer des recommandations :

visitorId : ID de visiteur
contentId : ID de contenu.
rating : note implicite comprise entre 0 et 1, calculée pour chaque paire visiteur/contenu, centrée et mise à l'échelle.

Dans la console Google Cloud , accédez à la page BigQuery.

Accéder à BigQuery

Dans l'éditeur de requête, collez la requête suivante, puis cliquez sur Exécuter :

CREATE OR REPLACE MODEL `bqml_tutorial.mf_implicit`
  OPTIONS (
    MODEL_TYPE = 'matrix_factorization',
    FEEDBACK_TYPE = 'implicit',
    USER_COL = 'visitorId',
    ITEM_COL = 'contentId',
    RATING_COL = 'rating',
    L2_REG = 30,
    NUM_FACTORS = 15)
AS
SELECT
  visitorId,
  contentId,
  0.3 * (1 + (session_duration - 57937) / 57937) AS rating
FROM `bqml_tutorial.analytics_session_data`
WHERE 0.3 * (1 + (session_duration - 57937) / 57937) < 1;

L'exécution de la requête prend environ 10 minutes, après quoi le modèle mf_implicit apparaît dans le volet Explorateur. Étant donné que la requête utilise une instruction CREATE MODEL pour créer un modèle, les résultats de la requête ne sont pas affichés.

Obtenir des statistiques d'entraînement

Si vous le souhaitez, vous pouvez afficher les statistiques d'entraînement du modèle dans la consoleGoogle Cloud .

Pour créer un modèle, un algorithme de machine learning crée de nombreuses itérations du modèle à l'aide de différents paramètres, puis sélectionne la version du modèle qui minimise la perte. Ce processus est appelé minimisation du risque empirique. Les statistiques d'entraînement du modèle vous permettent de voir la perte associée à chaque itération du modèle.

Pour afficher les statistiques d'entraînement du modèle, procédez comme suit :

Dans la console Google Cloud , accédez à la page BigQuery.

Accéder à BigQuery
Dans le panneau de gauche, cliquez sur Explorer :

Si le volet de gauche n'apparaît pas, cliquez sur Développer le volet de gauche pour l'ouvrir.
Dans le volet Explorateur, développez votre projet et cliquez sur Ensembles de données.
Cliquez sur l'ensemble de données bqml_tutorial. Vous pouvez également utiliser la fonctionnalité de recherche ou les filtres pour trouver l'ensemble de données.
Cliquez sur l'onglet Modèles.
Cliquez sur le modèle mf_implicit, puis sur l'onglet Entraînement.

Dans la section Afficher sous la forme, cliquez sur Tableau. Le résultat doit ressembler à ce qui suit :

+-----------+--------------------+--------------------+
| Iteration | Training Data Loss | Duration (seconds) |
+-----------+--------------------+--------------------+
|  5        | 0.0027             | 47.27              |
+-----------+--------------------+--------------------+
|  4        | 0.0028             | 39.60              |
+-----------+--------------------+--------------------+
|  3        | 0.0032             | 55.57              |
+-----------+--------------------+--------------------+
|  ...      | ...                | ...                |
+-----------+--------------------+--------------------+

La colonne Perte de données d'entraînement représente la métrique de perte calculée après l'entraînement du modèle. Étant donné qu'il s'agit d'un modèle de factorisation matricielle, cette colonne affiche l'erreur quadratique moyenne.

Évaluer le modèle

Évaluez les performances du modèle à l'aide de la fonction ML.EVALUATE. La fonction ML.EVALUATE évalue les classifications de contenu prédites renvoyées par le modèle par rapport aux métriques d'évaluation calculées pendant l'entraînement.

Pour évaluer le modèle, procédez comme suit :

Dans la console Google Cloud , accédez à la page BigQuery.

Accéder à BigQuery

Dans l'éditeur de requête, collez la requête suivante, puis cliquez sur Exécuter :

SELECT
  *
FROM
  ML.EVALUATE(MODEL `bqml_tutorial.mf_implicit`);

Le résultat doit ressembler à ce qui suit :

+------------------------+-----------------------+---------------------------------------+---------------------+
| mean_average_precision |  mean_squared_error   | normalized_discounted_cumulative_gain |    average_rank     |
+------------------------+-----------------------+---------------------------------------+---------------------+
|     0.4434341257478137 | 0.0013381759837648962 |                    0.9433280547112802 | 0.24031636088594222 |
+------------------------+-----------------------+---------------------------------------+---------------------+

Pour en savoir plus sur la sortie de la fonction ML.EVALUATE, consultez Sortie.

Obtenir les notes prévues pour un sous-ensemble de paires visiteur/contenu

Utilisez ML.RECOMMEND pour obtenir la note prédite pour chaque contenu pour cinq visiteurs du site.

Pour obtenir des notes prédictives, procédez comme suit :

Dans la console Google Cloud , accédez à la page BigQuery.

Accéder à BigQuery

Dans l'éditeur de requête, collez la requête suivante, puis cliquez sur Exécuter :

SELECT
  *
FROM
  ML.RECOMMEND(
    MODEL `bqml_tutorial.mf_implicit`,
    (
      SELECT
        visitorId
      FROM
        `bqml_tutorial.analytics_session_data`
      LIMIT 5
    ));

Le résultat doit ressembler à ce qui suit :

+-------------------------------+---------------------+-----------+
| predicted_rating_confidence   | visitorId           | contentId |
+-------------------------------+---------------------+-----------+
| 0.0033608418060270262         | 7337153711992174438 | 277237933 |
+-------------------------------+---------------------+-----------+
| 0.003602395397293956          | 7337153711992174438 | 158246147 |
+-------------------------------+---------------------+--  -------+
| 0.0053197670652785356         | 7337153711992174438 | 299389988 |
+-------------------------------+---------------------+-----------+
| ...                           | ...                 | ...       |
+-------------------------------+---------------------+-----------+

Générer des recommandations

Utilisez les notes prédites pour générer les cinq ID de contenu recommandés les mieux notés pour chaque ID de visiteur.

Pour générer des recommandations, procédez comme suit :

Dans la console Google Cloud , accédez à la page BigQuery.

Accéder à BigQuery

Écrivez les notes prédites dans un tableau. Dans l'éditeur de requête, collez la requête suivante, puis cliquez sur Exécuter :

CREATE OR REPLACE TABLE `bqml_tutorial.recommend_content`
AS
SELECT
  *
FROM
  ML.RECOMMEND(MODEL `bqml_tutorial.mf_implicit`);

Sélectionnez les cinq premiers résultats par visiteur. Dans l'éditeur de requête, collez la requête suivante, puis cliquez sur Exécuter :

SELECT
  visitorId,
  ARRAY_AGG(
    STRUCT(contentId, predicted_rating_confidence)
    ORDER BY predicted_rating_confidence DESC
    LIMIT 5) AS rec
FROM
  `bqml_tutorial.recommend_content`
GROUP BY
  visitorId;

Le résultat doit ressembler à ce qui suit :

+---------------------+-----------------+---------------------------------+
| visitorId           | rec:contentId   | rec:predicted_rating_confidence |
+---------------------+-----------------+-------------------------  ------+
| 867526255058981688  | 299804319       | 0.88170525357178664             |
|                     | 299935287       | 0.54699439944935124             |
|                     | 299410466       | 0.53424780863188659             |
|                     | 299826767       | 0.46949603950374219             |
|                     | 299809748       | 0.3379991197434149              |
+---------------------+-----------------+---------------------------------+
| 2434264018925667659 | 299824032       | 1.3903516407308065              |
|                     | 299410466       | 0.9921995618196483              |
|                     | 299903877       | 0.92333625294129218             |
|                     | 299816215       | 0.91856701667757279             |
|                     | 299852437       | 0.86973661454890561             |
+---------------------+-----------------+---------------------------------+
| ...                 | ...             | ...                             |
+---------------------+-----------------+---------------------------------+

Créer des recommandations basées sur des commentaires implicites avec un modèle de factorisation matricielle Restez organisé à l'aide des collections Enregistrez et classez les contenus selon vos préférences.

Créer un ensemble de données

Console

bq

API

BigQuery DataFrames

Préparer les exemples de données

Créer le modèle

Obtenir des statistiques d'entraînement

Évaluer le modèle

Obtenir les notes prévues pour un sous-ensemble de paires visiteur/contenu

Générer des recommandations

Créer des recommandations basées sur des commentaires implicites avec un modèle de factorisation matricielle