Créer des recommandations basées sur des commentaires implicites avec un modèle de factorisation matricielle

Ce tutoriel vous explique comment créer un modèle de factorisation matricielle et l'entraîner sur les données de session utilisateur Google Analytics 360 dans la table publique GA360_test.ga_sessions_sample table. Vous utiliserez ensuite le modèle de factorisation matricielle pour générer des recommandations de contenu pour les utilisateurs du site.

L'utilisation d'informations indirectes sur les préférences des clients, telles que la durée de la session utilisateur, pour entraîner le modèle est appelée entraînement avec commentaires implicites. Les modèles de factorisation matricielle sont entraînés à l'aide de l'algorithme des moindres carrés alternés pondérés lorsque vous utilisez des commentaires implicites comme données d'entraînement.

Important : Vous devez disposer d'une réservation pour utiliser un modèle de factorisation matricielle. Pour en savoir plus, reportez-vous à la page Tarification.

Objectifs

Ce tutoriel vous explique comment effectuer les tâches suivantes :

• Créer un modèle de factorisation matricielle à l'aide de l'instruction CREATE MODEL.
• Évaluer le modèle à l'aide de la ML.EVALUATE fonction.
• Générer des recommandations de contenu pour les utilisateurs à l'aide du modèle avec la ML.RECOMMEND fonction.

Coûts

Ce tutoriel fait appel à des composants payants de Google Cloud, y compris ceux-ci :

• BigQuery
• BigQuery ML

Pour plus d'informations sur les coûts de BigQuery, consultez la page Tarifs de BigQuery.

Pour en savoir plus sur les coûts associés à BigQuery ML, consultez la page Tarifs de BigQuery ML.

Avant de commencer

Connectez-vous à votre Google Cloud compte. Si vous débutez sur Google Cloud, créez un compte pour évaluer les performances de nos produits en conditions réelles. Les nouveaux clients bénéficient également de 300 $de crédits sans frais pour exécuter, tester et déployer des charges de travail.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

1. BigQuery est automatiquement activé dans les nouveaux projets. Pour activer BigQuery dans un projet préexistant, accédez à

   Activez l'API BigQuery.

   Rôles requis pour activer les API

   Pour activer les API, vous avez besoin du rôle IAM Administrateur d'utilisation du service (roles/serviceusage.serviceUsageAdmin), qui contient l'autorisation serviceusage.services.enable. Découvrez comment attribuer des rôles.

   Activer l'API

Autorisations requises

• Pour créer l'ensemble de données, vous devez disposer de l'autorisation IAM bigquery.datasets.create.

• Pour créer le modèle, vous avez besoin des autorisations suivantes :

  • bigquery.jobs.create
  • bigquery.models.create
  • bigquery.models.getData
  • bigquery.models.updateData

• Pour exécuter une inférence, vous devez disposer des autorisations suivantes :

  • bigquery.models.getData
  • bigquery.jobs.create

Pour plus d'informations sur les rôles et les autorisations IAM dans BigQuery, consultez la page Présentation d'IAM.

Créer un ensemble de données

Créez un ensemble de données BigQuery pour stocker votre modèle de ML.

Console

1. Dans la Google Cloud console, accédez à la page BigQuery.

   Accéder à la page "BigQuery"

2. Dans le volet Explorateur, cliquez sur le nom de votre projet.

3. Cliquez sur Afficher les actions > Créer un ensemble de données

4. Sur la page Créer un ensemble de données, procédez comme suit :

   • Dans le champ ID de l'ensemble de données, saisissez bqml_tutorial.

   • Pour Type d'emplacement, sélectionnez Multirégional, puis sélectionnez US.

   • Conservez les autres paramètres par défaut, puis cliquez sur Créer un ensemble de données.

bq

Pour créer un ensemble de données, exécutez la bq mk --dataset commande.

1. Créez un ensemble de données nommé bqml_tutorial avec l'emplacement des données défini sur US.

   bq mk --dataset \
     --location=US \
     --description "BigQuery ML tutorial dataset." \
     bqml_tutorial

2. Vérifiez que l'ensemble de données a été créé :

   bq ls

API

Appelez la datasets.insert méthode avec une ressource d'ensemble de données définie.

{
  "datasetReference": {
     "datasetId": "bqml_tutorial"
  }
}

Préparer les exemples de données

Transformez les données de la table GA360_test.ga_sessions_sample en une structure plus adaptée à l'entraînement du modèle, puis écrivez ces données dans une table BigQuery. La requête suivante calcule la durée de la session pour chaque utilisateur et chaque contenu. Vous pouvez ensuite l'utiliser comme commentaire implicite pour déduire la préférence de l'utilisateur pour ce contenu.

Pour créer la table de données d'entraînement, procédez comme suit :

1. Dans la Google Cloud console, accédez à la page BigQuery.

   Accéder à BigQuery

2. Créez la table de données d'entraînement. Dans l'éditeur de requête, collez la requête suivante , puis cliquez sur Exécuter :

   CREATE OR REPLACE TABLE `bqml_tutorial.analytics_session_data`
   AS
   WITH
     visitor_page_content AS (
       SELECT
         fullVisitorID,
         (
           SELECT
             MAX(
               IF(
                 index = 10,
                 value,
                 NULL))
           FROM
             UNNEST(hits.customDimensions)
         ) AS latestContentId,
         (LEAD(hits.time, 1) OVER (PARTITION BY fullVisitorId ORDER BY hits.time ASC) - hits.time)
           AS session_duration
       FROM
         `cloud-training-demos.GA360_test.ga_sessions_sample`,
         UNNEST(hits) AS hits
       WHERE
         # only include hits on pages
         hits.type = 'PAGE'
       GROUP BY
         fullVisitorId,
         latestContentId,
         hits.time
     )
   # aggregate web stats
   SELECT
     fullVisitorID AS visitorId,
     latestContentId AS contentId,
     SUM(session_duration) AS session_duration
   FROM
     visitor_page_content
   WHERE
     latestContentId IS NOT NULL
   GROUP BY
     fullVisitorID,
     latestContentId
   HAVING
     session_duration > 0
   ORDER BY
     latestContentId;

3. Affichez un sous-ensemble des données d'entraînement. Dans l'éditeur de requête, collez la requête suivante , puis cliquez sur Exécuter :

   SELECT * FROM `bqml_tutorial.analytics_session_data` LIMIT 5;

   Le résultat doit ressembler à ce qui suit :

   +---------------------+-----------+------------------+
   | visitorId           | contentId | session_duration |
   +---------------------+-----------+------------------+
   | 7337153711992174438 | 100074831 | 44652            |
   +---------------------+-----------+------------------+
   | 5190801220865459604 | 100170790 | 121420           |
   +---------------------+-----------+------------------+
   | 2293633612703952721 | 100510126 | 47744            |
   +---------------------+-----------+------------------+
   | 5874973374932455844 | 100510126 | 32109            |
   +---------------------+-----------+------------------+
   | 1173698801255170595 | 100676857 | 10512            |
   +---------------------+-----------+------------------+
   

Créer le modèle

Créez un modèle de factorisation matricielle et entraînez-le sur les données de la table analytics_session_data. Le modèle est entraîné pour prédire un indice de confiance pour chaque paire visitorId-contentId. L'indice de confiance est créé en recentrant les données et en appliquant une mise à l'échelle en fonction de la durée moyenne de session. Les enregistrements dont la durée de session est supérieure à 3,33 fois la moyenne sont filtrés comme valeurs aberrantes.

L'instruction CREATE MODEL suivante utilise ces colonnes pour générer des recommandations :

• visitorId : ID de visiteur
• contentId : ID de contenu
• rating: note implicite comprise entre 0 et 1, calculée pour chaque paire visiteur-contenu, centrée et mise à l'échelle

1. Dans la Google Cloud console, accédez à la page BigQuery.

   Accéder à BigQuery

2. Dans l'éditeur de requête, collez la requête suivante, puis cliquez sur Exécuter :

   CREATE OR REPLACE MODEL `bqml_tutorial.mf_implicit`
     OPTIONS (
       MODEL_TYPE = 'matrix_factorization',
       FEEDBACK_TYPE = 'implicit',
       USER_COL = 'visitorId',
       ITEM_COL = 'contentId',
       RATING_COL = 'rating',
       L2_REG = 30,
       NUM_FACTORS = 15)
   AS
   SELECT
     visitorId,
     contentId,
     0.3 * (1 + (session_duration - 57937) / 57937) AS rating
   FROM `bqml_tutorial.analytics_session_data`
   WHERE 0.3 * (1 + (session_duration - 57937) / 57937) < 1;

   L'exécution de la requête prend environ 10 minutes, puis le modèle mf_implicit s'affiche dans le volet Explorateur. Étant donné que la requête utilise une instruction CREATE MODEL pour créer un modèle, les résultats de la requête ne sont pas affichés.

Obtenir des statistiques d'entraînement

Vous pouvez également afficher les statistiques d'entraînement du modèle dans la Google Cloud console.

Pour créer un modèle, un algorithme de machine learning crée de nombreuses itérations de ce modèle à l'aide de différents paramètres, puis sélectionne la version de ce modèle qui minimise la perte. Ce processus est appelé minimisation du risque empirique. Les statistiques d'entraînement du modèle vous permettent de voir la perte associée à chaque itération du modèle.

Pour afficher les statistiques d'entraînement du modèle, procédez comme suit :

1. Dans la Google Cloud console, accédez à la page BigQuery.

   Accéder à BigQuery

2. Dans le volet de gauche, cliquez sur Explorateur:

   

   Si le volet de gauche n'apparaît pas, cliquez sur Développer le volet de gauche pour l'ouvrir.

3. Dans le volet Explorateur, développez votre projet et cliquez sur Ensembles de données.

4. Cliquez sur l'ensemble de données bqml_tutorial. Vous pouvez également utiliser la fonctionnalité de recherche ou les filtres pour trouver l'ensemble de données.

5. Cliquez sur l'onglet Modèles.

6. Cliquez sur le modèle mf_implicit, puis sur l'onglet Entraînement.

7. Dans la section Afficher sous forme de, cliquez sur Tableau. Le résultat doit ressembler à ce qui suit :

   +-----------+--------------------+--------------------+
   | Iteration | Training Data Loss | Duration (seconds) |
   +-----------+--------------------+--------------------+
   |  5        | 0.0027             | 47.27              |
   +-----------+--------------------+--------------------+
   |  4        | 0.0028             | 39.60              |
   +-----------+--------------------+--------------------+
   |  3        | 0.0032             | 55.57              |
   +-----------+--------------------+--------------------+
   |  ...      | ...                | ...                |
   +-----------+--------------------+--------------------+
   

   La colonne Training Data Loss (Perte de données d'entraînement) représente la métrique de perte calculée après l'entraînement du modèle. Comme il s'agit d'un modèle de factorisation matricielle, cette colonne affiche l' erreur quadratique moyenne.

Évaluer le modèle

Évaluez les performances du modèle à l'aide de la fonction ML.EVALUATE. La fonction ML.EVALUATE évalue les notes de contenu prédites renvoyées par le modèle par rapport aux métriques d'évaluation calculées pendant l'entraînement.

Pour évaluer le modèle, procédez comme suit :

1. Dans la Google Cloud console, accédez à la page BigQuery.

   Accéder à BigQuery

2. Dans l'éditeur de requête, collez la requête suivante, puis cliquez sur Exécuter :

   SELECT
     *
   FROM
     ML.EVALUATE(MODEL `bqml_tutorial.mf_implicit`);

   Le résultat doit ressembler à ce qui suit :

   +------------------------+-----------------------+---------------------------------------+---------------------+
   | mean_average_precision |  mean_squared_error   | normalized_discounted_cumulative_gain |    average_rank     |
   +------------------------+-----------------------+---------------------------------------+---------------------+
   |     0.4434341257478137 | 0.0013381759837648962 |                    0.9433280547112802 | 0.24031636088594222 |
   +------------------------+-----------------------+---------------------------------------+---------------------+
   

   Pour en savoir plus sur la sortie de la fonction ML.EVALUATE, consultez la section Sortie.

Obtenir les notes prédites pour un sous-ensemble de paires visiteur-contenu

Utilisez ML.RECOMMEND pour obtenir la note prédite de chaque contenu pour cinq visiteurs du site.

Pour obtenir les notes prédites, procédez comme suit :

1. Dans la Google Cloud console, accédez à la page BigQuery.

   Accéder à BigQuery

2. Dans l'éditeur de requête, collez la requête suivante, puis cliquez sur Exécuter :

   SELECT
     *
   FROM
     ML.RECOMMEND(
       MODEL `bqml_tutorial.mf_implicit`,
       (
         SELECT
           visitorId
         FROM
           `bqml_tutorial.analytics_session_data`
         LIMIT 5
       ));

   Le résultat doit ressembler à ce qui suit :

   +-------------------------------+---------------------+-----------+
   | predicted_rating_confidence   | visitorId           | contentId |
   +-------------------------------+---------------------+-----------+
   | 0.0033608418060270262         | 7337153711992174438 | 277237933 |
   +-------------------------------+---------------------+-----------+
   | 0.003602395397293956          | 7337153711992174438 | 158246147 |
   +-------------------------------+---------------------+--  -------+
   | 0.0053197670652785356         | 7337153711992174438 | 299389988 |
   +-------------------------------+---------------------+-----------+
   | ...                           | ...                 | ...       |
   +-------------------------------+---------------------+-----------+
   

Générer des recommandations

Utilisez les notes prédites pour générer les cinq principaux ID de contenu recommandés pour chaque ID de visiteur.

Pour générer des recommandations, procédez comme suit :

1. Dans la Google Cloud console, accédez à la page BigQuery.

   Accéder à BigQuery

2. Écrivez les notes prédites dans une table. Dans l'éditeur de requête, collez la requête suivante, puis cliquez sur Exécuter :

   CREATE OR REPLACE TABLE `bqml_tutorial.recommend_content`
   AS
   SELECT
     *
   FROM
     ML.RECOMMEND(MODEL `bqml_tutorial.mf_implicit`);

3. Sélectionnez les cinq premiers résultats par visiteur. Dans l'éditeur de requête, collez la requête suivante, puis cliquez sur Exécuter :

   SELECT
     visitorId,
     ARRAY_AGG(
       STRUCT(contentId, predicted_rating_confidence)
       ORDER BY predicted_rating_confidence DESC
       LIMIT 5) AS rec
   FROM
     `bqml_tutorial.recommend_content`
   GROUP BY
     visitorId;

   Le résultat doit ressembler à ce qui suit :

   +---------------------+-----------------+---------------------------------+
   | visitorId           | rec:contentId   | rec:predicted_rating_confidence |
   +---------------------+-----------------+-------------------------  ------+
   | 867526255058981688  | 299804319       | 0.88170525357178664             |
   |                     | 299935287       | 0.54699439944935124             |
   |                     | 299410466       | 0.53424780863188659             |
   |                     | 299826767       | 0.46949603950374219             |
   |                     | 299809748       | 0.3379991197434149              |
   +---------------------+-----------------+---------------------------------+
   | 2434264018925667659 | 299824032       | 1.3903516407308065              |
   |                     | 299410466       | 0.9921995618196483              |
   |                     | 299903877       | 0.92333625294129218             |
   |                     | 299816215       | 0.91856701667757279             |
   |                     | 299852437       | 0.86973661454890561             |
   +---------------------+-----------------+---------------------------------+
   | ...                 | ...             | ...                             |
   +---------------------+-----------------+---------------------------------+
   

Effectuer un nettoyage

Pour éviter que les ressources utilisées lors de ce tutoriel soient facturées sur votre compte Google Cloud, supprimez le projet contenant les ressources, ou conservez le projet et supprimez les ressources individuelles.

• Supprimez le projet que vous avez créé.
• Ou conservez le projet et supprimez l'ensemble de données.

Supprimer l'ensemble de données

Si vous supprimez votre projet, tous les ensembles de données et toutes les tables qui lui sont associés sont également supprimés. Si vous préférez réutiliser le projet, vous pouvez supprimer l'ensemble de données que vous avez créé dans ce tutoriel :

1. Si nécessaire, ouvrez la page BigQuery dans la Google Cloud console.

   Accéder à la page "BigQuery"

2. Dans le panneau de navigation, cliquez sur l'ensemble de données bqml_tutorial que vous avez créé.

3. Cliquez sur Delete dataset (Supprimer l'ensemble de données) dans la partie droite de la fenêtre. Cette action supprime l'ensemble de données, la table et toutes les données.

4. Dans la boîte de dialogue Supprimer l'ensemble de données, confirmez la commande de suppression en saisissant le nom de votre ensemble de données (bqml_tutorial), puis cliquez sur Supprimer.

Supprimer votre projet

Pour supprimer le projet :

Attention : La suppression d'un projet aura les effets suivants :

• Tout le contenu du projet est supprimé. Si vous avez utilisé un projet existant pour les tâches décrites dans ce document et que vous le supprimez, vous supprimerez également tout autre travail effectué dans le projet.
• Les ID de projets personnalisés sont perdus. Lorsque vous avez créé ce projet, vous avez peut-être créé un ID de projet personnalisé que vous souhaitez utiliser à l'avenir. Pour conserver les URL qui utilisent l'ID de projet, telle qu'une URL appspot.com, supprimez les ressources sélectionnées dans le projet au lieu de supprimer l'ensemble du projet.

Si vous envisagez d'explorer plusieurs architectures, tutoriels et guides de démarrage rapide, réutiliser des projets peut vous aider à ne pas dépasser les limites de quotas des projets.

1. Dans la Google Cloud console, accédez à la page Gérer les ressources.

   Accéder à la page "Gérer les ressources"

2. Dans la liste des projets, sélectionnez le projet que vous souhaitez supprimer, puis cliquez sur Supprimer.
3. Dans la boîte de dialogue, saisissez l'ID du projet, puis cliquez Arrêter pour supprimer le projet.

Étape suivante

• Essayez de créer un modèle de factorisation matricielle basé sur des commentaires explicites.
• Pour obtenir plus d'informations sur BigQuery ML, consultez la page Présentation de BigQuery ML.
• Pour en savoir plus sur le machine learning, consultez le Cours d'initiation au Machine Learning.