Cette page a été traduite par l'API Cloud Translation.

Créer des recommandations basées sur des commentaires explicites avec un modèle de factorisation matricielle

Ce tutoriel vous explique comment créer un modèle de factorisation matricielle et l'entraîner sur les notes de films des clients dans l'ensemble de données movielens1m. Vous utilisez ensuite le modèle de factorisation matricielle pour générer des recommandations de films pour les utilisateurs.

L'entraînement du modèle à l'aide des notes fournies par les clients est appelé entraînement avec commentaires explicites. Les modèles de factorisation matricielle sont entraînés à l'aide de l'algorithme des moindres carrés alternés lorsque vous utilisez des commentaires explicites comme données d'entraînement.

Créer un ensemble de données

Créez un ensemble de données BigQuery pour stocker votre modèle de ML.

Console

Dans la console Google Cloud , accédez à la page BigQuery.

Accéder à la page "BigQuery"
Dans le volet Explorateur, cliquez sur le nom de votre projet.
Cliquez sur Afficher les actions > Créer un ensemble de données.
Sur la page Créer un ensemble de données, procédez comme suit :
- Dans le champ ID de l'ensemble de données, saisissez bqml_tutorial.
- Pour Type d'emplacement, sélectionnez Multirégional, puis sélectionnez US (plusieurs régions aux États-Unis).
- Conservez les autres paramètres par défaut, puis cliquez sur Créer un ensemble de données.

bq

Pour créer un ensemble de données, exécutez la commande bq mk en spécifiant l'option --location. Pour obtenir la liste complète des paramètres possibles, consultez la documentation de référence sur la commande bq mk --dataset.

Créez un ensemble de données nommé bqml_tutorial avec l'emplacement des données défini sur US et une description de BigQuery ML tutorial dataset :
```
bq --location=US mk -d \
 --description "BigQuery ML tutorial dataset." \
 bqml_tutorial
```
Au lieu d'utiliser l'option --dataset, la commande utilise le raccourci -d. Si vous omettez -d et --dataset, la commande crée un ensemble de données par défaut.
Vérifiez que l'ensemble de données a été créé :
```
bq ls
```

API

Appelez la méthode datasets.insert avec une ressource d'ensemble de données définie.

{
  "datasetReference": {
     "datasetId": "bqml_tutorial"
  }
}

BigQuery DataFrames

Avant d'essayer cet exemple, suivez les instructions de configuration pour BigQuery DataFrames du guide de démarrage rapide de BigQuery DataFrames. Pour en savoir plus, consultez la documentation de référence sur BigQuery DataFrames.

Pour vous authentifier auprès de BigQuery, configurez le service Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer les ADC pour un environnement de développement local.

import google.cloud.bigquery

bqclient = google.cloud.bigquery.Client()
bqclient.create_dataset("bqml_tutorial", exists_ok=True)

Importer les données Movielens

Importez les données movielens1m dans BigQuery.

CLI

Suivez ces étapes pour importer les données movielens1m à l'aide de l'outil de ligne de commande bq :

Ouvrez Cloud Shell.

Activer Cloud Shell

Importez les données de notation dans la table ratings. Dans la ligne de commande, collez la requête suivante et appuyez sur Enter :

curl -O 'http://files.grouplens.org/datasets/movielens/ml-1m.zip'
unzip ml-1m.zip
sed 's/::/,/g' ml-1m/ratings.dat > ratings.csv
bq load --source_format=CSV bqml_tutorial.ratings ratings.csv \
  user_id:INT64,item_id:INT64,rating:FLOAT64,timestamp:TIMESTAMP

Importez les données du film dans la table movies. Dans la ligne de commande, collez la requête suivante et appuyez sur Enter :

sed 's/::/@/g' ml-1m/movies.dat > movie_titles.csv
bq load --source_format=CSV --field_delimiter=@ \
bqml_tutorial.movies movie_titles.csv \
movie_id:INT64,movie_title:STRING,genre:STRING

BigQuery DataFrames

Commencez par créer un objet Client avec bqclient = google.cloud.bigquery.Client(), puis chargez les données movielens1m dans l'ensemble de données que vous avez créé à l'étape précédente.

import io
import zipfile

import google.api_core.exceptions
import requests

try:
    # Check if you've already created the Movielens tables to avoid downloading
    # and uploading the dataset unnecessarily.
    bqclient.get_table("bqml_tutorial.ratings")
    bqclient.get_table("bqml_tutorial.movies")
except google.api_core.exceptions.NotFound:
    # Download the https://grouplens.org/datasets/movielens/1m/ dataset.
    ml1m = requests.get("http://files.grouplens.org/datasets/movielens/ml-1m.zip")
    ml1m_file = io.BytesIO(ml1m.content)
    ml1m_zip = zipfile.ZipFile(ml1m_file)

    # Upload the ratings data into the ratings table.
    with ml1m_zip.open("ml-1m/ratings.dat") as ratings_file:
        ratings_content = ratings_file.read()

    ratings_csv = io.BytesIO(ratings_content.replace(b"::", b","))
    ratings_config = google.cloud.bigquery.LoadJobConfig()
    ratings_config.source_format = "CSV"
    ratings_config.write_disposition = "WRITE_TRUNCATE"
    ratings_config.schema = [
        google.cloud.bigquery.SchemaField("user_id", "INT64"),
        google.cloud.bigquery.SchemaField("item_id", "INT64"),
        google.cloud.bigquery.SchemaField("rating", "FLOAT64"),
        google.cloud.bigquery.SchemaField("timestamp", "TIMESTAMP"),
    ]
    bqclient.load_table_from_file(
        ratings_csv, "bqml_tutorial.ratings", job_config=ratings_config
    ).result()

    # Upload the movie data into the movies table.
    with ml1m_zip.open("ml-1m/movies.dat") as movies_file:
        movies_content = movies_file.read()

    movies_csv = io.BytesIO(movies_content.replace(b"::", b"@"))
    movies_config = google.cloud.bigquery.LoadJobConfig()
    movies_config.source_format = "CSV"
    movies_config.field_delimiter = "@"
    movies_config.write_disposition = "WRITE_TRUNCATE"
    movies_config.schema = [
        google.cloud.bigquery.SchemaField("movie_id", "INT64"),
        google.cloud.bigquery.SchemaField("movie_title", "STRING"),
        google.cloud.bigquery.SchemaField("genre", "STRING"),
    ]
    bqclient.load_table_from_file(
        movies_csv, "bqml_tutorial.movies", job_config=movies_config
    ).result()

Créer le modèle

Créez un modèle de factorisation matricielle et entraînez-le sur les données de la table ratings. Le modèle est entraîné à prédire une note pour chaque paire utilisateur-élément, en fonction des notes de films fournies par les clients.

SQL

L'instruction CREATE MODEL suivante utilise ces colonnes pour générer des recommandations :

user_id : ID utilisateur.
item_id : ID du film
rating : note explicite de 1 à 5 attribuée par l'utilisateur à l'élément.

Pour créer le modèle, procédez comme suit :

Dans la console Google Cloud , accédez à la page BigQuery.

Accéder à BigQuery
Dans l'éditeur de requête, collez la requête suivante, puis cliquez sur Exécuter :
```
CREATE OR REPLACE MODEL `bqml_tutorial.mf_explicit`
OPTIONS (
  MODEL_TYPE = 'matrix_factorization',
  FEEDBACK_TYPE = 'explicit',
  USER_COL = 'user_id',
  ITEM_COL = 'item_id',
  L2_REG = 9.83,
  NUM_FACTORS = 34)
AS
SELECT
user_id,
item_id,
rating
FROM `bqml_tutorial.ratings`;
```
L'exécution de la requête prend environ 10 minutes, après quoi le modèle mf_explicit apparaît dans le volet Explorateur. Étant donné que la requête utilise une instruction CREATE MODEL pour créer un modèle, les résultats de la requête ne sont pas affichés.

BigQuery DataFrames

from bigframes.ml import decomposition
import bigframes.pandas as bpd

# Load data from BigQuery
bq_df = bpd.read_gbq(
    "bqml_tutorial.ratings", columns=("user_id", "item_id", "rating")
)

# Create the Matrix Factorization model
model = decomposition.MatrixFactorization(
    num_factors=34,
    feedback_type="explicit",
    user_col="user_id",
    item_col="item_id",
    rating_col="rating",
    l2_reg=9.83,
)
model.fit(bq_df)
model.to_gbq(
    your_model_id, replace=True  # For example: "bqml_tutorial.mf_explicit"
)

L'exécution du code prend environ 10 minutes, après quoi le modèle mf_explicit apparaît dans le volet Explorateur.

Obtenir des statistiques d'entraînement

Si vous le souhaitez, vous pouvez afficher les statistiques d'entraînement du modèle dans la consoleGoogle Cloud .

Pour créer un modèle, un algorithme de machine learning crée de nombreuses itérations du modèle à l'aide de différents paramètres, puis sélectionne la version du modèle qui minimise la perte. Ce processus est appelé minimisation du risque empirique. Les statistiques d'entraînement du modèle vous permettent de voir la perte associée à chaque itération du modèle.

Pour afficher les statistiques d'entraînement du modèle, procédez comme suit :

Dans la console Google Cloud , accédez à la page BigQuery.

Accéder à BigQuery
Dans le panneau de gauche, cliquez sur Explorer :

Si le volet de gauche n'apparaît pas, cliquez sur Développer le volet de gauche pour l'ouvrir.
Dans le volet Explorateur, développez votre projet, cliquez sur Ensembles de données, puis sur l'ensemble de données bqml_tutorial.
Cliquez sur l'onglet Modèles.
Cliquez sur le modèle mf_explicit, puis sur l'onglet Entraînement.

Dans la section Afficher sous la forme, cliquez sur Tableau. Le résultat doit ressembler à ce qui suit :

+-----------+--------------------+--------------------+
| Iteration | Training Data Loss | Duration (seconds) |
+-----------+--------------------+--------------------+
|  11       | 0.3943             | 42.59              |
+-----------+--------------------+--------------------+
|  10       | 0.3979             | 27.37              |
+-----------+--------------------+--------------------+
|   9       | 0.4038             | 40.79              |
+-----------+--------------------+--------------------+
|  ...      | ...                | ...                |
+-----------+--------------------+--------------------+

La colonne Perte de données d'entraînement représente la métrique de perte calculée après l'entraînement du modèle. Étant donné qu'il s'agit d'un modèle de factorisation matricielle, cette colonne affiche l'erreur quadratique moyenne.

Vous pouvez également utiliser la fonction ML.TRAINING_INFO pour afficher les statistiques d'entraînement du modèle.

Évaluer le modèle

Évaluez les performances du modèle en comparant les notes de films prédites renvoyées par le modèle aux notes de films réelles des utilisateurs issues des données d'entraînement.

SQL

Utilisez la fonction ML.EVALUATE pour évaluer le modèle :

Dans la console Google Cloud , accédez à la page BigQuery.

Accéder à BigQuery

Dans l'éditeur de requête, collez la requête suivante, puis cliquez sur Exécuter :

SELECT
*
FROM
ML.EVALUATE(
  MODEL `bqml_tutorial.mf_explicit`,
  (
    SELECT
      user_id,
      item_id,
      rating
    FROM
      `bqml_tutorial.ratings`
  ));

Le résultat doit ressembler à ce qui suit :

+---------------------+---------------------+------------------------+-----------------------+--------------------+--------------------+
| mean_absolute_error | mean_squared_error  | mean_squared_log_error | median_absolute_error |      r2_score      | explained_variance |
+---------------------+---------------------+------------------------+-----------------------+--------------------+--------------------+
| 0.48494444327829156 | 0.39433706592870565 |   0.025437895793637522 |   0.39017059802629905 | 0.6840033369412044 | 0.6840033369412264 |
+---------------------+---------------------+------------------------+-----------------------+--------------------+--------------------+

Le score R² est une métrique importante dans les résultats de l'évaluation. Le score R² est une mesure statistique qui détermine si les prédictions de régression linéaire se rapprochent des données réelles. Une valeur 0 indique que le modèle n'apporte aucune explication sur la variabilité des données de réponse autour de la moyenne. Une valeur 1 indique que le modèle explique toute la variabilité des données de réponse autour de la moyenne.

Pour en savoir plus sur la sortie de la fonction ML.EVALUATE, consultez Sortie.

Vous pouvez également appeler ML.EVALUATE sans fournir de données d'entrée. Les métriques d'évaluation calculées au cours de l'entraînement seront alors utilisées.

BigQuery DataFrames

Appelez model.score() pour évaluer le modèle.

# Evaluate the model using the score() function
model.score(bq_df)
# Output:
# mean_absolute_error	mean_squared_error	mean_squared_log_error	median_absolute_error	r2_score	explained_variance
# 0.485403	                0.395052	        0.025515	            0.390573	        0.68343	        0.68343

Obtenir les notes prédites pour un sous-ensemble de paires utilisateur-élément

Obtenez la note prédite pour chaque film pour cinq utilisateurs.

SQL

Utilisez la fonction ML.RECOMMEND pour obtenir les notes prédites :

Dans la console Google Cloud , accédez à la page BigQuery.

Accéder à BigQuery

Dans l'éditeur de requête, collez la requête suivante, puis cliquez sur Exécuter :

SELECT
*
FROM
ML.RECOMMEND(
  MODEL `bqml_tutorial.mf_explicit`,
  (
    SELECT
      user_id
    FROM
      `bqml_tutorial.ratings`
    LIMIT 5
  ));

Le résultat doit ressembler à ce qui suit :

+--------------------+---------+---------+
| predicted_rating   | user_id | item_id |
+--------------------+---------+---------+
| 4.2125303962491873 | 4       | 3169    |
+--------------------+---------+---------+
| 4.8068920531981263 | 4       | 3739    |
+--------------------+---------+---------+
| 3.8742203494732403 | 4       | 3574    |
+--------------------+---------+---------+
| ...                | ...     | ...     |
+--------------------+---------+---------+

BigQuery DataFrames

Appelez model.predict() pour obtenir les notes prédites.

# Use predict() to get the predicted rating for each movie for 5 users
subset = bq_df[["user_id"]].head(5)
predicted = model.predict(subset)
print(predicted)
# Output:
#   predicted_rating	user_id	 item_id	rating
# 0	    4.206146	     4354	  968	     4.0
# 1	    4.853099	     3622	  3521	     5.0
# 2	    2.679067	     5543	  920	     2.0
# 3	    4.323458	     445	  3175	     5.0
# 4	    3.476911	     5535	  235	     4.0

Générer des recommandations

Utilisez les notes prédites pour générer les cinq films les plus recommandés pour chaque utilisateur.

SQL

Pour générer des recommandations, procédez comme suit :

Dans la console Google Cloud , accédez à la page BigQuery.

Accéder à BigQuery
Écrivez les notes prédites dans un tableau. Dans l'éditeur de requête, collez la requête suivante, puis cliquez sur Exécuter :
```
CREATE OR REPLACE TABLE `bqml_tutorial.recommend`
AS
SELECT
*
FROM
ML.RECOMMEND(MODEL `bqml_tutorial.mf_explicit`);
```
Associez les notes prédites aux informations sur les films, puis sélectionnez les cinq meilleurs résultats par utilisateur. Dans l'éditeur de requête, collez la requête suivante, puis cliquez sur Exécuter :

  SELECT
    user_id,
    ARRAY_AGG(STRUCT(movie_title, genre, predicted_rating) ORDER BY predicted_rating DESC LIMIT 5)
  FROM
    (
      SELECT
        user_id,
        item_id,
        predicted_rating,
        movie_title,
        genre
      FROM
        `bqml_tutorial.recommend`
      JOIN
        `bqml_tutorial.movies`
        ON
          item_id = movie_id
    )
  GROUP BY
    user_id;

Le résultat doit ressembler à ce qui suit :

  +---------+-------------------------------------+------------------------+--------------------+
  | user_id | f0_movie_title                      | f0_genre               | predicted_rating   |
  +---------+-------------------------------------+------------------------+--------------------+
  | 4597    | Song of Freedom (1936)              | Drama                  | 6.8495752907364009 |
  |         | I Went Down (1997)                  | Action/Comedy/Crime    | 6.7203235758772877 |
  |         | Men With Guns (1997)                | Action/Drama           | 6.399407352232001  |
  |         | Kid, The (1921)                     | Action                 | 6.1952890198126731 |
  |         | Hype! (1996)                        | Documentary            | 6.1895766097451475 |
  +---------+-------------------------------------+------------------------+--------------------+
  | 5349    | Fandango (1985)                     | Comedy                 | 9.944574012151549  |
  |         | Breakfast of Champions (1999)       | Comedy                 | 9.55661860430112   |
  |         | Funny Bones (1995)                  | Comedy                 | 9.52778917835076   |
  |         | Paradise Road (1997)                | Drama/War              | 9.1643621767929133 |
  |         | Surviving Picasso (1996)            | Drama                  | 8.807353289233772  |
  +---------+-------------------------------------+------------------------+--------------------+
  | ...     | ...                                 | ...                    | ...                |
  +---------+-------------------------------------+------------------------+--------------------+

BigQuery DataFrames

Appelez model.predict() pour obtenir les notes prédites.

# import bigframes.bigquery as bbq

# Load movies
movies = bpd.read_gbq("bqml_tutorial.movies")

# Merge the movies df with the previously created predicted df
merged_df = bpd.merge(predicted, movies, left_on="item_id", right_on="movie_id")

# Separate users and predicted data, setting the index to 'movie_id'
users = merged_df[["user_id", "movie_id"]].set_index("movie_id")

# Take the predicted data and sort it in descending order by 'predicted_rating', setting the index to 'movie_id'
sort_data = (
    merged_df[["movie_title", "genre", "predicted_rating", "movie_id"]]
    .sort_values(by="predicted_rating", ascending=False)
    .set_index("movie_id")
)

# re-merge the separated dfs by index
merged_user = sort_data.join(users, how="outer")

# group the users and set the user_id as the index
merged_user.groupby("user_id").head(5).set_index("user_id").sort_index()
print(merged_user)
# Output:
# 	            movie_title	                genre	        predicted_rating
# user_id
#   1	    Saving Private Ryan (1998)	Action|Drama|War	    5.19326
#   1	        Fargo (1996)	       Crime|Drama|Thriller	    4.996954
#   1	    Driving Miss Daisy (1989)	    Drama	            4.983671
#   1	        Ben-Hur (1959)	       Action|Adventure|Drama	4.877622
#   1	     Schindler's List (1993)	   Drama|War	        4.802336
#   2	    Saving Private Ryan (1998)	Action|Drama|War	    5.19326
#   2	        Braveheart (1995)	    Action|Drama|War	    5.174145
#   2	        Gladiator (2000)	      Action|Drama	        5.066372
#   2	        On Golden Pond (1981)	     Drama	            5.01198
#   2	    Driving Miss Daisy (1989)	     Drama	            4.983671

Créer des recommandations basées sur des commentaires explicites avec un modèle de factorisation matricielle Restez organisé à l'aide des collections Enregistrez et classez les contenus selon vos préférences.

Créer un ensemble de données

Console

bq

API

BigQuery DataFrames

Importer les données Movielens

CLI

BigQuery DataFrames

Créer le modèle

SQL

BigQuery DataFrames

Obtenir des statistiques d'entraînement

Évaluer le modèle

SQL

BigQuery DataFrames

Obtenir les notes prédites pour un sous-ensemble de paires utilisateur-élément

SQL

BigQuery DataFrames

Générer des recommandations

SQL

BigQuery DataFrames

Créer des recommandations basées sur des commentaires explicites avec un modèle de factorisation matricielle