Crie recomendações com base no feedback implícito com um modelo de fatorização de matrizes

Este tutorial ensina-o a criar um modelo de fatorização de matrizes e a formá-lo nos dados de sessão do utilizador do Google Analytics 360 na tabelaGA360_test.ga_sessions_sample pública. Em seguida, usa o modelo de fatorização de matrizes para gerar recomendações de conteúdo para os utilizadores do site.

A utilização de informações indiretas sobre as preferências dos clientes, como a duração da sessão do utilizador, para preparar o modelo denomina-se preparação com feedback implícito. Os modelos de fatorização de matrizes são preparados com o algoritmo de mínimos quadrados alternados ponderados quando usa feedback implícito como dados de preparação.

Crie um conjunto de dados

Crie um conjunto de dados do BigQuery para armazenar o seu modelo de ML.

Consola

  1. Na Google Cloud consola, aceda à página BigQuery.

    Aceda à página do BigQuery

  2. No painel Explorador, clique no nome do projeto.

  3. Clique em Ver ações > Criar conjunto de dados

  4. Na página Criar conjunto de dados, faça o seguinte:

    • Para o ID do conjunto de dados, introduza bqml_tutorial.

    • Em Tipo de localização, selecione Várias regiões e, de seguida, selecione EUA (várias regiões nos Estados Unidos).

    • Deixe as restantes predefinições como estão e clique em Criar conjunto de dados.

bq

Para criar um novo conjunto de dados, use o comando bq mk com a flag --location. Para uma lista completa de parâmetros possíveis, consulte a referência do comando bq mk --dataset.

  1. Crie um conjunto de dados com o nome bqml_tutorial com a localização dos dados definida como US e uma descrição de BigQuery ML tutorial dataset:

    bq --location=US mk -d \
 --description "BigQuery ML tutorial dataset." \
 bqml_tutorial

    Em vez de usar a flag --dataset, o comando usa o atalho -d. Se omitir -d e --dataset, o comando cria um conjunto de dados por predefinição.

  2. Confirme que o conjunto de dados foi criado:

    bq ls

API

Chame o método datasets.insert com um recurso de conjunto de dados definido.

{
  "datasetReference": {
     "datasetId": "bqml_tutorial"
  }
}

DataFrames do BigQuery

Antes de experimentar este exemplo, siga as instruções de configuração dos DataFrames do BigQuery no início rápido do BigQuery com os DataFrames do BigQuery. Para mais informações, consulte a documentação de referência do BigQuery DataFrames.

Para se autenticar no BigQuery, configure as Credenciais padrão da aplicação. Para mais informações, consulte o artigo Configure o ADC para um ambiente de desenvolvimento local. 

import google.cloud.bigquery

bqclient = google.cloud.bigquery.Client()
bqclient.create_dataset("bqml_tutorial", exists_ok=True)

Prepare os dados de amostra

Transformar os dados da tabela GA360_test.ga_sessions_sample numa estrutura melhor para o treino do modelo e, em seguida, escrever estes dados numa tabela do BigQuery. A seguinte consulta calcula a duração da sessão para cada utilizador para cada conteúdo, que pode usar como feedback implícito para inferir a preferência do utilizador por esse conteúdo.

Siga estes passos para criar a tabela de dados de preparação:

  1. Na Google Cloud consola, aceda à página BigQuery.

    Aceda ao BigQuery

  2. Crie a tabela de dados de preparação. No editor de consultas, cole a seguinte consulta e clique em Executar:

    CREATE OR REPLACE TABLE `bqml_tutorial.analytics_session_data`
AS
WITH
  visitor_page_content AS (
    SELECT
      fullVisitorID,
      (
        SELECT
          MAX(
            IF(
              index = 10,
              value,
              NULL))
        FROM
          UNNEST(hits.customDimensions)
      ) AS latestContentId,
      (LEAD(hits.time, 1) OVER (PARTITION BY fullVisitorId ORDER BY hits.time ASC) - hits.time)
        AS session_duration
    FROM
      `cloud-training-demos.GA360_test.ga_sessions_sample`,
      UNNEST(hits) AS hits
    WHERE
      # only include hits on pages
      hits.type = 'PAGE'
    GROUP BY
      fullVisitorId,
      latestContentId,
      hits.time
  )
# aggregate web stats
SELECT
  fullVisitorID AS visitorId,
  latestContentId AS contentId,
  SUM(session_duration) AS session_duration
FROM
  visitor_page_content
WHERE
  latestContentId IS NOT NULL
GROUP BY
  fullVisitorID,
  latestContentId
HAVING
  session_duration > 0
ORDER BY
  latestContentId;

  3. Ver um subconjunto dos dados de preparação. No editor de consultas, cole a seguinte consulta e clique em Executar:

    SELECT * FROM `bqml_tutorial.analytics_session_data` LIMIT 5;

    Os resultados devem ter um aspeto semelhante ao seguinte:

    +---------------------+-----------+------------------+
| visitorId           | contentId | session_duration |
+---------------------+-----------+------------------+
| 7337153711992174438 | 100074831 | 44652            |
+---------------------+-----------+------------------+
| 5190801220865459604 | 100170790 | 121420           |
+---------------------+-----------+------------------+
| 2293633612703952721 | 100510126 | 47744            |
+---------------------+-----------+------------------+
| 5874973374932455844 | 100510126 | 32109            |
+---------------------+-----------+------------------+
| 1173698801255170595 | 100676857 | 10512            |
+---------------------+-----------+------------------+

Crie o modelo

Crie um modelo de fatorização de matrizes e prepare-o com os dados na tabela analytics_session_data. O modelo é preparado para prever uma classificação de confiança para cada par visitorId-contentId. A classificação de confiança é criada com a centralização e o dimensionamento pela duração da sessão mediana. Os registos em que a duração da sessão é mais de 3,33 vezes a mediana são filtrados como valores atípicos.

A declaração CREATE MODEL seguinte usa estas colunas para gerar recomendações:

  • visitorId: o ID do visitante.
  • contentId—O ID de conteúdo.
  • rating—A classificação implícita de 0 a 1 calculada para cada par visitante-conteúdo, centrada e dimensionada.

  1. Na Google Cloud consola, aceda à página BigQuery.

    Aceda ao BigQuery

  2. No editor de consultas, cole a seguinte consulta e clique em Executar:

    CREATE OR REPLACE MODEL `bqml_tutorial.mf_implicit`
  OPTIONS (
    MODEL_TYPE = 'matrix_factorization',
    FEEDBACK_TYPE = 'implicit',
    USER_COL = 'visitorId',
    ITEM_COL = 'contentId',
    RATING_COL = 'rating',
    L2_REG = 30,
    NUM_FACTORS = 15)
AS
SELECT
  visitorId,
  contentId,
  0.3 * (1 + (session_duration - 57937) / 57937) AS rating
FROM `bqml_tutorial.analytics_session_data`
WHERE 0.3 * (1 + (session_duration - 57937) / 57937) < 1;

    A consulta demora cerca de 10 minutos a ser concluída. Após este período, o modelo mf_implicit aparece no painel Explorador. Uma vez que a consulta usa uma declaração CREATE MODEL para criar um modelo, não vê os resultados da consulta.

Obtenha estatísticas de treino

Opcionalmente, pode ver as estatísticas de preparação do modelo na Google Cloud consola.

Um algoritmo de aprendizagem automática cria um modelo através da criação de muitas iterações do modelo com diferentes parâmetros e, em seguida, seleciona a versão do modelo que minimiza a perda. Este processo é denominado minimização do risco empírico. As estatísticas de preparação do modelo permitem-lhe ver a perda associada a cada iteração do modelo.

Siga estes passos para ver as estatísticas de preparação do modelo:

  1. Na Google Cloud consola, aceda à página BigQuery.

    Aceda ao BigQuery

  2. No painel esquerdo, clique em Explorador:

    Botão realçado para o painel do explorador.

    Se não vir o painel do lado esquerdo, clique em Expandir painel do lado esquerdo para o abrir.

  3. No painel Explorador, expanda o seu projeto e clique em Conjuntos de dados.

  4. Clique no conjunto de dados bqml_tutorial. Também pode usar a funcionalidade de pesquisa ou os filtros para encontrar o conjunto de dados.

  5. Clique no separador Modelos.

  6. Clique no modelo mf_implicit e, de seguida, no separador Preparação

  7. Na secção Ver como, clique em Tabela. Os resultados devem ser semelhantes aos seguintes:

    +-----------+--------------------+--------------------+
| Iteration | Training Data Loss | Duration (seconds) |
+-----------+--------------------+--------------------+
|  5        | 0.0027             | 47.27              |
+-----------+--------------------+--------------------+
|  4        | 0.0028             | 39.60              |
+-----------+--------------------+--------------------+
|  3        | 0.0032             | 55.57              |
+-----------+--------------------+--------------------+
|  ...      | ...                | ...                |
+-----------+--------------------+--------------------+

    A coluna Perda de dados de preparação representa a métrica de perda calculada após a preparação do modelo. Uma vez que se trata de um modelo de fatorização de matrizes, esta coluna mostra o erro quadrático médio.

Avalie o modelo

Avalie o desempenho do modelo através da função ML.EVALUATE. A função ML.EVALUATE avalia as classificações de conteúdo previstas devolvidas pelo modelo em função das métricas de avaliação calculadas durante a preparação.

Siga estes passos para avaliar o modelo:

  1. Na Google Cloud consola, aceda à página BigQuery.

    Aceda ao BigQuery

  2. No editor de consultas, cole a seguinte consulta e clique em Executar:

    SELECT
  *
FROM
  ML.EVALUATE(MODEL `bqml_tutorial.mf_implicit`);

    Os resultados devem ter um aspeto semelhante ao seguinte:

    +------------------------+-----------------------+---------------------------------------+---------------------+
| mean_average_precision |  mean_squared_error   | normalized_discounted_cumulative_gain |    average_rank     |
+------------------------+-----------------------+---------------------------------------+---------------------+
|     0.4434341257478137 | 0.0013381759837648962 |                    0.9433280547112802 | 0.24031636088594222 |
+------------------------+-----------------------+---------------------------------------+---------------------+

    Para mais informações sobre o resultado da função ML.EVALUATE, consulte Resultado.

Obtenha as classificações previstas para um subconjunto de pares visitante-conteúdo

Use o ícone ML.RECOMMEND para obter a classificação prevista de cada conteúdo para cinco visitantes do site.

Siga estes passos para obter classificações previstas:

  1. Na Google Cloud consola, aceda à página BigQuery.

    Aceda ao BigQuery

  2. No editor de consultas, cole a seguinte consulta e clique em Executar:

    SELECT
  *
FROM
  ML.RECOMMEND(
    MODEL `bqml_tutorial.mf_implicit`,
    (
      SELECT
        visitorId
      FROM
        `bqml_tutorial.analytics_session_data`
      LIMIT 5
    ));

    Os resultados devem ter um aspeto semelhante ao seguinte:

    +-------------------------------+---------------------+-----------+
| predicted_rating_confidence   | visitorId           | contentId |
+-------------------------------+---------------------+-----------+
| 0.0033608418060270262         | 7337153711992174438 | 277237933 |
+-------------------------------+---------------------+-----------+
| 0.003602395397293956          | 7337153711992174438 | 158246147 |
+-------------------------------+---------------------+--  -------+
| 0.0053197670652785356         | 7337153711992174438 | 299389988 |
+-------------------------------+---------------------+-----------+
| ...                           | ...                 | ...       |
+-------------------------------+---------------------+-----------+

Gere recomendações

Use as classificações previstas para gerar os cinco principais IDs de conteúdo recomendados para cada ID de visitante.

Siga estes passos para gerar recomendações:

  1. Na Google Cloud consola, aceda à página BigQuery.

    Aceda ao BigQuery

  2. Escrever as classificações previstas numa tabela. No editor de consultas, cole a seguinte consulta e clique em Executar:

    CREATE OR REPLACE TABLE `bqml_tutorial.recommend_content`
AS
SELECT
  *
FROM
  ML.RECOMMEND(MODEL `bqml_tutorial.mf_implicit`);

  3. Selecionar os cinco principais resultados por visitante. No editor de consultas, cole a seguinte consulta e clique em Executar:

    SELECT
  visitorId,
  ARRAY_AGG(
    STRUCT(contentId, predicted_rating_confidence)
    ORDER BY predicted_rating_confidence DESC
    LIMIT 5) AS rec
FROM
  `bqml_tutorial.recommend_content`
GROUP BY
  visitorId;

    Os resultados devem ter um aspeto semelhante ao seguinte:

    +---------------------+-----------------+---------------------------------+
| visitorId           | rec:contentId   | rec:predicted_rating_confidence |
+---------------------+-----------------+-------------------------  ------+
| 867526255058981688  | 299804319       | 0.88170525357178664             |
|                     | 299935287       | 0.54699439944935124             |
|                     | 299410466       | 0.53424780863188659             |
|                     | 299826767       | 0.46949603950374219             |
|                     | 299809748       | 0.3379991197434149              |
+---------------------+-----------------+---------------------------------+
| 2434264018925667659 | 299824032       | 1.3903516407308065              |
|                     | 299410466       | 0.9921995618196483              |
|                     | 299903877       | 0.92333625294129218             |
|                     | 299816215       | 0.91856701667757279             |
|                     | 299852437       | 0.86973661454890561             |
+---------------------+-----------------+---------------------------------+
| ...                 | ...             | ...                             |
+---------------------+-----------------+---------------------------------+