Preveja uma única série cronológica com um modelo univariado ARIMA_PLUS

Este tutorial ensina a usar um ARIMA_PLUSmodelo de série temporal univariado para prever o valor futuro de uma determinada coluna com base nos valores do histórico dessa coluna.

Este tutorial prevê um único intervalo temporal. Os valores previstos são calculados uma vez para cada ponto temporal nos dados de entrada.

Este tutorial usa dados da bigquery-public-data.google_analytics_sample.ga_sessionstabela de exemplo pública. Esta tabela contém dados de comércio eletrónico ocultos da Google Merchandise Store.

Crie um conjunto de dados

Crie um conjunto de dados do BigQuery para armazenar o seu modelo de ML.

Consola

1. Na Google Cloud consola, aceda à página BigQuery.

   Aceda à página do BigQuery

2. No painel Explorador, clique no nome do projeto.

3. Clique em Ver ações > Criar conjunto de dados

4. Na página Criar conjunto de dados, faça o seguinte:

   • Para o ID do conjunto de dados, introduza bqml_tutorial.

   • Em Tipo de localização, selecione Várias regiões e, de seguida, selecione EUA (várias regiões nos Estados Unidos).

   • Deixe as restantes predefinições como estão e clique em Criar conjunto de dados.

bq

Para criar um novo conjunto de dados, use o comando bq mk com a flag --location. Para uma lista completa de parâmetros possíveis, consulte a referência do comando bq mk --dataset.

1. Crie um conjunto de dados com o nome bqml_tutorial com a localização dos dados definida como US e uma descrição de BigQuery ML tutorial dataset:

   bq --location=US mk -d \
    --description "BigQuery ML tutorial dataset." \
    bqml_tutorial

   Em vez de usar a flag --dataset, o comando usa o atalho -d. Se omitir -d e --dataset, o comando cria um conjunto de dados por predefinição.

2. Confirme que o conjunto de dados foi criado:

   bq ls

API

Chame o método datasets.insert com um recurso de conjunto de dados definido.

{
  "datasetReference": {
     "datasetId": "bqml_tutorial"
  }
}

DataFrames do BigQuery

Antes de experimentar este exemplo, siga as instruções de configuração dos DataFrames do BigQuery no início rápido do BigQuery com os DataFrames do BigQuery. Para mais informações, consulte a documentação de referência do BigQuery DataFrames.

Para se autenticar no BigQuery, configure as Credenciais padrão da aplicação. Para mais informações, consulte o artigo Configure o ADC para um ambiente de desenvolvimento local.

import google.cloud.bigquery

bqclient = google.cloud.bigquery.Client()
bqclient.create_dataset("bqml_tutorial", exists_ok=True)

Visualize os dados de entrada

Antes de criar o modelo, pode visualizar opcionalmente os dados de séries cronológicas de entrada para ter uma ideia da distribuição. Pode fazê-lo através do Looker Studio.

Siga estes passos para visualizar os dados de séries cronológicas:

SQL

Na consulta GoogleSQL seguinte, a declaração SELECT analisa a coluna date da tabela de entrada para o tipo TIMESTAMP, muda-lhe o nome para parsed_date e usa a cláusula SUM(...) e a cláusula GROUP BY date para criar um valor totals.visits diário.

1. Na Google Cloud consola, aceda à página BigQuery.

   Aceda ao BigQuery

2. No editor de consultas, cole a seguinte consulta e clique em Executar:

   SELECT
   PARSE_TIMESTAMP("%Y%m%d", date) AS parsed_date,
   SUM(totals.visits) AS total_visits
   FROM
   `bigquery-public-data.google_analytics_sample.ga_sessions_*`
   GROUP BY date;

   1. Quando a consulta estiver concluída, clique em Explorar dados > Explorar com o Looker Studio. O Looker Studio é aberto num novo separador. Conclua os seguintes passos no novo separador.

   2. No Looker Studio, clique em Inserir > Gráfico de intervalos temporais.

   3. No painel Gráfico, escolha o separador Configuração.

   4. Na secção Métrica, adicione o campo total_visits e remova a métrica Contagem de registos predefinida. O gráfico resultante tem um aspeto semelhante ao seguinte:

      

      Ao analisar o gráfico, pode ver que a série cronológica de entrada tem um padrão sazonal semanal.

      Nota: para mais informações sobre o apoio técnico do Looker Studio, consulte o artigo Integrações do apoio técnico do Looker com Google Cloud.

DataFrames do BigQuery

Antes de experimentar este exemplo, siga as instruções de configuração dos DataFrames do BigQuery no início rápido do BigQuery com os DataFrames do BigQuery. Para mais informações, consulte a documentação de referência do BigQuery DataFrames.

Para se autenticar no BigQuery, configure as Credenciais padrão da aplicação. Para mais informações, consulte o artigo Configure o ADC para um ambiente de desenvolvimento local.

import bigframes.pandas as bpd

# Start by loading the historical data from BigQuerythat you want to analyze and forecast.
# This clause indicates that you are querying the ga_sessions_* tables in the google_analytics_sample dataset.
# Read and visualize the time series you want to forecast.
df = bpd.read_gbq("bigquery-public-data.google_analytics_sample.ga_sessions_*")
parsed_date = bpd.to_datetime(df.date, format="%Y%m%d", utc=True)
parsed_date.name = "parsed_date"
visits = df["totals"].struct.field("visits")
visits.name = "total_visits"
total_visits = visits.groupby(parsed_date).sum()

# Expected output: total_visits.head()
# parsed_date
# 2016-08-01 00:00:00+00:00    1711
# 2016-08-02 00:00:00+00:00    2140
# 2016-08-03 00:00:00+00:00    2890
# 2016-08-04 00:00:00+00:00    3161
# 2016-08-05 00:00:00+00:00    2702
# Name: total_visits, dtype: Int64

total_visits.plot.line()

O resultado é semelhante ao seguinte:

Crie o modelo de séries cronológicas

Crie um modelo de séries cronológicas para prever o total de visitas ao site, representado pela coluna totals.visits, e prepare-o com os dados do Google Analytics 360.

SQL

Na consulta seguinte, a cláusula OPTIONS(model_type='ARIMA_PLUS', time_series_timestamp_col='date', ...) indica que está a criar um modelo de série cronológica baseado em ARIMA. A opção auto_arima da declaração CREATE MODEL tem como predefinição TRUE, pelo que o algoritmo auto.ARIMA ajusta automaticamente os hiperparâmetros no modelo. O algoritmo ajusta dezenas de modelos candidatos e escolhe o melhor modelo, que é o modelo com o critério de informação de Akaike (AIC) mais baixo. A opção data_frequency das declarações CREATE MODEL tem como predefinição AUTO_FREQUENCY, pelo que o processo de preparação infere automaticamente a frequência dos dados da série cronológica de entrada. A opção decompose_time_series da declaração CREATE MODEL tem como predefinição TRUE, para que as informações sobre os dados da série cronológica sejam devolvidas quando avaliar o modelo no passo seguinte.

Siga estes passos para criar o modelo:

1. Na Google Cloud consola, aceda à página BigQuery.

   Aceda ao BigQuery

2. No editor de consultas, cole a seguinte consulta e clique em Executar:

   CREATE OR REPLACE MODEL `bqml_tutorial.ga_arima_model`
   OPTIONS
   (model_type = 'ARIMA_PLUS',
    time_series_timestamp_col = 'parsed_date',
    time_series_data_col = 'total_visits',
    auto_arima = TRUE,
    data_frequency = 'AUTO_FREQUENCY',
    decompose_time_series = TRUE
   ) AS
   SELECT
   PARSE_TIMESTAMP("%Y%m%d", date) AS parsed_date,
   SUM(totals.visits) AS total_visits
   FROM
   `bigquery-public-data.google_analytics_sample.ga_sessions_*`
   GROUP BY date;

   A consulta demora cerca de 4 segundos a ser concluída. Depois disso, pode aceder ao ga_arima_model modelo. Uma vez que a consulta usa uma declaração CREATE MODEL para criar um modelo, não vê os resultados da consulta.

Nota: pode perguntar-se se os feriados nos Estados Unidos têm um impacto na série cronológica. Pode tentar definir a opção holiday_region da declaração CREATE MODEL como US. A definição desta opção permite uma modelagem mais precisa dos pontos temporais de feriados se existirem padrões de feriados na série temporal.

DataFrames do BigQuery

Antes de experimentar este exemplo, siga as instruções de configuração dos DataFrames do BigQuery no início rápido do BigQuery com os DataFrames do BigQuery. Para mais informações, consulte a documentação de referência do BigQuery DataFrames.

Para se autenticar no BigQuery, configure as Credenciais padrão da aplicação. Para mais informações, consulte o artigo Configure o ADC para um ambiente de desenvolvimento local.

from bigframes.ml import forecasting
import bigframes.pandas as bpd

# Create a time series model to forecast total site visits:
# The auto_arima option defaults to True, so the auto.ARIMA algorithm automatically
# tunes the hyperparameters in the model.
# The data_frequency option defaults to 'auto_frequency so the training
# process automatically infers the data frequency of the input time series.
# The decompose_time_series option defaults to True, so that information about
# the time series data is returned when you evaluate the model in the next step.
model = forecasting.ARIMAPlus()
model.auto_arima = True
model.data_frequency = "auto_frequency"
model.decompose_time_series = True

# Use the data loaded in the previous step to fit the model
training_data = total_visits.to_frame().reset_index(drop=False)

X = training_data[["parsed_date"]]
y = training_data[["total_visits"]]

model.fit(X, y)

Avalie os modelos candidatos

SQL

Avalie os modelos de séries cronológicas através da função ML.ARIMA_EVALUATE. A função ML.ARIMA_EVALUATE mostra as métricas de avaliação de todos os modelos candidatos avaliados durante o processo de otimização automática de hiperparâmetros.

Siga estes passos para avaliar o modelo:

1. Na Google Cloud consola, aceda à página BigQuery.

   Aceda ao BigQuery

2. No editor de consultas, cole a seguinte consulta e clique em Executar:

   SELECT
   *
   FROM
   ML.ARIMA_EVALUATE(MODEL `bqml_tutorial.ga_arima_model`);

   Os resultados devem ter um aspeto semelhante ao seguinte:

   

DataFrames do BigQuery

Antes de experimentar este exemplo, siga as instruções de configuração dos DataFrames do BigQuery no início rápido do BigQuery com os DataFrames do BigQuery. Para mais informações, consulte a documentação de referência do BigQuery DataFrames.

Para se autenticar no BigQuery, configure as Credenciais padrão da aplicação. Para mais informações, consulte o artigo Configure o ADC para um ambiente de desenvolvimento local.

# Evaluate the time series models by using the summary() function. The summary()
# function shows you the evaluation metrics of all the candidate models evaluated
# during the process of automatic hyperparameter tuning.
summary = model.summary(
    show_all_candidate_models=True,
)
print(summary.peek())

# Expected output:
# row   non_seasonal_p	non_seasonal_d	non_seasonal_q	has_drift	log_likelihood	AIC	variance	seasonal_periods	has_holiday_effect	has_spikes_and_dips	has_step_changes	error_message
#  0	      0	              1	               3	      True	     -2464.255656	4938.511313	     42772.506055	        ['WEEKLY']	            False	        False	            True
#  1	      2	              1	               0	      False	     -2473.141651	4952.283303	     44942.416463	        ['WEEKLY']	            False	        False	            True
#  2	      1	              1	               0 	      False	     -2479.880885	4963.76177	     46642.953433	        ['WEEKLY']	            False	        False	            True
#  3	      0	              1	               1	      False	     -2470.632377	4945.264753	     44319.379307	        ['WEEKLY']	            False	        False	            True
#  4	      2	              1	               1	      True	     -2463.671247	4937.342493	     42633.299513	        ['WEEKLY']	            False	        False	            True

As colunas de saída non_seasonal_p, non_seasonal_d, non_seasonal_q e has_drift definem um modelo ARIMA no pipeline de preparação. As colunas de saída log_likelihood, AIC e variance são relevantes para o processo de ajuste do modelo ARIMA.

O algoritmo auto.ARIMA usa o teste KPSS para determinar o melhor valor para non_seasonal_d, que, neste caso, é 1. Quando non_seasonal_d é 1, o algoritmo auto.ARIMA prepara 42 modelos ARIMA candidatos diferentes em paralelo. Neste exemplo, todos os 42 modelos candidatos são válidos, pelo que a saída contém 42 linhas, uma para cada modelo ARIMA candidato. Nos casos em que alguns dos modelos não são válidos, são excluídos da saída. Estes modelos candidatos são devolvidos por ordem ascendente de AIC. O modelo na primeira linha tem o AIC mais baixo e é considerado o melhor modelo. O melhor modelo é guardado como o modelo final e é usado quando chama funções como ML.FORECAST no modelo

A coluna seasonal_periods contém informações sobre o padrão sazonal identificado nos dados de séries cronológicas. Não tem nada a ver com a modelagem ARIMA, pelo que tem o mesmo valor em todas as linhas de saída. Comunica um padrão semanal, o que concorda com os resultados que viu se optou por visualizar os dados de entrada.

As colunas has_holiday_effect, has_spikes_and_dips e has_step_changes só são preenchidas quando decompose_time_series=TRUE. Estas colunas também refletem informações sobre os dados de séries cronológicas de entrada e não estão relacionadas com a modelagem ARIMA. Estas colunas também têm os mesmos valores em todas as linhas de saída.

A coluna error_message mostra os erros ocorridos durante o processo de ajuste.auto.ARIMA Um dos motivos possíveis para os erros é quando as colunas non_seasonal_p, non_seasonal_d, non_seasonal_q e has_drift selecionadas não conseguem estabilizar a série cronológica. Para obter a mensagem de erro de todos os modelos candidatos, defina a opção show_all_candidate_models como TRUE quando criar o modelo.

Para mais informações sobre as colunas de saída, consulte a função ML.ARIMA_EVALUATE.

Inspecione os coeficientes do modelo

SQL

Inspeccione os coeficientes do modelo de séries cronológicas através da função ML.ARIMA_COEFFICIENTS.

Siga estes passos para obter os coeficientes do modelo:

1. Na Google Cloud consola, aceda à página BigQuery.

   Aceda ao BigQuery

2. No editor de consultas, cole a seguinte consulta e clique em Executar:

   SELECT
   *
   FROM
   ML.ARIMA_COEFFICIENTS(MODEL `bqml_tutorial.ga_arima_model`);

A coluna de saída ar_coefficients mostra os coeficientes do modelo da parte autorregressiva (AR) do modelo ARIMA. Da mesma forma, a coluna ma_coefficientsoutput mostra os coeficientes do modelo da parte de média móvel (MA) do modelo ARIMA. Ambas as colunas contêm valores de matriz, cujos comprimentos são iguais a non_seasonal_p e non_seasonal_q, respetivamente. No resultado da função ML.ARIMA_EVALUATE, viu que o melhor modelo tem um valor non_seasonal_p de 2 e um valor non_seasonal_q de 3. Por conseguinte, na saída ML.ARIMA_COEFFICIENTS, o valor ar_coefficients é uma matriz de 2 elementos e o valor ma_coefficients é uma matriz de 3 elementos. O valor intercept_or_drift é o termo constante no modelo ARIMA.

Para mais informações sobre as colunas de saída, consulte a função ML.ARIMA_COEFFICIENTS.

DataFrames do BigQuery

Inspeccione os coeficientes do modelo de séries cronológicas através da função coef_.

Antes de experimentar este exemplo, siga as instruções de configuração dos DataFrames do BigQuery no início rápido do BigQuery com os DataFrames do BigQuery. Para mais informações, consulte a documentação de referência do BigQuery DataFrames.

Para se autenticar no BigQuery, configure as Credenciais padrão da aplicação. Para mais informações, consulte o artigo Configure o ADC para um ambiente de desenvolvimento local.

coef = model.coef_
print(coef.peek())

# Expected output:
#       ar_coefficients   ma_coefficients   intercept_or_drift
#   0	 [0.40944762]	   [-0.81168198]	      0.0

A coluna de saída ar_coefficients mostra os coeficientes do modelo da parte autorregressiva (AR) do modelo ARIMA. Da mesma forma, a coluna ma_coefficientsoutput mostra os coeficientes do modelo da parte de média móvel (MA) do modelo ARIMA. Ambas as colunas contêm valores de matriz, cujos comprimentos são iguais a non_seasonal_p e non_seasonal_q, respetivamente.

Use o modelo para prever dados

SQL

Preveja valores de séries cronológicas futuras através da função ML.FORECAST.

Na consulta GoogleSQL seguinte, a cláusula STRUCT(30 AS horizon, 0.8 AS confidence_level)indica que a consulta prevê 30 pontos temporais futuros e gera um intervalo de previsão com um nível de confiança de 80%.

Siga estes passos para prever dados com o modelo:

1. Na Google Cloud consola, aceda à página BigQuery.

   Aceda ao BigQuery

2. No editor de consultas, cole a seguinte consulta e clique em Executar:

   SELECT
   *
   FROM
   ML.FORECAST(MODEL `bqml_tutorial.ga_arima_model`,
             STRUCT(30 AS horizon, 0.8 AS confidence_level));

   Os resultados devem ter um aspeto semelhante ao seguinte:

   

DataFrames do BigQuery

Preveja valores de séries cronológicas futuros através da função predict.

Antes de experimentar este exemplo, siga as instruções de configuração dos DataFrames do BigQuery no início rápido do BigQuery com os DataFrames do BigQuery. Para mais informações, consulte a documentação de referência do BigQuery DataFrames.

Para se autenticar no BigQuery, configure as Credenciais padrão da aplicação. Para mais informações, consulte o artigo Configure o ADC para um ambiente de desenvolvimento local.

prediction = model.predict(horizon=30, confidence_level=0.8)

print(prediction.peek())
# Expected output:
#           forecast_timestamp	   forecast_value	standard_error	confidence_level	prediction_interval_lower_bound	    prediction_interval_upper_bound	    confidence_interval_lower_bound	    confidence_interval_upper_bound
# 11	2017-08-13 00:00:00+00:00	1845.439732	      328.060405	      0.8	                 1424.772257	                      2266.107208	                     1424.772257	                     2266.107208
# 29	2017-08-31 00:00:00+00:00	2615.993932	      431.286628	      0.8	                 2062.960849	                      3169.027015	                     2062.960849	                     3169.027015
# 7	    2017-08-09 00:00:00+00:00	2639.285993	      300.301186	      0.8	                 2254.213792	                      3024.358193	                     2254.213792	                     3024.358193
# 25	2017-08-27 00:00:00+00:00	1853.735689	      410.596551	      0.8	                 1327.233216	                      2380.238162	                     1327.233216	                     2380.238162
# 1	    2017-08-03 00:00:00+00:00	2621.33159	      241.093355	      0.8	                 2312.180802	                      2930.482379	                     2312.180802	                     2930.482379

As linhas de saída estão por ordem cronológica do valor da coluna forecast_timestamp. Na previsão de séries cronológicas, o intervalo de previsão, representado pelos valores das colunas prediction_interval_lower_bound e prediction_interval_upper_bound, é tão importante quanto o valor da coluna forecast_value. O valor forecast_value é o ponto médio do intervalo de previsão. O intervalo de previsão depende dos valores das colunas standard_error e confidence_level.

Para mais informações sobre as colunas de saída, consulte a função ML.FORECAST.

Explicar os resultados da previsão

SQL

Pode obter métricas de explicabilidade, além dos dados de previsão, usando a função ML.EXPLAIN_FORECAST. A função ML.EXPLAIN_FORECAST prevê valores de séries cronológicas futuras e também devolve todos os componentes separados das séries cronológicas.

Semelhante à função ML.FORECAST, a cláusula STRUCT(30 AS horizon, 0.8 AS confidence_level) usada na função ML.EXPLAIN_FORECAST indica que a consulta prevê 30 pontos temporais futuros e gera um intervalo de previsão com 80% de confiança.

Siga estes passos para explicar os resultados do modelo:

1. Na Google Cloud consola, aceda à página BigQuery.

   Aceda ao BigQuery

2. No editor de consultas, cole a seguinte consulta e clique em Executar:

   SELECT
   *
   FROM
   ML.EXPLAIN_FORECAST(MODEL `bqml_tutorial.ga_arima_model`,
    STRUCT(30 AS horizon, 0.8 AS confidence_level));

   Os resultados devem ter um aspeto semelhante ao seguinte:

   

   As linhas de saída são ordenadas cronologicamente pelo valor da coluna time_series_timestamp.

   Para mais informações sobre as colunas de saída, consulte a função ML.EXPLAIN_FORECAST.

DataFrames do BigQuery

Pode obter métricas de explicabilidade, além dos dados de previsão, usando a função predict_explain. A função predict_explain prevê valores futuros de séries cronológicas e também devolve todos os componentes separados das séries cronológicas.

Semelhante à função predict, a cláusula horizon=30, confidence_level=0.8 usada na função predict_explain indica que a consulta prevê 30 pontos temporais futuros e gera um intervalo de previsão com 80% de confiança.

Antes de experimentar este exemplo, siga as instruções de configuração dos DataFrames do BigQuery no início rápido do BigQuery com os DataFrames do BigQuery. Para mais informações, consulte a documentação de referência do BigQuery DataFrames.

Para se autenticar no BigQuery, configure as Credenciais padrão da aplicação. Para mais informações, consulte o artigo Configure o ADC para um ambiente de desenvolvimento local.

ex_pred = model.predict_explain(horizon=30, confidence_level=0.8)

print(ex_pred.head(4))
# Expected output:
#       time_series_timestamp	  time_series_type	    time_series_data	time_series_adjusted_data	 standard_error	   confidence_level	   prediction_interval_lower_bound	   prediction_interval_upper_bound	  trend	   seasonal_period_yearly	  seasonal_period_quarterly	    seasonal_period_monthly	   seasonal_period_weekly	  seasonal_period_daily	    holiday_effect	   spikes_and_dips	   step_changes	   residual
# 0	  2016-08-01 00:00:00+00:00	      history	             1711.0	               505.716474	           206.939556	         <NA>	                    <NA>	                            <NA>	               0.0	           <NA>	                        <NA>	                     <NA>	                 169.611938	                  <NA>	                <NA>	            <NA>	       1205.283526	   336.104536
# 1	  2016-08-02 00:00:00+00:00	      history	             2140.0	               623.137701	           206.939556	         <NA>	                    <NA>	                            <NA>	            336.104428	       <NA>	                        <NA>	                     <NA>	                 287.033273	                  <NA>	                <NA>	            <NA>	       1205.283526	   311.578773
# 2	  2016-08-03 00:00:00+00:00	      history	             2890.0	               1008.655091	           206.939556	         <NA>	                    <NA>	                            <NA>	            563.514213	       <NA>	                        <NA>	                     <NA>	                 445.140878	                  <NA>	                <NA>	            <NA>	       1205.283526	   676.061383
# 3	  2016-08-04 00:00:00+00:00	      history	             3161.0	               1389.40959	           206.939556	         <NA>	                    <NA>	                            <NA>	            986.317236	       <NA>	                        <NA>	                     <NA>	                 403.092354	                  <NA>	                <NA>	            <NA>	       1205.283526	   566.306884
# 4	  2016-08-05 00:00:00+00:00	      history	             2702.0	               1394.395741	           206.939556	         <NA>	                    <NA>	                            <NA>	            1248.707386	       <NA>	                        <NA>	                     <NA>	                 145.688355	                  <NA>	                <NA>	            <NA>	       1205.283526	   102.320733
# 5	  2016-08-06 00:00:00+00:00	      history	             1663.0	               437.09243	           206.939556	         <NA>	                    <NA>	                            <NA>	            1188.59004	       <NA>	                        <NA>	                     <NA>	                 -751.49761	                  <NA>	                <NA>	            <NA>	       1205.283526	    20.624044

Se quiser visualizar os resultados, pode usar o Looker Studio, conforme descrito na secção Visualize os dados de entrada para criar um gráfico com as seguintes colunas como métricas:

• time_series_data
• prediction_interval_lower_bound
• prediction_interval_upper_bound
• trend
• seasonal_period_weekly
• step_changes