Exporta un modelo de BigQuery ML para la predicción en línea

Nota: Exportar tus modelos no es necesario para la implementación en Vertex AI si usas Vertex AI Model Registry. Para obtener más información sobre el registro, consulta Administra modelos de BigQuery ML en Model Registry.

En este instructivo, se muestra cómo exportar un modelo de BigQuery ML y, luego, implementarlo en Vertex AI o en una máquina local. Usarás la tabla iris de los conjuntos de datos públicos de BigQuery y trabajarás en las siguientes tres situaciones de extremo a extremo:

• Entrena y, luego, implementa un modelo de regresión logística (también se aplica al clasificador de DNN, el regresor de DNN, el k-means, la regresión lineal y los modelos de factorización de matrices).
• Entrena y, luego, implementa un modelo clasificador de árbol mejorado (también se aplica al modelo regresor de árbol mejorado).
• Entrena y, luego, implementa un modelo clasificador de AutoML (también se aplica al modelo regresor de AutoML).

Crea el conjunto de datos

Crea un conjunto de datos de BigQuery para almacenar tu modelo de AA.

Console

1. En la consola de Google Cloud , ve a la página BigQuery.

   Ir a la página de BigQuery

2. En el panel Explorador, haz clic en el nombre de tu proyecto.

3. Haz clic en Ver acciones > Crear conjunto de datos.

4. En la página Crear conjunto de datos, haz lo siguiente:

   • En ID del conjunto de datos, ingresa bqml_tutorial.

   • En Tipo de ubicación, selecciona Multirregión y, luego, EE.UU. (varias regiones en Estados Unidos).

   • Deja la configuración predeterminada restante como está y haz clic en Crear conjunto de datos.

bq

Para crear un conjunto de datos nuevo, usa el comando bq mk con la marca --location. Para obtener una lista completa de los parámetros posibles, consulta la referencia del comando bq mk --dataset.

1. Crea un conjunto de datos llamado bqml_tutorial con la ubicación de los datos establecida en US y una descripción de BigQuery ML tutorial dataset:

   bq --location=US mk -d \
    --description "BigQuery ML tutorial dataset." \
    bqml_tutorial

   En lugar de usar la marca --dataset, el comando usa el acceso directo -d. Si omites -d y --dataset, el comando crea un conjunto de datos de manera predeterminada.

2. Confirma que se haya creado el conjunto de datos:

   bq ls

API

Llama al método datasets.insert con un recurso de conjunto de datos definido.

{
  "datasetReference": {
     "datasetId": "bqml_tutorial"
  }
}

Permite trabajar con BigQuery DataFrames.

Antes de probar este ejemplo, sigue las instrucciones de configuración de BigQuery DataFrames en la guía de inicio rápido de BigQuery con BigQuery DataFrames. Para obtener más información, consulta la documentación de referencia de BigQuery DataFrames.

Para autenticarte en BigQuery, configura las credenciales predeterminadas de la aplicación. Si deseas obtener más información, consulta Configura ADC para un entorno de desarrollo local.

import google.cloud.bigquery

bqclient = google.cloud.bigquery.Client()
bqclient.create_dataset("bqml_tutorial", exists_ok=True)

Entrena e implementa un modelo de regresión logística

Usa las siguientes secciones para aprender a entrenar y, luego, implementar un modelo de regresión logística.

Entrena el modelo

Entrena un modelo de regresión logística que prediga el tipo de iris mediante la declaración CREATE MODEL de BigQuery ML. Este trabajo de entrenamiento debería llevar alrededor de 1 minuto.

bq query --use_legacy_sql=false \
  'CREATE MODEL `bqml_tutorial.iris_model`
  OPTIONS (model_type="logistic_reg",
      max_iterations=10, input_label_cols=["species"])
  AS SELECT
    *
  FROM
    `bigquery-public-data.ml_datasets.iris`;'

Exporta el modelo

Exporta el modelo a un bucket de Cloud Storage mediante la herramienta de línea de comandos de bq. Para conocer más formas de exportar modelos, consulta Exporta modelos de BigQuery ML. Este trabajo de extracción debería llevar menos de 1 minuto.

bq extract -m bqml_tutorial.iris_model gs://some/gcs/path/iris_model

Implementación y entrega locales

Puedes implementar modelos exportados de TensorFlow mediante el contenedor de Docker de TensorFlow Serving. Para los siguientes pasos, debes instalar Docker.

Descarga los archivos del modelo exportado en un directorio temporal

mkdir tmp_dir
gcloud storage cp gs://some/gcs/path/iris_model tmp_dir --recursive

Crea un subdirectorio de la versión

Con este paso, se establece un número de versión (1 en este caso) para el modelo.

mkdir -p serving_dir/iris_model/1
cp -r tmp_dir/iris_model/* serving_dir/iris_model/1
rm -r tmp_dir

Extrae la imagen de Docker

docker pull tensorflow/serving

Ejecuta el contenedor de Docker

docker run -p 8500:8500 --network="host" --mount type=bind,source=`pwd`/serving_dir/iris_model,target=/models/iris_model -e MODEL_NAME=iris_model -t tensorflow/serving &

Ejecuta la predicción

curl -d '{"instances": [{"sepal_length":5.0, "sepal_width":2.0, "petal_length":3.5, "petal_width":1.0}]}' -X POST http://localhost:8501/v1/models/iris_model:predict

Implementación y entrega en línea

En esta sección, se usa la CLI de Google Cloud para implementar y ejecutar predicciones en el modelo exportado.

Si deseas obtener más información para implementar un modelo en Vertex AI para predicciones en línea o por lotes, consulta Implementa un modelo en un extremo.

Cómo crear un recurso del modelo

MODEL_NAME="IRIS_MODEL"
gcloud ai-platform models create $MODEL_NAME

Cómo crear una versión del modelo

1) Configura las variables de entorno.

MODEL_DIR="gs://some/gcs/path/iris_model"
// Select a suitable version for this model
VERSION_NAME="v1"
FRAMEWORK="TENSORFLOW"

2) Crea la versión

gcloud ai-platform versions create $VERSION_NAME --model=$MODEL_NAME --origin=$MODEL_DIR --runtime-version=1.15 --framework=$FRAMEWORK

Este paso puede llevar unos minutos en completarse. Debería aparecer el mensaje Creating version (this might take a few minutes).......

3) Obtén información sobre la versión nueva (opcional)

gcloud ai-platform versions describe $VERSION_NAME --model $MODEL_NAME

Deberías ver un resultado similar a este:

createTime: '2020-02-28T16:30:45Z'
deploymentUri: gs://your_bucket_name
framework: TENSORFLOW
machineType: mls1-c1-m2
name: projects/[YOUR-PROJECT-ID]/models/IRIS_MODEL/versions/v1
pythonVersion: '2.7'
runtimeVersion: '1.15'
state: READY

Predicción en línea

Para obtener más información sobre cómo ejecutar predicciones en línea en un modelo implementado, consulta Obtén inferencias en línea a partir de un modelo entrenado personalizado.

1) Crea un archivo JSON delimitado por saltos de línea para entradas, por ejemplo, un archivo instances.json con el siguiente contenido:

{"sepal_length":5.0, "sepal_width":2.0, "petal_length":3.5, "petal_width":1.0}
{"sepal_length":5.3, "sepal_width":3.7, "petal_length":1.5, "petal_width":0.2}

2) Configura variables de entorno para la predicción

INPUT_DATA_FILE="instances.json"

3) Ejecuta la predicción

gcloud ai-platform predict --model $MODEL_NAME --version $VERSION_NAME --json-instances $INPUT_DATA_FILE

Entrena, y luego, implementa un modelo clasificador de árbol mejorado

Usa las siguientes secciones para aprender a entrenar y, luego, implementar un modelo de clasificador de árbol potenciado.

Entrena el modelo

Entrena un modelo clasificador de árbol mejorado que prediga el tipo de iris mediante la declaración CREATE MODEL. Este trabajo de entrenamiento debería tomar alrededor de 7 minutos en completarse.

bq query --use_legacy_sql=false \
  'CREATE MODEL `bqml_tutorial.boosted_tree_iris_model`
  OPTIONS (model_type="boosted_tree_classifier",
      max_iterations=10, input_label_cols=["species"])
  AS SELECT
    *
  FROM
    `bigquery-public-data.ml_datasets.iris`;'

Exporta el modelo

Exporta el modelo a un bucket de Cloud Storage mediante la herramienta de línea de comandos de bq. Para conocer más formas de exportar modelos, consulta Exporta modelos de BigQuery ML.

bq extract --destination_format ML_XGBOOST_BOOSTER -m bqml_tutorial.boosted_tree_iris_model gs://some/gcs/path/boosted_tree_iris_model

Implementación y entrega locales

En los archivos exportados, hay un archivo main.py para la ejecución local.

Descarga los archivos del modelo exportado a un directorio local

mkdir serving_dir
gcloud storage cp gs://some/gcs/path/boosted_tree_iris_model serving_dir --recursive

Predictor de extracción

tar -xvf serving_dir/boosted_tree_iris_model/xgboost_predictor-0.1.tar.gz -C serving_dir/boosted_tree_iris_model/

Instala la biblioteca XGBoost

Instala la biblioteca XGBoost (versión 0.82 o posterior).

Ejecuta la predicción

cd serving_dir/boosted_tree_iris_model/
python main.py '[{"sepal_length":5.0, "sepal_width":2.0, "petal_length":3.5, "petal_width":1.0}]'

Implementación y entrega en línea

En esta sección, se usa la CLI de Google Cloud para implementar y ejecutar predicciones en el modelo exportado. Para obtener más información, consulta Cómo obtener inferencias en línea a partir de un modelo entrenado personalizado.

Nota: Para la entrega en Vertex AI Prediction, sigue las instrucciones de Solicita predicciones y usa los siguientes contenedores para tu región, respectivamente: 1) us-docker.pkg.dev/vertex-ai/bigquery-ml/xgboost-cpu.1-0:latest 2) europe-docker.pkg.dev/vertex-ai/bigquery-ml/xgboost-cpu.1-0:latest 3) asia-docker.pkg.dev/vertex-ai/bigquery-ml/xgboost-cpu.1-0:latest

Si deseas obtener más información para implementar un modelo en Vertex AI para predicciones en línea o por lotes con rutinas personalizadas, consulta Implementa un modelo en un extremo.

Cómo crear un recurso del modelo

MODEL_NAME="BOOSTED_TREE_IRIS_MODEL"
gcloud ai-platform models create $MODEL_NAME

Cómo crear una versión del modelo

1) Configura las variables de entorno.

MODEL_DIR="gs://some/gcs/path/boosted_tree_iris_model"
VERSION_NAME="v1"

2) Crea la versión

gcloud beta ai-platform versions create $VERSION_NAME --model=$MODEL_NAME --origin=$MODEL_DIR --package-uris=${MODEL_DIR}/xgboost_predictor-0.1.tar.gz --prediction-class=predictor.Predictor --runtime-version=1.15

Este paso puede llevar unos minutos en completarse. Debería aparecer el mensaje Creating version (this might take a few minutes).......

3) Obtén información sobre la versión nueva (opcional)

gcloud ai-platform versions describe $VERSION_NAME --model $MODEL_NAME

Deberías ver un resultado similar a este:

createTime: '2020-02-07T00:35:42Z'
deploymentUri: gs://some/gcs/path/boosted_tree_iris_model
etag: rp090ebEnQk=
machineType: mls1-c1-m2
name: projects/[YOUR-PROJECT-ID]/models/BOOSTED_TREE_IRIS_MODEL/versions/v1
packageUris:
- gs://some/gcs/path/boosted_tree_iris_model/xgboost_predictor-0.1.tar.gz
predictionClass: predictor.Predictor
pythonVersion: '2.7'
runtimeVersion: '1.15'
state: READY

Predicción en línea

Para obtener más información sobre cómo ejecutar predicciones en línea en un modelo implementado, consulta Obtén inferencias en línea a partir de un modelo entrenado personalizado.

1) Crea un archivo JSON delimitado por saltos de línea para entradas, por ejemplo, un archivo instances.json con el siguiente contenido:

{"sepal_length":5.0, "sepal_width":2.0, "petal_length":3.5, "petal_width":1.0}
{"sepal_length":5.3, "sepal_width":3.7, "petal_length":1.5, "petal_width":0.2}

2) Configura variables de entorno para predecir

INPUT_DATA_FILE="instances.json"

3) Ejecuta la predicción

gcloud ai-platform predict --model $MODEL_NAME --version $VERSION_NAME --json-instances $INPUT_DATA_FILE

Entrena e implementa un modelo clasificador de AutoML

Usa las siguientes secciones para aprender a entrenar e implementar un modelo de clasificador de AutoML.

Entrena el modelo

Entrena un modelo clasificador de AutoML que prediga el tipo de iris mediante la sentencia CREATE MODEL. Los modelos de AutoML necesitan al menos 1,000 filas de datos de entrada. Debido a que ml_datasets.iris solo tiene 150 filas, duplicamos los datos 10 veces. Este trabajo de entrenamiento debería tomar alrededor de 2 horas en completarse.

bq query --use_legacy_sql=false \
  'CREATE MODEL `bqml_tutorial.automl_iris_model`
  OPTIONS (model_type="automl_classifier",
      budget_hours=1, input_label_cols=["species"])
  AS SELECT
    * EXCEPT(multiplier)
  FROM
    `bigquery-public-data.ml_datasets.iris`, unnest(GENERATE_ARRAY(1, 10)) as multiplier;'

Exporta el modelo

Exporta el modelo a un bucket de Cloud Storage mediante la herramienta de línea de comandos de bq. Para conocer más formas de exportar modelos, consulta Exporta modelos de BigQuery ML.

bq extract -m bqml_tutorial.automl_iris_model gs://some/gcs/path/automl_iris_model

Implementación y entrega locales

Para obtener detalles sobre la compilación de contenedores de AutoML, consulta Exporta modelos. Para los siguientes pasos, debes instalar Docker.

Copia los archivos del modelo exportado a un directorio local

mkdir automl_serving_dir
gcloud storage cp gs://some/gcs/path/automl_iris_model/* automl_serving_dir/ --recursive

Extrae una imagen de Docker de Auto ML

docker pull gcr.io/cloud-automl-tables-public/model_server

Inicia el contenedor de Docker

docker run -v `pwd`/automl_serving_dir:/models/default/0000001 -p 8080:8080 -it gcr.io/cloud-automl-tables-public/model_server

Ejecuta la predicción

1) Crea un archivo JSON delimitado por saltos de línea para entradas, por ejemplo, un archivo input.json con el siguiente contenido:

{"instances": [{"sepal_length":5.0, "sepal_width":2.0, "petal_length":3.5, "petal_width":1.0},
{"sepal_length":5.3, "sepal_width":3.7, "petal_length":1.5, "petal_width":0.2}]}

2) Realiza la llamada de predicción:

curl -X POST --data @input.json http://localhost:8080/predict

Implementación y entrega en línea

La predicción en línea para los modelos regresor de AutoML y clasificador de AutoML no es compatible con Vertex AI.