Hacer predicciones con modelos de PyTorch en formato ONNX

Open Neural Network Exchange (ONNX) proporciona un formato uniforme diseñado para representar cualquier marco de aprendizaje automático. La compatibilidad de BigQuery ML con ONNX te permite hacer lo siguiente:

• Entrena un modelo con tu framework favorito.
• Convierte el modelo al formato ONNX.
• Importa el modelo ONNX a BigQuery y haz predicciones con BigQuery ML.

En este tutorial se muestra cómo importar modelos ONNX entrenados con PyTorch a un conjunto de datos de BigQuery y usarlos para hacer predicciones a partir de una consulta SQL.

Importante: Debes tener una reserva para ejecutar predicciones con modelos y tablas de objetos importados. Para obtener más información, consulta las limitaciones de los modelos ONNX importados.

Opcional: Entrenar un modelo y convertirlo al formato ONNX

En los siguientes ejemplos de código se muestra cómo importar un modelo de clasificación preentrenado en PyTorch y cómo convertir el modelo resultante al formato ONNX. En este tutorial se usa un modelo de ejemplo precompilado almacenado en gs://cloud-samples-data/bigquery/ml/onnx/resnet18.onnx. No es necesario que completes estos pasos si utilizas el modelo de ejemplo.

Crear un modelo de visión de PyTorch para clasificar imágenes

Usa el siguiente código de ejemplo para importar un modelo resnet18 preentrenado de PyTorch que acepte datos de imagen decodificados devueltos por las funciones ML.DECODE_IMAGE y ML.RESIZE_IMAGE de BigQuery ML.

import torch
import torch.nn as nn

# Define model input format to match the output format of
# ML.DECODE_IMAGE function: [height, width, channels]
dummy_input = torch.randn(1, 224, 224, 3, device="cpu")

# Load a pretrained pytorch model for image classification
model = torch.hub.load('pytorch/vision:v0.10.0', 'resnet18', pretrained=True)

# Reshape input format from [batch_size, height, width, channels]
# to [batch_size, channels, height, width]
class ReshapeLayer(nn.Module):
    def __init__(self):
        super().__init__()

    def forward(self, x):
        x = x.permute(0, 3, 1, 2)  # reorder dimensions
        return x

class ArgMaxLayer(nn.Module):
    def __init__(self):
        super().__init__()

    def forward(self, x):
       return torch.argmax(x, dim=1)

final_model = nn.Sequential(
    ReshapeLayer(),
    model,
    nn.Softmax(),
    ArgMaxLayer()
)

Convertir el modelo al formato ONNX

Usa el siguiente ejemplo para exportar el modelo de visión de PyTorch con torch.onnx. El archivo ONNX exportado se llama resnet18.onnx.

torch.onnx.export(final_model,            # model being run
                  dummy_input,            # model input
                  "resnet18.onnx",        # where to save the model
                  opset_version=10,       # the ONNX version to export the model to
                  input_names = ['input'],         # the model's input names
                  output_names = ['class_label'])  # the model's output names

Subir el modelo ONNX a Cloud Storage

Después de guardar el modelo, haz lo siguiente:

• Crea un segmento de Cloud Storage para almacenar el modelo.
• Sube el modelo ONNX a tu segmento de Cloud Storage.

Crear conjunto de datos

Crea un conjunto de datos de BigQuery para almacenar tu modelo de aprendizaje automático.

Consola

1. En la Google Cloud consola, ve a la página BigQuery.

   Ir a la página de BigQuery

2. En el panel Explorador, haz clic en el nombre de tu proyecto.

3. Haga clic en Ver acciones > Crear conjunto de datos.

4. En la página Crear conjunto de datos, haz lo siguiente:

   • En ID del conjunto de datos, introduce bqml_tutorial.

   • En Tipo de ubicación, selecciona Multirregión y, a continuación, EE. UU. (varias regiones de Estados Unidos).

   • Deje el resto de los ajustes predeterminados como están y haga clic en Crear conjunto de datos.

bq

Para crear un conjunto de datos, usa el comando bq mk con la marca --location. Para ver una lista completa de los parámetros posibles, consulta la referencia del comando bq mk --dataset.

1. Crea un conjunto de datos llamado bqml_tutorial con la ubicación de los datos definida como US y la descripción BigQuery ML tutorial dataset:

   bq --location=US mk -d \
    --description "BigQuery ML tutorial dataset." \
    bqml_tutorial

   En lugar de usar la marca --dataset, el comando usa el acceso directo -d. Si omite -d y --dataset, el comando creará un conjunto de datos de forma predeterminada.

2. Confirma que se ha creado el conjunto de datos:

   bq ls

API

Llama al método datasets.insert con un recurso de conjunto de datos definido.

{
  "datasetReference": {
     "datasetId": "bqml_tutorial"
  }
}

BigQuery DataFrames

Antes de probar este ejemplo, sigue las instrucciones de configuración de BigQuery DataFrames que se indican en la guía de inicio rápido de BigQuery con BigQuery DataFrames. Para obtener más información, consulta la documentación de referencia de los DataFrames de BigQuery.

Para autenticarte en BigQuery, configura las credenciales predeterminadas de la aplicación. Para obtener más información, consulta Configurar ADC en un entorno de desarrollo local.

import google.cloud.bigquery

bqclient = google.cloud.bigquery.Client()
bqclient.create_dataset("bqml_tutorial", exists_ok=True)

Importar el modelo ONNX a BigQuery

En los pasos siguientes se muestra cómo importar el modelo ONNX de ejemplo de Cloud Storage a su conjunto de datos mediante una instrucción CREATE MODEL.

Consola

1. En la Google Cloud consola, ve a la página BigQuery Studio.

   Ir a BigQuery Studio

2. En el editor de consultas, introduce la siguiente instrucción CREATE MODEL.

   CREATE OR REPLACE MODEL `bqml_tutorial.imported_onnx_model`
    OPTIONS (MODEL_TYPE='ONNX',
     MODEL_PATH='BUCKET_PATH')

   Sustituye BUCKET_PATH por la ruta al modelo que has subido a Cloud Storage. Si utilizas el modelo de ejemplo, sustituye BUCKET_PATH por el siguiente valor: gs://cloud-samples-data/bigquery/ml/onnx/resnet18.onnx.

   Cuando la operación se haya completado, verás un mensaje similar al siguiente: Successfully created model named imported_onnx_model.

   El nuevo modelo aparecerá en el panel Recursos. Los modelos se indican con el icono de modelo: Si selecciona el nuevo modelo en el panel Recursos, aparecerá información sobre el modelo junto al editor de consultas.

   

bq

1. Importa el modelo ONNX de Cloud Storage introduciendo la siguiente instrucción CREATE MODEL.

   bq query --use_legacy_sql=false \
   "CREATE OR REPLACE MODEL
     `bqml_tutorial.imported_onnx_model`
   OPTIONS
     (MODEL_TYPE='ONNX',
      MODEL_PATH='BUCKET_PATH')"

   Sustituye BUCKET_PATH por la ruta al modelo que has subido a Cloud Storage. Si usas el modelo de ejemplo, sustituye BUCKET_PATH por este valor: gs://cloud-samples-data/bigquery/ml/onnx/resnet18.onnx.

2. Después de importar el modelo, comprueba que aparece en el conjunto de datos.

   bq ls -m bqml_tutorial

   El resultado debería ser similar al siguiente:

   tableId               Type
   --------------------- -------
   imported_onnx_model  MODEL

Para obtener más información sobre cómo importar modelos ONNX a BigQuery, incluidos los requisitos de formato y almacenamiento, consulta la sentencia CREATE MODEL para importar modelos ONNX.

Crear una tabla de objetos en BigQuery para analizar datos de imágenes

Una tabla de objetos es una tabla de solo lectura sobre objetos de datos no estructurados que residen en Cloud Storage. Las tablas de objetos te permiten analizar datos no estructurados de BigQuery.

En este tutorial, usarás la función ML.PREDICT para obtener la etiqueta de clase predicha de una imagen de entrada almacenada en un segmento de Cloud Storage.

Para crear la tabla de objetos, debes hacer lo siguiente:

• Crea un segmento de Cloud Storage y sube una imagen de un pez de colores.
• Crea una conexión de recursos de Cloud que se use para acceder a la tabla de objetos.
• Concede acceso a la cuenta de servicio de la conexión de recursos.

Crear un contenedor y subir una imagen

Sigue estos pasos para crear un segmento de Cloud Storage y subir una imagen de un pez de colores.

Consola

Nota: Cuando creas un segmento mediante la Google Cloud consola, solo tienes que asignarle un nombre único a nivel global. El resto de los pasos son opcionales o tienen ajustes predeterminados.

1. En la Google Cloud consola, ve a la página Segmentos de Cloud Storage.
   

   Ir a Contenedores

2. Haz clic en Crear.

3. En la página Crear un segmento, introduce la información del segmento.

   1. En la sección Empezar, haz lo siguiente:

      1. En el cuadro, escribe bqml_images.

      2. Haz clic en Continuar.

   2. En la sección Elige dónde quieres almacenar los datos, haz lo siguiente:

      1. En Tipo de ubicación, selecciona Multirregión.

      2. En el menú del tipo de ubicación, selecciona EE. UU. (varias regiones de Estados Unidos).

      3. Haz clic en Continuar.

   3. En la sección Elige una clase de almacenamiento para tus datos, haz lo siguiente:

      1. Selecciona Definir una clase predeterminada.

      2. Selecciona Estándar.

      3. Haz clic en Continuar.

   4. En las secciones restantes, deja los valores predeterminados.

4. Haz clic en Crear.

Línea de comandos

Introduce el siguiente comando gcloud storage buckets create:

gcloud storage buckets create gs://bqml_images --location=us

Si la solicitud se realiza correctamente, el comando devuelve el siguiente mensaje:

Creating gs://bqml_images/...

Subir una imagen a un segmento de Cloud Storage

Una vez creado el segmento, descarga una imagen de un pez de colores y súbela al segmento de Cloud Storage.

Sigue estos pasos para subir la imagen:

Consola

1. En la Google Cloud consola, ve a la página Segmentos de Cloud Storage.
   

   Ir a Contenedores

2. En la lista de contenedores, haz clic en bqml_images.

3. En la pestaña Objetos del contenedor, haga una de las siguientes acciones:

   • Arrastra el archivo desde el escritorio o el gestor de archivos al panel principal de la Google Cloud consola.

   • Haz clic en Subir > Subir archivos, selecciona el archivo de imagen que quieras subir en el cuadro de diálogo que aparece y, a continuación, haz clic en Abrir.

Línea de comandos

Introduce el siguiente comando gcloud storage cp:

gcloud storage cp OBJECT_LOCATION gs://bqml_images/IMAGE_NAME

Haz los cambios siguientes:

• OBJECT_LOCATION: la ruta local al archivo de imagen. Por ejemplo, Desktop/goldfish.jpg.
• IMAGE_NAME: el nombre de la imagen. Por ejemplo, goldfish.jpg.

Si la solicitud se realiza correctamente, la respuesta será similar a la siguiente:

Completed files 1/1 | 164.3kiB/164.3kiB

Crear una conexión de recursos de Cloud de BigQuery

Debes tener una conexión de recursos de Cloud para conectarte a la tabla de objetos que crearás más adelante en este tutorial.

Las conexiones de recursos de Cloud te permiten consultar datos almacenados fuera de BigQuery en Google Cloud servicios como Cloud Storage o Spanner, o en fuentes de terceros como AWS o Azure. Estas conexiones externas usan la API Connection de BigQuery.

Sigue estos pasos para crear tu conexión de recursos de Cloud.

Consola

1. Ve a la página BigQuery Studio.

   Ir a BigQuery Studio

2. En el panel de la izquierda, haz clic en Explorador:

   

   Si no ves el panel de la izquierda, haz clic en Ampliar panel de la izquierda para abrirlo.

3. En el panel Explorador, haz clic en Añadir datos.

   Se abrirá el cuadro de diálogo Añadir datos.

4. En el panel Filtrar por, en la sección Tipo de fuente de datos, selecciona Bases de datos.

   También puede introducir Vertex AI en el campo Buscar fuentes de datos.

5. En la sección Fuentes de datos destacadas, haga clic en Vertex AI.

6. Haz clic en la tarjeta de solución Modelos de Vertex AI: federación de BigQuery.

7. En la lista Tipo de conexión, selecciona Modelos remotos de Vertex AI, funciones remotas y BigLake (recurso de Cloud).

8. En el campo ID de conexión, introduce bqml_tutorial.

9. Comprueba que esté seleccionada la opción Multirregión (EE. UU.).

10. Haga clic en Crear conexión.

11. En la parte inferior de la ventana, haz clic en Ir a la conexión. También puedes hacer clic en Conexiones en el panel Explorador y, a continuación, en us.bqml_tutorial.

12. En el panel Información de la conexión, copia el ID de la cuenta de servicio. Necesitarás este ID cuando configures los permisos de la conexión. Cuando creas un recurso de conexión, BigQuery crea una cuenta de servicio del sistema única y la asocia a la conexión.

bq

1. Para crear una conexión, sigue estos pasos:

   bq mk --connection --location=US --project_id=PROJECT_ID \
       --connection_type=CLOUD_RESOURCE bqml_tutorial

   Sustituye PROJECT_ID por elGoogle Cloud ID de tu proyecto. El parámetro --project_id anula el proyecto predeterminado.

   Cuando creas un recurso de conexión, BigQuery crea una cuenta de servicio del sistema única y la asocia a la conexión.

   Solución de problemas: si aparece el siguiente error de conexión, actualiza el SDK de Google Cloud:

   Flags parsing error: flag --connection_type=CLOUD_RESOURCE: value should be one of...
   

2. Obtén y copia el ID de la cuenta de servicio para usarlo en un paso posterior:

   bq show --connection PROJECT_ID.us.bqml_tutorial

   El resultado debería ser similar al siguiente:

   name                          properties
   1234.REGION.CONNECTION_ID {"serviceAccountId": "[e-mail]"}
   

Configurar el acceso a la conexión

Concede el rol Administrador de objetos de Storage a la cuenta de servicio de la conexión de recursos de Cloud. Debe conceder este rol en el mismo proyecto en el que haya subido los archivos de imagen.

Nota: Si la conexión está en otro proyecto, se devuelve este error: [e-mail] does not have the permission to access resource.

Para conceder el rol, sigue estos pasos:

1. Ve a la página IAM y administración.

   Ir a IAM y administración

2. Haz clic en Conceder acceso.

3. En el campo Nuevos principales, introduce el ID de cuenta de servicio de la conexión de recursos de Cloud que has copiado anteriormente.

4. En el campo Selecciona un rol, elige Cloud Storage y, a continuación, Administrador de objetos de Storage.

5. Haz clic en Guardar.

Crear la tabla de objetos

Sigue estos pasos para crear una tabla de objetos llamada goldfish_image_table con la imagen del pez de colores que has subido a Cloud Storage.

Consola

1. Ve a la página BigQuery Studio.

   Ir a BigQuery Studio

2. En el editor de consultas, introduce esta consulta para crear la tabla de objetos.

   CREATE EXTERNAL TABLE `bqml_tutorial.goldfish_image_table`
   WITH CONNECTION `us.bqml_tutorial`
   OPTIONS(
   object_metadata = 'SIMPLE',
   uris = ['gs://bqml_images/IMAGE_NAME'],
   max_staleness = INTERVAL 1 DAY,
   metadata_cache_mode = 'AUTOMATIC');

   Sustituye IMAGE_NAME por el nombre del archivo de imagen; por ejemplo, goldfish.jpg.

   Cuando la operación se haya completado, verás un mensaje como This statement created a new table named goldfish_image_table.

bq

1. Crea la tabla de objetos introduciendo la siguiente instrucción CREATE EXTERNAL TABLE.

   bq query --use_legacy_sql=false \
   "CREATE EXTERNAL TABLE `bqml_tutorial.goldfish_image_table`
   WITH CONNECTION `us.bqml_tutorial`
   OPTIONS(
   object_metadata = 'SIMPLE',
   uris = ['gs://bqml_images/IMAGE_NAME'],
   max_staleness = INTERVAL 1 DAY,
   metadata_cache_mode = 'AUTOMATIC')"

   Sustituye IMAGE_NAME por el nombre del archivo de imagen; por ejemplo, goldfish.jpg.

2. Después de crear la tabla de objetos, comprueba que aparece en el conjunto de datos.

   bq ls bqml_tutorial

   El resultado debería ser similar al siguiente:

   tableId               Type
   --------------------- --------
   goldfish_image_table  EXTERNAL

Para obtener más información, consulta Crear tablas de objetos.

Hacer predicciones con el modelo ONNX importado

Importante: Debes tener una reserva para ejecutar predicciones con modelos y tablas de objetos importados. Para obtener más información, consulta las limitaciones de los modelos ONNX importados.

Si no tienes ninguna reserva, al ejecutar una consulta con ML.PREDICT se produce este error: BigQuery ML inference using imported models and object tables requires a reservation, but no reservations were assigned for job type `QUERY`...`.

Usa la siguiente consulta, que contiene la función ML.PREDICT, para hacer predicciones a partir de los datos de imagen de la tabla de objetos de entrada goldfish_image_table. Esta consulta devuelve la etiqueta de clase predicha de la imagen de entrada en función del diccionario de etiquetas de ImageNet.

En la consulta, la función ML.DECODE_IMAGE es necesaria para decodificar los datos de la imagen de forma que ML.PREDICT pueda interpretarlos. Se llama a la función ML.RESIZE_IMAGE para cambiar el tamaño de la imagen de forma que se ajuste al tamaño de la entrada del modelo (224x224).

Para obtener más información sobre cómo ejecutar inferencias en tablas de objetos de imagen, consulta Ejecutar inferencias en tablas de objetos de imagen.

Para hacer predicciones a partir de los datos de imagen, sigue estos pasos.

Consola

1. Ve a la página BigQuery Studio.

   Ir a BigQuery Studio

2. En el editor de consultas, introduce la siguiente consulta ML.PREDICT.

    SELECT
      class_label
    FROM
      ML.PREDICT(MODEL bqml_tutorial.imported_onnx_model,
        (
        SELECT
          ML.RESIZE_IMAGE(ML.DECODE_IMAGE(DATA),
            224,
            224,
            FALSE) AS input
        FROM
          bqml_tutorial.goldfish_image_table))
    

   Los resultados de la consulta son similares a los siguientes:

   

bq

Introduce el siguiente comando bq query:

bq query --use_legacy_sql=false \
'SELECT
  class_label
FROM
  ML.PREDICT(MODEL `bqml_tutorial.imported_onnx_model`,
    (
    SELECT
      ML.RESIZE_IMAGE(ML.DECODE_IMAGE(DATA),
        224,
        224,
        FALSE) AS input
    FROM
      bqml_tutorial.goldfish_image_table))'