Haz predicciones con modelos de PyTorch en formato ONNX

Open Neural Network Exchange (ONNX) proporciona un formato uniforme diseñado para representar cualquier framework de aprendizaje automático. La compatibilidad de BigQuery ML con ONNX te permite hacer lo siguiente:

• Entrenar un modelo con tu framework favorito.
• Convertir el modelo al formato de modelo ONNX.
• Importar el modelo ONNX a BigQuery y hacer predicciones con BigQuery ML.

En este instructivo, se muestra cómo importar modelos ONNX entrenados con PyTorch a un conjunto de datos de BigQuery y usarlos para realizar predicciones a partir de una consulta en SQL.

Importante: Debes tener una reserva para ejecutar predicciones con modelos importados y tablas de objetos. Para obtener más información, consulta las limitaciones de los modelos ONNX importados.

Opcional: Entrena un modelo y conviértelo al formato ONNX

En los siguientes ejemplos de código, se muestra cómo importar un modelo de clasificación previamente entrenado en PyTorch y cómo convertir el modelo resultante al formato ONNX. En este instructivo, se usa un modelo de ejemplo compilado previamente y almacenado en gs://cloud-samples-data/bigquery/ml/onnx/resnet18.onnx. No es necesario que completes estos pasos si usas el modelo de muestra.

Crea un modelo de visión de PyTorch para la clasificación de imágenes

Usa el siguiente muestra de código para importar un modelo resnet18 previamente entrenado de PyTorch que acepte los datos de imagen decodificados que muestran las funciones ML.DECODE_IMAGE y ML.RESIZE_IMAGE de BigQuery ML.

import torch
import torch.nn as nn

# Define model input format to match the output format of
# ML.DECODE_IMAGE function: [height, width, channels]
dummy_input = torch.randn(1, 224, 224, 3, device="cpu")

# Load a pretrained pytorch model for image classification
model = torch.hub.load('pytorch/vision:v0.10.0', 'resnet18', pretrained=True)

# Reshape input format from [batch_size, height, width, channels]
# to [batch_size, channels, height, width]
class ReshapeLayer(nn.Module):
    def __init__(self):
        super().__init__()

    def forward(self, x):
        x = x.permute(0, 3, 1, 2)  # reorder dimensions
        return x

class ArgMaxLayer(nn.Module):
    def __init__(self):
        super().__init__()

    def forward(self, x):
       return torch.argmax(x, dim=1)

final_model = nn.Sequential(
    ReshapeLayer(),
    model,
    nn.Softmax(),
    ArgMaxLayer()
)

Convierte el modelo al formato ONNX

Usa la siguiente muestra para exportar el modelo de visión de PyTorch con torch.onnx. El archivo ONNX exportado se llama resnet18.onnx.

torch.onnx.export(final_model,            # model being run
                  dummy_input,            # model input
                  "resnet18.onnx",        # where to save the model
                  opset_version=10,       # the ONNX version to export the model to
                  input_names = ['input'],         # the model's input names
                  output_names = ['class_label'])  # the model's output names

Sube el modelo ONNX a Cloud Storage.

Después de guardar el modelo, haz lo siguiente:

• Crea un bucket de Cloud Storage para almacenar el modelo.
• Sube el modelo ONNX a tu bucket de Cloud Storage.

Crea un conjunto de datos

Crea un conjunto de datos de BigQuery para almacenar tu modelo de AA.

Console

1. En la consola de Google Cloud , ve a la página BigQuery.

   Ir a la página de BigQuery

2. En el panel Explorador, haz clic en el nombre de tu proyecto.

3. Haz clic en Ver acciones > Crear conjunto de datos.

4. En la página Crear conjunto de datos, haz lo siguiente:

   • En ID del conjunto de datos, ingresa bqml_tutorial.

   • En Tipo de ubicación, selecciona Multirregión y, luego, EE.UU. (varias regiones en Estados Unidos).

   • Deja la configuración predeterminada restante como está y haz clic en Crear conjunto de datos.

bq

Para crear un conjunto de datos nuevo, usa el comando bq mk con la marca --location. Para obtener una lista completa de los parámetros posibles, consulta la referencia del comando bq mk --dataset.

1. Crea un conjunto de datos llamado bqml_tutorial con la ubicación de los datos establecida en US y una descripción de BigQuery ML tutorial dataset:

   bq --location=US mk -d \
    --description "BigQuery ML tutorial dataset." \
    bqml_tutorial

   En lugar de usar la marca --dataset, el comando usa el acceso directo -d. Si omites -d y --dataset, el comando crea un conjunto de datos de manera predeterminada.

2. Confirma que se haya creado el conjunto de datos:

   bq ls

API

Llama al método datasets.insert con un recurso de conjunto de datos definido.

{
  "datasetReference": {
     "datasetId": "bqml_tutorial"
  }
}

Permite trabajar con BigQuery DataFrames.

Antes de probar este ejemplo, sigue las instrucciones de configuración de BigQuery DataFrames en la guía de inicio rápido de BigQuery con BigQuery DataFrames. Para obtener más información, consulta la documentación de referencia de BigQuery DataFrames.

Para autenticarte en BigQuery, configura las credenciales predeterminadas de la aplicación. Si deseas obtener más información, consulta Configura ADC para un entorno de desarrollo local.

import google.cloud.bigquery

bqclient = google.cloud.bigquery.Client()
bqclient.create_dataset("bqml_tutorial", exists_ok=True)

Importa el modelo ONNX a BigQuery

En los siguientes pasos, se muestra cómo importar el modelo de ONNX de ejemplo de Cloud Storage a tu conjunto de datos con una instrucción CREATE MODEL.

Console

1. En la consola de Google Cloud , ve a la página BigQuery Studio.

   Ir a BigQuery Studio

2. En el editor de consultas, ingresa la siguiente instrucción CREATE MODEL.

   CREATE OR REPLACE MODEL `bqml_tutorial.imported_onnx_model`
    OPTIONS (MODEL_TYPE='ONNX',
     MODEL_PATH='BUCKET_PATH')

   Reemplaza BUCKET_PATH por la ruta de acceso al modelo que subiste a Cloud Storage. Si usas el modelo de muestra, reemplaza BUCKET_PATH por el siguiente valor: gs://cloud-samples-data/bigquery/ml/onnx/resnet18.onnx.

   Cuando se complete la operación, verás un mensaje similar al siguiente: Successfully created model named imported_onnx_model.

   Tu nuevo modelo aparece en el panel Recursos. Los modelos se indican con el ícono de modelo: Si seleccionas el modelo nuevo en el panel Recursos, la información sobre el modelo aparecerá junto al Editor de consultas.

   

bq

1. Importa el modelo ONNX desde Cloud Storage ingresando la siguiente declaración CREATE MODEL.

   bq query --use_legacy_sql=false \
   "CREATE OR REPLACE MODEL
     `bqml_tutorial.imported_onnx_model`
   OPTIONS
     (MODEL_TYPE='ONNX',
      MODEL_PATH='BUCKET_PATH')"

   Reemplaza BUCKET_PATH por la ruta de acceso al modelo que subiste a Cloud Storage. Si usas el modelo de muestra, reemplaza BUCKET_PATH por este valor: gs://cloud-samples-data/bigquery/ml/onnx/resnet18.onnx.

2. Después de importar el modelo, verifica que aparezca en el conjunto de datos.

   bq ls -m bqml_tutorial

   El resultado es similar a este:

   tableId               Type
   --------------------- -------
   imported_onnx_model  MODEL

Para obtener más información sobre la importación de modelos ONNX a BigQuery, incluidos los requisitos de formato y almacenamiento, consulta la declaración CREATE MODEL para importar modelos ONNX.

Crea una tabla de objetos en BigQuery para analizar los datos de imágenes

Una tabla de objetos es una tabla de solo lectura sobre objetos de datos no estructurados que residen en Cloud Storage. Las tablas de objetos te permiten analizar datos no estructurados de BigQuery.

En este instructivo, usarás la función ML.PREDICT para generar la etiqueta de clase predicha de una imagen de entrada almacenada en un bucket de Cloud Storage.

Para crear la tabla de objetos, debes hacer lo siguiente:

• Crea un bucket de Cloud Storage y sube una imagen de un pez dorado.
• Crea una conexión de recursos de Cloud que se use para acceder a la tabla de objetos.
• Otorga acceso a la cuenta de servicio de la conexión del recurso.

Crea un bucket y sube una imagen

Sigue estos pasos para crear un bucket de Cloud Storage y subir una imagen de un pez dorado.

Console

Nota: Cuando creas un bucket con la consola de Google Cloud , solo debes configurar un nombre único a nivel global para el bucket. Todos los demás pasos son opcionales o tienen parámetros de configuración predeterminados.

1. En la consola de Google Cloud , ve a la página Buckets de Cloud Storage.
   

   Ir a Buckets

2. Haz clic en Crear.

3. En la página Crear un bucket, ingresa la información de tu bucket.

   1. En la sección Primeros pasos, haz lo siguiente:

      1. En el cuadro, ingresa bqml_images.

      2. Haz clic en Continuar.

   2. En la sección Eligir dónde almacenar tus datos, haz lo siguiente:

      1. En Tipo de ubicación, selecciona Multirregión.

      2. En el menú del tipo de ubicación, selecciona US (varias regiones en Estados Unidos).

      3. Haz clic en Continuar.

   3. En la sección Elige una clase de almacenamiento para tus datos, haz lo siguiente:

      1. Selecciona Establecer una clase predeterminada.

      2. Selecciona Estándar.

      3. Haz clic en Continuar.

   4. En las secciones restantes, deja los valores predeterminados.

4. Haz clic en Crear.

Línea de comandos

Ingresa el siguiente comando gcloud storage buckets create:

gcloud storage buckets create gs://bqml_images --location=us

Si la solicitud se realiza correctamente, el comando mostrará el siguiente mensaje:

Creating gs://bqml_images/...

Sube una imagen a tu bucket de Cloud Storage

Después de crear el bucket, descarga una imagen de un pez dorado y súbela a tu bucket de Cloud Storage.

Para subir la imagen, completa los siguientes pasos:

Console

1. En la consola de Google Cloud , ve a la página Buckets de Cloud Storage.
   

   Ir a Buckets

2. En la lista de buckets, haz clic en bqml_images.

3. En la pestaña Objetos del bucket, realiza una de las siguientes acciones:

   • Arrastra el archivo desde tu escritorio o administrador de archivos al panel principal de la consola de Google Cloud .

   • Haz clic en Subir > Subir archivos, selecciona el archivo de imagen que deseas subir en el diálogo que aparece y, luego, haz clic en Abrir.

Línea de comandos

Ingresa el siguiente comando gcloud storage cp:

gcloud storage cp OBJECT_LOCATION gs://bqml_images/IMAGE_NAME

Reemplaza lo siguiente:

• OBJECT_LOCATION: Es la ruta de acceso local a tu archivo de imagen. Por ejemplo, Desktop/goldfish.jpg
• IMAGE_NAME: Es el nombre de la imagen. Por ejemplo, goldfish.jpg

Si se ejecuta de forma correcta, la respuesta se verá similar a la siguiente:

Completed files 1/1 | 164.3kiB/164.3kiB

Crea una conexión de recurso de Cloud en BigQuery

Debes tener una conexión de recursos de Cloud para conectarte a la tabla de objetos que crearás más adelante en este instructivo.

Las conexiones de recursos de Cloud te permiten consultar datos que se almacenan fuera de BigQuery en Google Cloud servicios como Cloud Storage o Spanner, o en fuentes de terceros, como AWS o Azure. Estas conexiones externas usan la API de BigQuery Connection.

Sigue estos pasos para crear la conexión de recursos de Cloud.

Console

1. Ve a la página de BigQuery Studio.

   Ir a BigQuery Studio

2. En el panel de la izquierda, haz clic en Explorar:

   

   Si no ves el panel izquierdo, haz clic en Expandir panel izquierdo para abrirlo.

3. En el panel Explorador, haz clic en Agregar datos.

   Se abrirá el diálogo Agregar datos.

4. En el panel Filtrar por, en la sección Tipo de fuente de datos, selecciona Bases de datos.

   También puedes ingresar Vertex AI en el campo Buscar fuentes de datos.

5. En la sección Fuentes de datos destacadas, haz clic en Vertex AI.

6. Haz clic en la tarjeta de solución Vertex AI Models: BigQuery Federation.

7. En la lista Tipo de conexión, selecciona Modelos remotos de Vertex AI, funciones remotas y BigLake (Cloud Resource).

8. En el campo ID de conexión, ingresa bqml_tutorial.

9. Verifica que esté seleccionada la opción Multirregional: EE.UU..

10. Haz clic en Crear conexión (Create connection).

11. En la parte inferior de la ventana, haz clic en Ir a la conexión. Como alternativa, en el panel Explorador, haz clic en Conexiones y, luego, en us.bqml_tutorial.

12. En el panel Información de conexión, copia el ID de la cuenta de servicio. Necesitarás este ID cuando configures los permisos para la conexión. Cuando creas un recurso de conexión, BigQuery crea una cuenta de servicio del sistema única y la asocia con la conexión.

bq

1. Crear una conexión

   bq mk --connection --location=US --project_id=PROJECT_ID \
       --connection_type=CLOUD_RESOURCE bqml_tutorial

   Reemplaza PROJECT_ID por el ID del proyectoGoogle Cloud . El parámetro --project_id anula el proyecto predeterminado.

   Cuando creas un recurso de conexión, BigQuery crea una cuenta de servicio del sistema única y la asocia con la conexión.

   Solución de problemas: Si recibes el siguiente error de conexión, actualiza el SDK de Google Cloud:

   Flags parsing error: flag --connection_type=CLOUD_RESOURCE: value should be one of...
   

2. Recupera y copia el ID de cuenta de servicio para usarlo en un paso posterior:

   bq show --connection PROJECT_ID.us.bqml_tutorial

   El resultado es similar a este:

   name                          properties
   1234.REGION.CONNECTION_ID {"serviceAccountId": "[e-mail]"}
   

Configura el acceso a la conexión

Otorga el rol de administrador de objetos de almacenamiento a la cuenta de servicio de la conexión de recursos de Cloud. Debes otorgar este rol en el mismo proyecto en el que subiste los archivos de imagen.

Nota: Si la conexión está en un proyecto diferente, se muestra este error: [e-mail] does not have the permission to access resource.

Para otorgar el rol, sigue estos pasos:

1. Ir a la página IAM y administración

   Ir a IAM y administración

2. Haz clic en Otorgar acceso.

3. En el campo Principales nuevas, ingresa el ID de la cuenta de servicio de la conexión de recurso de Cloud que copiaste antes.

4. En el campo Selecciona un rol, elige Cloud Storage y, luego, selecciona Administrador de objetos de Storage.

5. Haz clic en Guardar.

Crea la tabla de objetos

Sigue estos pasos para crear una tabla de objetos llamada goldfish_image_table con la imagen de pez dorado que subiste a Cloud Storage.

Console

1. Ve a la página de BigQuery Studio.

   Ir a BigQuery Studio

2. En el editor de consultas, ingresa esta consulta para crear la tabla de objetos.

   CREATE EXTERNAL TABLE `bqml_tutorial.goldfish_image_table`
   WITH CONNECTION `us.bqml_tutorial`
   OPTIONS(
   object_metadata = 'SIMPLE',
   uris = ['gs://bqml_images/IMAGE_NAME'],
   max_staleness = INTERVAL 1 DAY,
   metadata_cache_mode = 'AUTOMATIC');

   Reemplaza IMAGE_NAME por el nombre del archivo de imagen, por ejemplo, goldfish.jpg.

   Cuando se complete la operación, verás un mensaje como This statement created a new table named goldfish_image_table.

bq

1. Para crear la tabla de objetos, ingresa la siguiente instrucción CREATE EXTERNAL TABLE.

   bq query --use_legacy_sql=false \
   "CREATE EXTERNAL TABLE `bqml_tutorial.goldfish_image_table`
   WITH CONNECTION `us.bqml_tutorial`
   OPTIONS(
   object_metadata = 'SIMPLE',
   uris = ['gs://bqml_images/IMAGE_NAME'],
   max_staleness = INTERVAL 1 DAY,
   metadata_cache_mode = 'AUTOMATIC')"

   Reemplaza IMAGE_NAME por el nombre del archivo de imagen, por ejemplo, goldfish.jpg.

2. Después de crear la tabla de objetos, verifica que aparezca en el conjunto de datos.

   bq ls bqml_tutorial

   El resultado es similar a este:

   tableId               Type
   --------------------- --------
   goldfish_image_table  EXTERNAL

Para obtener más información, consulta Crea tablas de objetos.

Realiza predicciones con el modelo ONNX importado

Importante: Debes tener una reserva para ejecutar predicciones con modelos importados y tablas de objetos. Para obtener más información, consulta las limitaciones de los modelos ONNX importados.

Si no tienes una reserva, ejecutar una consulta con ML.PREDICT produce este error: BigQuery ML inference using imported models and object tables requires a reservation, but no reservations were assigned for job type `QUERY`...`.

Usas la siguiente consulta que contiene la función ML.PREDICT para realizar predicciones a partir de datos de imágenes en la tabla de objetos de entrada goldfish_image_table. Esta consulta genera la etiqueta de clase prevista de la imagen de entrada según el diccionario de etiquetas de ImageNet.

En la consulta, se requiere la función ML.DECODE_IMAGE para decodificar los datos de la imagen de modo que ML.PREDICT los pueda interpretar. Se llama a la función ML.RESIZE_IMAGE para cambiar el tamaño de la imagen y que se ajuste al tamaño de la entrada del modelo (224*224).

Para obtener más información sobre cómo ejecutar inferencias en tablas de objetos de imagen, consulta Ejecuta inferencias en tablas de objetos de imagen.

Para generar predicciones a partir de tus datos de imágenes, haz lo siguiente:

Console

1. Ve a la página de BigQuery Studio.

   Ir a BigQuery Studio

2. En el editor de consultas, ingresa la siguiente consulta de ML.PREDICT.

    SELECT
      class_label
    FROM
      ML.PREDICT(MODEL bqml_tutorial.imported_onnx_model,
        (
        SELECT
          ML.RESIZE_IMAGE(ML.DECODE_IMAGE(DATA),
            224,
            224,
            FALSE) AS input
        FROM
          bqml_tutorial.goldfish_image_table))
    

   Los resultados de la búsqueda son similares a los siguientes:

   

bq

Ingresa el siguiente comando bq query:

bq query --use_legacy_sql=false \
'SELECT
  class_label
FROM
  ML.PREDICT(MODEL `bqml_tutorial.imported_onnx_model`,
    (
    SELECT
      ML.RESIZE_IMAGE(ML.DECODE_IMAGE(DATA),
        224,
        224,
        FALSE) AS input
    FROM
      bqml_tutorial.goldfish_image_table))'