Visão geral da inferência de modelos

Neste documento, descrevemos os tipos de inferência em lote compatíveis com o BigQuery ML, que incluem o seguinte:

A inferência de machine learning é o processo de execução de pontos de dados em um modelo de machine learning para calcular uma saída, como uma única pontuação numérica. Esse processo também é conhecido como "operar um modelo de machine learning" ou "colocar um modelo de machine learning em produção".

Previsão em lote

Nas seções a seguir, descrevemos as maneiras disponíveis de realizar a previsão no BigQuery ML.

Inferência usando modelos treinados do BigQuery ML

A predição no BigQuery ML é usada não apenas para modelos de aprendizado supervisionado, mas também não supervisionados.

O BigQuery ML é compatível com funcionalidades de previsão por meio da função ML.PREDICT com os seguintes modelos:

Categoria do modelo Tipos de modelos O que ML.PREDICT faz
Aprendizado supervisionado Regressão linear e logística

Árvores aprimoradas

Floresta aleatória

Redes neurais profundas

Amplitude e profundidade

Tabelas do AutoML 		Prever o rótulo, seja um valor numérico para tarefas de regressão ou um valor categórico para tarefas de classificação.
Aprendizado não supervisionado K-means Atribua o cluster à entidade.
PCA Aplique a redução de dimensionalidade à entidade transformando-a no espaço estendido pelos autovetores.
Codificador automático Transforme a entidade no espaço incorporado.

Inferência usando modelos importados

Com essa abordagem, você cria e treina um modelo fora do BigQuery, importa-o usando a instrução CREATE MODEL e, em seguida, executa a inferência usando a função ML.PREDICT. Todo o processamento de inferência ocorre no BigQuery, usando dados do BigQuery. Os modelos importados podem realizar aprendizado supervisionado ou não supervisionado.

O BigQuery ML é compatível com os seguintes tipos de modelos importados:

Use essa abordagem para usar modelos personalizados desenvolvidos com uma variedade de frameworks de ML e aproveitar a velocidade de inferência e a colocalização do BigQuery ML com dados.

Para saber mais, siga um dos seguintes tutoriais:

Inferência usando modelos remotos

Com essa abordagem, você pode criar uma referência a um modelo hospedado na Vertex AI Inference usando a instrução CREATE MODELe, em seguida, executar a inferência usando a função ML.PREDICT. Todo o processamento de inferência ocorre na Agent Platform, usando dados do BigQuery. Os modelos remotos podem realizar aprendizado supervisionado ou aprendizagem não supervisionada.

Use essa abordagem para executar a inferência em modelos grandes que exigem o suporte de hardware da GPU fornecido pela Agent Platform. Se a maioria dos seus modelos for hospedada pelo Agent Platform, isso também permitirá que você execute inferência nesses modelos usando SQL, sem precisar criar pipelines de dados manualmente para enviar dados ao Agent Platform e gerar resultados de previsão de volta ao BigQuery.

Para instruções detalhadas, consulte Fazer previsões com modelos remotos no Agent Platform.

Inferência em lote com modelos do BigQuery na Agent Platform

O BigQuery ML tem suporte integrado à predição em lote, sem a necessidade de usar a Agent Platform. Também é possível registrar um modelo do BigQuery ML no Model Registry para realizar a predição em lote na Agent Platform usando uma tabela do BigQuery como entrada. No entanto, isso só pode ser feito usando a API da Agent Platform e definindo InstanceConfig.instanceType como object.

Previsão on-line

A capacidade de inferência integrada do BigQuery ML é otimizada para casos de uso de grande escala, como previsão em lote. O BigQuery ML oferece resultados de inferência de baixa latência ao lidar com dados de entrada pequenos, mas é possível fazer previsões on-line mais rápidas usando a integração perfeita com a plataforma de agentes do Gemini Enterprise.

É possível gerenciar modelos do BigQuery ML no ambiente da plataforma de agentes do Gemini Enterprise, o que elimina a necessidade de exportar modelos do BigQuery ML antes de implantá-los como endpoints da plataforma de agentes do Gemini Enterprise. Ao gerenciar modelos no Gemini Enterprise Agent Platform, você tem acesso a todos os recursos de MLOps do Gemini Enterprise Agent Platform, além de recursos como o Vertex AI Feature Store.

Além disso, você tem a flexibilidade de exportar modelos do BigQuery ML para o Cloud Storage para disponibilidade em outras plataformas de hospedagem de modelos.

A seguir