Visão geral de como receber inferências na Vertex AI

Uma inferência é a saída de um modelo de machine learning treinado. Nesta página, fornecemos uma visão geral do fluxo de trabalho para receber inferências dos seus modelos na Vertex AI.

A Vertex AI oferece dois métodos para receber inferências:

  • As inferências on-line são solicitações síncronas feitas em um modelo implantado em um Endpoint. Portanto, antes de enviar uma solicitação, é necessário implantar o recurso Model em um endpoint. Isso associa recursos de computação ao modelo para que ele possa veicular inferências on-line com baixa latência. Use inferências on-line ao fazer solicitações em resposta à entrada do aplicativo ou em situações que exigem inferência em tempo hábil.
  • As inferências em lote são solicitações assíncronas feitas em um modelo que não está implantado em um endpoint. Você envia a solicitação (como um recurso BatchPredictionJob) diretamente ao recurso Model. Use inferências em lote quando não precisar de uma resposta imediata e quiser processar dados acumulados com uma única solicitação.

Receber inferências de modelos treinados personalizados

Para receber inferências, primeiro importe seu modelo. Depois de importada, ela se torna um recurso Model visível no Vertex AI Model Registry.

Em seguida, leia a seguinte documentação para saber como receber inferências:

Receber inferências de modelos do AutoML

Ao contrário dos modelos treinados personalizados, os modelos do AutoML são importados automaticamente para o Vertex AI Model Registry após o treinamento.

Fora isso, o fluxo de trabalho para os modelos do AutoML é semelhante, mas varia um pouco com base no tipo de dados e no objetivo do modelo. A documentação para receber inferências do AutoML está localizada ao lado da outra documentação do AutoML. Estes são os links para a documentação:

Imagem

Saiba como receber inferências dos seguintes tipos de modelos de imagem do AutoML:

Tabular

Saiba como receber inferências dos seguintes tipos de modelos tabulares do AutoML:

Receber inferências de modelos do BigQuery ML

É possível receber inferências de modelos do BigQuery ML de duas maneiras:

  • Solicite inferências em lote diretamente do modelo no BigQuery ML.
  • Registre os modelos diretamente no Model Registry, sem exportá-los do BigQuery ML ou importá-los para o Model Registry.