Use esta página para entender as diferenças entre a Vertex AI e o BigQuery e saiba como integrar a Vertex AI aos fluxos de trabalho atuais do BigQuery. A Vertex AI e o BigQuery trabalham juntos para atender aos casos de uso de machine learning e MLOps.
Para saber mais sobre as diferenças de treinamento de modelos entre a Vertex AI e o BigQuery, consulte Escolher um método de treinamento.
Diferenças entre a Vertex AI e o BigQuerys
Nesta seção, abordamos os serviços da Vertex AI, do BigQuery e do BigQuery ML.
Vertex AI: uma plataforma de IA/ML de ponta a ponta
A Vertex AI é uma plataforma de IA/ML para desenvolvimento e governança de modelos. Os casos de uso comuns incluem:
- Tarefas de machine learning, como previsão, recomendação e detecção de anomalias
Tarefas de IA generativa, como:
- Geração, classificação, resumo e extração de texto
- Geração e preenchimento de código
- Geração de imagens
- Geração de embedding
É possível usar o BigQuery para preparar dados de treinamento para modelos da Vertex AI, que podem ser disponibilizados como recursos no Vertex AI Feature Store.
Há três maneiras de treinar modelos na Vertex AI:
- AutoML: treine modelos em conjuntos de dados de imagem, tabulares e de vídeo sem escrever código.
- Treinamento personalizado: execute códigos de treinamento personalizados atendendo ao seu caso de uso específico.
- Ray na Vertex AI: use o Ray para escalonar aplicativos de IA e Python, como machine learning.
Também é possível importar um modelo treinado em outra plataforma, como o BigQuery ML ou o XGBoost.
É possível registrar modelos personalizados no Model Registry. Também é possível importar modelos treinados fora da Vertex AI e registrá-los no Model Registry. Você não precisa registrar modelos do AutoML. Eles são registrados automaticamente no momento da criação.
No registro, é possível gerenciar versões de modelos , fazer implantações em endpoints para previsões on-line, realizar avaliações de modelos , monitorar implantações com o monitoramento de modelos da plataforma de agentes do Gemini Enterprise e usar Vertex Explainable AI.
Idiomas disponíveis:
- O SDK da Vertex AI oferece suporte a Python, Java, Node.js e Go.
BigQuery: um data warehouse corporativo sem servidor e com várias nuvens
O BigQuery é um armazenamento de dados corporativo totalmente gerenciado que ajuda a gerenciar e analisar dados com recursos integrados, como aprendizado de máquina, análise geoespacial e business intelligence. As tabelas do BigQuery podem ser consultadas pelo SQL, e os cientistas de dados que usam principalmente SQL podem executar consultas grandes com apenas algumas linhas de código.
Também é possível usar o BigQuery como um armazenamento de dados referenciado ao criar modelos tabulares e personalizados na Vertex AI. Para saber mais sobre como usar o BigQuery como um armazenamento de dados, consulte Visão geral do armazenamento do BigQuery.
Idiomas disponíveis:
- SDKs para o BigQuery. Para saber mais, consulte as bibliotecas de cliente da API BigQuery
- GoogleSQL
- SQL legado
Para saber mais, consulte Dialetos SQL do BigQuery.
BigQuery ML: machine learning diretamente no BigQuery
O BigQuery ML permite desenvolver e invocar modelos no BigQuery. Com o BigQuery ML, é possível usar o SQL para treinar modelos de ML diretamente no BigQuery sem precisar mover dados ou se preocupar com a infraestrutura de treinamento subjacente. É possível criar previsões em lote para modelos do BigQuery ML para receber insights dos seus dados do BigQuery.
Também é possível acessar modelos da Vertex AI usando o BigQuery ML. É possível criar um modelo remoto do BigQuery ML usando um modelo integrado da Vertex AI, como o Gemini, ou um modelo personalizado da Vertex AI. Você interage com o modelo remoto usando SQL no BigQuery, assim como qualquer outro modelo do BigQuery ML, mas todo o treinamento e a inferência do modelo remoto são processados na Vertex AI.
Idioma disponível:
- GoogleSQL
- Bibliotecas de cliente do BigQuery
Para saber mais sobre as vantagens de usar o BigQuery ML, consulte Introdução à IA e ao ML no BigQuery.
Benefícios do gerenciamento de modelos do BigQuery ML na Vertex AI
É possível registrar seus modelos do BigQuery ML no Model Registry para gerenciar os modelos na Vertex AI. O gerenciamento de modelos do BigQuery ML na Vertex AI oferece dois benefícios principais:
Disponibilização de modelo on-line: o BigQuery ML é compatível apenas com predições em lote para seus modelos. Para receber previsões on-line, é possível treinar seus modelos no BigQuery ML e implantá-los em endpoints da Vertex AI usando o Model Registry.
Recursos de MLOps: os modelos são mais benéficos quando são mantidos atualizados por meio de treinamento contínuo. A Vertex AI oferece ferramentas de MLOps que automatizam o monitoramento e o retreinamento de modelos para manter a acurácia das previsões ao longo do tempo. Com os pipelines da plataforma de agentes do Gemini Enterprise, é possível usar operadores do BigQuery para conectar qualquer job do BigQuery (incluindo o BigQuery ML) a um pipeline de ML. Com o monitoramento de modelos da plataforma de agentes do Gemini Enterprise, é possível monitorar suas previsões do BigQuery ML ao longo do tempo.
Para saber como registrar seus modelos do BigQuery ML no Model Registry, consulte Gerenciar modelos do BigQuery ML com a Vertex AI.
Tutoriais de notebook relacionados
| O que você quer fazer? | Recurso |
|---|---|
| Usar o BigQuery ML para analisar imagens e texto usando o Gemini na Vertex AI | Como analisar pôsteres de filmes no BigQuery com o Gemini 2.0 Flash |
| Usar o BigQuery ML para gerar texto em tabelas do BigQuery ou dados não estruturados com modelos de base na Vertex AI | Gerar texto usando o BigQuery ML e modelos de base na Vertex AI |
| Gerar embeddings de vetores com o BigQuery ML em texto e imagens | Chamar um endpoint de embedding multimodal na Vertex AI do BigQuery ML para gerar embeddings para pesquisa semântica |
| Usar dois pipelines de fluxos de trabalho tabulares da Vertex AI para treinar um modelo do AutoML usando configurações diferentes. | Fluxo de trabalho tabular: pipeline tabular do AutoML |
| Usar o SDK da plataforma de agentes para Python para treinar um modelo do AutoML para regressão tabular e receber previsões em lote do modelo. | SDK da plataforma de agentes para Python: modelo de regressão tabular do treinamento de AutoML para previsão em lote usando o BigQuery |
| Treinar e avaliar um modelo de propensão no BigQuery ML para prever a retenção de usuários em um jogo para dispositivos móveis. | Previsão de desligamento de usuários para desenvolvedores de jogos que usam o Google Analytics 4 e o BigQuery ML. |
| Usar o BigQuery ML para otimizar os preços dos dados de CDM | Análise de otimização de preços nos dados de preços de CDM |
A seguir
- Para começar a usar a Vertex AI, consulte: