Use esta página para entender as diferenças entre o BigQuery e BigQuery e saiba como integrar o BigQuery aos fluxos de trabalho atuais do BigQuery. O BigQuery e o BigQuery trabalham juntos para atender aos casos de uso de machine learning e MLOps.
Para saber mais sobre as diferenças treinamento de modelo entre o BigQuery e o BigQuery, consulte Escolher um método de treinamento.
Diferenças entre o BigQuery e o BigQuery
Esta seção aborda os serviços do BigQuery, do BigQuery e do BigQuery ML.
BigQuery: uma plataforma de IA/ML de ponta a ponta
O BigQuery é uma plataforma de IA/ML para desenvolvimento e governança de modelos. Os casos de uso comuns são:
- Tarefas de machine learning, como previsão, recomendação e detecção de anomalias
Tarefas de IA generativa, como:
- Geração, classificação, resumo e extração de texto
- Geração e preenchimento de código
- Geração de imagens
- Geração de embedding
É possível usar o BigQuery para preparar dados de treinamento para modelos do BigQuery, que podem ser disponibilizados como recursos no BigQuery Feature Store.
É possível treinar modelos no BigQuery de três maneiras:
- AutoML: treine modelos em conjuntos de dados de imagem, tabulares e de vídeo sem escrever código.
- Treinamento personalizado: execute códigos de treinamento personalizados atendendo ao seu caso de uso específico.
- Ray no BigQuery: use o Ray para escalar aplicativos de IA e Python, como machine learning.
Também é possível importar um modelo treinado em outra plataforma, como o BigQuery ML ou o XGBoost.
É possível registrar modelos personalizados no Model Registry. Também é possível importar modelos treinados fora do BigQuery e registrá-los no Model Registry. Você não precisa registrar modelos do AutoML. Eles são registrados automaticamente no momento da criação.
No registro, é possível gerenciar versões de modelos, fazer implantações em endpoints para previsões on-line, realizar avaliações de modelos, monitorar implantações com o monitoramento de modelos do Gemini Enterprise Agent Platform e usar Vertex Explainable AI.
Idiomas disponíveis:
- O SDK da Vertex AI oferece suporte a Python, Java, Node.js e Go.
BigQuery: um data warehouse corporativo sem servidor e com várias nuvens
BigQuery é um data warehouse corporativo totalmente gerenciado que ajuda a gerenciar e analisar dados com recursos integrados como aprendizado de máquina, análise geoespacial e business intelligence. As tabelas do BigQuery podem ser consultadas pelo SQL, e os cientistas de dados que usam principalmente SQL podem executar consultas grandes com apenas algumas linhas de código.
Também é possível usar o BigQuery como um repositório de dados referenciado ao criar modelos tabulares e personalizados no BigQuery. Para saber mais sobre como usar o BigQuery como um repositório de dados, consulte Visão geral do armazenamento do BigQuery.
Idiomas disponíveis:
- SDKs para o BigQuery. Para saber mais, consulte as bibliotecas de cliente da API BigQuery
- GoogleSQL
- SQL legado
Para saber mais, consulte Dialetos SQL do BigQuery.
BigQuery ML: machine learning diretamente no BigQuery
O BigQuery ML permite desenvolver e invocar modelos no BigQuery. Com o BigQuery ML, é possível usar o SQL para treinar modelos de ML diretamente no BigQuery sem precisar mover dados ou se preocupar com a infraestrutura de treinamento subjacente. É possível criar previsões em lote para modelos do BigQuery ML para receber insights dos seus dados do BigQuery.
Também é possível acessar modelos do BigQuery usando o BigQuery ML. É possível criar um modelo remoto do BigQuery ML em um modelo integrado do BigQuery, como o Gemini, ou em um modelo personalizado do BigQuery. Você interage com o modelo remoto usando o SQL no BigQuery, assim como qualquer outro modelo do BigQuery ML, mas todo o treinamento e a inferência do modelo remoto são processados no BigQuery.
Idioma disponível:
- GoogleSQL
- Bibliotecas de cliente do BigQuery
Para saber mais sobre as vantagens de usar o BigQuery ML, consulte Introdução à IA e ao ML no BigQuery.
Benefícios de gerenciar modelos do BigQuery ML no BigQuery
É possível registrar seus modelos do BigQuery ML no Model Registry para gerenciar os modelos no BigQuery. O gerenciamento de modelos do BigQuery ML no BigQuery oferece dois benefícios principais:
Exibição de modelo on-line: o BigQuery ML oferece suporte apenas a previsões em lote para seus modelos. Para receber previsões on-line, é possível treinar seus modelos no BigQuery ML e implantá-los em endpoints do BigQuery usando o Model Registry.
Recursos de MLOps: os modelos são mais benéficos quando são mantidos atualizados por meio de treinamento contínuo. O BigQuery oferece ferramentas de MLOps que automatizam o monitoramento e o retreinamento de modelos para manter a acurácia das previsões ao longo do tempo. Com os pipelines da Agent Platform, é possível usar operadores do BigQuery para conectar qualquer job do BigQuery (incluindo o BigQuery ML) a um pipeline de ML. Com o monitoramento de modelos da Gemini Enterprise Agent Platform, é possível monitorar suas previsões do BigQuery ML ao longo do tempo.
Para saber como registrar seus modelos do BigQuery ML no Model Registry, consulte Gerenciar modelos do BigQuery ML com o BigQuery.
Tutoriais de notebook relacionados
| O que você quer fazer? | Recurso |
|---|---|
| Usar o BigQuery ML para analisar imagens e texto usando o Gemini no BigQuery | Como analisar pôsteres de filmes no BigQuery com o Gemini 2.0 Flash |
| Usar o BigQuery ML para gerar texto em tabelas do BigQuery ou dados não estruturados com modelos de base no BigQuery | Gerar texto usando o BigQuery ML e modelos de base no BigQuery |
| Gerar embeddings de vetores com o BigQuery ML em texto e imagens | Chamar um endpoint de embedding multimodal no BigQuery do BigQuery ML para gerar embeddings para pesquisa semântica |
| Usar dois pipelines de fluxos de trabalho tabulares do BigQuery para treinar um modelo do AutoML usando configurações diferentes. | Fluxo de trabalho tabular: pipeline tabular do AutoML |
| Usar o SDK da Agent Platform para Python no treinamento de um modelo de AutoML para regressão tabular e receber predições em lote do modelo. | SDK da Agent Platform para Python: treinamento de AutoML de modelo de regressão tabular para predição em lote usando o BigQuery |
| Treinar e avaliar um modelo de propensão no BigQuery ML para prever a retenção de usuários em um jogo para dispositivos móveis. | Previsão de desligamento de usuários para desenvolvedores de jogos que usam o Google Analytics 4 e o BigQuery ML. |
| Usar o BigQuery ML para otimizar os preços dos dados de CDM | Análise de otimização de preços nos dados de preços de CDM |
A seguir
- Para começar a usar o BigQuery, consulte: