Este documento inclui as práticas recomendadas e diretrizes para o BigQuery ao executar cargas de trabalho de IA generativa no Google Cloud. Use o BigQuery com a Vertex AI para armazenar dados. Usar o BigQuery com a Vertex AI pode melhorar significativamente seu fluxo de trabalho de ML porque você pode simplificar o acesso aos dados, ativar análises escalonáveis e usar os recursos de ML.
Considere os seguintes casos de uso do BigQuery com a Vertex AI:
- Integração perfeita: o BigQuery e a Vertex AI são totalmente integrados, permitindo que você acesse e analise seus dados diretamente na plataforma da Vertex AI. Essa integração elimina a necessidade de movimentação de dados, simplifica seu fluxo de trabalho de ML e reduz o atrito.
- Análise de dados escalonável: o BigQuery oferece um data warehouse em escala de petabytes, permitindo analisar conjuntos de dados massivos sem se preocupar com limitações de infraestrutura. Essa escalonabilidade é fundamental para treinar e implantar modelos de ML que exigem grandes quantidades de dados.
- ML baseada em SQL: com o BigQuery ML, é possível usar comandos SQL conhecidos para treinar e implantar modelos diretamente no BigQuery. Com esse recurso, analistas de dados e usuários de SQL podem usar recursos de ML sem precisar de habilidades avançadas de programação.
- Previsões on-line e em lote: o BigQuery ML é compatível com previsões on-line e em lote. É possível executar previsões em tempo real em linhas individuais ou gerar previsões para grandes conjuntos de dados no modo em lote. Essa flexibilidade permite diversos casos de uso com requisitos de latência variados.
- Movimentação de dados reduzida: com o BigQuery ML, não é necessário mover os dados para recursos separados de armazenamento ou computação para treinamento de modelo e implantação. Essa movimentação reduzida simplifica seu fluxo de trabalho, diminui a latência e minimiza o custo associado à transferência de dados.
- Monitoramento de modelos: a Vertex AI oferece recursos abrangentes de monitoramento de modelos, permitindo que você acompanhe a performance, a imparcialidade e a explicabilidade dos seus modelos do BigQuery ML. O monitoramento de modelos ajuda a garantir que eles estejam funcionando como esperado e a resolver possíveis problemas.
- Modelos pré-treinados: a Vertex AI oferece acesso a modelos pré-treinados, incluindo aqueles para processamento de linguagem natural e visão computacional. Você pode usar esses modelos no BigQuery para melhorar sua análise e extrair insights mais detalhados dos dados.
- Solução econômica: o BigQuery ML oferece uma maneira econômica e flexível de treinar e implantar modelos de ML. Você paga apenas pelos recursos que usa, o que o torna uma opção acessível para organizações de todos os tamanhos.
- Recursos de análise avançada: o BigQuery oferece ferramentas para análise avançada, incluindo análise geoespacial e estimativa. Com elas, é possível combinar o ML com outras técnicas analíticas para uma análise mais detalhada dos dados e insights mais completos.
- Colaboração aprimorada: ao usar o BigQuery com a Vertex AI, cientistas de dados, engenheiros de ML e analistas podem colaborar perfeitamente em projetos de ML. Essa colaboração ajuda a criar uma abordagem mais integrada e eficiente para resolver problemas complexos de dados.
Controles obrigatórios do BigQuery
Os controles a seguir são altamente recomendados ao usar o BigQuery.
Verifique se os conjuntos de dados do BigQuery não podem ser lidos publicamente nem estão definidos como "allAuthenticatedUsers"
| ID de controle do Google | BQ-CO-6.1 |
|---|---|
| Categoria | Obrigatório |
| Descrição | Restrinja o acesso às informações em um conjunto de dados do BigQuery apenas a usuários específicos. Para configurar essa proteção, é necessário definir papéis detalhados. |
| Produtos aplicáveis |
|
| Caminho | cloudasset.assets/assetType |
| Operador | == |
| Valor |
|
| Tipo | String |
| Controles relacionados do NIST-800-53 |
|
| Controles relacionados ao perfil de CRI |
|
| Informações relacionadas |
Verifique se as tabelas do BigQuery não podem ser lidas publicamente nem estão definidas como "allAuthenticatedUsers"
| ID de controle do Google | BQ-CO-6.2 |
|---|---|
| Categoria | Obrigatório |
| Descrição | Restrinja o acesso às informações em uma tabela do BigQuery apenas a usuários específicos. Para configurar essa proteção, é necessário definir papéis detalhados. |
| Produtos aplicáveis |
|
| Caminho | cloudasset.assets/iamPolicy.bindings.members |
| Operador | anyof |
| Valor |
|
| Tipo | String |
| Controles relacionados do NIST-800-53 |
|
| Controles relacionados ao perfil de CRI |
|
| Informações relacionadas |
Controles opcionais do BigQuery
Esses controles são opcionais. Considere aplicá-las quando forem relevantes para seus casos de uso específicos.
Criptografar valores individuais em uma tabela do BigQuery
| ID de controle do Google | BQ-CO-6.3 |
|---|---|
| Categoria | Opcional |
| Descrição | Se a sua organização exigir que você criptografe valores individuais em uma tabela do BigQuery, use as funções de criptografia autenticada com dados associados (AEAD). |
| Produtos aplicáveis |
|
| Controles relacionados do NIST-800-53 |
|
| Controles relacionados ao perfil de CRI |
|
| Informações relacionadas |
Usar visualizações autorizadas para conjuntos de dados do BigQuery
| ID de controle do Google | BQ-CO-6.4 |
|---|---|
| Categoria | Opcional |
| Descrição | Com as visualizações autorizadas, é possível compartilhar um subconjunto de dados em um conjunto de dados com usuários específicos. Por exemplo, uma visualização autorizada permite compartilhar resultados de consultas com determinados usuários e grupos sem que eles tenham acesso aos dados de origem subjacentes. |
| Produtos aplicáveis |
|
| Controles relacionados do NIST-800-53 |
|
| Controles relacionados ao perfil de CRI |
|
| Informações relacionadas |
Usar a segurança no nível da coluna do BigQuery
| ID de controle do Google | BQ-CO-6.5 |
|---|---|
| Categoria | Opcional |
| Descrição | Use a segurança no nível da coluna do BigQuery para criar políticas que verifiquem no momento da consulta se um usuário tem o acesso adequado. O BigQuery fornece acesso detalhado a colunas com dados sensíveis usando tags de política ou uma classificação de dados baseada em tipos. |
| Produtos aplicáveis |
|
| Controles relacionados do NIST-800-53 |
|
| Controles relacionados ao perfil de CRI |
|
| Informações relacionadas |
Usar a segurança no nível da linha do BigQuery
| ID de controle do Google | BQ-CO-6.6 |
|---|---|
| Categoria | Opcional |
| Descrição | Use a segurança no nível da linha e as políticas de acesso para ativar o controle de acesso detalhado a um subconjunto de dados em uma tabela do BigQuery. |
| Produtos aplicáveis |
|
| Controles relacionados do NIST-800-53 |
|
| Controles relacionados ao perfil de CRI |
|
| Informações relacionadas |
Usar gráficos de recursos do BigQuery
| ID de controle do Google | BQ-CO-7.1 |
|---|---|
| Categoria | Opcional |
| Descrição | Com os gráficos de recursos do BigQuery, os administradores podem observar como a organização, pasta ou reserva usam slots do BigQuery e o desempenho das consultas. |
| Produtos aplicáveis |
|
| Controles relacionados do NIST-800-53 |
|
| Controles relacionados ao perfil de CRI |
|
| Informações relacionadas |
A seguir
Analise os controles do Cloud Billing.
Confira mais Google Cloud práticas recomendadas e diretrizes de segurança para cargas de trabalho de IA generativa.