Introdução à governança de dados no BigQuery

Os recursos de governança integrados ao BigQuery permitem descobrir, gerenciar, monitorar e governar dados e recursos de IA em todo o ciclo de vida dos dados. As equipes de dados podem organizar conjuntos de dados, enriquecer metadados, monitorar a qualidade e aplicar políticas de compliance, além de compartilhar recursos com segurança em grande escala.

Esses recursos são alimentados pelo Knowledge Catalog, um mecanismo contextual universal e sempre ativado que usa metadados técnicos e semântica de negócios em todo o seu patrimônio de dados para criar um gráfico de contexto de autoaprendizado para aplicativos downstream e analistas de dados.

Descoberta de dados

O BigQuery descobre dados em toda a organização no Google Cloud, estejam eles no BigQuery, no Spanner, no Cloud SQL, no Pub/Sub ou no Cloud Storage. Os metadados são extraídos e armazenados automaticamente no Knowledge Catalog. Por exemplo, é possível extrair metadados para dados estruturados e não estruturados do Cloud Storage e criar automaticamente tabelas do BigLake prontas para consulta em grande escala. Isso permite que você faça análises com um mecanismo de código aberto sem duplicação de dados.

Também é possível extrair e catalogar metadados de fontes de dados de terceiros usando conectores personalizados.

O BigQuery oferece os seguintes recursos de descoberta de dados:

• Pesquisa. Pesquise dados e recursos de IA em projetos e na organização. No BigQuery no console do Google Cloud , use a pesquisa semântica (pré-lançamento) para pesquisar recursos usando linguagem natural. Ou encontre recursos usando a pesquisa por palavra-chave no Knowledge Catalog.
• Descoberta automática de dados do Cloud Storage. Verifique dados em buckets do Cloud Storage para extrair e catalogar metadados. A descoberta automática cria tabelas para dados estruturados e não estruturados.
• Importação de metadados. Importe metadados em grande escala de sistemas de terceiros para o Knowledge Catalog. É possível criar conectores personalizados para extrair dados das suas fontes e executar pipelines de conectividade gerenciada que organizam o fluxo de trabalho de importação de metadados.
• Exportação de metadados. Exportar metadados em escalonar horizontalmente do Knowledge Catalog. É possível analisar os metadados exportados com o BigQuery ou integrá-los a aplicativos personalizados ou fluxos de trabalho de processamento programático.

Curadoria e gestão de dados

Para melhorar a facilidade de descoberta e a usabilidade dos dados, os administradores e gestores de dados podem usar o BigQuery para revisar, atualizar e analisar metadados. Os recursos de curadoria e administração de dados do BigQuery ajudam a garantir que seus dados sejam precisos, consistentes e alinhados com as políticas da organização.

O BigQuery oferece os seguintes recursos de curadoria e gestão de dados:

• Glossário empresarial. Melhore o contexto, a colaboração e a pesquisa definindo a terminologia da sua organização em um glossário. Identifique os administradores de dados dos termos e anexe termos aos campos de recursos de dados.
• Insights de dados. O Gemini usa metadados para gerar perguntas em linguagem natural sobre sua tabela e as consultas SQL para respondê-las. Esses insights de dados ajudam você a descobrir padrões, avaliar a qualidade de dados e realizar análises estatísticas.
• Criação de perfil de dados. Identifique características estatísticas comuns das colunas nas tabelas do BigQuery para entender e analisar seus dados com mais eficiência.
• Qualidade de dados. Defina e execute verificações de qualidade de dados em tabelas no BigQuery e no Cloud Storage e aplique controles de dados regulares e contínuos em ambientes do BigQuery.
• Linhagem de dados. Acompanhe como os dados se movimentam nos sistemas, identificando de onde eles vêm, para onde vão e quais transformações são feitas. O BigQuery é compatível com a linhagem de dados nos níveis de tabela e coluna.

Próximas etapas para curadoria e gestão de dados

A tabela abaixo descreve as próximas etapas que você pode seguir para saber mais sobre os recursos de curadoria e gestão de dados:

Nível de experiência	Programa de aprendizado
Novos usuários da nuvem	Execute uma verificação de perfil de dados para receber insights sobre seus dados, incluindo os limites ou as médias deles.
Usuários experientes da nuvem	Ative a linhagem de dados no projeto do BigQuery para registrar automaticamente informações de linhagem para operações do BigQuery, como carregamento, cópia e modificações de dados. Observação: é possível configurar a ingestão de linhagem de dados para ativar ou desativar a ingestão automática de linhagem para o BigQuery. Configure uma verificação de qualidade de dados recorrente para alertar sobre possíveis problemas de dados usando regras de verificação predefinidas. Configure regras de qualidade de dados personalizadas para as verificações de qualidade de dados. Assim, elas são adaptadas às suas necessidades específicas.

Segurança e controle de acesso

O gerenciamento de acesso aos dados é o processo de definir, aplicar e monitorar as regras e políticas que regem quem tem acesso aos dados. Com o gerenciamento de acesso, os dados só podem ser acessados pelas pessoas autorizadas.

O BigQuery oferece os seguintes recursos de segurança e controle de acesso:

• Identity and Access Management (IAM). Com o IAM, você controla quem tem acesso aos recursos do BigQuery, como projetos, conjuntos de dados, tabelas e visualizações. É possível conceder papéis do IAM a usuários, grupos e contas de serviço. Esses papéis definem o que eles podem fazer com seus recursos.
• Controles de acesso no nível da coluna e controles de acesso no nível da linha. Os controles de acesso no nível da coluna e da linha permitem restringir o acesso a colunas e linhas específicas em uma tabela, com base em atributos do usuário ou valores de dados. Esse controle permite que você implemente acesso refinado para ajudar a proteger dados confidenciais contra acesso não autorizado.
• Gerenciamento da Transferência de dados. Com o VPC Service Controls, é possível criar perímetros em torno dos recursos do Google Cloud e controlar o acesso a eles com base nas políticas da organização.
• Registros de auditoria. Os registros de auditoria fornecem um registro detalhado da atividade do usuário e dos eventos do sistema na sua organização. Esses registros ajudam a aplicar políticas de governança de dados e a identificar possíveis riscos de segurança.
• Mascaramento de dados. Com o mascaramento de dados, é possível ocultar dados confidenciais em uma tabela e, ao mesmo tempo, permitir que usuários autorizados acessem os dados próximos. A máscara de dados também pode ocultar dados que correspondem a padrões de dados sensíveis, protegendo contra divulgação acidental de dados.
• Criptografia. O BigQuery criptografa automaticamente todos os dados em repouso e em trânsito, além de permitir a personalização das configurações de criptografia para atender aos seus requisitos específicos.

Próximas etapas para segurança e controle de acesso

A tabela a seguir descreve as próximas etapas que você pode seguir para saber mais sobre os recursos de controle de acesso:

Nível de experiência	Programa de aprendizado
Novos usuários da nuvem	Confira os papéis predefinidos no BigQuery e pense em como atribuí-los com base no princípio de privilégio mínimo. Saiba como o Google criptografa os dados em repouso e em trânsito por padrão.
Usuários experientes da nuvem	Para maior flexibilidade e granularidade no gerenciamento de permissões, considere criar papéis personalizados que atendam às suas necessidades. Adicione controles de linhas e colunas para ajudar a controlar o acesso a linhas e colunas específicas nas tabelas. Estabeleça um perímetro de acesso ao redor dos recursos do Google Cloud configurando o VPC Service Controls. Adicione o mascaramento de dados no nível da coluna à tabela para compartilhar informações por meio da organização sem revelar dados confidenciais. Use a Proteção de Dados Sensíveis para verificar seus dados em busca de informações confidenciais e de alto risco, como informações de identificação pessoal (PII), dados financeiros e informações de saúde.

Dados pessoais compartilhados e insights

O BigQuery permite compartilhar dados e insights em grande escala dentro e fora dos limites organizacionais. Ele tem uma estrutura robusta de segurança e privacidade com uma plataforma integrada de troca de dados. Com o BigQuery Sharing, é possível descobrir, acessar e consumir uma biblioteca de dados selecionada por uma ampla seleção de provedores de dados.

O BigQuery oferece os seguintes recursos de compartilhamento:

• Compartilhe mais do que dados. É possível compartilhar uma ampla variedade de dados e recursos de IA, como conjuntos de dados, tabelas, visualizações, streams em tempo real do BigQuery com tópicos do Pub/Sub, procedimentos armazenados em SQL e modelos do BigQuery ML.
• Acessar conjuntos de dados do Google. Amplie suas iniciativas de análise e ML com conjuntos de dados do Google de tendências de pesquisa, modelos DeepMind WeatherNext, Plataforma Google Maps, Google Earth Engine e muito mais.
• Integrar com princípios de governança de dados. Os proprietários de dados mantêm o controle sobre os dados e podem definir e configurar regras ou políticas para restringir o acesso e o uso.
• Compartilhamento de dados em tempo real e sem cópia. Os dados são compartilhados no local sem integração, movimentação ou replicação, garantindo que a análise seja baseada nas informações mais recentes. Os conjuntos de dados vinculados criados são um ponteiro em tempo real para o recurso compartilhado.
• Melhorar a postura de segurança. É possível usar controles de acesso para reduzir o acesso de provisionamento excessivo, incluindo o suporte integrado do VPC Service Controls.
• Aumente a visibilidade com as métricas de uso do provedor. Os editores de dados podem visualizar e monitorar o uso de recursos compartilhados, como o número de jobs executados, o total de bytes verificados e os assinantes de cada organização.
• Colaborar em dados sensíveis com data clean rooms. As data clean rooms oferecem um ambiente de segurança aprimorada em que várias partes podem compartilhar, mesclar e analisar os próprios recursos de dados sem mover ou revelar os dados subjacentes.
• Criado no BigQuery. É possível aproveitar a escalonabilidade e os recursos de processamento massivo do BigQuery, permitindo colaborações em grande escala.

Próximas etapas para compartilhamento

A tabela a seguir descreve as próximas etapas que você pode seguir para saber mais sobre os recursos de compartilhamento:

Nível de experiência	Programa de aprendizado
Novos usuários da nuvem	Saiba como criar e gerenciar trocas e listagens para começar a compartilhar dentro ou fora da sua organização.
Usuários experientes da nuvem	Compartilhe dados de streaming em tempo real com tópicos do Pub/Sub. Compartilhe e colabore em dados sensíveis com data clean rooms. Proteja ainda mais a exfiltração de dados configurando o VPC Service Controls em torno dos recursos compartilhados. Comercialize e venda seus recursos no Google Cloud Marketplace

A seguir

• Saiba mais sobre autenticação no Google.
• Saiba mais sobre a exclusão de dados no Google Cloud.
• Saiba mais sobre as práticas recomendadas do IAM.
• Saiba mais sobre a hierarquia de recursos no Google Cloud.
• Aprenda mais sobre o IAM no Google Cloud.