As tarefas de qualidade de dados do Knowledge Catalog permitem definir regras baseadas em YAML para validar tabelas no BigQuery e no Cloud Storage sem gerenciar a infraestrutura. É possível programar verificações para aplicar controles de dados regulares em ambientes do BigQuery, monitorar conjuntos de dados em pipelines de produção e criar relatórios para requisitos regulatórios.
Quando criar tarefas de qualidade de dados do Knowledge Catalog
As tarefas de qualidade de dados do Knowledge Catalog podem ajudar você com o seguinte:
- Validar os dados como parte de um pipeline de produção de dados.
- Monitorar rotineiramente a qualidade dos conjuntos de dados em relação às suas expectativas.
- Criar relatórios de qualidade de dados para atender às exigências regulatórias.
Benefícios
- Especificações personalizáveis. Use a sintaxe YAML altamente flexível para declarar suas regras de qualidade de dados.
- Implementação sem servidor. O Knowledge Catalog não precisa de nenhuma configuração de infraestrutura.
- Copiar sem cópia e pushdown automático. As verificações YAML são convertidas em SQL e enviadas para o BigQuery, sem cópia de dados.
- Verificações de qualidade de dados programáveis. É possível programar verificações de qualidade de dados com o programador sem servidor no Knowledge Catalog ou usar a API Dataplex com programadores externos, como o Airflow Gerenciado, para integração de pipelines.
- Experiência gerenciada. O Knowledge Catalog usa um mecanismo de qualidade de dados de código aberto, o CloudDQ, para executar verificações de qualidade de dados. No entanto, o Knowledge Catalog oferece uma experiência gerenciada integrada para realizar as verificações de qualidade de dados.
Como funcionam as tarefas de qualidade de dados
O diagrama a seguir mostra como funcionam as tarefas de qualidade de dados do Knowledge Catalog:
- Entrada dos usuários
- Especificação YAML: um conjunto de um ou mais arquivos YAML que definem regras de qualidade de dados com base na sintaxe de especificação. Armazene os arquivos YAML em um bucket do Cloud Storage no seu projeto. Os usuários podem executar várias regras simultaneamente, e elas podem ser aplicadas a diferentes tabelas do BigQuery, incluindo tabelas em diferentes conjuntos de dados ou projetos do Google Cloud. A especificação é compatível com execuções incrementais para validar apenas novos dados. Para criar uma especificação YAML, consulte Criar um arquivo de especificação.
- Tabela de resultados do BigQuery: uma tabela especificada pelo usuário em que os resultados da validação de qualidade de dados são armazenados. O projeto do Google Cloud em que essa tabela reside pode ser diferente daquele em que a tarefa de qualidade de dados do Knowledge Catalog é usada.
- Tabelas para validação
- Na especificação YAML, é preciso especificar quais tabelas você quer validar para quais regras, também conhecidas como vinculação de regras. As tabelas podem ser nativas do BigQuery ou externas do BigQuery no Cloud Storage. A especificação YAML permite especificar tabelas dentro ou fora de uma zona do Knowledge Catalog.
- As tabelas do BigQuery e do Cloud Storage validadas em uma única execução podem pertencer a projetos diferentes.
- Tarefa de qualidade de dados do Knowledge Catalog: uma tarefa de qualidade de dados do Knowledge Catalog é configurada com um binário do CloudDQ PySpark pré-criado e mantido e usa a especificação YAML e a tabela de resultados do BigQuery como entrada. Assim como outras tarefas do Knowledge Catalog, a tarefa de qualidade de dados do Knowledge Catalog é executada em um ambiente do Spark sem servidor, converte a especificação YAML em consultas do BigQuery e, em seguida, executa essas consultas nas tabelas definidas no arquivo de especificação.
Preços
Quando você executa tarefas de qualidade de dados do Knowledge Catalog, você é cobrado pelo uso do BigQuery e do Serviço Gerenciado para Apache Spark (lotes).
A tarefa de qualidade de dados do Knowledge Catalog converte o arquivo de especificação em consultas do BigQuery e as executa no projeto do usuário. Consulte os preços do BigQuery.
O Knowledge Catalog usa o Spark para executar o programa de driver CloudDQ de código aberto, pré-criado e mantido pelo Google, para converter a especificação do usuário em consultas do BigQuery. Consulte os preços do Serviço Gerenciado para Apache Spark.
Não há cobranças para usar o Knowledge Catalog para organizar dados ou usar o programador sem servidor no Knowledge Catalog para programar verificações de qualidade de dados. Consulte os preços do Knowledge Catalog.