Data Quality - [SODA]
Ferramenta de controle de qualidade dos dados [SODA]
Documentação da ferramenta: https://cloud.soda.io/
Conteúdo abordado no vídeo:
Visão Geral da Ferramenta
Onde encontrar exemplos na documentação
Como criar conexões (Bigquery e SQL Server)
Criar arquivo de check com os seguintes testes:
Checagem se a tabela não está vazia
Checagem se existe a data do dia anterior na tabela
Checagem do tipo da coluna
Análise dos resultados no dashboard
Repositório com o projeto:
https://github.com/wlcamargo/soda
#dataengineering #dataquality #soda #bigquery #python #dev #sqlserver