Atualização Incremental com Python - CDC (Change Data Capture) - Upsert
Vale lembrar que esta técnica pode ser utilizada de diversas maneiras e essa é apenas uma das
possíveis formas.
** Conceito se aplica em QUALQUER ferramenta ** (Só para lembrar)
Recursos utilizados:
SQL Server e Postgres
Jupyter Notebook (Python)
Técnica de CDC (Change Data Capture)
Upsert (O que mudou no destino atualizamos e o que não tem inserimos)
Etapas do processo:
Criação de uma tabela fake com 1MM de linhas no SQL Server
Construção do notebook Python
Carga Full no destino (Postgres)
Comparação das tabelas (Origem x Destino)
Análise das Mudanças
Aplicação do Upsert (Insert + Update)
Validação dos dados inseridos e atualizados
Meu Linkedin:
/ wallace-camargo-35b615171
Propostas Comerciais:
www.fwx-consulting.com
[email protected]
Repositório do projeto:
www.github.com/wlcamargo/python_cdc
Referência:
/ @biinsightsinc