Índice
Atualizar apenas o que mudou pode reduzir processamento, mas exige identificar alterações de forma confiável. CDC e extração programada têm dependências e comportamentos diferentes diante de correções e exclusões.
Como avaliar esta decisão
Avalie recursos da fonte, volume e atraso aceitável. Um campo de data de atualização pode não registrar todos os eventos necessários. CDC depende da tecnologia e de sua configuração, que devem ser verificadas no ambiente. Planeje carga inicial, continuidade e recuperação quando o histórico de mudanças não estiver mais disponível.
Critérios para comparar propostas
- Mudanças: definir como inclusões, alterações e exclusões serão identificadas.
- Retomada: guardar progresso e evitar perda ou duplicidade ao reiniciar a carga.
- Conferência: executar conciliação periódica para detectar diferenças acumuladas.
Um cenário para discutir com o fornecedor
Exemplo hipotético: um registro é excluído da origem e não aparece na consulta incremental por data. Sem um mecanismo para exclusão, o destino pode mantê-lo indefinidamente como ativo.
O que validar na entrega
Teste alteração retroativa, exclusão e interrupção entre lotes. Compare o destino com uma leitura completa de referência em ambiente controlado.
Prepare a conversa sobre o projeto
A Quantum9 pode avaliar a fonte e implementar o fluxo adequado. Informe banco, permissões, volume e uso dos dados para justificar a opção e seus requisitos operacionais.
Engenharia de dados · Mapear a prioridade da empresa