Limpeza de dados de ERP: etapas essenciais antes de qualquer migração

Principais conclusões

• A limpeza de dados deve consumir de 30 a 40% do cronograma total da migração — planeje isso explicitamente no cronograma do seu projeto
• Comece com dados mestres (clientes, produtos, fornecedores) antes dos dados transacionais - cascata de erros de dados mestres
• Algoritmos de detecção de duplicatas que combinam correspondência exata, correspondência difusa e correspondência de regras de negócios capturam 95% das duplicatas
• Registros órfãos (transações que fazem referência a dados mestre excluídos) são a causa mais comum de falhas de importação
• A pontuação da qualidade dos dados fornece métricas objetivas para acompanhar o progresso da limpeza e definir critérios "concluídos"
• Arquivar em vez de excluir — você pode precisar de dados históricos para análise fiscal, de conformidade ou de tendências
• Atribua proprietários de dados por tipo de entidade — a limpeza sem propriedade se transforma em acusações

---

Por que limpar dados é mais importante do que você pensa

O custo dos dados sujos num novo ERP não é teórico. Aqui estão as consequências concretas:

Erros financeiros. Registros de clientes duplicados significam faturas duplicadas, pedidos de pagamento divididos e relatórios de vencimento incorretos. Um cliente parece dever US$ 50.000 quando na verdade deve US$ 25.000 em dois registros. Sua equipe de cobrança perde tempo perseguindo saldos fantasmas.

Inexatidão de estoque. Registros de produtos duplicados com nomes ligeiramente diferentes significam que o estoque é dividido entre registros. Seu sistema mostra 10 unidades de “Widget Blue, Large” e 15 unidades de “Blue Widget - LG” quando na verdade você possui 25 unidades do mesmo produto. Os pontos de reordenamento são acionados incorretamente.

Automação quebrada. As regras de automação de ERP fazem referência a registros específicos. Um fluxo de trabalho que envia um lembrete de pagamento aos clientes com faturas vencidas enviará dois lembretes aos clientes com registros duplicados. Regras de novo pedido automatizado serão acionadas para cada produto duplicado.

Distorção do relatório. Os relatórios de vendas mostram contagens de clientes inflacionadas. Os relatórios de produtos mostram inventário fragmentado. Os relatórios financeiros contam duas vezes as receitas ou despesas associadas a registros duplicados.

Frustração do usuário. A maneira mais rápida de acabar com a adoção do ERP é fazer com que os usuários vejam dados sujos no novo sistema. Se um vendedor procura um cliente e encontra três registros quase idênticos, sua confiança no sistema — e no projeto de migração — evapora imediatamente.

---

Etapa 1: detecção de duplicatas

Três níveis de detecção de duplicatas

Nível 1: correspondência exata. Registros idênticos em campos-chave. Fácil de detectar, mas captura apenas as duplicatas mais óbvias.

• Mesmo endereço de e-mail
• Mesmo número de telefone (após normalizar o formato)
• Mesmo número de identificação fiscal/número de registo da empresa
• Mesmo SKU/código do produto

Nível 2: correspondência difusa. Registros semelhantes, mas não idênticos. Requer algoritmos como distância de Levenshtein, Soundex ou similaridade de Jaro-Winkler.

• "ECOSIRE Pvt Ltd" vs. "ECOSIRE Private Limited" vs.
• "123 Main Street" vs. "123 Main St." vs. "123 Main St, Suíte 100"
• "Widget Azul (Grande)" vs. "Widget - Azul, L" vs. "BLU-WDGT-LG"

Nível 3: correspondência de regras de negócios. Registros que parecem diferentes, mas representam a mesma entidade com base no contexto de negócios.

• Mesmo nome da empresa + mesma cidade (provavelmente o mesmo cliente, mesmo com endereços diferentes)
• Mesmas dimensões do produto + mesmo material (provavelmente o mesmo produto com nomes diferentes)
• Mesmo fornecedor + mesma conta bancária (provavelmente um registro de fornecedor duplicado)

Processo de detecção de duplicatas

Mesclar regras por tipo de entidade

Regras de mesclagem de clientes:

• Mantenha o registro das atividades de transação mais recentes
• Consolidar todos os endereços (marcar como primários, manter outros como alternativas de envio/cobrança)
• Mesclar todas as pessoas de contato sob o registro sobrevivente
• Reatribuir todos os pedidos, faturas e pagamentos ao registro sobrevivente
• Preservar a data de criação mais antiga (para cálculos de posse do cliente)

Regras de mesclagem de produtos:

• Mantenha o registro com o SKU ativo que corresponde ao seu catálogo
• Consolidar quantidades de estoque em registros duplicados
• Reatribuir todas as linhas de pedido e linhas de fatura ao registro sobrevivente
• Arquive o SKU duplicado com uma nota apontando para o registro sobrevivente

Regras de mesclagem de fornecedores:

• Mantenha o registro com dados bancários atuais e condições de pagamento
• Mesclar todos os pedidos de compra e faturas no registro sobrevivente
• Consolidar contatos de fornecedores
• Verifique se as informações fiscais estão atualizadas no registro sobrevivente

---

Etapa 2: Identificação do registro órfão

Registros órfãos são transações que fazem referência a dados mestre que não existem mais ou foram vinculados incorretamente. Eles são a segunda causa mais comum de falhas de importação depois das duplicatas.

Padrões órfãos comuns

Padrão de consulta de detecção de órfãos

Para cada entidade transacional, execute uma verificação de referência cruzada em relação aos dados mestre pai:

For every sales order line:
  → Does the customer_id exist in the customers table?
  → Does the product_id exist in the products table?
  → Does the salesperson_id exist in the employees table?

For every invoice:
  → Does the customer_id exist in the customers table?
  → Does each line's product_id exist in the products table?
  → Does the payment_term reference exist in the payment terms table?

For every purchase order:
  → Does the vendor_id exist in the vendors table?
  → Does each line's product_id exist in the products table?

Estratégias de resolução de órfãos

Estratégia 1: Reconectar. Se o registro mestre foi excluído, mas deveria existir, recrie-o e vincule as transações órfãs. Isso é comum para produtos que foram descontinuados, mas possuem pedidos históricos.

Estratégia 2: Reclassificar. Atribuir transações órfãs a um registro mestre abrangente. Crie um contato "Cliente legado" ou um registro "Produto arquivado" e reatribua os órfãos a ele. Isto preserva os totais financeiros, ao mesmo tempo que reconhece o problema da qualidade dos dados.

Estratégia 3: arquivar. Mova as transações órfãs para uma tabela de arquivo fora do escopo da migração. Inclua-os em uma exportação separada de dados históricos para referência, mas não os importe para o novo ERP.

---

Etapa 3: Regras de validação de dados

Validação em nível de campo

Aplique estas regras de validação a todos os registros antes da exportação:

Campos de texto:

• [] Sem espaços em branco à esquerda ou à direita
• [] Sem espaços duplos no texto
• [] Maiúsculas consistentes (Caixas de Título para nomes, MAIÚSCULAS para códigos)
• Sem caracteres especiais em campos que deveriam ser alfanuméricos (SKUs, códigos)
• [] A codificação de caracteres é consistente (UTF-8 por toda parte)

Campos de e-mail:

• Contém exatamente um símbolo @
• [] O domínio tem pelo menos um ponto depois de @
• Sem espaços no endereço de e-mail
• Minúsculas (endereços de e-mail não diferenciam maiúsculas de minúsculas)
• [] Não é um espaço reservado (noemail@example.com, test@test.com)

Campos de telefone:

• [] Formato consistente (escolha um: +1-555-123-4567 ou +15551234567)
• [] Código do país incluído para números internacionais
• Nenhuma letra ou caractere especial além de +, -, (, )
• Comprimento válido para o país

Campos de data:

• [] Formato consistente (ISO 8601: AAAA-MM-DD)
• Nenhuma data futura quando logicamente impossível (por exemplo, data da fatura em 2030)
• Sem datas excessivamente antigas (por exemplo, data do pedido de 1900-01-01, o padrão para muitos sistemas)
• [] Os intervalos de datas são lógicos (data de início antes da data de término)

Campos numéricos:

• Nenhum texto em campos numéricos (vírgulas como separadores de milhares causam falhas na importação)
• [] Precisão decimal consistente (2 casas para moeda, 4 casas para preços unitários com valores pequenos)
• Sem valores negativos quando logicamente impossível (quantidades, preços)
• [] Valores de moeda na faixa esperada (sem faturas de US$ 999.999.999, a menos que você seja Boeing)

Campos obrigatórios:

• [] O nome do cliente nunca fica em branco
• [] Nome do produto e SKU nunca ficam em branco
• [] O número da fatura nunca fica em branco e nunca é duplicado
• [] Todas as referências de chave estrangeira apontam para registros existentes

Validação de registros cruzados

Além das verificações de campo individuais, valide a consistência entre os registros relacionados:

• A soma dos valores das linhas da fatura é igual ao total da fatura
• A soma dos pagamentos aplicados a uma fatura não excede o total da fatura
• O estoque disponível não apresenta quantidades negativas (a menos que o sistema permita)
• [] A data de início do funcionário é anterior a qualquer entrada associada na planilha de horas
• [] A data de criação do produto é anterior a qualquer linha de ordem de venda associada

---

Etapa 4: Estratégia de Arquivamento

Nem todos os dados precisam migrar. Defina uma política de arquivamento que equilibre os requisitos de conformidade, as necessidades de negócios e a complexidade da migração.

Estrutura de decisão de arquivamento

Recomendações de formato de arquivo

Para dados arquivados fora do ERP:

1. Exportar para CSV com cabeçalhos de coluna claros e codificação UTF-8
2. Inclua um dicionário de dados que defina cada coluna, seu tipo de dados e valores válidos
3. Armazene em um local imutável e com controle de versão (S3 com controle de versão ou backup criptografado)
4. Defina um cronograma de retenção (7 anos para dados financeiros na maioria das jurisdições, mais tempo para alguns setores)
5. Documente o arquivo em seus registros de conformidade, incluindo conteúdo, intervalo de datas e política de retenção

---

Etapa 5: Governança de dados mestres

A limpeza de dados não é um evento único. Sem governança, seu ERP novinho em folha acumulará os mesmos problemas de qualidade de dados dentro de 12 a 18 meses.

Matriz de propriedade de dados

Padrões de entrada de dados

Documente e aplique padrões para cada entidade:

Padrões de criação de clientes:

• Nome da empresa: razão social oficial (verificar com documentos de registro)
• Nome comercial: Armazenado separadamente se for diferente do nome legal
• Endereço: Use o formato de serviço postal para o país
• Contato principal: Nome + e-mail + telefone obrigatório
• Condições de pagamento: padrão definido na criação, requer aprovação para alteração
• Limite de crédito: definido pelas finanças, não pelas vendas

Padrões de criação de produtos:

• Nome do produto: [Marca] [Produto] [Variante] [Tamanho] (por exemplo, "ECOSIRE Widget Blue Large")
• SKU: [Categoria]-[Sequência]-[Variante] (por exemplo, "WDG-001-BL")
• Descrição: mínimo de 50 caracteres, sem formatação HTML nas descrições
• Categoria: deve selecionar entre categorias existentes (sem categorias de texto livre)
• Unidade de medida: deve usar UM padrão da lista aprovada
• Imagens: Mínimo uma imagem, dimensões máximas 2048x2048, fundo branco

Regras automatizadas de qualidade de dados

Configure estas regras em seu novo ERP para evitar dados sujos desde o início:

• Prevenção de duplicação: Avisar ao salvar se já existir um registro com o mesmo e-mail, telefone ou CPF
• Aplicação de campo obrigatório: bloquear a criação se os campos obrigatórios estiverem vazios
• Validação de formato: rejeita formatos de e-mail, formatos de telefone e formatos de data inválidos
• Fluxos de trabalho de aprovação: a criação de novos clientes e fornecedores requer aprovação do gerente
• Revisão periódica: relatórios automatizados destacando registros não atualizados há mais de 12 meses

---

Etapa 6: Pontuação de qualidade de dados

Metodologia de pontuação

Pontue cada entidade de dados em quatro dimensões, cada uma classificada de 1 a 5:

Processo de pontuação

1. Amostra: 5% aleatórios de registros (mínimo 100, máximo 500)
2. Verifique a integridade: conte os campos obrigatórios em branco como uma porcentagem
3. Verifique a consistência: revise a conformidade do formato para campos de texto, data, telefone e e-mail
4. Verifique a precisão: verifique os registros amostrados em relação a fontes externas (website, bancos de dados de registro, contagem de inventário físico)
5. Verifique a exclusividade: execute a detecção de duplicatas no conjunto de dados completo, calcule a taxa

Limites Mínimos de Qualidade para Migração

Não prossiga com a migração para qualquer entidade com pontuação abaixo do limite mínimo. O custo da limpeza de dados após a importação é de 3 a 5 vezes maior do que a limpeza antes da importação.

---

Modelo de cronograma de limpeza de dados

---

Ferramentas e recursos

Ferramentas de limpeza de dados de código aberto

• OpenRefine: ferramenta poderosa de limpeza de dados para clustering, facetamento e transformação de dados confusos
• dedupe.io: biblioteca de desduplicação baseada em aprendizado de máquina para Python
• Grandes Expectativas: Estrutura de validação de dados para verificações de qualidade automatizadas
• pandas (Python): manipulação flexível de dados para scripts de limpeza personalizados
• csvkit: ferramentas de linha de comando para inspeção e validação de CSV

Plataformas comerciais de qualidade de dados

• Informatica Data Quality: Limpeza e correspondência de nível empresarial
• Qualidade de dados Talend: criação de perfil, limpeza e padronização
• Melissa Data: Verificação de endereço, validação de e-mail, detecção de duplicatas
• IBM InfoSphere QualityStage: correspondência e padronização de dados mestres

---

Perguntas frequentes

Quanto tempo leva a limpeza de dados?

Para uma empresa de médio porte (5.000 a 50.000 registros de clientes, 1.000 a 10.000 produtos), planeje de 6 a 10 semanas de esforço dedicado. Isso pressupõe um analista de dados em tempo integral, além do envolvimento em tempo parcial dos proprietários dos dados em cada departamento. Empresas maiores com centenas de milhares de registros ou cenários complexos de vários sistemas podem precisar de 12 a 16 semanas.

Devemos limpar os dados do sistema antigo ou dos arquivos de teste?

Limpe em arquivos de teste (CSVs exportados ou um banco de dados de teste), não no sistema ativo. Isso preserva seus dados de produção como alternativa, permite a limpeza paralela por várias pessoas e evita a interrupção das operações diárias. Seu sistema ativo continua funcionando sem alterações até que os dados limpos sejam importados para o novo ERP.

E se não conseguirmos atingir o limite mínimo de qualidade?

Se uma entidade específica não conseguir atingir a pontuação mínima, investigue a causa raiz. Se for um problema de volume de dados (muitos registros para limpar manualmente), considere importar apenas o subconjunto mais recente ou mais ativo e arquivar o restante. Se for um problema estrutural (os dados nunca foram projetados para dar suporte às necessidades do novo ERP), talvez seja necessário enriquecer os dados de fontes externas ou aceitar que alguns registros exigirão atenção manual após a migração.

Quem deve ser responsável pela limpeza de dados?

A limpeza de dados é uma responsabilidade comercial, não uma responsabilidade de TI. A TI fornece as ferramentas e a infraestrutura, mas os usuários empresariais devem tomar as decisões: quais registros duplicados manter, se um pedido órfão deve ser reconectado ou arquivado e qual deve ser o formato correto do nome do produto. Atribua proprietários de dados de cada departamento e responsabilize-os pelos índices de qualidade de suas entidades.

Podemos automatizar a limpeza de dados?

Parcialmente. Ferramentas automatizadas lidam com a padronização de formatos (números de telefone, endereços, datas), desduplicação de correspondência exata e verificação de regras de validação. Mas mesclar duplicatas de correspondência difusa, resolver registros órfãos e verificar a precisão dos dados exigem julgamento humano. Planeje um esforço 60% automatizado / 40% manual.

E se descobrirmos problemas de qualidade dos dados após a migração?

A limpeza pós-migração é de 3 a 5 vezes mais cara do que a limpeza pré-migração porque agora você está lidando com um sistema ativo onde as alterações afetam os fluxos de trabalho ativos. Se você descobrir problemas após a entrada em operação, priorize por impacto nos negócios: primeiro corrija os registros que afetam a precisão financeira, depois os registros voltados para o cliente e, em seguida, os registros operacionais internos.

O ECOSIRE ajuda na limpeza de dados?

Sim. A limpeza de dados é um componente central dos serviços de migração do ECOSIRE. Fornecemos perfil de dados, desduplicação automatizada, pontuação de qualidade e scripts de limpeza como parte de cada projeto de migração. Nossa equipe trabalha junto com seus proprietários de dados para garantir que o contexto de negócios conduza todas as decisões de limpeza. Entre em contato conosco para discutir seus desafios de qualidade de dados.

---

Comece com uma avaliação de qualidade de dados

O primeiro passo em qualquer migração é compreender o estado atual dos seus dados. Uma avaliação da qualidade dos dados leva de 3 a 5 dias e produz um relatório detalhado mostrando taxas duplicadas, pontuações de integridade, inconsistências de formato e contagens de registros órfãos para cada entidade principal.

ECOSIRE oferece avaliações gratuitas de qualidade de dados como parte de nossos serviços de planejamento de migração. Analisaremos seus dados atuais, identificaremos as tarefas de limpeza de maior impacto e forneceremos um cronograma realista e uma estimativa de esforço para alcançar a qualidade de preparação para migração.

Solicite sua avaliação gratuita da qualidade dos dados e dê o primeiro passo em direção a uma migração limpa e bem-sucedida.