Limpieza de datos de ERP: pasos esenciales antes de cualquier migración

Conclusiones clave

• La limpieza de datos debe consumir entre el 30% y el 40% del cronograma total de migración; planifíquelo explícitamente en el cronograma de su proyecto.
• Comience con los datos maestros (clientes, productos, proveedores) antes de los datos transaccionales: los errores de datos maestros se acumulan en cascada
• Los algoritmos de detección de duplicados que combinan coincidencia exacta, coincidencia aproximada y coincidencia de reglas comerciales capturan el 95 % de los duplicados.
• Los registros huérfanos (transacciones que hacen referencia a datos maestros eliminados) son la causa más común de errores de importación
• La puntuación de la calidad de los datos proporciona métricas objetivas para realizar un seguimiento del progreso de la limpieza y definir criterios de "hecho".
• Archive en lugar de eliminar: es posible que necesite datos históricos para análisis de impuestos, cumplimiento o tendencias
• Asigne propietarios de datos por tipo de entidad: la limpieza sin propiedad se convierte en acusaciones

---

Por qué los datos limpios son más importantes de lo que crees

El coste de los datos sucios en un nuevo ERP no es teórico. Estas son las consecuencias concretas:

Errores financieros. Los registros de clientes duplicados significan facturas duplicadas, solicitudes de pago divididas e informes de antigüedad incorrectos. Un cliente parece debe $50 000 cuando en realidad debe $25 000 en dos registros. Su equipo de cobros pierde el tiempo persiguiendo saldos fantasmas.

Inexactitud del inventario. Los registros de productos duplicados con nombres ligeramente diferentes significan que el stock se divide entre registros. Su sistema muestra 10 unidades de "Widget Blue, Large" y 15 unidades de "Blue Widget - LG" cuando en realidad tiene 25 unidades del mismo producto. Los puntos de reorden se activan incorrectamente.

Automatización rota. Las reglas de automatización de ERP hacen referencia a registros específicos. Un flujo de trabajo que envía un recordatorio de pago a los clientes con facturas vencidas enviará dos recordatorios a los clientes con registros duplicados. Se activarán reglas de reorden automáticas para cada producto duplicado.

Distorsión del informe. Los informes de ventas muestran un número de clientes inflado. Los informes de productos muestran un inventario fragmentado. Los informes financieros cuentan dos veces los ingresos o gastos asociados con registros duplicados.

Frustración del usuario. La forma más rápida de acabar con la adopción de ERP es que los usuarios vean datos sucios en el nuevo sistema. Si un vendedor busca un cliente y encuentra tres registros casi idénticos, su confianza en el sistema (y en el proyecto de migración) se evapora inmediatamente.

---

Paso 1: Detección de duplicados

Tres niveles de detección de duplicados

Nivel 1: Coincidencia exacta. Registros idénticos en todos los campos clave. Fácil de detectar, pero sólo detecta los duplicados más obvios.

• Misma dirección de correo electrónico
• Mismo número de teléfono (después de normalizar el formato)
• Mismo número de identificación fiscal/número de registro de empresa
• Mismo SKU/código de producto

Nivel 2: Coincidencia aproximada. Registros similares pero no idénticos. Requiere algoritmos como la distancia de Levenshtein, Soundex o la similitud de Jaro-Winkler.

• "ECOSIRE Pvt Ltd" frente a "ECOSIRE Private Limited" frente a "Ecosire Pvt. Ltd."
• "123 Main Street" frente a "123 Main St." frente a "123 Main St, Suite 100"
• "Widget azul (grande)" frente a "Widget - Azul, L" frente a "BLU-WDGT-LG"

Nivel 3: Coincidencia de reglas comerciales. Registros que parecen diferentes pero representan la misma entidad según el contexto comercial.

• Mismo nombre de empresa + misma ciudad (probablemente el mismo cliente incluso con direcciones diferentes)
• Mismas dimensiones del producto + mismo material (probablemente el mismo producto con nombres diferentes)
• Mismo proveedor + misma cuenta bancaria (probablemente un registro de proveedor duplicado)

Proceso de detección de duplicados

Fusionar reglas por tipo de entidad

Reglas de fusión de clientes:

• Mantener el registro con la actividad de transacción más reciente.
• Consolidar todas las direcciones (marcar principal, mantener otras como alternativas de envío/facturación)
• Fusionar todas las personas de contacto en el registro superviviente
• Reasignar todos los pedidos, facturas y pagos al registro superviviente.
• Preservar la fecha de creación más antigua (para cálculos de tenencia del cliente)

Reglas de fusión de productos:

• Mantener el registro con el SKU activo que coincida con tu catálogo
• Consolidar cantidades de existencias en registros duplicados
• Reasignar todas las líneas de pedido y líneas de factura al registro superviviente.
• Archive el SKU duplicado con una nota que apunte al registro superviviente.

Reglas de fusión de proveedores:

• Mantener el registro con los datos bancarios actuales y las condiciones de pago.
• Fusionar todas las órdenes de compra y facturas en el registro superviviente.
• Consolidar contactos de proveedores.
• Verificar que la información fiscal esté actualizada en el registro superviviente.

---

Paso 2: Identificación de registros huérfanos

Los registros huérfanos son transacciones que hacen referencia a datos maestros que ya no existen o que se vincularon incorrectamente. Son la segunda causa más común de errores de importación después de los duplicados.

Patrones huérfanos comunes

Patrón de consulta de detección de huérfanos

Para cada entidad transaccional, ejecute una verificación de referencia cruzada con sus datos maestros principales:

For every sales order line:
  → Does the customer_id exist in the customers table?
  → Does the product_id exist in the products table?
  → Does the salesperson_id exist in the employees table?

For every invoice:
  → Does the customer_id exist in the customers table?
  → Does each line's product_id exist in the products table?
  → Does the payment_term reference exist in the payment terms table?

For every purchase order:
  → Does the vendor_id exist in the vendors table?
  → Does each line's product_id exist in the products table?

Estrategias de resolución de huérfanos

Estrategia 1: Reconectar. Si el registro maestro se eliminó pero debería existir, vuelva a crearlo y vincule las transacciones huérfanas. Esto es común para productos que fueron descontinuados pero que tienen pedidos históricos.

Estrategia 2: Reclasificar. Asignar transacciones huérfanas a un registro maestro general. Cree un contacto de "Cliente heredado" o un registro de "Producto archivado" y reasigne los huérfanos allí. Esto preserva los totales financieros y al mismo tiempo reconoce el problema de la calidad de los datos.

Estrategia 3: Archivar. Mover transacciones huérfanas a una tabla de archivo fuera del alcance de la migración. Inclúyalos en una exportación de datos históricos separada como referencia, pero no los importe al nuevo ERP.

---

Paso 3: Reglas de validación de datos

Validación a nivel de campo

Aplique estas reglas de validación a cada registro antes de exportarlo:

Campos de texto:

• [] Sin espacios en blanco al principio o al final
• [] No hay espacios dobles dentro del texto.
• [] Mayúsculas consistentes (títulos para nombres, MAYÚSCULAS para códigos)
• No se permiten caracteres especiales en campos que deben ser alfanuméricos (SKU, códigos)
• [] La codificación de caracteres es consistente (UTF-8 en todo momento)

Campos de correo electrónico:

• [] Contiene exactamente un símbolo @
• [] El dominio tiene al menos un punto después de @
• Sin espacios en la dirección de correo electrónico
• [] Minúsculas (las direcciones de correo electrónico no distinguen entre mayúsculas y minúsculas)
• [] No es un marcador de posición ([email protected], [email protected])

Campos de teléfono:

• Formato consistente (elija uno: +1-555-123-4567 o +15551234567)
• Código de país incluido para números internacionales
• Sin letras ni caracteres especiales distintos de +, -, (, )
• Longitud válida para el país

Campos de fecha:

• Formato consistente (ISO 8601: AAAA-MM-DD)
• No hay fechas futuras que sean lógicamente imposibles (por ejemplo, fecha de factura en 2030)
• [] Sin fechas excesivamente antiguas (por ejemplo, fecha de pedido 1900-01-01, la predeterminada para muchos sistemas)
• [] Los rangos de fechas son lógicos (fecha de inicio antes de la fecha de finalización)

Campos numéricos:

• No hay texto en los campos numéricos (las comas como separadores de miles provocan errores de importación)
• Precisión decimal consistente (2 lugares para moneda, 4 lugares para precios unitarios con valores pequeños)
• No se permiten valores negativos cuando sea lógicamente imposible (cantidades, precios)
• [] Valores de moneda en el rango esperado (sin facturas de $999,999,999 a menos que sea Boeing)

Campos obligatorios:

• [] El nombre del cliente nunca está en blanco
• [] El nombre del producto y el SKU nunca están en blanco
• [] El número de factura nunca está en blanco ni duplicado
• [] Todas las referencias a claves externas apuntan a registros existentes

Validación de registros cruzados

Más allá de las comprobaciones de campo individuales, valide la coherencia entre registros relacionados:

• La suma de los importes de las líneas de factura es igual al total de la factura
• La suma de los pagos aplicados a una factura no excede el total de la factura
• El inventario disponible no muestra cantidades negativas (a menos que el sistema lo permita)
• [] La fecha de inicio del empleado es anterior a cualquier entrada asociada en la hoja de horas
• [] La fecha de creación del producto es anterior a cualquier línea de pedido de ventas asociada.

---

Paso 4: Estrategia de archivo

No todos los datos necesitan migrar. Defina una política de archivado que equilibre los requisitos de cumplimiento, las necesidades comerciales y la complejidad de la migración.

Marco de decisión de archivado

Recomendaciones de formato de archivo

Para datos que archiva fuera del ERP:

1. Exportar a CSV con encabezados de columna claros y codificación UTF-8
2. Incluya un diccionario de datos que defina cada columna, su tipo de datos y valores válidos
3. Almacenar en una ubicación versionada e inmutable (S3 con control de versiones o copia de seguridad cifrada)
4. Establezca un cronograma de retención (7 años para datos financieros en la mayoría de las jurisdicciones, más tiempo para algunas industrias)
5. Documente el archivo en sus registros de cumplimiento, incluido el contenido, el intervalo de fechas y la política de retención.

---

Paso 5: Gobernanza de datos maestros

La limpieza de datos no es un evento único. Sin gobernanza, su nuevo y brillante ERP acumulará los mismos problemas de calidad de datos en un plazo de 12 a 18 meses.

Matriz de propiedad de datos

Estándares de entrada de datos

Documentar y hacer cumplir los estándares para cada entidad:

Estándares de creación de clientes:

• Nombre de la empresa: Nombre legal oficial (verificar con los documentos de registro)
• Nombre comercial: se almacena por separado si es diferente del nombre legal
• Dirección: utilice el formato del servicio postal del país.
• Contacto principal: Nombre + correo electrónico + teléfono requerido
• Condiciones de pago: predeterminadas establecidas en el momento de la creación, requieren aprobación para cambiar
• Límite de crédito: establecido por finanzas, no por ventas

Estándares de creación de productos:

• Nombre del producto: [Marca] [Producto] [Variante] [Tamaño] (por ejemplo, "ECOSIRE Widget Blue Large")
• SKU: [Categoría]-[Secuencia]-[Variante] (por ejemplo, "WDG-001-BL")
• Descripción: Mínimo 50 caracteres, sin formato HTML en las descripciones
• Categoría: debe seleccionar entre categorías existentes (sin categorías de texto libre)
• Unidad de medida: debe utilizar UM estándar de la lista aprobada
• Imágenes: Mínimo una imagen, dimensiones máximas 2048x2048, fondo blanco

Reglas de calidad de datos automatizadas

Configure estas reglas en su nuevo ERP para evitar datos sucios desde el principio:

• Prevención de duplicados: advierte al guardar si ya existe un registro con el mismo correo electrónico, teléfono o identificación fiscal.
• Cumplimiento de campos obligatorios: bloquear la creación si los campos obligatorios están vacíos
• Validación de formato: rechaza formatos de correo electrónico, formatos de teléfono y formatos de fecha no válidos
• Flujos de trabajo de aprobación: la creación de nuevos clientes y proveedores requiere la aprobación del administrador
• Revisión periódica: informes automatizados que destacan los registros que no se actualizaron en más de 12 meses

---

Paso 6: Puntuación de la calidad de los datos

Metodología de puntuación

Califique cada entidad de datos en cuatro dimensiones, cada una con una calificación de 1 a 5:

Proceso de puntuación

1. Muestra: Aleatorio 5% de los registros (mínimo 100, máximo 500)
2. Compruebe que esté completo: cuente los campos obligatorios en blanco como porcentaje
3. Verifique la coherencia: revise el cumplimiento del formato para los campos de texto, fecha, teléfono y correo electrónico.
4. Verifique la precisión: verifique los registros de muestra con fuentes externas (sitio web, bases de datos de registro, recuento de inventario físico)
5. Compruebe la unicidad: ejecute la detección de duplicados en el conjunto de datos completo, calcule la tasa

Umbrales mínimos de calidad para la migración

No continúe con la migración para ninguna entidad con una puntuación inferior al umbral mínimo. El costo de limpiar los datos después de la importación es de 3 a 5 veces mayor que el de limpiarlos antes de la importación.

---

Plantilla de cronograma de limpieza de datos

---

Herramientas y recursos

Herramientas de limpieza de datos de código abierto

• OpenRefine: potente herramienta de limpieza de datos para agrupar, facetar y transformar datos desordenados
• dedupe.io: biblioteca de deduplicación basada en aprendizaje automático para Python
• Grandes expectativas: marco de validación de datos para controles de calidad automatizados
• pandas (Python): manipulación de datos flexible para scripts de limpieza personalizados
• csvkit: herramientas de línea de comandos para inspección y validación de CSV

Plataformas comerciales de calidad de datos

• Informatica Data Quality: limpieza y comparación de nivel empresarial
• Talend Data Quality: creación de perfiles, limpieza y estandarización
• Melissa Data: verificación de dirección, validación de correo electrónico, detección de duplicados
• IBM InfoSphere QualityStage: comparación y estandarización de datos maestros

---

Preguntas frecuentes

¿Cuánto tiempo lleva la limpieza de datos?

Para una empresa mediana (entre 5000 y 50 000 registros de clientes, entre 1000 y 10 000 productos), planifique entre 6 y 10 semanas de esfuerzo dedicado. Esto supone un analista de datos a tiempo completo más la participación a tiempo parcial de los propietarios de datos en cada departamento. Las empresas más grandes con cientos de miles de registros o entornos multisistema complejos pueden necesitar entre 12 y 16 semanas.

¿Deberíamos limpiar los datos del sistema antiguo o de los archivos provisionales?

Limpie en archivos provisionales (CSV exportados o una base de datos provisional), no en el sistema en vivo. Esto preserva sus datos de producción como respaldo, permite la limpieza paralela por parte de varias personas y evita interrumpir las operaciones diarias. Su sistema en vivo continúa funcionando intacto hasta que los datos limpios se importan al nuevo ERP.

¿Qué pasa si no podemos alcanzar el umbral mínimo de calidad?

Si una entidad específica no puede alcanzar la puntuación mínima, investigue la causa raíz. Si se trata de un problema de volumen de datos (demasiados registros para limpiarlos manualmente), considere importar solo el subconjunto más reciente o más activo y archivar el resto. Si se trata de un problema estructural (los datos nunca se diseñaron para respaldar lo que necesita el nuevo ERP), es posible que deba enriquecer los datos de fuentes externas o aceptar que algunos registros requerirán atención manual después de la migración.

¿Quién debería ser responsable de la limpieza de datos?

La limpieza de datos es una responsabilidad empresarial, no una responsabilidad de TI. TI proporciona las herramientas y la infraestructura, pero los usuarios empresariales deben tomar las decisiones: qué registro duplicado conservar, si un pedido huérfano debe reconectarse o archivarse y cuál debe ser el formato correcto del nombre del producto. Asigne propietarios de datos de cada departamento y hágalos responsables de los puntajes de calidad de su entidad.

¿Podemos automatizar la limpieza de datos?

Parcialmente. Las herramientas automatizadas manejan la estandarización de formatos (números de teléfono, direcciones, fechas), la deduplicación de coincidencias exactas y la verificación de reglas de validación. Pero fusionar duplicados de coincidencias aproximadas, resolver registros huérfanos y verificar la precisión de los datos requiere el juicio humano. Planifique un esfuerzo 60 % automatizado/40 % manual.

¿Qué pasa si descubrimos problemas de calidad de los datos después de la migración?

La limpieza posterior a la migración es entre 3 y 5 veces más costosa que la limpieza previa a la migración porque ahora se trata de un sistema activo donde los cambios afectan los flujos de trabajo activos. Si descubre problemas después de la puesta en marcha, priorice según el impacto en el negocio: corrija primero los registros que afectan la precisión financiera, luego los registros de cara al cliente y luego los registros operativos internos.

¿ECOSIRE ayuda con la limpieza de datos?

Sí. La limpieza de datos es un componente central de los [servicios de migración] de ECOSIRE(/services/odoo/migration). Proporcionamos perfiles de datos, deduplicación automatizada, puntuación de calidad y secuencias de comandos de limpieza como parte de cada proyecto de migración. Nuestro equipo trabaja junto con los propietarios de sus datos para garantizar que el contexto empresarial impulse cada decisión de limpieza. Contáctenos para analizar sus desafíos en materia de calidad de datos.

---

Comience con una evaluación de la calidad de los datos

El primer paso en cualquier migración es comprender el estado actual de sus datos. Una evaluación de la calidad de los datos tarda entre 3 y 5 días y produce un informe detallado que muestra tasas de duplicación, puntuaciones de integridad, inconsistencias de formato y recuentos de registros huérfanos para cada entidad importante.

ECOSIRE ofrece evaluaciones gratuitas de la calidad de los datos como parte de nuestros servicios de planificación de migración. Analizaremos sus datos actuales, identificaremos las tareas de limpieza de mayor impacto y proporcionaremos un cronograma realista y una estimación del esfuerzo para lograr una calidad lista para la migración.

Solicite su evaluación gratuita de la calidad de los datos y dé el primer paso hacia una migración limpia y exitosa.