Nettoyage des données ERP : étapes essentielles avant toute migration

Points clés à retenir

• Le nettoyage des données devrait représenter 30 à 40 % du calendrier total de migration : planifiez-le explicitement dans le calendrier de votre projet.
• Commencez par les données de base (clients, produits, fournisseurs) avant les données transactionnelles — les erreurs de données de base se succèdent
• Les algorithmes de détection des doublons combinant correspondance exacte, correspondance floue et correspondance de règles métier capturent 95 % des doublons
• Les enregistrements orphelins (transactions faisant référence à des données de base supprimées) sont la cause la plus courante d'échec d'importation.
• La notation de la qualité des données donne des mesures objectives pour suivre la progression du nettoyage et définir les critères « terminé »
• Archiver plutôt que supprimer : vous aurez peut-être besoin de données historiques à des fins fiscales, de conformité ou d'analyse des tendances. - Attribuer les propriétaires de données par type d'entité – le nettoyage sans propriété revient à pointer du doigt

---

Pourquoi des données propres sont plus importantes que vous ne le pensez

Le coût des données sales dans un nouvel ERP n’est pas théorique. Voici les conséquences concrètes :

Erreurs financières. Des enregistrements clients en double signifient des factures en double, des demandes de paiement fractionnées et des rapports chronologiques incorrects. Un client semble devoir 50 000 $ alors qu’il doit en réalité 25 000 $ sur deux enregistrements. Votre équipe de recouvrement perd du temps à rechercher des soldes fantômes.

Inexactitude de l'inventaire. Des enregistrements de produits en double portant des noms légèrement différents signifient que le stock est réparti entre les enregistrements. Votre système affiche 10 unités de « Widget Blue, Large » et 15 unités de « Blue Widget - LG » alors que vous disposez en réalité de 25 unités du même produit. Les points de réorganisation ne se déclenchent pas correctement.

Automatisation interrompue. Les règles d'automatisation ERP font référence à des enregistrements spécifiques. Un workflow qui envoie un rappel de paiement aux clients ayant des factures en retard enverra deux rappels aux clients ayant des enregistrements en double. Des règles de réapprovisionnement automatisées se déclencheront pour chaque produit en double.

Distorsion du rapport. Les rapports de ventes montrent un nombre de clients gonflé. Les rapports sur les produits montrent un inventaire fragmenté. Les rapports financiers comptent deux fois les revenus ou les dépenses associés aux enregistrements en double.

Frustration des utilisateurs. Le moyen le plus rapide de stopper l'adoption d'un ERP est que les utilisateurs voient les données sales dans le nouveau système. Si un vendeur recherche un client et trouve trois enregistrements presque identiques, sa confiance dans le système – et dans le projet de migration – s'évapore immédiatement.

---

Étape 1 : Détection des doublons

Trois niveaux de détection des doublons

Niveau 1 : correspondance exacte. Enregistrements identiques dans les champs clés. Facile à détecter, mais ne détecte que les doublons les plus évidents.

• Même adresse email
• Même numéro de téléphone (après normalisation du format)
• Même numéro d'identification fiscale/numéro d'enregistrement de l'entreprise
• Même SKU/code produit

Niveau 2 : correspondance floue. Enregistrements similaires mais non identiques. Nécessite des algorithmes tels que la distance de Levenshtein, Soundex ou la similarité Jaro-Winkler.

• "ECOSIRE Pvt Ltd" contre "ECOSIRE Private Limited" contre "Ecosire Pvt. Ltd."
• "123 Main Street" contre "123 Main St." contre « 123, rue Main, bureau 100 »
• "Blue Widget (Large)" contre "Widget - Bleu, L" contre "BLU-WDGT-LG"

Niveau 3 : correspondance des règles métier. Enregistrements qui semblent différents mais représentent la même entité en fonction du contexte commercial.

• Même nom d'entreprise + même ville (probablement le même client même avec des adresses différentes)
• Mêmes dimensions du produit + même matériau (probablement le même produit avec un nom différent)
• Même fournisseur + même compte bancaire (probablement un enregistrement de fournisseur en double)

Processus de détection des doublons

Fusionner les règles par type d'entité

Règles de fusion des clients :

• Gardez le registre de l'activité de transaction la plus récente
• Consolider toutes les adresses (marquer comme principale, conserver les autres comme alternatives d'expédition/facturation)
• Fusionner toutes les personnes de contact sous le dossier survivant
• Réaffecter toutes les commandes, factures et paiements au dossier survivant
• Conserver la date de création la plus ancienne (pour les calculs d'occupation des clients)

Règles de fusion de produits :

• Gardez l'enregistrement avec le SKU actif qui correspond à votre catalogue
• Consolider les quantités de stock dans les enregistrements en double
• Réaffecter toutes les lignes de commande et les lignes de facture à l'enregistrement survivant
• Archivez le SKU en double avec une note pointant vers l'enregistrement survivant

Règles de fusion des fournisseurs :

• Conserver le dossier avec les coordonnées bancaires actuelles et les conditions de paiement
• Fusionner tous les bons de commande et factures sous le dossier survivant
• Consolider les contacts fournisseurs
• Vérifier que les informations fiscales sont à jour sur le dossier survivant

---

Étape 2 : Identification des enregistrements orphelins

Les enregistrements orphelins sont des transactions qui font référence à des données de base qui n'existent plus ou qui ont été mal liées. Ils constituent la deuxième cause d’échec d’importation après les doublons.

Modèles orphelins courants

Modèle de requête de détection d'orphelins

Pour chaque entité transactionnelle, exécutez une vérification des références croisées par rapport à ses données de base parent :

For every sales order line:
  → Does the customer_id exist in the customers table?
  → Does the product_id exist in the products table?
  → Does the salesperson_id exist in the employees table?

For every invoice:
  → Does the customer_id exist in the customers table?
  → Does each line's product_id exist in the products table?
  → Does the payment_term reference exist in the payment terms table?

For every purchase order:
  → Does the vendor_id exist in the vendors table?
  → Does each line's product_id exist in the products table?

Stratégies de résolution des orphelins

Stratégie 1 : Reconnecter. Si l'enregistrement principal a été supprimé mais devrait exister, recréez-le et liez les transactions orphelines. Ceci est courant pour les produits qui ont été abandonnés mais qui ont des commandes historiques.

Stratégie 2 : Reclassifier. Attribuez les transactions orphelines à un enregistrement principal fourre-tout. Créez un contact « Client hérité » ou un enregistrement « Produit archivé » et réaffectez-y les orphelins. Cela préserve les totaux financiers tout en reconnaissant le problème de qualité des données.

Stratégie 3 : Archiver. Déplacez les transactions orphelines vers une table d'archives en dehors de la portée de la migration. Incluez-les dans une exportation de données historiques distincte pour référence, mais ne les importez pas dans le nouvel ERP.

---

Étape 3 : Règles de validation des données

Validation au niveau du champ

Appliquez ces règles de validation à chaque enregistrement avant l'exportation :

Champs de texte :

• Aucun espace de début ou de fin
• Pas de double espace dans le texte
• Capitalisation cohérente (Cas du titre pour les noms, MAJUSCULE pour les codes)
• Aucun caractère spécial dans les champs qui doivent être alphanumériques (SKU, codes)
• L'encodage des caractères est cohérent (UTF-8 partout)

Champs de courrier électronique :

• Contient exactement un symbole @
• Le domaine a au moins un point après @
• Pas d'espace dans l'adresse email
• Minuscule (les adresses e-mail ne sont pas sensibles à la casse)
• Pas un espace réservé ([email protected], [email protected])

Champs de téléphone :

• Format cohérent (au choix : +1-555-123-4567 ou +15551234567)
• Indicatif du pays inclus pour les numéros internationaux
• Pas de lettres ni de caractères spéciaux autres que +, -, (, )
• Longueur valide pour le pays

Champs de date :

• Format cohérent (ISO 8601 : AAAA-MM-JJ)
• Aucune date future là où cela est logiquement impossible (par exemple, date de facture en 2030)
• Aucune date déraisonnablement ancienne (par exemple, date de commande du 1900-01-01, valeur par défaut pour de nombreux systèmes) - [ ] Les plages de dates sont logiques (date de début avant la date de fin)

Champs numériques :

• Aucun texte dans les champs numériques (les virgules comme séparateurs de milliers provoquent des échecs d'importation)
• Précision décimale constante (2 places pour la devise, 4 places pour les prix unitaires avec de petites valeurs)
• Pas de valeurs négatives là où cela est logiquement impossible (quantités, prix)
• Valeurs monétaires dans la fourchette attendue (pas de factures de 999 999 999 $, sauf si vous êtes Boeing)

Champs obligatoires :

• Le nom du client n'est jamais vide
• Le nom du produit et le SKU ne sont jamais vides
• Le numéro de facture n'est jamais vide et jamais dupliqué
• Toutes les références de clé étrangère pointent vers des enregistrements existants

Validation d'enregistrements croisés

Au-delà des vérifications de champs individuels, validez la cohérence entre les enregistrements associés :

• La somme des montants des lignes de facture est égale au total de la facture
• La somme des paiements appliquée à une facture ne dépasse pas le total de la facture
• L'inventaire disponible n'affiche pas de quantités négatives (sauf si le système le permet)
• La date de début de l'employé est antérieure à toute entrée de feuille de temps associée
• La date de création du produit est antérieure à toute ligne de commande client associée

---

Étape 4 : Stratégie d'archivage

Toutes les données n'ont pas besoin d'être migrées. Définissez une politique d'archivage qui équilibre les exigences de conformité, les besoins de l'entreprise et la complexité de la migration.

Cadre décisionnel d'archivage

Recommandations sur le format d'archive

Pour les données que vous archivez en dehors de l'ERP :

1. Exporter au format CSV avec des en-têtes de colonnes clairs et un encodage UTF-8
2. Inclure un dictionnaire de données qui définit chaque colonne, son type de données et les valeurs valides
3. Stocker dans un emplacement versionné et immuable (S3 avec versionnage ou sauvegarde chiffrée)
4. Établissez un calendrier de conservation (7 ans pour les données financières dans la plupart des juridictions, plus longtemps pour certains secteurs)
5. Documentez l'archive dans vos dossiers de conformité, y compris le contenu, la plage de dates et la politique de conservation.

---

Étape 5 : Gouvernance des données de maîtrise

Le nettoyage des données n’est pas un événement ponctuel. Sans gouvernance, votre tout nouvel ERP accumulera les mêmes problèmes de qualité de données dans un délai de 12 à 18 mois.

Matrice de propriété des données

Normes de saisie des données

Documenter et appliquer les normes pour chaque entité :

Normes de création de clients :

• Nom de l'entreprise : Dénomination sociale officielle (à vérifier par rapport aux documents d'enregistrement)
• Nom commercial : stocké séparément s'il est différent du nom légal
• Adresse : utiliser le format du service postal du pays
• Contact principal : Nom + email + téléphone requis
• Conditions de paiement : définies par défaut lors de la création, nécessitent une approbation pour modifier
• Limite de crédit : fixée par les finances et non par les ventes

Normes de création de produits :

• Nom du produit : [Marque] [Produit] [Variante] [Taille] (par exemple, "ECOSIRE Widget Blue Large")
• SKU : [Catégorie]-[Séquence]-[Variante] (par exemple, "WDG-001-BL")
• Description : minimum 50 caractères, pas de formatage HTML dans les descriptions
• Catégorie : doit sélectionner parmi les catégories existantes (pas de catégories en texte libre)
• Unité de mesure : doit utiliser l'UdM standard de la liste approuvée
• Images : minimum une image, dimensions maximales 2048x2048, fond blanc

Règles de qualité des données automatisées

Configurez ces règles dans votre nouvel ERP pour éviter les données sales dès le départ :

• Prévention des doublons : avertir lors de l'enregistrement si un enregistrement avec le même e-mail, téléphone ou numéro d'identification fiscale existe déjà
• Application des champs obligatoires : bloquer la création si les champs obligatoires sont vides
• Validation du format : rejeter les formats d'e-mail, les formats de téléphone et les formats de date non valides
• Flux de travail d'approbation : la création de nouveaux clients et fournisseurs nécessite l'approbation du responsable
• Examen périodique : rapports automatisés mettant en évidence les enregistrements non mis à jour depuis plus de 12 mois

---

Étape 6 : évaluation de la qualité des données

Méthodologie de notation

Notez chaque entité de données sur quatre dimensions, chacune notée de 1 à 5 :

Processus de notation

1. Échantillon : 5 % des enregistrements aléatoires (minimum 100, maximum 500)
2. Vérifier l'exhaustivité : comptez les champs obligatoires vides en pourcentage
3. Vérifiez la cohérence : vérifiez la conformité du format pour les champs de texte, de date, de téléphone et d'e-mail.
4. Vérifier l'exactitude : Vérifiez les enregistrements échantillonnés par rapport à des sources externes (site Web, bases de données d'enregistrement, inventaire physique)
5. Vérifiez l'unicité : exécutez la détection des doublons sur l'ensemble de données complet, calculez le taux

Seuils de qualité minimum pour la migration

Ne procédez pas à la migration pour toute entité dont le score est inférieur au seuil minimum. Le coût du nettoyage des données après importation est 3 à 5 fois plus élevé que celui du nettoyage avant importation.

---

Modèle de chronologie du nettoyage des données

---

Outils et ressources

Outils de nettoyage de données open source

• OpenRefine : puissant outil de nettoyage des données pour le clustering, le facettage et la transformation des données désordonnées
• dedupe.io : bibliothèque de déduplication basée sur l'apprentissage automatique pour Python
• Grandes attentes : cadre de validation des données pour les contrôles de qualité automatisés
• pandas (Python) : manipulation flexible des données pour les scripts de nettoyage personnalisés
• csvkit : outils de ligne de commande pour l'inspection et la validation CSV

Plateformes de qualité des données commerciales

• Informatica Data Quality : nettoyage et correspondance de niveau entreprise
• Talend Data Quality : profilage, nettoyage et standardisation
• Melissa Data : vérification d'adresse, validation d'e-mail, détection de doublons
• IBM InfoSphere QualityStage : mise en correspondance et standardisation des données de référence

---

Questions fréquemment posées

Combien de temps prend le nettoyage des données ?

Pour une entreprise de taille moyenne (5 000 à 50 000 dossiers clients, 1 000 à 10 000 produits), prévoyez 6 à 10 semaines d'efforts dédiés. Cela suppose un analyste de données à temps plein et une participation à temps partiel des propriétaires de données dans chaque département. Les grandes entreprises possédant des centaines de milliers d’enregistrements ou des environnements multisystèmes complexes peuvent avoir besoin de 12 à 16 semaines.

Devrions-nous nettoyer les données de l'ancien système ou des fichiers de préparation ?

Nettoyez dans les fichiers intermédiaires (CSV exportés ou base de données intermédiaire), pas dans le système actif. Cela préserve vos données de production comme solution de secours, permet un nettoyage parallèle par plusieurs personnes et évite de perturber les opérations quotidiennes. Votre système en direct continue de fonctionner intact jusqu'à ce que les données propres soient importées dans le nouvel ERP.

Que se passe-t-il si nous ne pouvons pas atteindre le seuil de qualité minimum ?

Si une entité spécifique ne peut pas atteindre le score minimum, recherchez la cause première. S'il s'agit d'un problème de volume de données (trop d'enregistrements à nettoyer manuellement), envisagez d'importer uniquement le sous-ensemble le plus récent ou le plus actif et d'archiver le reste. S'il s'agit d'un problème structurel (les données n'ont jamais été conçues pour répondre aux besoins du nouvel ERP), vous devrez peut-être enrichir les données à partir de sources externes ou accepter que certains enregistrements nécessitent une attention manuelle après la migration.

Qui devrait être responsable du nettoyage des données ?

Le nettoyage des données est une responsabilité commerciale et non une responsabilité informatique. L'informatique fournit les outils et l'infrastructure, mais les utilisateurs professionnels doivent prendre les décisions : quel enregistrement en double conserver, si une commande orpheline doit être reconnectée ou archivée et quel doit être le format correct du nom de produit. Attribuez des propriétaires de données à chaque service et tenez-les responsables des scores de qualité de leur entité.

Pouvons-nous automatiser le nettoyage des données ?

Partiellement. Les outils automatisés gèrent la standardisation des formats (numéros de téléphone, adresses, dates), la déduplication des correspondances exactes et la vérification des règles de validation. Mais la fusion des doublons par correspondance floue, la résolution des enregistrements orphelins et la vérification de l’exactitude des données nécessitent un jugement humain. Prévoyez un effort 60 % automatisé / 40 % manuel.

Que faire si nous découvrons des problèmes de qualité des données après la migration ?

Le nettoyage après migration est 3 à 5 fois plus coûteux que le nettoyage avant migration, car vous avez désormais affaire à un système actif dans lequel les modifications affectent les flux de travail actifs. Si vous découvrez des problèmes après la mise en service, établissez la priorité en fonction de leur impact sur l'entreprise : corrigez d'abord les enregistrements qui affectent la précision financière, puis les enregistrements destinés aux clients, puis les enregistrements opérationnels internes.

ECOSIRE aide-t-il au nettoyage des données ?

Oui. Le nettoyage des données est un élément essentiel des services de migration d'ECOSIRE. Nous fournissons le profilage des données, la déduplication automatisée, l'évaluation de la qualité et les scripts de nettoyage dans le cadre de chaque projet de migration. Notre équipe travaille aux côtés de vos propriétaires de données pour garantir que le contexte commercial détermine chaque décision de nettoyage. Contactez-nous pour discuter de vos défis en matière de qualité des données.

---

Commencez par une évaluation de la qualité des données

La première étape de toute migration consiste à comprendre l’état actuel de vos données. Une évaluation de la qualité des données prend 3 à 5 jours et produit un rapport détaillé montrant les taux de doublons, les scores d'exhaustivité, les incohérences de format et le nombre d'enregistrements orphelins pour chaque entité majeure.

ECOSIRE propose des évaluations gratuites de la qualité des données dans le cadre de nos services de planification de migration. Nous analyserons vos données actuelles, identifierons les tâches de nettoyage ayant le plus grand impact et fournirons un calendrier et une estimation réalistes des efforts pour atteindre une qualité prête pour la migration.

Demandez votre évaluation gratuite de la qualité des données et faites le premier pas vers une migration propre et réussie.