ERP-Datenbereinigung: Wesentliche Schritte vor jeder Migration

Wichtige Erkenntnisse

• Die Datenbereinigung sollte 30–40 % des gesamten Migrationszeitplans in Anspruch nehmen – planen Sie dies ausdrücklich in Ihrem Projektplan ein
• Beginnen Sie mit den Stammdaten (Kunden, Produkte, Lieferanten) und dann mit den Transaktionsdaten – Stammdatenfehler kaskadieren
• Algorithmen zur Duplikaterkennung, die exakte Übereinstimmung, Fuzzy-Übereinstimmung und Geschäftsregelübereinstimmung kombinieren, fangen 95 % der Duplikate ab
• Verwaiste Datensätze (Transaktionen, die auf gelöschte Stammdaten verweisen) sind die häufigste Ursache für Importfehler
• Die Bewertung der Datenqualität liefert objektive Messwerte, um den Bereinigungsfortschritt zu verfolgen und „erledigt“-Kriterien zu definieren
• Archivieren statt löschen – möglicherweise benötigen Sie historische Daten für Steuer-, Compliance- oder Trendanalysen
• Weisen Sie Dateneigentümer pro Entitätstyp zu – die Bereinigung ohne Eigentumsrechte läuft auf Schuldzuweisungen hinaus

---

Warum saubere Daten wichtiger sind, als Sie denken

Die Kosten für schmutzige Daten in einem neuen ERP sind nicht theoretisch. Hier die konkreten Konsequenzen:

Finanzielle Fehler. Doppelte Kundendatensätze bedeuten doppelte Rechnungen, geteilte Zahlungsanträge und falsche Fälligkeitsberichte. Ein Kunde scheint 50.000 US-Dollar zu schulden, obwohl er in zwei Datensätzen tatsächlich 25.000 US-Dollar schuldet. Ihr Inkassoteam verschwendet Zeit mit der Suche nach Phantomsalden.

Bestandsungenauigkeit. Doppelte Produktdatensätze mit leicht unterschiedlichen Namen führen dazu, dass der Lagerbestand auf mehrere Datensätze aufgeteilt wird. Ihr System zeigt 10 Einheiten „Widget Blue, Large“ und 15 Einheiten „Blue Widget – LG“ an, obwohl Sie tatsächlich 25 Einheiten desselben Produkts haben. Nachbestellungspunkte werden falsch ausgelöst.

Fehlerhafte Automatisierung. ERP-Automatisierungsregeln verweisen auf bestimmte Datensätze. Ein Workflow, der eine Zahlungserinnerung an Kunden mit überfälligen Rechnungen sendet, sendet zwei Erinnerungen an Kunden mit doppelten Datensätzen. Für jedes doppelte Produkt werden automatische Nachbestellungsregeln ausgelöst.

Berichtsverzerrung. Verkaufsberichte zeigen überhöhte Kundenzahlen. Produktberichte zeigen fragmentiertes Inventar. In Finanzberichten werden Einnahmen oder Ausgaben im Zusammenhang mit doppelten Datensätzen doppelt gezählt.

Frustration der Benutzer. Der schnellste Weg, die ERP-Einführung zu verhindern, besteht darin, dass Benutzer schmutzige Daten im neuen System sehen. Wenn ein Verkäufer nach einem Kunden sucht und drei nahezu identische Datensätze findet, schwindet sein Vertrauen in das System – und das Migrationsprojekt – sofort.

---

Schritt 1: Duplikaterkennung

Drei Ebenen der Duplikaterkennung

Stufe 1: Genaue Übereinstimmung. Datensätze, die in allen Schlüsselfeldern identisch sind. Leicht zu erkennen, erkennt aber nur die offensichtlichsten Duplikate.

• Gleiche E-Mail-Adresse
• Gleiche Telefonnummer (nach Normalisierung des Formats)
• Gleiche Steuer-ID/Firmenregistrierungsnummer
• Gleiche SKU/gleicher Produktcode

Stufe 2: Fuzzy-Match. Datensätze, die ähnlich, aber nicht identisch sind. Erfordert Algorithmen wie Levenshtein-Distanz, Soundex oder Jaro-Winkler-Ähnlichkeit.

• „ECOSIRE Pvt Ltd“ vs. „ECOSIRE Private Limited“ vs. „Ecosire Pvt. Ltd.“
• „123 Main Street“ vs. „123 Main St.“ vs. „123 Main St, Suite 100“
• „Blue Widget (Large)“ vs. „Widget – Blue, L“ vs. „BLU-WDGT-LG“

Stufe 3: Geschäftsregelübereinstimmung. Datensätze, die unterschiedlich aussehen, aber basierend auf dem Geschäftskontext dieselbe Entität darstellen.

• Gleicher Firmenname + gleiche Stadt (wahrscheinlich derselbe Kunde, auch mit unterschiedlichen Adressen)
• Gleiche Produktabmessungen + gleiches Material (wahrscheinlich dasselbe Produkt mit unterschiedlicher Benennung)
• Gleicher Lieferant + gleiches Bankkonto (wahrscheinlich ein doppelter Lieferantendatensatz)

Duplikaterkennungsprozess

Regeln nach Entitätstyp zusammenführen

Kundenzusammenführungsregeln:

• Führen Sie Aufzeichnungen über die letzte Transaktionsaktivität
• Konsolidieren Sie alle Adressen (markieren Sie die primäre, behalten Sie andere als Versand-/Rechnungsalternativen bei)
• Führen Sie alle Kontaktpersonen unter dem verbleibenden Datensatz zusammen
• Ordnen Sie alle Bestellungen, Rechnungen und Zahlungen dem verbleibenden Datensatz neu zu
• Behalten Sie das älteste Erstellungsdatum bei (für Kundenlaufzeitberechnungen)

Produktzusammenführungsregeln:

• Führen Sie den Datensatz mit der aktiven SKU, die Ihrem Katalog entspricht
• Konsolidieren Sie Bestandsmengen über doppelte Datensätze hinweg
• Ordnen Sie alle Bestell- und Rechnungszeilen dem verbleibenden Datensatz neu zu
• Archivieren Sie die doppelte SKU mit einem Hinweis auf den verbleibenden Datensatz

Regeln für die Anbieterzusammenführung:

• Führen Sie ein Protokoll mit den aktuellen Bankdaten und Zahlungsbedingungen
• Führen Sie alle Bestellungen und Rechnungen unter dem verbleibenden Datensatz zusammen
• Konsolidieren Sie Lieferantenkontakte
• Überprüfen Sie, ob die Steuerinformationen in den erhaltenen Unterlagen aktuell sind

---

Schritt 2: Identifizierung verwaister Datensätze

Verwaiste Datensätze sind Transaktionen, die auf Stammdaten verweisen, die nicht mehr vorhanden sind oder falsch verknüpft wurden. Sie sind nach Duplikaten die zweithäufigste Ursache für Importfehler.

Häufige Waisenmuster

Abfragemuster zur Erkennung verwaister Objekte

Führen Sie für jede Transaktionseinheit eine Querverweisprüfung anhand der übergeordneten Stammdaten durch:

For every sales order line:
  → Does the customer_id exist in the customers table?
  → Does the product_id exist in the products table?
  → Does the salesperson_id exist in the employees table?

For every invoice:
  → Does the customer_id exist in the customers table?
  → Does each line's product_id exist in the products table?
  → Does the payment_term reference exist in the payment terms table?

For every purchase order:
  → Does the vendor_id exist in the vendors table?
  → Does each line's product_id exist in the products table?

Strategien zur Auflösung von Waisenkindern

Strategie 1: Erneut verbinden. Wenn der Stammdatensatz gelöscht wurde, aber vorhanden sein sollte, erstellen Sie ihn neu und verknüpfen Sie die verwaisten Transaktionen. Dies ist häufig bei Produkten der Fall, die zwar eingestellt wurden, für die es aber historische Bestellungen gibt.

Strategie 2: Neuklassifizierung. Weisen Sie verwaiste Transaktionen einem Catch-All-Stammdatensatz zu. Erstellen Sie einen „Altkunden“-Kontakt oder einen „Archiviertes Produkt“-Datensatz und weisen Sie Waisen dort neu zu. Dadurch bleiben die Finanzsummen erhalten und gleichzeitig wird das Problem der Datenqualität berücksichtigt.

Strategie 3: Archivieren. Verschieben Sie verwaiste Transaktionen in eine Archivtabelle außerhalb des Migrationsbereichs. Fügen Sie sie als Referenz in einen separaten Export historischer Daten ein, importieren Sie sie jedoch nicht in das neue ERP.

---

Schritt 3: Datenvalidierungsregeln

Validierung auf Feldebene

Wenden Sie diese Validierungsregeln vor dem Export auf jeden Datensatz an:

Textfelder:

• Keine führenden oder nachgestellten Leerzeichen
• Keine doppelten Leerzeichen im Text
• Konsistente Großschreibung (Titel-Großschreibung für Namen, GROSSBUCHSTABE für Codes)
• Keine Sonderzeichen in Feldern, die alphanumerisch sein sollten (SKUs, Codes)
• Die Zeichenkodierung ist konsistent (durchgehend UTF-8)

E-Mail-Felder:

• Enthält genau ein @-Symbol
• Domain hat mindestens einen Punkt nach @
• Keine Leerzeichen in der E-Mail-Adresse
• Kleinbuchstaben (bei E-Mail-Adressen wird die Groß-/Kleinschreibung nicht beachtet)
• Kein Platzhalter ([email protected], [email protected])

Telefonfelder:

• Konsistentes Format (wählen Sie eines: +1-555-123-4567 oder +15551234567)
• Ländervorwahl für internationale Nummern enthalten
• Keine Buchstaben oder Sonderzeichen außer +, -, (, )
• Gültige Länge für das Land

Datumsfelder:

• Konsistentes Format (ISO 8601: JJJJ-MM-TT)
• Keine zukünftigen Daten, wenn dies logisch unmöglich ist (z. B. Rechnungsdatum im Jahr 2030)
• Keine unangemessen alten Daten (z. B. Bestelldatum 1900-01-01, die Standardeinstellung für viele Systeme)
• Datumsbereiche sind logisch (Startdatum vor Enddatum)

Numerische Felder:

• Kein Text in numerischen Feldern (Kommas als Tausendertrennzeichen führen zu Importfehlern)
• Konsistente Dezimalgenauigkeit (2 Stellen für Währung, 4 Stellen für Einzelpreise mit kleinen Werten)
• Keine negativen Werte, wo logisch unmöglich (Mengen, Preise)
• Währungswerte im erwarteten Bereich (keine Rechnungen im Wert von 999.999.999 $, es sei denn, Sie sind Boeing)

Erforderliche Felder:

• Kundenname ist niemals leer
• Produktname und SKU sind niemals leer
• Die Rechnungsnummer darf niemals leer sein und wird niemals dupliziert
• Alle Fremdschlüsselverweise verweisen auf vorhandene Datensätze

Datensatzübergreifende Validierung

Überprüfen Sie über einzelne Feldprüfungen hinaus die Konsistenz über verwandte Datensätze hinweg:

• Die Summe der Rechnungspostenbeträge entspricht der Rechnungssumme
• Die Summe der auf eine Rechnung angewendeten Zahlungen übersteigt nicht den Rechnungsgesamtwert
• Der Lagerbestand zeigt keine negativen Mengen an (sofern das System dies nicht zulässt)
• Das Startdatum des Mitarbeiters liegt vor allen zugehörigen Stundenzetteleinträgen
• Das Produkterstellungsdatum liegt vor allen zugehörigen Kundenauftragszeilen

---

Schritt 4: Archivierungsstrategie

Nicht alle Daten müssen migriert werden. Definieren Sie eine Archivierungsrichtlinie, die Compliance-Anforderungen, Geschäftsanforderungen und Migrationskomplexität in Einklang bringt.

Archivierungs-Entscheidungsrahmen

Empfehlungen zum Archivformat

Für Daten, die Sie außerhalb des ERP archivieren:

1. Export nach CSV mit klaren Spaltenüberschriften und UTF-8-Kodierung
2. Fügen Sie ein Datenwörterbuch hinzu, das jede Spalte, ihren Datentyp und gültige Werte definiert
3. An einem versionierten, unveränderlichen Ort speichern (S3 mit Versionierung oder verschlüsseltes Backup)
4. Legen Sie einen Aufbewahrungszeitraum fest (7 Jahre für Finanzdaten in den meisten Gerichtsbarkeiten, länger für einige Branchen)
5. Dokumentieren Sie das Archiv in Ihren Compliance-Aufzeichnungen, einschließlich Inhalt, Datumsbereich und Aufbewahrungsrichtlinie

---

Schritt 5: Stammdaten-Governance

Die Datenbereinigung ist kein einmaliger Vorgang. Ohne Governance werden in Ihrem glänzenden neuen ERP innerhalb von 12 bis 18 Monaten dieselben Probleme mit der Datenqualität auftreten.

Dateneigentumsmatrix

Dateneingabestandards

Dokumentieren und erzwingen Sie Standards für jede Einheit:

Kundenerstellungsstandards:

• Firmenname: Offizieller Firmenname (anhand der Registrierungsdokumente überprüfen)
• Handelsname: Wird separat gespeichert, wenn er vom offiziellen Namen abweicht
• Adresse: Verwenden Sie das Postformat für das Land
• Hauptkontakt: Name + E-Mail + Telefonnummer erforderlich
• Zahlungsbedingungen: Standardmäßig bei der Erstellung festgelegt, zur Änderung ist eine Genehmigung erforderlich
• Kreditlimit: Wird von der Finanzabteilung festgelegt, nicht vom Vertrieb

Produktentwicklungsstandards:

• Produktname: [Marke] [Produkt] [Variante] [Größe] (z. B. „ECOSIRE Widget Blue Large“)
• SKU: [Kategorie]-[Sequenz]-[Variante] (z. B. „WDG-001-BL“)
• Beschreibung: Mindestens 50 Zeichen, keine HTML-Formatierung in Beschreibungen
• Kategorie: Muss aus vorhandenen Kategorien ausgewählt werden (keine Freitextkategorien)
• Maßeinheit: Es muss die Standard-ME aus der genehmigten Liste verwendet werden
• Bilder: Mindestens ein Bild, maximale Abmessungen 2048 x 2048, weißer Hintergrund

Automatisierte Datenqualitätsregeln

Konfigurieren Sie diese Regeln in Ihrem neuen ERP, um schmutzige Daten von Anfang an zu verhindern:

• Verhinderung von Duplikaten: Warnung beim Speichern, wenn bereits ein Datensatz mit derselben E-Mail-Adresse, Telefonnummer oder Steuernummer vorhanden ist
• Erzwingung von Pflichtfeldern: Erstellung blockieren, wenn Pflichtfelder leer sind
• Formatvalidierung: Ungültige E-Mail-Formate, Telefonformate und Datumsformate ablehnen
• Genehmigungsworkflows: Die Erstellung neuer Kunden und Lieferanten erfordert die Genehmigung des Managers
• Regelmäßige Überprüfung: Automatisierte Berichte, die Datensätze hervorheben, die seit mehr als 12 Monaten nicht aktualisiert wurden

---

Schritt 6: Datenqualitätsbewertung

Bewertungsmethodik

Bewerten Sie jede Dateneinheit anhand von vier Dimensionen mit jeweils einer Bewertung von 1–5:

Bewertungsprozess

1. Stichprobe: Zufällige 5 % der Datensätze (mindestens 100, maximal 500)
2. Vollständigkeit prüfen: Zählen Sie leere Pflichtfelder als Prozentsatz
3. Konsistenz prüfen: Überprüfen Sie die Formatkonformität für Text-, Datums-, Telefon- und E-Mail-Felder
4. Prüfung der Genauigkeit: Überprüfen Sie die erfassten Datensätze anhand externer Quellen (Website, Registrierungsdatenbanken, Inventurzählung).
5. Eindeutigkeit prüfen: Führen Sie die Duplikaterkennung für den gesamten Datensatz durch und berechnen Sie die Rate

Mindestqualitätsschwellenwerte für die Migration

Fahren Sie nicht mit der Migration fort für Entitäten, die unter dem Mindestschwellenwert liegen. Die Kosten für die Datenbereinigung nach dem Import sind drei- bis fünfmal höher als für die Datenbereinigung vor dem Import.

---

Zeitleistenvorlage für die Datenbereinigung

---

Tools und Ressourcen

Open-Source-Tools zur Datenbereinigung

• OpenRefine: Leistungsstarkes Datenbereinigungstool zum Clustering, Facettieren und Transformieren unordentlicher Daten
• dedupe.io: Auf maschinellem Lernen basierende Deduplizierungsbibliothek für Python
• Große Erwartungen: Datenvalidierungs-Framework für automatisierte Qualitätsprüfungen
• Pandas (Python): Flexible Datenbearbeitung für benutzerdefinierte Bereinigungsskripte
• csvkit: Befehlszeilentools für die CSV-Inspektion und -Validierung

Kommerzielle Datenqualitätsplattformen

• Informatica Data Quality: Bereinigung und Abgleich auf Unternehmensniveau
• Talend Data Quality: Profilerstellung, Bereinigung und Standardisierung
• Melissa Data: Adressüberprüfung, E-Mail-Validierung, Duplikaterkennung
• IBM InfoSphere QualityStage: Stammdatenabgleich und Standardisierung

---

Häufig gestellte Fragen

Wie lange dauert die Datenbereinigung?

Planen Sie für ein mittelständisches Unternehmen (5.000–50.000 Kundendatensätze, 1.000–10.000 Produkte) 6–10 Wochen engagierten Einsatz ein. Dies setzt einen Vollzeit-Datenanalysten sowie die Teilzeitbeteiligung von Dateneigentümern in jeder Abteilung voraus. Größere Unternehmen mit Hunderttausenden Datensätzen oder komplexen Multisystemlandschaften benötigen möglicherweise 12–16 Wochen.

Sollten wir Daten im alten System oder in Staging-Dateien bereinigen?

Bereinigen Sie die Staging-Dateien (exportierte CSVs oder eine Staging-Datenbank), nicht im Live-System. Dadurch bleiben Ihre Produktionsdaten als Fallback erhalten, die parallele Bereinigung durch mehrere Personen ist möglich und Störungen des täglichen Betriebs werden vermieden. Ihr Live-System läuft unverändert weiter, bis die sauberen Daten in das neue ERP importiert werden.

Was passiert, wenn wir den Mindestqualitätsschwellenwert nicht erreichen können?

Wenn eine bestimmte Entität die Mindestpunktzahl nicht erreichen kann, untersuchen Sie die Grundursache. Wenn es sich um ein Datenvolumenproblem handelt (zu viele Datensätze, um sie manuell zu bereinigen), sollten Sie erwägen, nur die aktuellste oder aktivste Teilmenge zu importieren und den Rest zu archivieren. Wenn es sich um ein strukturelles Problem handelt (die Daten wurden nie für die Unterstützung der Anforderungen des neuen ERP entwickelt), müssen Sie möglicherweise Daten aus externen Quellen anreichern oder akzeptieren, dass einige Datensätze nach der Migration manuelle Aufmerksamkeit erfordern.

Wer sollte für die Datenbereinigung verantwortlich sein?

Die Datenbereinigung ist eine geschäftliche Verantwortung, keine IT-Verantwortung. Die IT stellt die Tools und die Infrastruktur bereit, aber Geschäftsanwender müssen die Entscheidungen treffen: welche doppelten Datensätze aufbewahrt werden sollen, ob eine verwaiste Bestellung erneut verbunden oder archiviert werden soll und welches das richtige Format des Produktnamens sein sollte. Weisen Sie den einzelnen Abteilungen Dateneigentümer zu und machen Sie sie für die Qualitätsbewertung ihrer Entitäten verantwortlich.

Können wir die Datenbereinigung automatisieren?

Teilweise. Automatisierte Tools übernehmen die Formatstandardisierung (Telefonnummern, Adressen, Daten), die Deduplizierung mit exakter Übereinstimmung und die Überprüfung von Validierungsregeln. Aber das Zusammenführen von Fuzzy-Match-Duplikaten, das Auflösen verwaister Datensätze und die Überprüfung der Datengenauigkeit erfordern menschliches Urteilsvermögen. Planen Sie 60 % automatisierten / 40 % manuellen Aufwand ein.

Was passiert, wenn wir nach der Migration Probleme mit der Datenqualität feststellen?

Die Bereinigung nach der Migration ist drei- bis fünfmal teurer als die Bereinigung vor der Migration, da Sie es jetzt mit einem Live-System zu tun haben, in dem sich Änderungen auf aktive Arbeitsabläufe auswirken. Wenn Sie nach dem Go-Live Probleme entdecken, priorisieren Sie diese nach geschäftlichen Auswirkungen: Korrigieren Sie zuerst Datensätze, die sich auf die finanzielle Genauigkeit auswirken, dann kundenbezogene Datensätze und dann interne Betriebsdaten.

Hilft ECOSIRE bei der Datenbereinigung?

Ja. Die Datenbereinigung ist eine Kernkomponente der Migrationsdienste von ECOSIRE. Im Rahmen jedes Migrationsprojekts bieten wir Datenprofilierung, automatisierte Deduplizierung, Qualitätsbewertung und Bereinigungsskripte an. Unser Team arbeitet mit Ihren Dateneigentümern zusammen, um sicherzustellen, dass der geschäftliche Kontext jede Bereinigungsentscheidung bestimmt. Kontaktieren Sie uns, um Ihre Herausforderungen bei der Datenqualität zu besprechen.

---

Beginnen Sie mit einer Datenqualitätsbewertung

Der erste Schritt bei jeder Migration besteht darin, den aktuellen Zustand Ihrer Daten zu verstehen. Eine Datenqualitätsbewertung dauert 3–5 Tage und erstellt einen detaillierten Bericht mit Duplikatraten, Vollständigkeitswerten, Formatinkonsistenzen und der Anzahl verwaister Datensätze für jede größere Entität.

ECOSIRE bietet im Rahmen unserer Migrationsplanungsdienste kostenlose Datenqualitätsbewertungen an. Wir analysieren Ihre aktuellen Daten, identifizieren die Bereinigungsaufgaben mit der höchsten Auswirkung und erstellen einen realistischen Zeitrahmen und eine Aufwandsschätzung, um eine migrationsbereite Qualität zu erreichen.

Fordern Sie Ihre kostenlose Datenqualitätsbewertung an und machen Sie den ersten Schritt zu einer sauberen, erfolgreichen Migration.