Wie lässt sich Datenqualität messen?
Datenqualität messen heißt, festgelegte Datenbestände anhand überprüfbarer Regeln zu bewerten. Dafür wird je Dimension gezählt, wie viele Werte vollständig, korrekt, aktuell, konsistent oder eindeutig sind. Der Anteil der regelkonformen Werte an der jeweiligen Prüfmenge ergibt eine messbare Qualitätsrate.
Mehrere Dimensionswerte können anschließend zu einem Data Quality Score (DQ-Score) zusammengeführt werden. Voraussetzung ist, dass Datenbereich, Prüfregeln, Bezugsmenge und Gewichtung dokumentiert sind. Nur dann lässt sich derselbe Wert zu einem späteren Zeitpunkt sinnvoll vergleichen.
Ein DQ-Score ist keine allgemeingültige Note für die gesamte Datenbank. Er bewertet einen festgelegten Datenbestand für einen konkreten Verwendungszweck.
Was überhaupt gemessen wird: Dimensionen statt Bauchgefühl
Datenqualität ist kein einzelner Wert. Sie setzt sich aus mehreren Dimensionen zusammen, die unabhängig voneinander gemessen werden. Eine Kundenliste kann vollständig, aber veraltet sein. Ein Produktdatensatz kann aktuell, aber fehlerhaft sein. Erst die getrennte Betrachtung macht Schwachstellen sichtbar.
Für die Bewertung werden häufig fünf Dimensionen getrennt betrachtet:
- Vollständigkeit: Sind alle Pflichtfelder gefüllt?
- Genauigkeit: Entspricht der gespeicherte Wert der Realität?
- Aktualität: Sind die Daten innerhalb ihres Gültigkeitszeitraums?
- Konsistenz: Widersprechen sich Daten an verschiedenen Stellen?
- Eindeutigkeit: Gibt es jeden Datensatz nur einmal?
Eine Dimension allein reicht nicht. Eine fehlerfreie, aber sechs Monate alte Adressliste ist für den Vertrieb trotzdem unbrauchbar.
Die zentralen Metriken mit Berechnungsformel
Jede Dimension lässt sich in eine konkrete Kennzahl übersetzen. Die Formeln sind einfach, weil sie auf Zählungen basieren und keinen interpretativen Spielraum lassen.
| Dimension | Metrik | Formel | Zielwert |
|---|---|---|---|
| Vollständigkeit | Vollständigkeitsrate | gefüllte Pflichtfelder / alle Pflichtfelder | pro Pflichtfeld und Prozess festlegen |
| Genauigkeit | Genauigkeitsrate | korrekte Werte / geprüfte Werte | anhand einer verlässlichen Referenz festlegen |
| Aktualität | Aktualitätsrate | Datensätze im Gültigkeitszeitraum / alle Datensätze | nach Nutzung und Aktualisierungsrhythmus festlegen |
| Konsistenz | Konsistenzrate | übereinstimmende Felder / geprüfte Feldpaare | für relevante Feldpaare festlegen |
| Eindeutigkeit | Dublettenrate | doppelte Datensätze / alle Datensätze | passend zum Risiko von Doppelansprache oder Fehlzuordnung festlegen |
Die Genauigkeit ist die am schwersten zu messende Dimension, weil sie einen Abgleich mit einer verlässlichen Referenz verlangt. Für Adressen gibt es postalische Referenzdaten, für Preise die aktuelle Preisliste. Wo keine externe Referenz existiert, behilft man sich mit Plausibilitätsregeln: Eine PLZ mit Buchstaben ist mit Sicherheit falsch.
Den Data Quality Score berechnen
Ein einzelner Wert, der die gesamte Datenqualität zusammenfasst, ist der DQ-Score. Er gewichtet die Dimensionsraten und mittelt sie. Ein gängiges Verfahren ist die gewichtete Mittelung:
DQ-Score = (w1 * Vollständigkeit + w2 * Genauigkeit + w3 * Aktualität + w4 * Konsistenz + w5 * Eindeutigkeit) / (w1 + w2 + w3 + w4 + w5)Die Gewichte w1 bis w5 werden pro Datendomäne festgelegt. Für Kundendaten sind Aktualität und Eindeutigkeit oft wichtiger als Vollständigkeit. Für Produktdaten dominiert die Vollständigkeit, weil fehlende Attribute direkt Verkäufe blockieren. Eine Gleichgewichtung aller Dimensionen mit je 20 Prozent ist der einfachste Einstieg, spiegelt aber selten die echte Geschäftswirkung.
Der DQ-Score ist keine Wahrheit, sondern eine vereinbarte Kennzahl. Seine Aussagekraft hängt davon ab, ob die Gewichte zum Geschäftsziel passen.
Ein allgemeingültiger Zielwert für KMU wäre irreführend. Der sinnvolle DQ-Score richtet sich nach Datendomäne, Risiko und Aufwand: Vertragsdaten brauchen andere Anforderungen als eine interne Kontaktliste.
Beispiel: Datenqualität bei 100 Kundendatensätzen messen
Ein vereinfachtes Beispiel zeigt, wie aus einzelnen Prüfungen ein nachvollziehbarer Ausgangswert entsteht. Angenommen, eine Stichprobe aus 100 Kundendatensätzen liefert folgende Dimensionswerte:
| Dimension | Beispielwert | Wie der Wert ermittelt wurde |
|---|---|---|
| Vollständigkeit | 92 % | 92 von 100 benötigten Feldkombinationen sind vollständig |
| Genauigkeit | 95 % | 95 geprüfte Angaben stimmen mit der festgelegten Referenz überein |
| Aktualität | 88 % | 88 Datensätze wurden innerhalb des vereinbarten Zeitraums bestätigt |
| Konsistenz | 90 % | 90 Datensätze stimmen in den geprüften CRM- und ERP-Feldern überein |
| Eindeutigkeit | 97 % | 97 Datensätze sind nach der festgelegten Dublettenregel eindeutig |
Bei gleicher Gewichtung ergibt sich in diesem reinen Rechenbeispiel ein DQ-Score von 92,4 %. Der Wert ist keine allgemeine Qualitätsgrenze. Für die Verbesserung ist entscheidend, dass die Aktualität mit 88 % am stärksten abweicht und deshalb zuerst fachlich untersucht wird.
Ein DQ-Score wird erst handlungsrelevant, wenn zu jeder Dimension Prüfmethode, Datenquelle, Zielwert und verantwortliche Person dokumentiert sind.
Schwellwerte festlegen: Nicht jede Abweichung ist ein Fehler
Schwellwerte trennen akzeptable von nicht akzeptablen Daten. Sie werden pro Feld, pro Prozess und pro Datendomäne definiert, nicht pauschal für die ganze Datenbank. Vertragsdaten verlangen höhere Genauigkeit als ein Marketing-Newsletter.
Drei Fragen helfen bei der Festlegung:
- Welcher Prozess bricht, wenn dieser Wert falsch ist?
- Welche Kosten entstehen durch einen falschen Wert?
- Wie oft wird das Feld tatsächlich genutzt?
Aus den Antworten ergeben sich passende Zielwerte, statt pauschaler Vorgaben, die den Prozess nicht berücksichtigen.
Was sich im Mittelstand bewährt
Im Mittelstand scheitert die Messung selten an der Technik, sondern am Fehlen klarer Verantwortlichkeiten. Bewährt hat sich ein pragmatisches Vorgehen:
- Eine Kennzahl starten: Mit der Vollständigkeitsrate beginnen, weil sie am einfachsten zu messen ist und oft die größten Lücken aufdeckt.
- Verantwortung benennen: Pro Datendomäne eine Person festlegen, die den Wert verantwortet. Datenqualität ohne klare Zuständigkeit funktioniert nicht.
- Quartalsweise Messung: Ein fester Rhythmus verhindert, dass die Messung im Alltag untergeht.
- Validierung am Eingang: Dropdowns, Pflichtfelder und Formatprüfungen verhindern Fehler an der Quelle, statt sie später zu messen.
Tools und Automatisierung
Für die technische Umsetzung reicht im Einstieg eine Kombination aus Datenbankabfragen und einer Tabelle. Wer die Metriken automatisieren will, kann auf etablierte Werkzeuge zurückgreifen:
- Open-Source: Apache Griffin, Great Expectations, Soda Core
- Kommerziell: Talend Data Quality, Informatica IDQ, IBM InfoSphere Quality
Ob Tabellen, Open-Source-Werkzeuge oder kommerzielle Suiten passen, hängt von Datenmenge, Systemlandschaft, Verantwortlichkeiten und Betriebsaufwand ab. Die Wahl sollte an einem konkreten Prüfprozess getestet werden.
Vom Messen zum Verbessern
Messen allein ändert nichts. Der Wert der Metriken liegt darin, gezielte Maßnahmen abzuleiten: Welche Dimension weicht am stärksten vom Schwellwert ab? Wo liegt die Ursache, im Erfassungsprozess oder in der Pflege? Welche Validierung oder welcher Workflow schließt die Lücke dauerhaft?
Konkrete nächste Schritte:
- Eine Datendomäne wählen, zum Beispiel Kundendaten, und die Vollständigkeitsrate berechnen.
- Einen Schwellwert festlegen, der zum Prozess passt.
- Die Abweichung analysieren und eine Maßnahme definieren, etwa ein Pflichtfeld oder einen Dublettenabgleich.
- Nach einem vereinbarten Zeitraum erneut messen und prüfen, ob die Kennzahl steigt.
Wer diesen Zyklus einmal durchlaufen hat, hat eine Methode, die sich auf jede weitere Datendomäne anwenden lässt.
Häufige Fragen zum Messen von Datenqualität
Wie kann man Datenqualität messen?
Datenqualität wird über festgelegte Dimensionen wie Vollständigkeit, Genauigkeit, Aktualität, Konsistenz und Eindeutigkeit gemessen. Für jede Dimension wird eine nachvollziehbare Prüfregel definiert und der Anteil gültiger beziehungsweise fehlerhafter Datensätze berechnet.
Was ist ein Data Quality Score?
Ein Data Quality Score fasst mehrere Dimensionswerte zu einer Kennzahl zusammen. Die Gewichtung muss zum Prozess passen und dokumentiert sein; andernfalls verdeckt der Gesamtwert, welche konkrete Datenlücke behoben werden sollte.
Braucht ein KMU spezielle Software für die Messung?
Nicht zwingend. Für einen ersten abgegrenzten Datenbestand können Datenbankabfragen und eine Tabelle ausreichen. Ein Werkzeug wird wichtiger, wenn Prüfungen regelmäßig, über mehrere Systeme oder mit größeren Datenmengen ausgeführt werden sollen.
Passende Vertiefung
Die begriffliche und organisatorische Grundlage beschreibt Was ist Datenqualität?. Für Kennzahlen, die aus mehreren Anwendungen zusammengeführt werden, erklärt Wann lohnt sich ein Dashboard?, welche Anforderungen an Datenquellen und Nutzung entstehen.