Data Quality CZ - portál věnující se tématu kvalitních dat
Výzkum v oblasti řízení datové kvality
Metody pro validaci a verifikaci
[13.12.2013] D. Pejčoch
Popis záměru
Cílem výzkumu v této oblasti je klasifikace existujících technik pro verifikaci a validaci a experimentální ověření možnosti automatické extrakce validačních pravidel z dat.
Klasifikace metod pro verifikaci a validaci podle metodiky CADAQUES
- Povolený rozsah hodnot
- Lookup / join do referenční báze
- Ověření referenční integrity
- Validace syntaxe pomocí regulárních výrazů
- Validace pomocí kontrolních součtů
- Byznys pravidla
- Validace realizací procesu
- Validace uživatelem
- Finanční účetnictví
- Penetrační testy
Přiřazení validačních technik redukované sadě vlastností podle metodiky CADAQUES
Dimenze |
Vlastnost dat |
Způsob validace |
Endogenní dimenze |
Důvěryhodnost |
Validace uživatelem |
Unikátnost |
Popisné statistiky, byznys pravidla |
Sémantická správnost |
Povolený rozsah, lookup / join do referenční báze, kontrolní součet |
Syntaktická správnost |
Regulární výrazy |
Přesnost |
Validace konfrontací s reálnou entitou nebo referenčním zdrojem |
Časová dimenze |
Aktuálnost |
Byznys pravidla |
Včasnost |
Byznys pravidla |
Volatilita |
Byznys pravidla |
Časová synchronizace |
Byznys pravidla |
Kontextuální dimenze |
Konzistentnost |
Referenční integrita, byznys pravidla |
Úplnost |
Popisná statistika, byznys pravidla |
Pokrytí |
Popisná statistika, byznys pravidla |
Dimenze užití |
Dostupnost |
Validace uživatelem |
Srozumitelnost |
Validace uživatelem |
Interoperabilita |
Validace uživatelem |
Bezpečnost přístupu |
Penetrační testování |
Ekonomická dimenze |
Náklady na pořízení a aktualizaci dat |
Finanční účetnictví |
Náklady na uložení, sdílení, distribuci zálohování a archivaci dat |
Finanční účetnictví |
Náklady na ochranu dat |
Finanční účetnictví |
Realizované experimenty
Použité nástroje
Použité datové sety
Data Set |
Number of Instances |
Data Source |
Descriptive Statistics |
MPG Data |
398 |
src |
html |
Motor Vehicle Repository |
Original: 91,459
After transformation: 4,500,000
Sample: 450,000
|
src |
html |
eBay listings |
77,863 |
NA |
NA |
Publikované výstupy
Document Tree