Az adatminőség dimenziói
A prediktív modellek tanítása és kiértékelése alapvetően az adatok minőségén múlik. A szakirodalom több dimenziót különböztet meg, amelyek együttesen határozzák meg az adatkészlet használhatóságát:
- Teljesség (completeness) – hiányzó értékek aránya az egyes jellemzőkben
- Pontosság (accuracy) – az adatok valósághű tükrözik-e a mögöttes jelenséget
- Konzisztencia (consistency) – nincs-e ellentmondás azonos entitás különböző forrásból származó adatai között
- Időszerűség (timeliness) – az adatok aktuálisak-e a modellezési feladathoz
- Egyediség (uniqueness) – duplikált sorok nincsenek-e jelen
Hiányzó adatok kezelése
A valós adatkészletekben szinte mindig előfordulnak hiányzó értékek (missing values). Három alapvető megközelítés létezik a kezelésükre:
Törlés
A listwise deletion (teljes sor törlése hiányzó értéknél) egyszerű, de adatvesztéssel jár. Ha a hiányzó értékek aránya alacsony (jellemzően 5% alatt) és véletlenszerű (MCAR – Missing Completely At Random), ez elfogadható megoldás lehet.
Imputation
A hiányzás pótlása (imputation) a legelterjedtebb megközelítés. Egyszerű módszerek közé tartozik az átlaggal, mediánnal vagy módusszal való pótlás. Fejlettebb technika a K-NN imputation, amely a legközelebbi szomszédok értékeit használja, és a MICE (Multivariate Imputation by Chained Equations), amely többváltozós regressziókkal iteratívan pótolja a hiányzó értékeket.
Modell-alapú kezelés
Egyes algoritmusok – például az XGBoost – képesek natívan kezelni a hiányzó értékeket, külön imputation lépés nélkül. Ebben az esetben a modell tanulása során maga az algoritmus határozza meg a hiányzó értékek optimális kezelési irányát.
A GIGO-elv (Garbage In, Garbage Out) a gépi tanulásban hatványozottan érvényesül: a hibás tanítóadatok szisztematikus torzítást visznek a modellbe, amelyet utólag algoritmusváltással nem lehet korrigálni.
Kiugró értékek (outliers)
A kiugró értékek adatpontok, amelyek jelentősen eltérnek az adathalmaz többi elemétől. Ezek eredhetnek mérési hibákból, adatbeviteli tévedésekből, vagy valós, ritka eseményekből.
Az outlier-detekció módszerei: az IQR (interquartilis tartomány) alapú szűrés, a Z-score módszer, és az Isolation Forest nevű nemparaméteres gépi tanulási módszer. Az utóbbi különösen magas dimenziószámú adatokon hatékony.
Fontos megkülönböztetni a hibából eredő kiugró értékeket a valós szélsőértékektől: az előbbieket el kell távolítani vagy korrigálni, az utóbbiakat meg kell tartani, mert érdemi információt hordoznak (pl. pénzügyi tranzakciók esetén a valódi rendkívüli tételek is relevánsak).
Adatminőségi problémák és hatásuk
- Hiányzó értékek – torzított mintaeloszlás, csökkentett modellpontosság
- Duplikátumok – mesterségesen megnövelt osztály-arányok, félrevezető teljesítménymutatók
- Kiugró értékek – regressziós modellek elcsúszása, neurális hálók instabilitása
- Inkonzisztens kódolás – kategorikus változók eltérő reprezentációja különböző forrásokban
- Időbeli torzítás – adatszivárgás (data leakage), ha jövőbeli adatok bekerülnek a tanítóhalmazba
Adat-előkészítési folyamat
A szakirodalom széles körben idézi, hogy az adatelemzők munkaidejük nagy részét adatelőkészítéssel töltik. Ez a lépés magában foglalja az adattisztítást, transzformációt és jellemzőmérnökséget (feature engineering).
Normalizáció és skálázás
Számos ML-algoritmus – k-means klaszterezés, SVM, neurális hálók – érzékeny a jellemzők skálájára. A min-max normalizáció a [0,1] tartományba skálázza az értékeket, míg a Z-score standardizáció nulla átlagú, egységnyi szórású eloszlást eredményez. A döntési fa alapú módszerek (Random Forest, XGBoost) általában skálafüggetlenek.
Kategorikus változók kódolása
Kategorikus jellemzőket számokká kell alakítani. Az One-Hot Encoding minden kategóriához bináris oszlopot hoz létre – kis számosságú kategóriáknál alkalmas. Nagy számosságú kategóriák esetén a Target Encoding (a célváltozó átlagával való kódolás) vagy az Ordinal Encoding hatékonyabb alternatíva.
Adatdrift és modell-monitorozás
A produkciós környezetben üzemelő modelleknél az adateloszlás idővel megváltozhat (concept drift, data drift). Ha a bevásárlói szokások, gazdasági feltételek vagy mérési rendszerek módosulnak, a korábbi adatokon tanított modell teljesítménye romlani fog.
A drift észlelésére statisztikai tesztek alkalmazhatók: a Kolmogorov–Smirnov teszt két eloszlás szignifikáns eltérését méri. A modell-monitorozó rendszerek (pl. Evidently AI, Grafana + Prometheus) automatikusan jelzik, ha a bemeneti adateloszlás számottevően eltér a tanítói halmazétól.
GDPR és adatminőség Magyarországon
A magyarországi vállalkozásoknál az adatminőség nem csupán modellteljesítményi kérdés: a GDPR kötelezi az adatkezelőket a személyes adatok pontosságának és naprakészségének biztosítására (5. cikk (1) bekezdés d) pont). Az érintett személy kérheti a pontatlan adatok helyesbítését, ami az adatkezelési folyamatok automatizált validálását is szükségessé teheti.
A Nemzeti Adatvédelmi és Információszabadság Hatóság (NAIH) iránymutatásai és határozatai rendszeres tájékoztatást adnak az aktuális értelmezési keretekről.
Utolsó frissítés: 2026. június 9.