Mi az algoritmikus torzítás?
Az algoritmikus torzítás (angolul: algorithmic bias) arra a jelenségre utal, amikor egy automatizált döntési rendszer szisztematikusan kedvezőtlenebb kimeneteleket produkál bizonyos csoportok számára — legyen az bőrszín, nem, életkor, lakóhely vagy más jellemző alapján. Ez a torzítás nem feltétlenül szándékos, és sokszor nehezen észlelhető.
A gépi tanulási modellek a betanítási adatokból tanulnak. Ha ezek az adatok tükröznek korábbi társadalmi egyenlőtlenségeket — és szinte mindig tükröznek —, a modell ezeket az egyenlőtlenségeket nem csupán megőrzi, hanem adott esetben fel is erősíti, mivel a döntéshozatalt látszólag "objektív" matematikai folyamatra delegálja.
A torzítás főbb forrásai
1. Adattorzítás (Data bias)
A leggyakoribb forrás. Ha a betanítási adatkészlet nem reprezentálja arányosan az összes érintett csoportot, a modell rosszabbul fog teljesíteni az alulreprezentált csoportok esetén. Például egy arcfelismerő rendszer, amelyet döntően európai bőrszínű arcok képein tanítottak, rosszabb pontossággal azonosítja a sötétebb bőrtónusú arcokat.
2. Historikus torzítás (Historical bias)
Ha a múltbeli döntések — amelyeken a modellt tanítják — már eleve torzítottak voltak (pl. egy bizonyos csoporthoz tartozó jelöltek ritkábban kaptak hitelt), a modell ezt a mintát tanulja meg és alkalmazza újra. A historikus torzítás különösen nehéz probléma, mivel a "helyes" kimenet maga is torzított volt.
3. Mérési torzítás (Measurement bias)
Előfordul, hogy az egyes csoportokra vonatkozó adatok eltérő minőségűek vagy eltérő módszerekkel gyűjtöttek. Például ha egy egészségügyi AI betegelégedettségi adatokon alapul, de bizonyos csoportok alulreprezentáltak az egészségügyi rendszerben, a mérési torzítás befolyásolja az eredményeket.
4. Aggregációs torzítás (Aggregation bias)
Egységes modell alkalmazása heterogén populációra — amikor a különböző csoportokra vonatkozó összesített adatból levont következtetések nem alkalmazhatóak az egyes alcsoportokra. Ez különösen orvosi AI-alkalmazásokban fordulhat elő, ahol különböző betegpopulációk eltérő klinikai jellemzőkkel bírnak.
Ismert esetek és referenciák
Az algoritmikus torzítás nem csupán elméleti probléma. Néhány, a szakirodalomban és nyilvános forrásokban dokumentált eset:
- COMPAS visszaesés-értékelő rendszer (USA): A ProPublica 2016-os elemzése megállapította, hogy ez a büntető igazságszolgáltatásban használt rendszer szisztematikusan magasabb kockázatot rendelt fekete bőrű vádlottakhoz — még akkor is, ha nem követtek el újabb bűncselekményt. A fejlesztő cég és a vizsgálat vitája nyomán módszertani vita alakult ki arról, hogyan mérhető az "igazságosság" egy ilyen rendszerben.
- Amazon önéletrajz-szűrő (2018): Az Amazon egy gépi tanulási alapú álláspályázat-szűrő prototípust fejlesztett ki, amelyet végül leállítottak, miután kiderült, hogy a rendszer szisztematikusan alacsonyabb pontszámot adott az informatikai területre pályázó nőknek — a betanítási adatokban meglévő nemi aránytalanság következtében. Ezt az Amazon maga is megerősítette egy belső vizsgálaton. (Forrás: Reuters, 2018. október.)
- Arcfelismerő technológiák pontossági különbségei: Joy Buolamwini és Timnit Gebru 2018-as "Gender Shades" kutatása (MIT Media Lab) szisztematikusan vizsgálta kereskedelmi arcfelismerő rendszerek pontosságát különböző nemű és bőrtónusú személyek esetén. A kutatás megállapította, hogy a legtöbb vizsgált rendszer sötétebb bőrtónusú nők esetén lényegesen magasabb hibaarányt mutatott, mint világos bőrű férfiak esetén.
Az algoritmus nem objektív. Tükröz — és adott esetben felerősít — minden torzítást, amely a betanítási adatban, a tervezési döntésekben vagy az értékelési szempontokban jelen volt.
Az igazságosság mérésének dilemmája
Az algoritmikus igazságosság (fairness) különböző matematikai meghatározásai nem egyszerre teljesíthetők. Ez a 2016 óta intenzíven kutatott "fairness-lehetetlenségi tétel" területe: bizonyos igazságossági kritériumok egymásnak ellentmondanak, és az egyiket maximalizálni lehet csupán a másik rovására.
Például az "egyenlő pontosság" (equal accuracy) és a "kalibrált valószínűség" (calibration) egyszerre csak akkor teljesíthető, ha az alaparányok (base rates) az egyes csoportokban azonosak — ami a legtöbb valós esetben nem teljesül. Ezért az "igazságos AI" nem pusztán technikai kérdés: értékdöntéseket is tartalmaz arról, hogy mit tekintünk méltányosnak.
Mit tehet egy fejlesztő?
Az algoritmikus torzítás kiküszöbölése nem garantálható teljesen, de csökkenthető. Néhány bevett gyakorlat a szakirodalomban:
- Adatreprezentáció vizsgálata: az adatkészlet összetételének tudatos elemzése és dokumentálása a betanítás előtt.
- Differenciált teljesítményértékelés: a modell pontosságának mérése az összes érintett részcsoport vonatkozásában, ne csak összesített metrikákkal.
- Dokumentált adatlapok (Datasheets for Datasets): a Gebru és társai által 2020-ban javasolt formátum, amely rendszerezett tájékoztatást ad az adatkészlet összetételéről, a gyűjtés módszeréről és az ismert korlátokról.
- Adversarial testing: a rendszer szándékos tesztelése szélső esetekkel és alulreprezentált csoportok adataival.
- Emberi felülvizsgálat: különösen nagy tétű döntések esetén az automatizált kimenet nem válthatja fel az emberi mérlegelést.
Magyarországi és európai vonatkozások
Az EU AI Act kifejezetten foglalkozik a torzítás kérdésével a nagy kockázatú AI-rendszerek vonatkozásában. A rendelet kötelezővé teszi, hogy az ilyen rendszereket a fejlesztők "diszkriminatív hatások szempontjából" értékeljék, és az adatkészletek "releváns jellemzőit, jellemzőit és korlátait" dokumentálják.
Magyarországon a NAIH adatvédelmi hatóságként vizsgálhatja az automatizált döntéshozatal GDPR-megfelelőségét. A GDPR 22. cikke alapján az érintetteknek joguk van arra, hogy kizárólag automatizált folyamaton alapuló döntéssel ne hozzanak rájuk vonatkozó, joghatással járó döntést — kivéve meghatározott feltételek teljesülése esetén.
Összefoglalás
Az algoritmikus torzítás strukturális probléma, nem egyszerű programozási hiba. Kezeléséhez adatminőség, módszertani tudatosság, etikai keretek és — ahol szükséges — jogi szabályozás együttesen szükséges. Az EU AI Act és a GDPR együttesen olyan szabályozási keretet teremt, amely Magyarországon is konkrét kötelezettségeket ró az automatizált döntési rendszerek fejlesztőire és üzemeltetőire.
Hivatkozott források: ProPublica — Machine Bias (2016) · Gender Shades (PMLR, 2018) · GDPR 22. cikk