De coronavirus pandemie (COVID-19) is een zegen voor de test monitoring industrie. Een half dozijn bedrijven in de VS beweren dat hun software in staat is om nauwkeurig te detecteren en te voorkomen dat het wordt gekopieerd op online examens. De vraag naar programma’s zoals Examity, HonorLock, ProctorU, Respondus is snel gegroeid sinds hogescholen en universiteiten begonnen met afstand klassen.

Hoewel er geen officiële telling is, lijkt het redelijk om te denken dat miljoenen door algoritmen gecontroleerde tests elke maand over de hele wereld worden uitgevoerd. Proctorio bevestigde aan The New York Times in mei dat haar bedrijf was toegenomen 900% tijdens de eerste maanden van de crisis, tot het punt dat het bedrijf ging over 2,5 miljoen examens wereldwijd in april alleen al toezicht.

Ik ben een universiteitsbibliothecaris en ik heb de impact van deze systemen van dichtbij gezien. Het centrum waar ik werk, de Universiteit van Colorado in Denver (USA), heeft een contract met Proctorio.

Ik heb me gerealiseerd dat algoritmisch toezicht een moderne surveillancetechnologie is die witte suprematie, seksisme, discriminatie van gehandicapten en transfobie versterkt. Het gebruik van deze tools is een inbreuk op de privacy van studenten en vaak een schending van burgerrechten.

Wanneer een student een examen aflegt onder begeleiding van een algoritme, werkt het als volgt: in het begin begint de software met het opnemen van de computercamera, audio en de websites die hij bezoekt. Het controleert je lichaam en observeert het tijdens het examen, na de bewegingen om te identificeren wat het beschouwt als het kopiëren gedrag. Als u iets doet dat de software verdacht acht, zal het uw leraar waarschuwen om de opname te zien en u te voorzien van een kleur-rated waarschijnlijkheid van uw academische wangedrag.

Afhankelijk van het bedrijf dat de software heeft gemaakt, wordt een combinatie van machine learning, kunstmatige intelligentie (AI) en biometrie (inclusief gezichtsherkenning, gezichtsherkenning of eye tracking) gebruikt om dit alles te bereiken. Het probleem is dat gezichtsherkenning en detectie is aangetoond dat racistisch, seksistisch en transfoob in meer en meer, en meer gevallen.

In het algemeen heeft technologie een patroon voor het versterken van structurele onderdrukking, zoals racisme en seksisme. Nu, deze zelfde biases verschijnen in examen monitoring software die onevenredig schadelijk is voor studenten.

Een zwarte vrouw van mijn universiteit vertelde me dat elke keer dat ze Proctorio’s test monitoring software gebruikte, ze altijd vroeg haar om haar gezicht meer op te fleuren. De software verzuimde om zijn identiteit te verifiëren en verwierp hem toegang tot examens zo vaak dat hij naar zijn leraar moest gaan om zijn strategie te veranderen. Zijn witte kameraden hebben dit probleem nooit gehad.

Vergelijkbare gevallen van discriminatie kunnen optreden als een student transgender of gender non-binair is. Maar als het een blanke man (zoals de meeste gezichtsherkenning software ontwikkelaars zijn), zult u waarschijnlijk goed doen.