Lessen uit het Postkantoor/Horizon-schandaal toepassen op leeftijdsverificatie: Soortgelijke valkuilen vermijden

Het landschap van leeftijdsverificatie (AV) lijkt op de rand te staan van een seismische verschuiving naar technologie-ondersteunde besluitvorming en meer geautomatiseerde AI-besluitvorming op de lange termijn. De markt is nu druk in de weer met technologieleveranciers met indrukwekkende oplossingen, waaronder technologieën voor leeftijdsschatting (AE) en digitale ID.

Nu de regering een aanstaande consultatie over de Alcohol Licencing Act 2003 aankondigt, voelt het alsof we aan de vooravond staan van veranderingen in de AV-wereld. We verwachten dat na de consultatie de acceptatie van digitale ID voor alcoholverkoop zal worden bekrachtigd en als dat waar is, zal de grootschalige adoptie van digitale ID waarschijnlijk beginnen. We weten uit ons onderzoek dat 94% van de jongeren de voorkeur geeft aan een digitale ID-oplossing en dat de grootste drijfveer voor het invoeren van de technologie de acceptatie voor alle gebruikssituaties is.

Wat heeft dit alles te maken met het Horizon-schandaal?

De Telegraph publiceerde onlangs een kop waarvan we alleen maar kunnen aannemen dat die bedoeld was om een zekere mate van publieke hysterie te veroorzaken - "PO-schandaalbedrijf gaat gezichtsscanners verkopen". Maar het is nu niet de tijd voor hysterie, de technologie werkt niet alleen, maar heeft ook een enorm potentieel om ons leven gemakkelijker te maken. Nu is het tijd om te leren, na te denken en ervoor te zorgen dat de acties van vandaag betekenen dat de toekomst geen afspiegeling is van het verleden.

Het Horizon-schandaal is voor ons een waarschuwing voor nieuwe technologieën die mensen hun verantwoordelijkheid ontnemen, en dat als de mensen die de technologie gebruiken de mechanismen die de resultaten sturen niet begrijpen, er een risico is.

We geloven niet dat iedereen die betrokken was bij deze trieste gebeurtenis kwade bedoelingen had, maar we geloven wel dat sommigen gewoon niet goed genoeg op de hoogte waren van de technologie die werd gebruikt, zodat ze de fouten die het zou kunnen maken konden waarnemen.

Waar moet de AV-wereld rekening mee houden nu we steeds indrukwekkendere technologische oplossingen ontwikkelen?

• In hoeverre betrekken we mensen bij het besluitvormingsproces?
• Welke gevaren bestaan er wanneer de beslissing van een mens beïnvloed kan worden door een systeem dat geacht wordt nauwkeuriger en beter geïnformeerd te zijn?
• Hoe weten we wanneer een beslissing verkeerd is? Het is duidelijker wanneer iemand die meerderjarig is wordt geweigerd (en dit ter sprake brengt bij een personeelslid), maar minder duidelijk wanneer iemand die minderjarig is niet wordt geweigerd.
• Hoe zorgen we ervoor dat geen enkele groep mensen achterblijft bij de technologie of dat iemand een onevenredig negatief effect ondervindt van de toepassing ervan?
• Welk niveau van testen is nodig om er zeker van te zijn dat we met het volste vertrouwen verder kunnen? Wie bepaalt wat die test is? Is het gebaseerd op solide en betrouwbare wetenschap en academische wereld?
• Welke training moet het personeel krijgen over de technologie? Hoe zorgen we ervoor dat ze op de hoogte zijn van de mogelijke zwakke punten?

Onze conclusie

In de definitieve tekst van de EU-AI-wet staat dat AI-systemen die als zeer risicovol zijn geclassificeerd, niet als zeer risicovol mogen worden behandeld als "de taak die het AI-systeem uitvoert bedoeld is om het resultaat van een eerder voltooide menselijke activiteit te verbeteren ... Gezien deze kenmerken biedt het AI-systeem slechts een extra laag voor een menselijke activiteit met als gevolg een verlaagd risico", waardoor de regelgeving voor deze systemen aanzienlijk kan worden beperkt.

Is het in het licht van de recente gebeurtenissen altijd waar dat het toevoegen van een extra laag aan een menselijke activiteit het risico verlaagt? Of betekent het dat mensen de taak minder strikt uitvoeren? En als dat zo is, welke mate van nauwkeurigheid moet dan worden toegepast op de extra laag voordat we erop vertrouwen? We willen de benchmarks definiëren die de sector vertrouwen geven. Met 17 jaar van menselijke AV-prestatiegegevens om te vergelijken, bevinden we ons in een perfecte positie om een robuuste en door gegevens gestuurde prestatiemaatstaf te creëren die duidelijk aantoont of het risiconiveau is verlaagd door het gebruik van de technologie. . Er zijn veel voordelen verbonden aan het feit dat de technologie als laag risico wordt beschouwd door de regelgevende instanties, het kan een hoop administratieve rompslomp wegnemen, maar als er geen effectieve zelfregulering is, heeft het ook de potentie om onbedoeld de risico's voor de licentiehouder, detailhandelaar of aanbieder van inhoud te verhogen door de verantwoordelijkheid bij mensen weg te nemen.

Als we iets geleerd hebben, dan is het wel dat systemen die een impact hebben op iemands rechten rigoureus en onafhankelijk getest moeten worden, dat we ze grondig moeten testen en dat we moeten luisteren naar de feedback en de zorgen van de eindgebruiker en dat het vanaf het begin duidelijk moet zijn waar de verantwoordelijkheid voor een correcte besluitvorming ligt. We moeten erkennen dat veel van de grote spelers op dit gebied, bedrijven zoals Yoti, al zowel hun interne testresultaten publiceren als onafhankelijke resultaten die zijn verkregen via testraamwerken zoals dat van het National Institute of Standards and Technology (NIST).

Hier bij Serve Legal proberen we de sector verder te ondersteunen door in te gaan op de bezorgdheid die wordt opgeroepen door een aantal van de vragen die in dit artikel worden gesteld; we werken samen met zowel de leveranciers van nieuwe AV-technologie als de retailers die deze technologie implementeren om ervoor te zorgen dat mogelijke valkuilen worden vermeden.

• In samenwerking met Durham University hebben we een testkader voor AE-modellen ontwikkeld dat volgens ons het meest robuuste op de markt is om nauwkeurigheid en eerlijkheid aan te tonen.
• Onze unieke gemeenschap van auditors biedt een vergelijkbare steekproef om vergelijkende gegevens te genereren over menselijke en technologische prestaties, waarbij wordt gemeten of en met hoeveel het risico is verminderd.
• We kunnen praktijktests met grote volumes uitvoeren om retailers het vertrouwen te geven dat laboratoriumresultaten worden weerspiegeld in tests ter plaatse. We kunnen ook spooftests uitvoeren om mogelijke hiaten in de verkoop van minderjarigen op te sporen.
• Ons testkader en onze in-situ audits leveren onbetaalbare gegevens en inzichten op waarmee retailers de training van hun personeel kunnen verbeteren en potentiële risicogebieden kunnen identificeren die ze kunnen beperken.