Onlangs woonde Matthew Houliston, onze Systems and Data Director, een workshop bij van het Biometrics Institute over 'Gezichtsherkenning en risicobeperking', gepresenteerd door het National Institute of Standards and Technology (NIST).
Deze workshop speelde een belangrijke rol in ons lopende onderzoek naar de biometrie-industrie en hoe Serve Legal technologieleveranciers en implementeerders kan helpen bij het testen van de effectiviteit van gezichtsherkenningssystemen - zowel in het lab als in de praktijk.
In dit korte artikel belichten we de belangrijkste punten van de workshop, die de complexiteit van biometrische technologieën en hun toepassing benadrukken.
Prestatiecijfers kunnen misleidend zijn: Claims van 99%+ nauwkeurigheid kunnen misleidend zijn zonder de juiste context. Kritische factoren zoals de grootte van de steekproef, het gebruik van onafhankelijke, ongeziene gegevens en de omstandigheden waaronder de tests worden uitgevoerd (bijv. in de echte wereld of in het lab) moeten duidelijk worden begrepen voor een nauwkeurige interpretatie. Implementeerders moeten ook inzicht krijgen in foutmetrieken zoals FPR (False Positive Rate) en FNR (False Negative Rate), die zorgvuldig moeten worden geïnterpreteerd om ervoor te zorgen dat de praktische implicaties/risico's worden begrepen.
De rol van NIST en testen door derden: Hoewel NIST waardevolle benchmarkgegevens levert, is het geen accreditatie-instelling. Hun tests zijn gebaseerd op statische datasets, wat de behoefte aan realistische tests door derden onderstreept om deze systemen volledig te evalueren. Gebruikers moeten aandringen op strenge tests door derden in drie fasen: acceptatie, integratie en operationeel. Dit zorgt voor een grondige evaluatie bij elke stap.
Risicoprofielen en inzetcontext: Technologieën presteren verschillend afhankelijk van de omgeving en het gebruik. Van camerapositionering tot lichtomstandigheden, inzicht in de inzetfactoren is essentieel; het is belangrijk voor inkopers om de werkingsdrempel van deze technologieën te begrijpen. Denk bijvoorbeeld aan het gebruik van deze technologie door grenscontroles in het Verenigd Koninkrijk in zeer gecontroleerde omgevingen, om optimale prestaties te garanderen.
Het gebruik van huidtinten (fitzpartrick of monnikschaal) kan goed zijn om de prestaties van een systeem te meten voor hun vermogen om met lichtreflectie om te gaan, maar de schaal wordt als te lineair beschouwd om demografische prestaties nauwkeurig te kunnen aantonen. Een waardevollere maatstaf is kijken naar hoe gezichtsfenotypen de modelprestaties lijken te beïnvloeden.
Gebruikersgedrag en menselijk toezicht: Prestaties kunnen worden beïnvloed door het gedrag van de gebruiker - bijvoorbeeld toonhoogte, gezichtsuitdrukkingen en occlusies. Hoewel automatisering aantrekkelijk is, blijft menselijk toezicht van cruciaal belang, omdat getraind personeel nodig is om systemen te valideren of overrulen wanneer dat nodig is.
Privacy en gegevensbewaring: Het is van vitaal belang om het dataretentiebeleid van technologieleveranciers te onderzoeken. Het is belangrijk om de volgende vragen te stellen: is het mogelijk om reverse-engineering toe te passen op hun gegevens, waardoor onbewerkte gegevens weer kunnen worden omgezet in een afbeelding, kunnen ze effectief omgaan met een verzoek om gegevens te verwijderen, hoe scheiden/versleutelen ze hun gegevens. Deze vragen moeten beantwoord worden om privacy te garanderen.
Hartelijk dank aan zowel het Biometrics Institute als NIST voor deze inzichten.
Bij Serve Legal zetten wij ons in om bedrijven te helpen bij het testen van hun gezichtsherkenningssystemen, zodat deze nauwkeurig, eerlijk en veilig werken. Als u meer wilt weten over hoe Serve Legal uw bedrijf kan helpen bij het testen en valideren van biometrische technologieën, neem dan gerust contact met ons op.