Het vorige leeftijdsschattingsrapport van NIST werd 10 jaar geleden opgesteld. Zoals het rapport concludeert, is er in die 10 jaar aanzienlijke vooruitgang geboekt. In 2014 werden tests uitgevoerd met een dataset die was opgebouwd uit foto's van visumaanvragen die waren verzameld op consulaire kantoren in Mexico. De dataset bestaat uit 5.738.091 personen, met in totaal 6.249.294 afbeeldingen van deze personen die zijn vastgelegd met een beeldresolutie van 252 x 300 pixels.
Bij gebruik van exact dezelfde dataset in 2024 ontdekte NIST dat vijf van de zes geteste algoritmen beter presteerden dan het nauwkeurigste algoritme dat in 2014 werd getest, en dat de beste gemiddelde absolute fout (MAE) die voor die dataset werd berekend, is gedaald van 4,3 naar 3,1 jaar.
Dit is een echte vooruitgang en we kunnen verwachten dat deze technologieën zullen blijven verbeteren naarmate algoritmen en gegevens voortdurend worden verbeterd.
NIST gebruikte vier aanvullende datasets in de test voor 2024:
1. FBI mugshots - 1.482.667 onderwerpen vastgelegd met behulp van een gestandaardiseerde fotografische opstelling met de meeste afbeeldingen van 480 x 600 pixels.
2. Grensovergangen - 632.520 personen vastgelegd op webcams georiënteerd door immigratieambtenaren
3. Foto's van immigratieaanvragen - 802.332 onderwerpen vastgelegd met behulp van een gestandaardiseerde fotografische opstelling tijdens een bijgewoond interview op immigratiekantoren in de VS. De meeste foto's hebben een uniforme, witte achtergrond, er is geen bril, de proefpersonen staan frontaal op de foto en de afbeeldingen zijn 300 x 300 pixels.
4. Kalina Everyday - 1.991 zelfportretfoto's dagelijks gemaakt voor longitudinaal onderzoek
Een belangrijke bevinding is dat de nauwkeurigheid van leeftijdsschattingen vaak het laagst was bij gebruik van de dataset voor grensovergangen en het hoogst bij gebruik van de foto's van immigratieaanvragen. Speculatief gezien is dit waarschijnlijk gecorreleerd met de respectieve beeldkwaliteit in die datasets, waarbij beelden van grensovergangen op een niet-gestandaardiseerde manier zijn opgenomen op goedkope webcams met onoverzichtelijke achtergronden en variabele belichting, terwijl de foto's van immigratieaanvragen van hogere kwaliteit zijn vanwege het gestandaardiseerde opnameproces.
Deze bevinding vertelt ons dat gebruikers van dergelijke technologieën moeten nadenken over de manier waarop de context van hun toepassing de operationele prestaties kan beïnvloeden. Winkeliers zouden bijvoorbeeld kunnen ontdekken dat een kassa die is uitgerust met een camera van hogere kwaliteit, geplaatst voor optimale belichting en minder rommel op de achtergrond, nauwkeuriger werkt dan een inferieure installatie en daardoor minder klanten lastigvalt met ID-controles die niet nodig zijn.
Om het meeste uit deze technologie te halen, moeten implementeerders, of ze nu offline retailers of online diensten zijn, testen of hun prestaties in het veld overeenkomen met die van testen in het lab.
Een andere bevinding is dat het dragen van een bril van invloed is op de schattingsfout, waarbij vier van de zes geteste algoritmen hogere schattingsfouten lieten zien bij zowel mannen als vrouwen wanneer ze een bril droegen. In de loop van de tijd zouden we moeten verwachten dat zulke prestatieverschillen kleiner worden naarmate technische leveranciers toegang krijgen tot meer trainings- en testgegevens over dergelijke verschijningen.
Deze bevinding geeft echter aan dat er bij het testen ook rekening moet worden gehouden met andere presentatiefactoren, zoals het dragen van cosmetica, piercings, nepwimpers en zelfs tatoeages.
Het is zeer welkom om te zien dat NIST het Fitzpatrick huidtype achter zich laat in hun behandeling van demografische bias. In plaats daarvan gebruiken ze geboorteland als een proxy voor etniciteit, omdat dit gegevenspunt beschikbaar is op de immigratieaanvragen waartoe ze toegang hebben, maar ze zijn heel transparant over de onvolkomenheden van deze proxy:
1. het negeert lokale etnische verschillen
2. een deel van de bevolking zal transnationale voorouders hebben
Bij alle leeftijdsgroepen en algoritmen blijkt uit het rapport dat vals-positieve percentages, waarbij de werkelijke leeftijd lager is dan de wettelijke leeftijdsgrens, het hoogst zijn bij West-Afrikaanse vrouwen en het laagst bij Oost-Europese mannen. Maar wat we niet kunnen zeggen, zonder verder werk, is hoe dit prestatieverschil zich verhoudt tot het gelijkwaardige oordeel van een mens, of zelfs bij welke drempel we prestatieverschillen als discriminerend moeten beschouwen.
NIST is een wereldwijd erkend wetenschapslaboratorium dat de opdracht heeft gekregen om de risico's van AI-systemen te evalueren en in te perken door het executiebevel van president Biden. Hun rapport zal een cruciale rol spelen in de industrie bij het opbouwen van geloofwaardigheid en vertrouwen door onafhankelijke verificatie van systeemprestaties te bieden.
Serve Legal kan aanbieders en implementeerders van technologie voor leeftijdsinschatting een stap verder helpen door speciaal ontwikkelde datasets samen te stellen die het testen vergemakkelijken met behulp van vooraf verzamelde beelden of live presentaties met ground truth over meerdere demografische kenmerken, decoratieve presentatieverschillen en omgevingsfactoren.
