Vaststellen van standaarden voor AI-modellen stimuleert innovatie en toepassing

Gedachten van onze CTO: Het vaststellen van standaarden voor AI-modellen zal innovatie en adoptie stimuleren

Als industriestandaarden jaarlijks £8,2 miljard aan het BBP toevoegen, houdt een gebrek aan standaarden voor kunstmatige intelligentie (AI) de technologie dan tegen? 

Hoewel AI al 70 jaar bestaat als concept, al 20 jaar als commercieel product en GPT's (generative pre-trained transformers) alomtegenwoordig worden vanaf 2023, werd pas op 16 januari 2024 de eerste wereldwijd geaccepteerde norm met betrekking tot AI gepubliceerd, met dank aan het British Standards Institute (BSI). BS ISO/IEC 42001 definieert een certificeerbaar kader voor AI-beheersystemen waarbinnen AI-producten kunnen worden ontwikkeld als onderdeel van een ecosysteem voor AI-borging. 

Welke invloed kunnen we verwachten dat dergelijke standaarden zullen hebben op de evolutie van AI? 

Om die vraag te beantwoorden wordt in dit artikel de historische impact besproken die standaarden hebben gehad op factoren als innovatie en adoptie om te bepalen of AI waarschijnlijk zal profiteren van of worden gehinderd door de opkomst van standaarden. 

De Britse consumentenwetgeving zegt dat "producten alleen verkocht mogen worden als op afdoende wijze is aangetoond dat ze voldoen aan de regelgeving voor productveiligheid". Verder "vereisen de General Product Safety Regulations 2005 (GPSR) dat alle producten veilig zijn bij normaal of redelijkerwijs te verwachten gebruik en de handhavingsinstanties hebben de bevoegdheid om passende maatregelen te nemen als niet aan deze verplichting wordt voldaan". (Bron: https://www.gov.uk/guidance/product-safety-advice-for-businesses)

Het is duidelijk dat het de bedoeling is om consumenten te beschermen tegen producten van lage kwaliteit en zelfs tegen gevaarlijke producten. Naleving van deze productnormen is verplicht en de regelgever kan boetes uitdelen als niet aan deze normen wordt voldaan. Zoals we zullen zien, hebben productnormen echter geen wettelijke steun nodig om nuttig te zijn, noch zijn ze alleen in het voordeel van de consument. 

In 1903 publiceerde het BSI zijn eerste rapport, BS1, met de titel Rolled Steel Sections for Structural Purposes (Gewalste stalen profielen voor constructiedoeleinden). Deze standaard werd ontwikkeld om interoperabiliteit te bevorderen, zodat ingenieurs en leveranciers nauwkeurig konden communiceren over wat er nodig was en hoe het gemeten zou worden. Ingenieurs konden meerdere leveranciers uitnodigen om mee te dingen naar een leveringscontract dat aan deze standaard zou voldoen en erop vertrouwen dat het geleverde staalprofiel zou passen, waardoor efficiëntie en innovatie op verschillende manieren werden bevorderd: 

• leveranciers wisten dat ze door te voldoen aan de BS1-norm toegang konden krijgen tot een reeds bestaande markt voor stalen profielen. 
• Concurrentie tussen leveranciers zou hen aanmoedigen om hun processen te verbeteren zodat ze tegen betere prijzen of volgens hogere normen kunnen leveren. 
• Door de risico's te verminderen, de kosten van staalprofielen te versnellen en te verlagen, kunnen ingenieurs hun eigen grenzen verleggen en de vraag vergroten. 

We spoelen bijna 50 jaar vooruit naar 1950 en het concept van AI begint vorm aan te nemen. 

Alan Turing, een Britse wiskundige, definieerde een logisch raamwerk voor het ontwikkelen en testen van intelligente machines. Het duurde echter tot 1955 voordat Allen Newell, Cliff Shaw en Herbet Simon de eerste proof of concept ontwikkelden. De kosten van rekenkracht vormden een belangrijke belemmering voor vooruitgang en pas in de jaren 1980 werden er aanzienlijke investeringen gedaan, waarbij de Japanse regering tussen 1982 en 1990 400 miljoen dollar investeerde. Ondanks deze investering realiseerde de Japanse regering niet het verwachte succes. 

In 1997 versloeg IBM's Deep Blue wereldkampioen schaken Gary Kasparov en bracht Dragon Systems spraakherkenningssoftware uit. Vanaf dat moment, toen de rekenkracht en opslagkosten daalden, zijn de grenzen van de AI-mogelijkheden voortdurend opgerekt en toegepast in gebieden als reclame, natuurlijke taalverwerking, beeldclassificatie, biometrie en meer recent generatieve AI zoals ChatGPT. 

Ondanks deze snelle vooruitgang in AI-capaciteiten in de afgelopen 25 jaar en ondanks het feit dat er de afgelopen tijd veel is geschreven over het onderwerp AI-regulering, waren er geen wereldwijd overeengekomen standaarden waaraan AI-modellen en hun gerelateerde systemen zich moesten houden. 

De EU heeft de EU AI Act ingediend en ook de VS zijn bezig met het definiëren van hun eigen regelgevend kader, waarbij de belangrijkste punten van zorg betrekking hebben op zaken als nauwkeurigheid, eerlijkheid, privacy en transparantie, maar er zijn geen wereldwijd geaccepteerde normen waaraan deze punten van zorg kunnen worden verankerd. 

AI-technologie heeft al vele malen bewezen dat het een breed spectrum van problemen in de echte wereld kan oplossen, vaak nauwkeuriger en efficiënter dan een menselijke tegenhanger. Nu de wet van Moore zich opmerkelijk goed heeft gehandhaafd, hebben de kosten van rekenkracht en opslag niet alleen de ontwikkeling van effectieve AI-modellen vergemakkelijkt, maar ook de adoptie van die AI-modellen, omdat uit kosten-batenmodellen van bedrijven blijkt dat de adoptie van AI nu een waardetoevoegende exercitie is en niet slechts een ijdelheidsproject.  

Maar op dit moment hebben AI-ontwikkelaars geen bibliotheek met gevestigde standaarden waar ze zich aan kunnen houden en naar kunnen verwijzen om de kwaliteit te waarborgen en vertrouwen in hun oplossingen op te bouwen. Bedrijfsleiders kunnen niet verwijzen naar standaarden bij de aanschaf van AI-systemen, waardoor ze blootgesteld worden aan verschillende risico's. Dit gebrek aan standaarden creëert ruimte voor de verspreiding van verkeerde informatie. Dit gebrek aan standaarden creëert ruimte voor de verspreiding van verkeerde informatie. Enerzijds zorgt deze ruimte ervoor dat inferieure producten marktaandeel kunnen veroveren door goedkoper te zijn dan concurrenten van superieure kwaliteit. Aan de andere kant betekent het dat door angst gedreven, overdreven en misleidend commentaar zich snel kan verspreiden, waardoor de reputatie van fundamenteel goede technologieën wordt aangetast.  

Gezichtsbiometrie is in dit opzicht een bijzonder interessante casestudy. Dergelijke technologieën maken toepassingen zoals gezichtsherkenning en leeftijdsschatting mogelijk. Deze technologieën zijn de afgelopen jaren snel verbeterd en ontwikkeld, maar ondanks deze vooruitgang zijn er nog steeds geen universeel geaccepteerde standaarden met betrekking tot nauwkeurigheid en eerlijkheid. 

Dit gebrek aan standaarden vormt een risico voor adoptie en innovatie. 

We beschikken over de technologie en de wetenschappers om AI-modellen te verfijnen en nieuwe modellen te ontwikkelen, maar een AI-model op zich is slechts één stukje van de puzzel. De AI moet worden geïntegreerd in een breder systeem en dat systeem moet worden ingezet voor een bepaalde use case om waarde te creëren, ongeacht of die waarde voortkomt uit ponden op de bank, geredde levens of verbeterde efficiëntie. 

Stel je voor dat je de directeur bent van een groot bedrijf, een ziekenhuis of een school. Je hebt gezien hoe AI je organisatie ten goede kan komen, maar je weet ook dat AI niet perfect is - dat kan ook niet en dat was ook nooit de bedoeling. Hoe beheer je het risico dat voortvloeit uit imperfectie als er geen standaarden zijn? Wat zijn de ergste uitkomsten die je redelijkerwijs kunt verwachten als gevolg van die imperfecties? Hoe bepaal je welke AI-technologie geschikt en veilig is voor de use case die je in gedachten hebt? 

Het Amerikaanse Rite Aid, een keten van apotheken, probeerde tussen 2012 en 2020 mogelijke winkeldieven te identificeren met behulp van AI-gebaseerde gezichtsherkenningstechnologie. Bij gebrek aan toepasselijke normen lijkt Rite Aid een gezichtsherkenningssysteem te hebben aangeschaft dat uitdrukkelijk "geen verklaringen of garanties geeft met betrekking tot de nauwkeurigheid en betrouwbaarheid van het product bij de uitvoering van zijn gezichtsherkenningsmogelijkheden". 

De Federal Trade Commission, FTC, een Amerikaanse overheidsinstantie, beweert: 

• Rite Aid heeft geen rekening gehouden met de risico's van fout-positieve gegevens voor consumenten, waaronder het risico van verkeerde identificatie op basis van ras of geslacht. 
• Rite Aid heeft het systeem niet getest op nauwkeurigheid 
• Rite Aid heeft verzuimd controles uit te voeren op beeldkwaliteit 
• Rite Aid heeft de nauwkeurigheid van de resultaten niet gecontroleerd, getest of bijgehouden 

De FTC beweert onder andere dat consumenten door deze tekortkomingen zijn benadeeld door vernedering en het feit dat ze uit winkels zijn verwijderd zonder dat ze hun voorgeschreven medicijnen mochten ophalen. Het schikkingsvoorstel van de FTC omvat een verbod voor Rite Aid om gedurende vijf jaar gezichtsherkenningstechnologie te gebruiken. (Bron: https://www.ftc.gov/business-guidance/blog/2023/12/coming-face-face-rite-aids-allegedly-unfair-use-facial-recognition-technology)

De opkomst van dergelijke zaken maakt het voor bedrijven nog moeilijker om deze nieuwe technologieën te gebruiken bij gebrek aan normen. Ze tonen aan dat er claims kunnen en zullen worden ingediend als een bedrijf technologie blijkt te gebruiken die niet "goed genoeg" is, waarbij de definitie van "goed genoeg" niet duidelijk is gedefinieerd en daarom door de rechtbank kan worden bepaald. 

De terughoudendheid om deze technologieën in te zetten leidt uiteindelijk tot een langzamere adoptie en minder geld dat naar R&D van deze technologieën vloeit, en dat zet een rem op innovatie. 

In 2022 publiceerde het Department for Business, Energy & Industrial Strategy een rapport over The Role of Standardisation in Support of Emerging Technologies in the UK. Het rapport onderzoekt de mogelijke positieve en negatieve neveneffecten van standaardisatie en gebeurtenissen die sinds de publicatie van het rapport zijn waargenomen, versterken de respectieve argumenten. Over de positieve effecten van standaardisatie zegt het rapport het volgende: 

"Het definiëren van minimumkwaliteitsniveaus - die kunnen helpen om vertrouwen te creëren bij vroege gebruikers van opkomende technologieën en om incidenten te voorkomen die het vertrouwen in nieuwe producten ondermijnen. van opkomende technologieën en het vermijden van incidenten die het vertrouwen in nieuwe producten ondermijnen. en het vermijden van de Wet van Gresham (waar producten van lage kwaliteit goederen van hoge kwaliteit kunnen verdringen in markten met een hoge mate van informatieasymmetrie)". goederen kunnen verdringen in markten met een hoge mate van informatieasymmetrie)" (Bron: https://assets.publishing.service.gov.uk/government/uploads/system/uploads/attachment_data/file/1080614/role-of-standardisation-in-support-of-emerging-technologies-uk.pdf)

De FTC-zaak tegen Rite Aid zal vrijwel zeker een negatieve impact hebben op het vertrouwen in gezichtsbiometrische technologieën, en minimale kwaliteitsniveaus hadden dat kunnen voorkomen. Het is ook vrij eenvoudig om te zien hoe producten van lage kwaliteit producten van hoge kwaliteit in de gezichtsbiometrische ruimte zouden kunnen verdringen. Een van de meest uitdagende en dure aspecten van het leveren van gezichtsbiometrische systemen die nauwkeurig en eerlijk werken, is het samenstellen van nauwkeurige, diverse, geclassificeerde datasets op schaal.  

Biometrische gezichtsproducten met minder diverse en minder nauwkeurige datasets zouden op de markt kunnen worden gebracht tegen een prijs die voor superieure concurrenten niet haalbaar zou zijn. Bij gebrek aan standaarden die productvergelijkingen vergemakkelijken, zou een CEO die zo'n systeem aanschaft geen gemakkelijke manier hebben om de relatieve prestaties van de alternatieve aanbiedingen te vergelijken, waardoor het moeilijker wordt om het betalen van een hogere prijs te rechtvaardigen. Volgens het Citroenfenomeen van Akerlof kunnen AI-producten van hogere kwaliteit uit de markt worden gedrukt door producten van lagere kwaliteit door de asymmetrie van informatie tussen verkoper en koper. In het extreme geval, als producten van lage kwaliteit de overhand krijgen, zullen de prestaties natuurlijk ondermaats zijn en zal de markt uiteindelijk mislukken omdat het publieke vertrouwen in de technologie verloren zou gaan. 

De opvatting dat normen waarde creëren heeft empirische ondersteuning. In 2015 stelde het Centre for Economics and Business Research (CEBR) in opdracht van het BSI een rapport op met de titel The Economic Contribution of Standards to the UK Economy. Het rapport stelt dat: 

"Volgens onze berekeningen hebben normen bijgedragen aan 37,4% van de jaarlijkse productiviteitsgroei. Ter illustratie: in 2013 zou dat neerkomen op 8,2 miljard pond extra BBP door het juiste gebruik van standaarden." (Bron: https://www.bsigroup.com/siteassets/pdf/en/about-us/bsi-the-economic-contribution-of-standards-to-the-uk-economy-uk-en.pdf)

Van bijzonder belang in het licht van de bevindingen van Rite Aid, citeert het rapport: "Wat betreft het effect van standaarden op kwaliteit, gaf 70% van de respondenten aan dat standaarden hadden bijgedragen aan het verbeteren van hun toeleveringsketen door de kwaliteit van producten en diensten van leveranciers te verbeteren". 

Nu de AI-regelgeving in een stroomversnelling raakt, is het belangrijk om te bedenken dat standaarden en regelgeving weliswaar complementair zijn, maar dat het ook heel verschillende instrumenten zijn. Een bepaalde markt, bijvoorbeeld het Verenigd Koninkrijk, de EU of de VS, kan wettelijke eisen stellen aan bedrijven om zich aan bepaalde standaarden te houden. Maar zelfs als er geen regelgevende instantie is, heeft het vrijwillig naleven van standaarden nog steeds het voordeel dat er vertrouwen wordt opgebouwd, risico's worden beperkt en adoptie wordt aangemoedigd. 

Het BSI-rapport onderzoekt een aantal mechanismen waardoor normen het concurrentievermogen van bedrijven verbeteren en komt tot de volgende conclusie: "Het belangrijkste mechanisme is de bijdrage die normalisatie levert aan het verbeteren van de status van bedrijven, die door 84% van de respondenten werd genoemd. Normen kunnen bijdragen tot het concurrentievoordeel van bedrijven door de markt te tonen dat hun producten en diensten van hoge kwaliteit zijn. Dit mechanisme was nog belangrijker voor grote bedrijven: 92% gaf aan dat dit een factor was, tegenover 83% van de kmo's." 

Voor de impact die standaarden kunnen hebben op innovatie hoeven we niet verder te kijken dan Tim Berners-Lee, die in 1989 het world wide web (WWW) uitvond, het in 1991 openstelde voor het publiek en in 1994 het W3C (World Wide Web Consortium) oprichtte. Het W3C ontwikkelt de standaarden waarop het web is gebouwd. Hoewel niet gestuurd door regelgevers, stelden deze standaarden, die al vroeg in de evolutie van het web werden gedefinieerd, bedrijven en individuen over de hele wereld in staat om interoperabele webpagina's te maken, vervolgens webapplicaties, vervolgens slimme apparaten, en ga zo maar door, waardoor meerdere, enorme industrieën ontstonden die het gezicht van moderne economieën zouden veranderen. 

Toch duurde het nog tot 2010, toen de Britse Equality Act van kracht werd, die website-eigenaren verbood te discrimineren op basis van een handicap, voordat de BSI BS8878 publiceerde, die voortbouwde op het Web Accessibility Initiative van het W3C en definieerde hoe een strategie voor webtoegankelijkheid binnen een organisatie moet worden toegepast. Niet alleen verbeterde deze standaard de online ervaringen voor gehandicapte groepen zoals blinden, maar over de hele linie genoten mensen van betere online ervaringen doordat routinetaken zoals het tabben door webformulieren en het lezen van tekst gestandaardiseerd en makkelijker werden voor iedereen, tot het punt waar nu zelfs complexe applicaties zoals spreadsheets en boekhoudsoftware routinematig worden ingezet via webgebaseerde interfaces. 

Nu er standaarden zijn, er snel wordt geïnnoveerd en miljarden mensen wereldwijd het internet gebruiken om hun dagelijkse leven te leiden, beginnen de toezichthouders deze standaarden af te dwingen om die mensen te vertegenwoordigen die het risico lopen achter te blijven bij de vooruitgang. Op dit punt verschuiven de standaarden van vrijwillige gedragscodes naar wettelijke vereisten. Degenen die het voortouw hebben genomen bij het definiëren en invoeren van deze standaarden, zien dat hun concurrenten die zich niet aan de standaarden houden, door de regelgevende instanties onder de loep worden genomen. 

In het Verenigd Koninkrijk bijvoorbeeld werd het Department for Work and Pensions veroordeeld tot het betalen van £7,000 schadevergoeding voor het discrimineren van geregistreerde blinden en slechtzienden door niet op een toegankelijke manier te communiceren. Ook de Student Loans Company werd veroordeeld tot het betalen van £5,000 schadevergoeding voor het niet verstrekken van een leningformulier dat toegankelijk is voor blinden. In de VS zijn rechtszaken aangespannen tegen Disney, Netflix en Target, waarbij de kosten soms in de miljoenen dollars lopen. 

Nu er in Europa, de Verenigde Staten en wereldwijd steeds sneller AI-regelgeving wordt opgesteld, is het de moeite waard om de volwassenheid van relevante normen voor AI onder de loep te nemen. Zoals de snelle ontwikkeling van het WWW heeft laten zien, was de vroege ontwikkeling van robuuste en wereldwijd geaccepteerde maar vrijwillige normen enorm krachtig. Deze normen vormden de basis voor de ontwikkeling van regelgeving die vele jaren later zou plaatsvinden.  

Bij AI dreigt dit proces omgekeerd te verlopen, waarbij het standaardlandschap nog steeds kaal is maar de ontwikkeling van regelgeving versnelt. Dit brengt het risico met zich mee dat er slechte regelgeving wordt opgesteld met slechte aannames omdat er geen gevestigde, geteste en verfijnde standaarden zijn om die aannames te onderbouwen. 

De uitdaging voor de ontwikkeling van AI-standaarden komt vaak neer op data. AI-modellen hebben enorme hoeveelheden gegevens nodig om te trainen en te testen. Voor veel aanbieders kan dit op zichzelf al een uitdaging genoeg zijn, maar de uitdaging wordt nog moeilijker wanneer geprobeerd wordt om een AI-model onafhankelijk te verifiëren aan de hand van deze standaarden met behulp van ongeziene gegevens. Hiervoor is een extra dataset nodig, in het bezit van een onafhankelijke derde partij, van de juiste omvang, nauwkeurigheid en diversiteit, wat betekent dat dit type onafhankelijke conformiteitstest niet goedkoop is. 

Als we de geschiedenis als onze leidraad nemen, moeten AI-innovatie en -adoptie worden gemaximaliseerd door investeringen in de ontwikkeling van AI-standaarden en de curatie van datasets van hoge kwaliteit te bevorderen. Wat geruststellend is, is dat de EU-AI Act, hoewel deze eerder komt dan deze normen, het ermee eens lijkt te zijn dat "normalisatie een sleutelrol moet spelen om technische oplossingen te bieden aan aanbieders om te zorgen voor naleving van deze verordening, in overeenstemming met de stand van de techniek, om zowel innovatie als concurrentievermogen en groei in de interne markt te bevorderen".