Ligue des droits humains (HvJ EU, C-817/19) – Verduidelijking en vragen naar aanleiding van het Passenger-Name-Record (PNR)-systeem

Inleiding

1. Deze uitspraak van het Hof van Justitie van de Europese Unie (HvJ EU) betreft de PNR-richtlijn, waarbij PNR staat voor het ‘Passenger Name Record’.[1] Deze in 2016 aangenomen richtlijn verplicht luchtvaartmaatschappijen ertoe om voorafgaand aan vertrek de persoonsgegevens over hun passagiers aan de grensautoriteiten van EU-lidstaten te verstrekken. Doel ervan is om terroristische misdrijven en ernstige criminaliteit te voorkomen. Dat gebeurt door de passagiersgegevens te vergelijken met bestaande nationale en EU-databestanden, maar ook door het gebruik van vooraf opgestelde risicoprofielen. Als daaruit een ‘match’ blijkt, kunnen de grensautoriteiten vervolgens beoordelen of een persoon toegang zal worden verleend. Daarnaast worden de op basis van de PNR-richtlijn verstrekte persoonsgegevens zelf ook weer gebruikt om risicoanalyses op te stellen.

2. De uitvoering van de PNR-richtlijn staat al lang ter discussie, onder meer vanwege de grootschaligheid van de gegevensverwerking en de mogelijke discriminatie-gevoelige gegevens die hierbij in het geding zijn.[2] Waar de onderhavige zaak is aangebracht door een Belgische rechter in een procedure die door een non-gouvernementele organisatie, de Ligues de droits humains, was aangespannen, hebben ook andere nationale rechters al vragen over de PNR-richtlijn aan het HvJ EU voorgelegd.[3]

3. In zijn uitspraak onderstreept het HvJ EU dat de PNR-richtlijn een ernstige inmenging veroorzaakt in de door art. 7 en 8 van het EU-Handvest beschermde grondrechten op privéleven en gegevensbescherming.[4] Met toepassing van de strikt noodzakelijkheidstest en ook verwijzing naar eerdere uitspraken hierover, definieert het HvJ EU verschillende criteria en vereisten die de lidstaten bij de uitvoering van deze richtlijn moeten naleven. Deze betreffen onder meer de afbakening van strafbare feiten waarvoor de gegevens mogen worden verwerkt, een verdere beperking van het gebruik van gegevens die in het kader van intra-EU vluchten worden verstrekt en ook een verbod van de toepassing van een algemene bewaartermijn die zonder onderscheid geldt voor alle luchtreizigers. Daarnaast onderzoekt het HvJ EU aan de hand van onder meer art. 7 en 8 Hv het gebruik van PNR-gegevens voor risicoanalyses en de toepassing van algoritmes daarbij.

4. De uitspraak van het HvJ EU is daarmee uiteraard van groot belang voor de toepassing van de PNR-richtlijn zelf. De vereisten en criteria die het Hof formuleert hebben daarnaast ook een ruimer bereik, in die zin dat ze ook relevant zijn voor andere systemen die op een soortgelijke leest zijn geschoeid als het PNR-systeem. Deze uitspraak is daardoor onder meer ook van belang voor de beoordeling van nieuwe grenssystemen zoals ETIAS en het gebruik van algoritmes daarbij.[5] Hoewel de uitspraak veelomvattend is en er veel over de uitspraak te zeggen is, beperken we ons in deze noot tot die elementen die ook voor andere, vergelijkbare systemen relevant kunnen zijn. We concentreren ons daarbij op een bespreking van de conclusies van het HvJ EU met betrekking tot enerzijds het recht op non-discriminatie (art. 21 Hv) en anderzijds het recht op effectieve rechtsbescherming (art. 47 Hv).

Non-discriminatie en gegevensverwerking volgens de PNR-richtlijn

5. Een eerste belangrijk aspect van deze uitspraak betreft de overwegingen rondom non-discriminatie. Bij geautomatiseerde verwerking van persoonlijke gegevens, wat PNR-gegevens bij uitstek zijn, kan al snel sprake zijn van vormen van profilering, in die zin dat bepaalde personen of groepen mensen sneller worden uitgezonderd voor doorgifte van hun gegevens dan andere. Als die mensen ook nog blijken te beschikken over bepaalde kenmerken, zoals een bepaalde etnische of nationale afkomst of een bepaalde religie, kan sprake zijn van een directe of indirecte benadeling van die mensen, in strijd met het discriminatieverbod. Om discriminatie te voorkomen moet volgens de uitspraak van het HvJ EU aan een aantal eisen worden voldaan waar binnen de PNR-systematiek ruimte voor moet worden gemaakt. Gelet op de complexiteit van die eisen is het allicht goed de relevante aspecten van de richtlijn eerst kort op een rij te zetten.

6. De waarborgen tegen discriminatie zijn vooral te vinden in de bepaling over het verwerken van PNR-gegevens door een passagiersinformatie-eenheid (PIE). Volgens art. 6 lid 2 van de PNR-richtlijn mag een PIE de PNR-gegevens alleen verwerken voor een beperkt aantal specifieke doeleinden. Meest relevant als het gaat om non-discriminatie is daarbij de a)-grond. Daarbij gaat het om de beoordeling of bepaalde passagiers aan een nader onderzoek moeten worden onderworpen omdat ze betrokken zouden kunnen zijn bij een terroristisch misdrijf of bij ernstige criminaliteit. Ten behoeve van die beoordeling kan de bevoegde PIE in de eerste plaats een vergelijking maken tussen de PNR-gegevens en bijvoorbeeld databanken waarin informatie is opgenomen in verband met gezochte of gesignaleerde personen (art. 6 lid 3 onder a van de PNR-richtlijn). Als die informatie leidt tot een ‘match’, dan kan de PIE de gegevens doorsturen naar de bevoegde autoriteiten van een lidstaat, die op basis daarvan maatregelen kunnen treffen. Daarnaast mag een PIE de PNR-gegevens volgens art. 6 lid 3 onder b) verwerken ‘overeenkomstig vooraf bepaalde criteria’. De beoordeling van de gegevens volgens deze criteria moet blijkens lid 4 ‘op niet-discriminerende wijze’ worden uitgevoerd. Ook moeten de vooraf bepaalde criteria volgens dit artikellid ‘doelgericht, evenredig en specifiek’ zijn. Ze moeten regelmatig worden getoetst en ze mogen ‘onder geen beding gebaseerd zijn op ras, etnische afstamming, religieuze, levensbeschouwelijke of politieke overtuiging, vakbondslidmaatschap, gezondheid, seksleven of seksuele geaardheid van de betrokkene’. Voor zover relevant bepaalt art. 6 lid 5 daarnaast dat automatische verwerkingen om te bekijken of bepaalde passagiers aan een nader onderzoek mogen worden onderworpen per geval op een niet-geautomatiseerde manier – handmatig dus, door mensen – moeten worden gecontroleerd.

Beoordeling door het HvJ EU: verbod van inzet van machine-learningalgoritmen

7. Niet zo verwonderlijk is dat het kunnen verwerken van de PNR-gegevens ‘overeenkomstig vooraf bepaalde criteria’ de nodige vragen oproept, zeker nu duidelijk is dat die criteria vertrouwelijk mogen worden gehouden.[6] Advocaat-Generaal Pitruzzella legt uit dat het hierbij vooral gaat om profileringsactiviteiten, waarbij wordt bekeken of op basis van bepaalde criteria kan worden ‘voorspeld’ welke passagiers mogelijk betrokken zijn bij een terroristisch misdrijf of bij ernstige criminaliteit.[7] In een eerste evaluatie van de PNR-richtlijn geeft de Europese Commissie de volgende definitie: ‘Pre-determined criteria, also known as targeting rules, are search criteria, based on the past and ongoing criminal investigations and intelligence, which allow to filter out passengers which corresponds to certain abstract profiles, e.g. passenger travelling on certain routes commonly used for drug trafficking, who bought their ticket in the last moment and paid in cash, etc.’[8] De richtlijn geeft echter geen antwoord op de vraag hoe en op welke gronden deze ‘targeting rules’ kunnen worden vastgesteld, welke data mogen worden gehanteerd om dat te kunnen doen en waar die data vandaan mogen worden gehaald.[9] Weliswaar stelt art. 6 lid 4 bepaalde eisen, zoals hierboven bij randnr. 6 kort besproken, maar die zijn nog steeds heel algemeen van aard. In een notendop komen ze erop neer dat de criteria zo precies mogelijk (dus met zo weinig mogelijk onjuiste resultaten) de relevante personen moeten kunnen aanwijzen, dat ze niet mogen leiden tot individuele of discriminerende profilering en dat ze traceerbaar en openbaar moeten zijn.[10]

8. Belangrijk is nu dat het HvJ EU in Ligue des droits humains meer duidelijkheid biedt als het gaat om de inzet van deze vooraf bepaalde criteria. In het bijzonder oordeelt het expliciet dat er geen AI-technologieën zoals ‘machine learning’ (ML) mogen worden gebruikt om deze criteria te bepalen.[11] Overigens bevatten de verschillende taalversies van de uitspraak op dit punt een vervelende onduidelijkheid. Volgens de Nederlandse taalversie overweegt het Hof dat ‘dat geen kunstmatige-intelligentietechnologieën zoals machinaal leren (machine learning) mogen worden gebruikt, aangezien die zonder menselijke tussenkomst of controle aanpassingen kunnen doorvoeren in het beoordelingsproces …’. In Engelse taalversie zegt het Hof echter: ‘… that requirement precludes the use of artificial intelligence technology in self-learning systems (‘machine learning’), capable of modifying without human intervention or review the assessment process …’. De betekenis van deze Engelse zin is een heel andere, nu daarin de bijzin kwalificerend en niet verklarend van aard is. Waar in de Nederlandse taalversie alle ML-varianten lijken te worden uitgesloten, is de inzet van ML volgens de Engelse taalversie alleen niet toegestaan als de instrumenten autonoom kunnen veranderen of de criteria kunnen passen – en dat is niet altijd het geval.[12] Nu ook de Franse taalversie uitgaat van een kwalificerende betekenis van de bijzin, is de Nederlandse vertaling op dit punt waarschijnlijk niet helemaal correct. Het moet er dus voor worden gehouden dat het Hof ML niet aanvaardbaar acht, maar alleen voor zover een ML-algoritme zonder menselijke tussenkomst of controle kan leiden tot wijzigingen in het beoordelingsproces, met name als het gaat om de beoordelingscriteria en de weging daarvan.[13] Als verklaring hiervoor wijst het HvJ EU op de ondoorzichtigheid van de werking van dit soort algoritmen, waardoor het moeilijk is om op te komen tegen beslissingen die worden genomen op basis van de output ervan.[14]

Werking van machine-learningalgoritmen

9. Inderdaad zijn het vermogen tot verandering van een algoritme en de ondoorzichtigheid ervan belangrijke risico’s van de inzet van algoritmes bij risico-inschattingen. Om dat te begrijpen, is het goed om enig inzicht te hebben in de manier waarop zo’n ML-algoritme werkt.[15] ML-algoritmen maken gebruik van statistische en andere technieken om informatie in grote datasets te ordenen en te analyseren. Daarbij kunnen verschillende technieken worden gebruikt. Voor de ML-algoritmen die voor het PNR-systeem relevant zijn, zijn dataclustering en regressieanalyses erg belangrijk.[16] Door inzet van dat soort statistische methoden voor data-analyse kan een algoritme worden ‘geleerd’ om sterke overeenkomsten en correlaties te detecteren in (verder heel diverse) data en om daarbij statistische verbanden en waarschijnlijkheden te bepalen.[17] Het is bijvoorbeeld denkbaar dat een algoritme wordt getraind om grote datasets te doorzoeken op de aanwezigheid van opvallende patronen die kunnen wijzen op een verhoogde kans dat een bepaald persoon zich bezighoudt met terroristische of criminele activiteiten. Daar bestaan verschillende mechanismen voor, die uiteindelijk allemaal zijn gebaseerd op het geven van positieve of negatieve feedback als een algoritme op basis van de uitgevoerde analyses een relevante uitkomst vaststelt.[18] Bijvoorbeeld: positieve feedback wordt gegeven als persoon A – die in werkelijkheid is veroordeeld wegens terrorisme –door het algoritme wordt aangewezen als een bijzonder risico voor terrorisme; negatieve feedback wordt gegeven als het algoritme een verkeerde persoon aanwijst, of een persoon ten onrechte mist. Op die manier wordt de patroonherkenning van het algoritme steeds verder verfijnd en verbeterd.[19]

10. Tijdens het trainingsproces kan het algoritme worden geleerd dat het geen rekening mag houden met een van de in art. 6 lid 4 genoemde kenmerken, zoals etnische afkomst of levensbeschouwelijke of politieke overtuiging.[20] Een goed getraind algoritme zal dan waarschijnlijk niet snel direct factoren als ‘afkomstig uit land x’ of ‘overtuigd lid van religieuze groepering y’ aanwijzen als criteria die relevant zijn om te bepalen of het waarschijnlijk is dat een passagier terroristische of criminele voornemens heeft.[21] In plaats daarvan zal het algoritme op zoek gaan naar andere patronen in de veelheid van informatie die beschikbaar kan zijn over mensen die zich in het verleden schuldig hebben gemaakt aan ernstige criminele vergrijpen of aan terrorisme. Een algoritme hanteert daarbij alleen niet dezelfde, op causaliteit gerichte logica als mensen.[22] In plaats daarvan zoekt een algoritme naar statistisch significante verbanden, oftewel naar correlaties tussen bepaalde factoren.[23] Daardoor kan het bijvoorbeeld gebeuren dat een algoritme achterhaalt dat er binnen een dataset een statistisch relevante correlatie bestaat tussen terroristisch gedrag en daar schijnbaar niet logisch mee samenhangende factoren als laattijdig boeken, het op internet zoeken naar informatie over vliegtuigen, frequent toiletbezoek op het vliegveld en het sturen van berichtjes in een bepaalde taal.[24] Hoewel mensen zelf die combinatie misschien niet snel zouden bedenken, kan deze wel een criterium opleveren om de PNR-gegevens te gaan toetsen, omdat er mogelijk een risico is van terrorisme of ernstige criminaliteit.[25]

Discriminatierisico’s bij machine-learningalgoritmen

11. Voor veel mensen lijkt hiervoor besproken werkwijze misschien heel vruchtbaar en efficiënt, maar aan de inzet van zo’n ML-algoritme kleeft toch een aantal nadelen, zeker bezien vanuit het specifieke perspectief van het discriminatieverbod.[26] Een eerste probleem is de zogenaamde ‘base rate fallacy’, dus het fenomeen dat zich – ondanks zorgvuldige training – ‘fout-positieven’ of ‘fout-negatieven’ voordoen.[27] Anders gezegd: het kan gebeuren dat het algoritme ten onrechte een persoon als risicovol aanwijst, of ten onrechte juist een risicovol persoon mist.[28] Dat is in beide gevallen problematisch, maar om verschillende redenen. In het eerste geval betekent het dat iemand ten onrechte als potentieel verdacht wordt aangeduid, of dat in ieder geval wordt toegestaan dat diens PNR-gegevens worden doorgegeven aan opsporingsautoriteiten.[29] In het tweede geval is er een kans dat een daadwerkelijk risico van terrorisme of ernstige criminaliteit wordt gemist en een potentiële dader van ernstige vergrijpen ongemoeid wordt gelaten. In de literatuur is erop gewezen dat bij de PNR-richtlijn, gelet op de aard van de data die beschikbaar zijn, vooral het risico op fout-positieven bijzonder groot is.[30]

12. Een tweede probleem is dat voor de goede en niet-discriminerende werking van een ML-algoritme veel afhangt van de kwaliteit van de data waarmee een algoritme wordt getraind.[31] De dataset moet groot genoeg zijn, moet relevant zijn voor de specifieke Europese context, moet genoeg gegevens bevatten (anders dan de verboden persoonlijke kenmerken), moet representatief zijn voor het soort data dat in de toepassingspraktijk aan het algoritme gevoed kan worden, etc.[32] Het blijkt vaak erg moeilijk om dat soort datasets samen te stellen en te voorkomen dat ze discriminerende en stereotyperende patronen in het menselijk denken en handelen reflecteren.[33] Het bekende risico van ‘rubbish in, rubbish out’ doet zich dan gemakkelijk voor, in die zin dat tekortkomingen en discriminatie in de data zich al snel vertalen naar onjuistheden en discriminatie in de output van een algoritme.[34] Is een dataset niet goed opgezet en voorbereid, dan kan dat het leerproces bovendien sterk verstoren. Een algoritme kan op basis van niet-representatieve of incorrecte data bijvoorbeeld bepaalde patronen leren herkennen als relevant, terwijl die patronen in werkelijkheid niet blijken te kloppen. Het risico op fout-negatieven en fout-positieven neemt in dat geval nog toe. Dat risico wordt nog versterkt als het algoritme zichzelf in de praktijk blijft ‘verbeteren’ door in nieuw toegevoegde (eveneens gekleurde) data zelfstandig patronen te herkennen.[35] Dit kan in de praktijk leiden tot versterking van al bestaande vormen van (institutionele) discriminatie.

13. Voor PNR-algoritmen is het ontbreken van goede datasets een bekend probleem.[36] Het onderzoeksbureau van het Europees Parlement wees er in 2021 al op dat de data die worden verkregen van luchtvaartondernemingen of in het kader van PNR-overeenkomsten met derde landen erg onbetrouwbaar zijn.[37] Daarnaast is niet duidelijk welke andere data nog worden ingezet bij de risicoanalyses en of hierbij bijvoorbeeld ook informatie over internet- of sociale-mediagebruik worden betrokken. Daardoor is er een extra groot risico op discriminatie en andere grondrechtenschendingen door de inzet van ML-algoritmen.

14. Op het derde probleem wijst het HvJ EU in zijn uitspraak ook al: het trainen van een algoritme op een dataset is in zekere zin een momentopname.[38] Het algoritme is op een bepaald moment van het leerproces gevalideerd en geschikt bevonden om bepaalde analyses uit te voeren, maar in de praktijk veranderen de datasets waar het algoritme mee moet werken voortdurend. Er wordt bijvoorbeeld steeds nieuwe informatie in opgenomen over verdachte en veroordeelde of vrijgesproken personen, of over het gedrag en de voorkeuren en gewoonten van deze mensen via hun surfgedrag op internet en hun gebruik van sociale media. Een statisch algoritme zou daardoor al snel verouderd kunnen raken en niet meer geschikt zijn om met die nieuwe data te werken.[39] De meeste ML-algoritmen kunnen zichzelf echter aanpassen en ‘bijleren’ door ook in die nieuwe data te blijven zoeken naar relevante correlaties. Daardoor blijft het algoritme actueel en blijft de output relevant.[40] Door dat voortgezette leerproces is het tegelijkertijd gemakkelijk om de grip op de werking van een algoritme kwijt te raken, zeker nu niet altijd duidelijk is welke nieuwe factoren of verbanden het algoritme herkent als relevant.[41] Zo kunnen ongemerkt alsnog beschermde persoonskenmerken als relevante factoren worden herkend en het algoritme binnensluipen. Ook kan een algoritme toch fout-positieven of fout-negatieven gaan produceren, waardoor het op zeker moment onterecht bepaalde mensen als ‘risicovol’ kan gaan aanmerken.

15. Een vierde punt heeft ermee te maken dat, zoals eerder opgemerkt, de factoren die mogen worden meegenomen om een risico-inschatting te maken niet mogen samenhangen met bepaalde persoonskenmerken, zoals iemands geslacht, etnische afkomst, ras of religie. Het HvJ EU benadrukt in zijn PNR-uitspraak dat hierbij zowel directe als indirecte discriminatie moeten worden voorkomen.[42] Omdat een algoritme heel verfijnd en gedifferentieerd op zoek gaat naar correlaties, is het tegengaan van discriminatie op dit soort gronden in de praktijk echter niet zo gemakkelijk te bewerkstelligen. Voor factoren zoals het versturen van berichtjes in een bepaalde taal, het hebben van een voorkeur voor bepaalde maaltijden en het bezoeken van bepaalde websites kan misschien nog gelden dat duidelijk is dat ze indirect onderscheid opleveren op grond van afkomst of religie. ML-algoritmen zijn echter ook in staat om correlaties vast te stellen met veel minder betekenisvolle factoren, zoals tijdstippen waarop iemand met zijn telefoon bezig is, afstand van iemands woonhuis tot het vliegveld of een voorkeur voor reizen met de bus. Toch kunnen ook deze factoren in de praktijk soms aanwijzingen geven over iemands afkomst, religieuze of politieke voorkeur of etniciteit. Dit soort ‘neutrale’ factoren vormen daarmee zogenaamde ‘proxy’s’ voor wel verboden kenmerken.[43] Het is moeilijk om dat uit te bannen zonder een algoritme volledig ineffectief te maken – de kracht van een ML-algoritme zit hem immers nu juist in de mogelijkheid van clustering en patroonherkenning. Bovendien is lang niet altijd te achterhalen of sprake is van ‘proxy-discriminatie’, vooral doordat meestal weinig transparant is welke constellaties van factoren een algoritme nu precies als relevant patroon detecteert.[44] Ook op dat laatste wijst het HvJ, namelijk waar het overweegt dat ‘de opaciteit van de werking van kunstmatige-intelligentietechnologieën het … onmogelijk maken te begrijpen waarom een bepaald programma een positieve overeenstemming heeft opgeleverd’.[45]

16. Dit alles wordt nog verder gecompliceerd doordat alle hiervoor genoemde problemen niet gemakkelijk kunnen worden opgelost. Vaak wordt vermeld dat het – gelet hierop – wenselijk is om een ‘human in the loop’ te hebben, dus om te voorzien in menselijke tussenkomst.[46] Zowel de richtlijn als het HvJ EU in zijn uitspraak sturen hier ook op aan.[47] Het is dan de bedoeling dat de uitkomst van een algoritmisch proces wordt gecheckt door een deskundige die kan aangeven of er mogelijk problemen zijn met de uitkomst.[48] Als die tot de conclusie komt dat er iets mis is met de uitkomst van het algoritme, bijvoorbeeld omdat die onjuist of discriminerend lijkt, kan de deskundige een eigen beslissing voor die van het algoritme in de plaats stellen.[49] Dit is inderdaad een belangrijke waarborg, maar die is zeker niet zaligmakend. Ook mensen zijn immers feilbaar in hun denken en redeneren, en ook hun beslissingen kunnen zijn gekleurd door bepaalde vooropgezette meningen of stereotypen.[50] Bovendien is er het bekende probleem van ‘automation bias’: mensen vinden het niet gemakkelijk om af te wijken van wat een computer ze heeft verteld, hoe deskundig ze ook zijn.[51] Dat maakt dat menselijke tussenkomst weliswaar belangrijk is, maar onvoldoende om alle hiervoor genoemde risico’s en problemen te detecteren en waar nodig te bestrijden.[52] Daar komt nog bij dat besluiten zoals die over het doorgeven van passagiersgegevens, maar ook van andere gegevens die bij grenscontroles relevant worden geacht, op grote schaal en snel moeten worden genomen.[53] Dat maakt het moeilijk om al die beslissingen individueel te kunnen nemen, en maakt de uitdaging voor PIE-medewerkers of grensambtenaren des te groter.

Maakt het HvJ met het verbod op machine-learningalgoritmen een goede keuze?

17. Dit samenstel van problemen verklaart de harde reactie van het HvJ EU. Die zal als een flinke klap komen voor overheden die enthousiast experimenteren met dit soort vormen van risicoprofilering en ervan overtuigd zijn dat ze bijdragen aan een efficiënte bestrijding van risico’s van ernstige criminaliteit en terrorisme. Ook de Europese instellingen zullen teleurgesteld zijn, want dit oordeel past dit bepaald niet goed in een van de doelstellingen van de PNR-systematiek en van vergelijkbare instrumenten, zoals de ETIAS-verordening die naar verwachting volgend jaar in werking zal treden.[54] Het idee was namelijk dat de hiervoor beschreven werkwijze een goede ‘use case’ zou kunnen vormen voor andere vormen van de inzet van AI, onder meer bij grenscontroles.[55] Tegelijkertijd lijkt op het eerste gezicht deze keuze het enige juiste antwoord te zijn op de grote risico’s die hierboven kort zijn besproken. Ook past de benadering in een patroon van het volledig afwijzen van vormen van kunstmatige intelligentie die al te grote (discriminatie-)risico’s meebrengen. Ook het recente voorstel voor een AI-wet van de Europese Commissie hanteert bijvoorbeeld als uitgangspunt dat een volledig verbod moet worden gesteld op algoritmen die kunnen worden gebruikt voor het vergaand beïnvloeden van menselijk gedrag of de menselijke integriteit kunnen aantasten.[56]

18. Toch valt er ook wel iets af te dingen op de harde keuze van het HvJ EU. Allereerst valt al op dat de voorspellende ML-algoritmes waar het in de uitspraak over gaat niet zomaar gelijk te stellen zijn met de (volgens het AI-wetsvoorstel verboden en zeer ingrijpende) ‘social scoring’-algoritmen. Op basis van het voorstel zouden de PNR-algoritmen eerder worden beschouwd als AI-systemen ‘met een hoog risico’. Volgens het wetsvoorstel mogen die op zichzelf wel worden ingezet, maar alleen als wordt voldaan aan een heel aantal kwaliteitseisen en waarborgen, die erop zijn gericht om zo goed als mogelijk om te gaan met problemen als hierboven omschreven. Voor zo’n meer genuanceerde, minder absolute afwijzing van de inzet van ML-algoritmen valt wel iets te zeggen vanuit het perspectief van het discriminatieverbod (en gezien los van de andere problemen en risico’s die de PNR-systematiek inhoudt, bijvoorbeeld als het gaat om gegevensbescherming en privacy). 

Alternatief: door mensen handmatig vastgestelde profielen?

19. Ook als de inzet van zelflerende ML-algoritmen wordt uitgebannen, laat binnen de bestaande PNR-systematiek art. 6 lid 3 onder b nog steeds toe dat gegevens worden verwerkt op basis van ‘vooraf vastgestelde criteria’. Het enige alternatief is dan dat gewerkt wordt aan de hand van criteria die handmatig door mensen worden bepaald, bijvoorbeeld op basis van de ervaring van die PIE’s of andere nationale autoriteiten. Het HvJ EU suggereert dat het dan bijvoorbeeld kan gaan om bijzonderheden in de manier waarop mensen zich feitelijk gedragen bij het voorbereiden en maken van vliegreizen, op basis van vaststellingen en de ervaring van de bevoegde autoriteiten.[57] Daarbij geldt uiteraard wel ook dat de criteria niet direct of indirect discriminerend mogen uitpakken en moeten voldoen aan de in art. 6 lid 4 genoemde eisen van doelgerichtheid, specificiteit en evenredigheid.[58] Daarnaast, zo overweegt het HvJ, moeten zowel belastende als ontlastende elementen in aanmerking worden genomen,[59] en moet het aantal fout-positieve resultaten zoveel mogelijk worden beperkt[60].

20. Hoe het HvJ EU dit voor zich ziet is niet zo duidelijk. Het kan zijn dat het doelt op informatie die bijvoorbeeld inlichtingen- en veiligheidsdiensten of de politie al hebben over voorbereidingshandelingen, gecombineerd met het feitelijke gegeven dat iemand met klamme handen of parelend zweet op het voorhoofd in de rij bij de douane staat, of met een bepaald soort tas waarvan in de praktijk is gebleken dat potentiële verdachten die vaak bij zich hebben. In dat soort gevallen wordt de rol van een ML-algoritme in feite overgenomen door de mens, die op basis van eigen ervaringen en feitelijke waarnemingen probeert tot risico-inschattingen te komen.[61] Het is de vraag of dat beter werkt. Voor zover de inschattingen worden gebaseerd op informatie van de inlichtingen- en veiligheidsdiensten, kan het allereerst zo zijn dat die op hun beurt ook weer via ML-algoritmen zijn verkregen. Daarnaast zijn mensen sterk geneigd tot stereotypering en kan het soort patronen dat zij denken waar te kunnen nemen – bijvoorbeeld op basis van iemands gedrag of uiterlijk – stigmatiserend uitpakken. Veel minder ondoorzichtig dan algoritmisch gegenereerde resultaten is de uitkomst van zo’n menselijke inschatting bovendien niet, en evenmin is duidelijk of dat minder fout-positieven of -negatieven oplevert. Op dit punt is het oordeel van het HvJ dus niet heel bevredigend: het verwerpt de inzet van ML, zonder er een reëel en goed alternatief tegenover te stellen. Bovendien veroorzaakt het HvJ onduidelijkheid over de precieze reikwijdte van het verbod op geautomatiseerde besluitvorming. Zo stelt het Hof dat het verbod van besluitvorming die uitsluitend plaatsvindt op grond van automatisch verwerkte PNR-gegevens, in het kader van voorafgaande beoordeling impliceert dat de bevoegde instanties ‘rekening moeten houden met het resultaat van de afzonderlijke niet-geautomatiseerde controle van de PIE en in een voorkomend geval dit resultaat moeten laten primeren op dat van de geautomatiseerde verwerking’.[62] Door de toevoeging ‘in een voorkomend geval’ lijkt het Hof te zeggen dat in bepaalde gevallen ML-algoritmes gestuurde besluiten toch zijn toegestaan, zelfs indien de uitkomst daarvan afwijkt van het resultaat van niet-geautomatiseerde of ‘menselijke’ controles.

Zorgvuldigheidseisen en procedurele waarborgen bij gegevensverwerking

21. Zinvoller vanuit het perspectief van verantwoorde inzet van enigerlei vorm van profilering en risico-inschattingen (of die nu door ML of mensen zijn gegenereerd) is de reeks overwegingen van het HvJ EU over het resultaat van de gegevensverwerking door een PIE. Als er aanwijzingen zijn dat zo’n gegevensverwerking indirect discriminerende resultaten oplevert, mogen de gegevens niet worden doorgegeven.[63] Hetzelfde geldt als de gegevens worden gecontroleerd en als er geen redelijke verwachting kan bestaan dat de geïdentificeerde personen betrokken zijn bij terrorisme of ernstige criminaliteit.[64] Verder definieert het HvJ een hele reeks zorgvuldigheids- en procedurele eisen waaraan moet worden voldaan bij het gebruik van de risico-inschattingen.

22. Allereerst moeten er volgens het HvJ altijd mensen belast zijn met de controle van de inschattingen die uit een risicocalculatie voortvloeien (het idee van een ‘human in the loop’). Daarbij moet bij de PIE sprake zijn van een coherente administratieve praktijk waarbij het non-discriminatiebeginsel voorop staat.[65] Het beleid moet daarbij gebaseerd zijn op duidelijke, nauwkeurige en objectieve controlecriteria die kunnen helpen om vast te stellen of iemand inderdaad mogelijk betrokken is bij terrorisme of ernstige criminaliteit.[66] Ook moet er sprake zijn van nauwkeurige documentatie van de verwerking, zodat de rechtmatigheid ervan kan worden gecontroleerd en er interne controle mogelijk is.[67] Verder moeten belanghebbenden kunnen begrijpen hoe de criteria en de programma’s die ermee werken in elkaar zitten.[68] Dat stelt mensen ertoe in staat om eventueel gebruik te maken van rechtsbeschermingsmogelijkheden. Als die rechtsbeschermingsmogelijkheden worden benut, moet de rechter kennis kunnen nemen van alle relevante criteria en de werking van de programma’s.[69] Datzelfde geldt voor nationale toezichthouders, die moeten kunnen controleren of er geen sprake was van discriminatie.[70]

23. De combinatie die het HvJ benadrukt van een mogelijkheid van rechtsbescherming op initiatief van een betrokken persoon en van ambtshalve toezicht is belangrijk, net als de informatieverplichtingen die het oplegt. Betrokkenen weten vaak namelijk helemaal niet dat hun gegevens zijn verwerkt en doorgegeven. Bovendien blijkt het voor hen heel moeilijk te traceren te zijn dat er mogelijk sprake is geweest van (indirecte) discriminatie op basis van bepaalde persoonskenmerken en is (daardoor) de daarbij geldende bewijslast moeilijk te dragen.[71] Om indirect onderscheid aan te tonen is het namelijk nodig om (bij voorkeur met statistische gegevens) aan te tonen dat een groep met een bepaald, beschermd persoonskenmerk duidelijk nadeliger wordt behandeld dan andere groepen.[72] Dat vergt bijvoorbeeld inzicht in de manier waarop andere mogelijke betrokkenen zijn bejegend en dat is voor een individuele benadeelde persoon meestal niet eenvoudig te verkrijgen; dat geldt zeker als het gaat om ondoorzichtige, ‘black-box’-achtige analyses door algoritmes.[73] In aanvulling op individuele rechtsbescherming is algemeen toezicht daarom essentieel. Een toezichthouder kan aan de hand van allerlei controles de uitwerking van een risicoclassificatiesysteem namelijk in algemene zin beoordelen en kan daarbij ook letten op discriminatierisico’s.[74]

24. Interessant genoeg lijken deze verschillende zorgvuldigheids- en procedurele vereisten op de eisen die het EHRM heeft geformuleerd als het gaat om bulkinterceptie en ‘secret surveillance’.[75] Ook daarbij is het uitgangspunt dat – nu controle op de inhoud niet goed mogelijk is – het noodzakelijk is om zoveel mogelijk procedurele waarborgen te treffen en te zorgen voor een zo zorgvuldig mogelijke besluitvorming met, waar mogelijk, betrokkenheid van het individu. In zijn rechtspraak heeft ook het EHRM bovendien sterk gewezen op de noodzaak van algemeen toezicht naast individuele rechtsbescherming. De rechtspraak groeit hier ogenschijnlijk dus wat naar elkaar toe, overigens zonder dat het HvJ EU op enig moment uitdrukkelijk naar de EHRM-rechtspraak verwijst.

Individuele rechtsbescherming

25. Naast de bovengenoemde overwegingen inzake de procedurele waarborgen, is deze uitspraak ook van belang vanwege de overwegingen van het HvJ EU inzake het recht van iedere passagier ‘op het aanwenden van rechtsmiddelen’ zoals neergelegd in art. 13 lid 1 van de PNR-richtlijn. Hoewel de Belgische rechter geen vraag had gesteld over deze bepaling, bespreekt het HvJ EU art. 13 in het kader van de hierboven besproken waarborgen die voortvloeien uit art. 6 lid 4 en 7 lid 6. Hierbij zijn met name de verwijzingen naar eerdere uitspraken interessant waarin het Hof zich uitsprak over migratierechtelijke beslissingen en de uitleg van art. 47 Hv daarbij.[76] Volgens het Hof moet bij een op basis van art. 13 lid 1 PNR-richtlijn ingesteld beroep niet alleen een bevoegde rechter, maar ook de betrokkene zelf kennis kunnen nemen van alle motieven en van de bewijzen op basis waarvan die beslissing is genomen, ‘inclusief de vooraf bepaalde beoordelingscriteria en de werking van de programma’s die deze criteria gebruiken’. Het HvJ EU verwijst hierbij naar zijn uitspraak in ZZ waarin het ging om een uitzettingsbesluit ten aanzien van een Unieburger dat was genomen op basis van art. 27 van richtlijn 2004/38.[77] De betreffende zaak ging over de vraag of, wanneer een dergelijk besluit is gebaseerd op staatsveiligheidsoverwegingen, het recht op effectieve rechtsbescherming zoals neergelegd in art. 30 lid 2 van de richtlijn vereist dat de betrokken Unieburger in kennis moet worden gesteld van ‘de essentie van de tegen hem in aanmerking genomen bezwaren’. In het ZZ-arrest onderstreepte het Hof allereerst het recht op hoor en wederhoor dat deel uitmaakt van de rechten van de verdediging als bedoeld in artikel 47 Hv. Dit recht houdt in dat procespartijen het recht moeten hebben om kennis te nemen van ‘alle bewijzen en opmerkingen die aan de rechter zijn voorgelegd teneinde invloed uit te oefenen op zijn beslissing en daarover standpunten uit te wisselen’.[78] Waar staatsveiligheidsredenen zich ertegen verzetten dat deze gronden ‘nauwkeurig en volledig’ aan de betrokkene worden medegedeeld, moeten de lidstaten, aldus het Hof, voorzien in een systeem waarin is verzekerd dat de betreffende rechter kennis kan nemen van alle redenen en van het daarop betrekking hebbende bewijsmateriaal. Met andere woorden, uitgangspunt volgens art. 47 Hv is dat de betrokkene voldoende informatie krijgt over alle gronden van het besluit en dat een rechter deze gronden altijd moet kunnen toetsen. Alleen bij bedreigingen voor de staatsveiligheid, mag het recht op informatie voor burgers worden ingeperkt. Wat betreft de rol van de rechter, is ook de verwijzing van het Hof naar het arrest R.N.N.S. t. Minister van Buitenlandse Zaken uit 2020 van belang.[79] Deze zaak betrof de uitleg van het recht op effectieve rechtsbescherming in het kader van de Visumcode.[80] Op basis van deze verordening kan een kortverblijfvisum door een lidstaat worden geweigerd wanneer een andere, vooraf geconsulteerde, lidstaat aangeeft bezwaar te hebben tegen de visumafgifte. Wanneer op basis van deze bezwaren het visum wordt geweigerd, wordt de aanvrager vaak niet medegedeeld welke lidstaat bezwaar heeft of wat de onderliggende gronden van dit bezwaar zijn. Hierdoor is het voor betrokkenen in de praktijk moeilijk of zelfs onmogelijk om het betreffende besluit aan te vechten. In het arrest R.N.N.S. maakte het HvJ EU duidelijk dat ‘het recht op beroep’ in art. 32 van de Visumcode in overeenstemming met het grondrecht op effectieve rechtsbescherming in art. 47 Hv moet worden toegepast. Ondanks de vage omschrijving vereist de doeltreffendheid van de in deze bepaling gewaarborgde rechterlijke toetsing dat ‘de belanghebbende kennis kan nemen van de gronden waarop het tegen hem genomen besluit is gebaseerd, hetzij door lezing van het besluit zelf, hetzij doordat de redenen hem op zijn verzoek worden meegedeeld’.[81] Dit vereiste geldt volgens het Hof ‘onverminderd het recht van de bevoegde rechter om te eisen dat de betrokken autoriteit hem die redenen meedeelt, teneinde die belanghebbende de mogelijkheid te bieden zijn rechten onder zo goed mogelijke omstandigheden te verdedigen en met volledige kennis van zaken te beslissen of hij er baat bij heeft om zich tot de bevoegde rechter te wenden, en teneinde deze laatste ten volle in staat te stellen om de rechtmatigheid van het betrokken nationale besluit te toetsen.’[82] Het zijn precies deze overwegingen in de R.N.N.S.-arrest waar het Hof in de onderhavige zaak naar verwijst bij de uitleg van art. 13 lid 1 van de PNR-richtlijn en het recht van betrokkenen om mogelijk onrechtmatige of discriminerende karakter van de gebruikte beoordeling- of controle criteria aan te vechten.[83] Hiermee onderstreept het Hof de verplichting van lidstaten om het recht op effectieve rechtsbescherming te beschermen en hiervoor voldoende waarborgen te bieden bij grens- of migratiebesluiten, ook (of juist) wanneer deze worden genomen op basis van geautomatiseerde verwerking van persoonsgegevens of algoritmes.[84]

Conclusie: een wisselend beeld

26. Al met al biedt de uitspraak een wat wisselend beeld. Enerzijds stelt het HvJ EU terecht vast dat het inzetten van ML-algoritmen vanuit een perspectief van non-discriminatie problematisch kan zijn. Bij behoud van de bestaande PNR-systematiek is het volledig afwijzen ervan als basis voor risico-inschattingen anderzijds niet heel bevredigend. Dat geldt vooral omdat het ‘menselijke’ alternatief dat ervoor wordt geboden een aantal vergelijkbare risico’s in zich draagt, hoezeer het HvJ EU ook benadrukt dat het niet mag leiden tot discriminatie op verboden persoonskenmerken of tot al te veel fout-positieven. Het zou vanuit dit perspectief beter zijn geweest als het Hof had bepaald dat ML-algoritmen alleen mogen worden ingezet als er deugdelijke non-discriminatiewaarborgen worden ingebouwd in het voorafgaande proces van het bij elkaar brengen van datasets en het programmeren en trainen.[85] Ook zou het goed zijn geweest om ertoe te verplichten dat mechanismen in het leven worden geroepen om indirect discriminerende output te detecteren en te bestrijden, en om te vereisen dat ML-algoritmen geregeld worden gecontroleerd op hun werking en eventuele discriminerende resultaten.[86] Daardoor zouden de potentiële voordelen van ML-algoritmen kunnen worden benut en kan worden aangemoedigd dat wordt geïnvesteerd in daadwerkelijk verantwoorde en betrouwbare AI, terwijl er voldoende waarborgen worden geboden tegen discriminatie. Het is ook jammer dat het Hof met deze uitspraak onduidelijkheid laat bestaan over de reikwijdte van verbod van geautomatiseerde besluitvorming. Enerzijds oordeelt het Hof in nogal absolute termen, waardoor het kind met het badwater dreigt te worden weggegooid. Anderzijds lijkt het Hof ruimte over te laten voor autoriteiten om in ‘voorkomende gevallen’ ML-algoritmes gestuurde besluiten toch toe te staan. Wel heel positief is dat het Hof de noodzaak benadrukt van een veelheid van procedurele waarborgen bij de inzet van algoritmen. Ook is de verwijzing naar het recht op effectieve rechtsbescherming en de uitleg van het HvJ EU van art. 47 Hv in eerdere jurisprudentie van belang. Hiermee onderstreept het Hof niet alleen het recht van betrokkenen op geïnformeerde en onderbouwde besluitvorming, maar ook de plicht van lidstaten om te voorzien in effectieve procedures waarin rechters voldoende mogelijkheden hebben om de rechtmatigheid en juistheid van de beslissingen te toetsen. Daardoor heeft deze uitspraak uiteindelijk toch een grote meerwaarde.

Janneke Gerards, hoogleraar fundamentele rechten, Montaigne Centrum voor Rechtsstaat en Rechtspleging, Universiteit Utrecht

Evelien Brouwer, universitair docent staats- en bestuursrecht, Universiteit Utrecht

[1] Richtlijn 2016/681 over het gebruik van persoonsgegevens van passagiers (PNR-gegevens) voor het voorkomen, opsporen, onderzoeken en vervolgen van terroristische misdrijven en ernstige criminaliteit, PbEU 2016 L119.

[2] S. Roda, ‘Shortcomings of the Passenger Name Record Directive in Light of Opinion 1/15 of the Court of Justice of the European Union’, 6 European Data Protection Law Review 2020, p. 66 en D. Lowe, ‘The European Union’s Passenger Name Record Data Directive 2016/681: Is it Fit for Purpose?’ 17 International Criminal Law Review 2017, p. 78.

[3]  Zie JV t. Duitsland, C-215/20 en C-222/20 en de gevoegde zaken AC, DF, BD t. Deutsche Lufthansa, C-148/20, C-149/20 en C-150/20. Deze zaken zijn na de hier besproken uitspraak van 21 juni 2022 op verzoek van de betreffende Duitse rechters van de lijst van het HvJ EU geschrapt.

[4] Ligue des droits humains, punt 148.

[5] Zie T. Zandstra en E. Brouwer: ‘Fundamental Rights at the Digital Border: ETIAS, the Right to Data Protection, and the CJEU’s PNR judgment’, VerfBlog 2022/6/24, https://verfassungsblog.de/digital-border/.

[6] E. Orrù, ‘The European PNR Directive as an instance of pre-emptive, risk-based algorithmic security and its implications for the regulatory framework’, 27 Information Policy 2022, p. 131-146, op p. 134.

[7] Ligue des droits humains, Conclusie AG Pitruzzella, 27 januari 2022, ECLI:EU:C:2022:65, par. 223.

[8] Europese Commissie, ‘Report from the Commission to the European Parliament and the Council on the review of Directive 2016/681 on the use of passenger name record (PNR) data for the prevention, detection, investigation and prosecution of terrorist offences and serious crime’, Staff working document, 24 juli 2020, SWD(2020)128 final, https://home-affairs.ec.europa.eu/system/files/2020-07/20200724_swd-2020-128_en.pdf, p. 11, voetnoot 36.

[9] Zie ook E. Orrù, ‘The European PNR framework and the changing landscape of EU-security’, VerfBlog 2021/12/21, https://verfassungsblog.de/os3-pnr/, DOI: 10.17176/20211221-115906-0.

[10] Ligue des droits humains, Conclusie AG Pitruzzella, 27 januari 2022, ECLI:EU:C:2022:65, punt 226-227.

[11] Ligue des droits humains, punt 194.

[12] Zie in die zin bijv. C. Thönnes, ‘A Directive altered beyond recognition: On the Court of Justice of the European Union’s PNR decision (C-817/19)’, VerfBlog 2022/6/23, https://verfassungsblog.de/pnr-recognition/, DOI: 10.17176/20220623-153431-0.

[13] Ligue des droits humains, punt 194.

[14] Ligue des droits humains, punt 195.

[15] Zie nader onder meer S. Kulk, S. van Deursen e.a., Juridische aspecten van algoritmen die besluiten nemen. Een verkennend onderzoek, Boom 2020, par. 2.1; H. Surden, ‘Artificial Intelligence and Law: An Overview’, 35 Georgia State University Law Review 1306; J.H. Gerards & R. Xenidis, Algorithmic Discrimination in Europe, Publications Office of the EU 2021, https://op.europa.eu/en/publication-detail/-/publication/082f1dbc-821d-11eb-9ac9-01aa75ed71a1, p. 33 e.v.

[16] Zie nader B. Custers, ‘Big data en big data-technologie’, in: P.H. Blok (red.), Big data en het recht: een overzicht van het juridisch kader voor big data-toepassingen in de private sector, Den Haag: Sdu 2017, p. 17-35, op p. 29; Gerards & Xenidis 2021, reeds aangehaald (noot 10), p. 33.

[17] Zie nader bijv. M.J. Vetzo, J.H. Gerards & R. Nehmelman, Algoritmes en grondrechten, Boom 2018, p. 22.

[18] Er zijn verschillende manieren van ‘leren’ beschikbaar, namelijk gesuperviseerd leren (‘supervised learning’), niet-gesuperviseerd leren (‘unsupervised learning’) en versterkend leren (‘reinforcement learning’). Omdat dit verschil voor het doel van deze annotatie niet zo van belang is, wordt het hier niet verder besproken. Zie wel bijv. Information Commissioner’s Office (ICO), Big data, artificial intelligence, machine learning and data protection, 2017, https://ico.org.uk/media/for-organisations/documents/2013559/big-data-ai-ml-and-data-protection.pdf, par. 10 e.v.; R. Hamon, H. Junklewitz & I. Sanchez, Robustness and Explainability of Artificial Intelligence (JRC Technical Report, EU Science Hub: Europese Commissie 2020, p. 10; Kulk, Van Deursen e.a. 2020, par. 2.1.2; Gerards & Xenidis 2021, reeds aangehaald (noot 10), p. 34-35.

[19] Bijv. Gerards & Xenidis 2021, reeds aangehaald (noot 10), p. 35.

[20] Het is bijvoorbeeld mogelijk om bij de analyseprocessen bepaalde kenmerken (‘attribute’) te ‘verhullen’ (‘masking’); vgl. Custers, reeds aangehaald (noot 11), p. 34; F. Kamiran, T. Calders & M. Pechenizkiy, ‘Techniques for Discrimination-Free Predictive Models’, in: B.H.M. Custers e.a. (red.), Discrimination and privacy in the information society, Heidelberg: Springer 2013, p. 223-240.

[21] Dit betekent niet dat het algoritme daarmee niet meer discriminerend is, zoals verderop nader aan de orde komt. Zie daarover ook J.A. Kroll, J. Huey e.a, ‘Accountable Algorithms’, 165 University of Pennsylvania Law Review 2017, p. 681; I. Žliobaitė en B.H.M. Custers, ‘Using sensitive personal data may be necessary for avoiding discrimination in data-driven decision models’ 24 Artificial Intelligence and Law (2016), p. 183.

[22] Zie nader bijv. Custers, reeds aangehaald (noot 11), p. 23.

[23] Zie bijv. B.A. Williams, C.F. Brooks & Y. Shmargad ‘How algorithms discriminate based on data they lack: challenges, solutions, and policy implications’ 8 Journal of Information Policy 2020 p. 83.

[24] Orrù 2022, reeds aangehaald (noot 1), p. 138. Vgl. ook Custers, reeds aangehaald (noot 11), p. 30.

[25] Idem.

[26] Daarnaast zijn er nog allerlei risico’s voor grondrechten en in het bijzonder databescherming; die komen hierna niet specifiek aan bod, nu dit onderdeel van de annotatie primair het discriminatieverbod betreft. Overigens worden hier ook niet alle discriminatierisico’s benoemd; zie voor meer inzicht hierin de diverse in deze annotatie aangehaalde bronnen.

[27] Zie nader bijv. D. Korff, Passenger Name Records, data mining & data protection: the need for strong safeguards, Rapport voor de Raad van Europa, Straatsburg, 15 juni 2015, T-PD(2015)11, via https://rm.coe.int/16806a601b, p. 24; B.W. Schermer, ‘The limits of privacy in automated profiling and data mining’, 27 Computer Law & Security Review 2011, p. 45-52; F.J. Zuiderveen Borgesius, ‘Strengthening legal protection against discrimination by algorithms and artificial intelligence’, 24 International Journal of Human Rights 2020, p. 1584.

[28] Zie ook, met voorbeelden, A.G. Ferguson, ‘Big Data and Predictive Reasonable Suspicion’, 163 University of Pennsylvania Law Review 2015, p. 327 e.v., op p. 401.

[29] Vgl. Zuiderveen Borgesius 2020, reeds aangehaald (noot 22), p. 1585; Ferguson 2015, reeds aangehaald (noot 23), p. 401.

[30] Zie C. Thönnes: ‘A cautious green light for technology-driven mass surveillance: The Advocate General’s Opinion on the PNR Directive’, VerfBlog 2022/1/28, https://verfassungsblog.de/green-light/, DOI: 10.17176/20220128-180359-0 en eerder European Parliamentary Research Service (EPRS) ‘Artificial Intelligence at EU borders. Overview of applications and key issues’, Brussels: 2021, p. 24. Zie voor een vergelijkbaar probleem wat betreft het toekomstig gebruik van het ETIAS-systeem: C. Derave, N. Genicot & N. Hetmanska, ‘The Risks of Trustworthy Artificial Intelligence: The Case of the European Travel Information and Authorisation System’, European Journal of Risk Regulation 2022, pp. 1–37.

[31] Zie ook ICO 2017, reeds aangehaald (noot 13), par. 94 e.v.

[32] Gerards & Xenidis 2021, reeds aangehaald (noot 10), p. 43, met nadere bronverwijzingen.

[33] Zie nader bijv. P. Hacker, ‘Teaching fairness to artificial intelligence: existing and novel strategies against algorithmic decision-making under EU law’, 55 Common Market Law Review 2018, p. 1143 e.v., op p. 1144; Gerards & Xenidis 2021, reeds aangehaald (noot 10), p. 41.

[34] Idem. Zie ook bijv. S. Barocas & A. Selbst, ‘Big Data’s Disparate Impact’, 104 California Law Review 2016, p. 684 e.v.

[35] Gerards & Xenidis, reeds aangehaald (zie noot 10), p. 43. Zie ook R. Xenidis & L. Senden, ‘EU non-discrimination law in the era of artificial intelligence: mapping the challenges of algorithmic discrimination’, in: U. Bernitz e.a. (red.), General Principles of EU Law and the EU Digital Order, Alphen aan den Rijn: Kluwer Law International 2020, par. 7.01.C.2.

[36] Hetzelfde geldt voor het ETIAS-systeem; zie nader Derave, Genicot & Hetmanska 2022, reeds aangehaald (noot 35), p. 413 e.v.

[37] Europees Parlement, Artificial Intelligence at EU borders. Overview of applications and key issues, EPRS: juli 2021, https://www.europarl.europa.eu/RegData/etudes/IDAN/2021/690706/EPRS_IDA(2021)690706_EN.pdf, p. 26.

[38] Ligue des droits humains, punt 194.

[39] Gerards & Xenidis 2021, reeds aangehaald (noot 10), p. 38.

[40] Idem. Zie ook Kulk, Van Deursen e.a. 2020, par. 2.1.2.

[41] Idem.

[42] Ligue des droits humains, punt 197.

[43] Gerards & Xenidis 2021, reeds aangehaald (noot 10), p. 44; Barocas & Selbst 2016, reeds aangehaald (noot 29), p. 123. Voor het ETIAS-systeem wijzen ook Derave, Genicot & Hetmanska hierop (reeds aangehaald (noot 35), p. 415 e.v.).

[44] Xenidis & Senden, reeds aangehaald (noot 30), par. 7.01.C.2.

[45] Ligue des droits humains, punt 195.

[46] Dit is in de EU hoe dan ook een belangrijke eis; zie bijv. Europese Commissie, ‘White Paper on Artificial Intelligence’ (2020), p. 21; Independent High Level Expert Group on Artificial Intelligence (AIHLEG) (2019); ‘Ethics Guidelines for Trustworthy AI’ (Brussels) 4, 12

[47] PNR-richtlijn, art. 6 lid 5; Ligue des droits humains, vooral par. 205-206;

[48] Zie bijv. Surden 2019, reeds aangehaald (noot 10), p. 1320.

[49] Zie bijv. F. Fagan, & S. Levmore, ‘The Impact of Artificial Intelligence on Rules, Standards, and Judicial Discretion’ 93 Southern California Law Review 2019, p. 6.

[50] Bijv. Gerards & Xenidis, reeds aangehaald (zie noot 10), p. 41, met nadere bronvermeldingen; zie in het bijzonder A.Z. Huq, ‘A Right to a Human Decision’, 105 Virginia Law Review (2020), p. 20.

[51] Zie bijv. Europees Parlement, reeds aangehaald (zie noot 31), p. 30; L.L. Skitka, K.L. Mosier & M. Burdick, ‘Does automation bias decision-making?’, 51 International Journal of Human-Computer Studies 2019; K. Goddard e.a., ‘Automation bias: a systemic overview of frequency, effect mediators, and mitigators’ 19 Journal of the American Medical Informatics Association 2012, p. 121; Gerards & Xenidis, reeds aangehaald (zie noot 10), p. 42.

[52] Zie ook J. Kleinberg e.a., ‘Discrimination in the age of algorithms’, 2019, https://arxiv.org/abs/1902.03731, p. 4.

[53] Zie over het ‘schaal- en snelheidsprobleem’ ook Gerards & Xenidis, reeds aangehaald (zie noot 10), p. 46.

[54] Verordening (EU) 2018/1240 van het Europees Parlement en de Raad van 12 september 2018 tot oprichting van een Europees reisinformatie- en -autorisatiesysteem (Etias) en tot wijziging van de Verordeningen (EU) nr. 1077/2011, (EU) nr. 515/2014, (EU) 2016/399, (EU) 2016/1624 en (EU) 2017/2226, Pb 2018 L 236/1.

[55] Thönnes 2022, reeds aangehaald (zie noot 25). Zie ook Europees Parlement, reeds aangehaald (zie noot 31), p. 22.

[56] Zie Voorstel voor een Verordening van het Europees Parlement en de Raad tot vaststelling van geharmoniseerde regels betreffende artificiële intelligentie (Wet op de Artificiële Intelligentie) en tot wijziging van bepaalde wetgevingshandelingen van de Unie, 21 april 2021, COM(2021) 206 def.

[57] Ligue des droits humains, punt 199.

[58] Ligue des droits humains, punt 196-198.

[59] Ligue des droits humains, punt 200.

[60] Ligue des droits humains, punt 201.

[61] Vgl. ook Orrù 2022, p. 138.

[62] Ligue des droits humains, punt 208.

[63] Ligue des droits humains, punt 204.

[64] Idem.

[65] Ligue des droits humains, punt 205.

[66] Ligue des droits humains, punt 206.

[67] Ligue des droits humains, punt 207.

[68] Ligue des droits humains, punt 208.

[69] Ligue des droits humains, punt 210.

[70] Ligue des droits humains, punt 212.

[71] Zie nader Gerards & Xenidis 2021, reeds aangehaald (noot 10), hoofdstuk 2.

[72] Zie nader Gerards & Xenidis 2021, reeds aangehaald (noot 10), par. 2.4.

[73] Idem.

[74] Overigens is toezicht alleen daarvoor ook onvoldoende; al in een voorbereidingsstadium moet geprobeerd worden te voorkomen dat een algoritme discriminerende effecten heeft. Zie over dergelijke ‘ex ante’ strategieën o.m. AIHLEG 2019, reeds aangehaald (noot 40); Hamon, Junklewitz & Sanchez 2020, reeds aangehaald (noot 13), p. 22. Hiervoor kunnen bijvoorbeeld impact assessments worden ingezet. Voor Nederland is recent zo’n impact assessment ontwikkeld in de vorm van het Impact Assessment voor Mensenrechten en Algoritmes (IAMA); zie https://www.rijksoverheid.nl/documenten/rapporten/2021/02/25/impact-assessment-mensenrechten-en-algoritmes.

[75] Zie met name de Grote-Kameruitspraken in Big Brother Watch t. Verenigd Koninkrijk, EHRM (GK) 25 mei 2021, nr. 58170/13, ECLI:CE:ECHR:2021:0525JUD005817013, EHRC Updates 2021/152 m.nt. M. Hagens & J.J. Oerlemans, NJ 2021/361 m.nt. E.J. Dommering en Centrum för rättvisa t. Zweden, EHRM (GK) 25 mei 2021, nr. 35252/08, ECLI:CE:ECHR:2021:0525JUD003525208, EHRC Updates 2021/153.

[76] Ligue des droits humains, punt 208.

[76] Ligue des droits humains, punt 210-211.

[77] ZZ, HvJ EU 4 juni 2013, zaak C-300/11, ECLI:EU:C:2013:363, JV 2014/2 m.nt. E. van Kempen, punt 54-59.

[78] ZZ, punt 55.

[79] Zie Ligue des droits humains, punt 210, waar het Hof verwijst naar R.N.N.S. t. Minister van Buitenlandse Zaken, HvJ EU 24 november 2020, zaak C-225/19, ECLI:EU:C:2020:951, JV 2021/37 m.nt. E.R. Brouwer.

[80] Verordening 810/2009, gewijzigd bij Verordening 2019/1155.

[81]R.N.N.S, punt 43.

[82] R.N.N.S., punt 43; het HvJ EU verwijst hier overigens ook naar de eerdere ZZ uitspraak.

[83] Ligue des droits humains, punt 210.

[84] Zie ook E. Brouwer, ‘Schengen and the Administration of Exclusion: Legal Remedies Caught in between Entry Bans, Risk Assessment and Artificial Intelligence’, 23 European Journal of Migration and Law 2021, p. 485-507.

[85] Dat kan via de in noot 65 al genoemde ex-ante-strategieën, maar bijvoorbeeld ook door technische oplossingen van ‘de-biasing’; zie Gerards & Xenidis 2021, reeds aangehaald (noot 10), p. 149.

[86] Voor een groot aantal maatregelen die in onderlinge samenhang zouden moeten worden getroffen, zie Gerards & Xenidis 2021, reeds aangehaald (noot 10), p. 140 e.v. Zie specifiek over algoritmische profilering ook Fundamental Rights Agency, p. 100 e.v.