Blonde vrouwen krijgen het zwaar in de smart city

Tijdens de recente Tegenlicht-aflevering over Slimme Steden werd Ger Baron, ‘Chief Technology Officer’ van de gemeente Amsterdam, het vuur na aan de schenen gelegd. Hoe kon Baron garanderen dat ‘geanonimiseerde data’ die de stad deelde met bedrijven zoals Google, later niet alsnog ge-de-anonimiseerd werd? Volgens Baron was het allemaal geen probleem, maar garanderen dat het veilig was, dat wilde hij uiteindelijk ook niet. Het bleef bij de geruststellend bedoelde uitspraak “dat met de huidige technologie de data veilig is”. Maar is die geruststelling terecht? En moeten wij burgers dit accepteren?

Laten we beginnen bij het begin. Om Barons uitspraak te kunnen beoordelen zullen we eerst de wereld van de data-anonimiteit in moeten duiken.

De anonimiteitswedloop: vandaag anoniem, morgen bekend

Anonimiteit, dat in het Grieks letterlijk ‘naamloosheid’ betekent, is een bekende vorm van privacy. Het is de mogelijkheid om je te kunnen uiten zonder als individu herkend te worden en is van essentieel belang voor het functioneren van onze maatschappij. Het maakt het bijvoorbeeld mogelijk om veilig kritiek te kunnen leveren op repressieve overheden, om te ontsnappen aan gewelddadige partners, of om bij te dragen aan bijvoorbeeld de medische wetenschap zonder je ziektebeeld meteen met je directe omgeving te delen.

Met de opkomst van grote hoeveelheden data (wat we nu ‘Big Data’ zouden noemen) zagen we ook de opkomst van nieuwe technieken waarmee we onze anonimiteit kunnen beschermen, of vernietigen.

Iemand die beide facetten begrijpt is professor Latanya Sweeney, een privacy-heldin van het eerste uur. In 1997, toen nog student, pikte++Puzzelen voor gevorderdenRe-identificatie was mogelijk omdat postcode, geboortedatum en geslacht van patiënten nog in de dataset zaten. Door voor 20 dollar een lijst van stemgerechtigden te kopen waar die informatie grotendeels mee overlapte, kon ze na even slim nadenken de puzzel afmaken. zij uit geanonimiseerde medische gegevens de hartproblemen van Amerikaanse gouverneur William Weld. Het werd een van de eerste ‘re-identificatie’-schandalen en leidde tot een aanscherping van de Amerikaanse privacywet. Niet veel later beschreef ze wiskundig waar een optimum tussen privacy en gebruiksmogelijkheden zit, de zogenaamde ‘K-anonymity’. Een nieuw privacybeschermend vakgebied was geboren, en anonimisering werd een vak.

De tragikomische klassiekers

Nieuwe kennis over privacy zorgde er natuurlijk niet meteen voor dat de ‘de-anonimisering’- of ‘re-identificatie’-blunders ophielden. Omdat er steeds nieuwe creatieve manieren van de-anonimisering worden bedacht komt het regelmatig voor dat de kracht ervan wordt onderschat.Omdat er steeds nieuwe creatieve manieren van de-anonimisering worden bedacht komt het regelmatig voor dat de kracht ervan wordt onderschat. Wat we als ‘te gevaarlijk om te publiceren’ beschouwen schuift telkens een beetje op. Om een paar voorbeelden te geven:

• Internetprovider AOL deelde in 2006 een dataset van geanonimiseerde zoekopdrachten. Dachten ze. Want de zoekopdrachten++ I Love AlaskaHet Amsterdamse Submarine Channel maakte een leuke, korte en soms hartverscheurende documentairereeks ‘I love Alaska’ over de bizarre (seksuele) zoekopdrachten van gebruiker #711391.
  bleken gemakkelijk terug te leiden tot personen. Al snel werd Thelma Arnold, een zestig jaar oude vrouw met een hond genaamd Dudley, het boegbeeld van dit onbedoelde lek. Door haar zoekopdrachten goed te bekijken kon haar naam en adres achterhaald worden. Thelma zocht ook naar “60 single men”, “numb fingers”, en “dog that urinates on everything”.

“Red Bumps of spots on my legs that look like ingrown hair but they aren’t.” – Zoekopdracht van AOL-gebruiker #711391 op zondag 12 maart 2006.

• Later dat jaar deelde Netflix een ‘ge-anonimiseerde’ dataset waarin te zien was welke films klanten hadden bekeken. Maar door deze data te correleren met een vergelijkbare dataset, de Internet Movie Database, kon achterhaald worden wie de filmkijkers waren. De truc: rondom het tijdstip dat mensen een film keken, zochten ze vaak diezelfde film online op, en dat was in beide datasets terug te vinden.

In bovenstaande voorbeelden werden niet meteen alle gebruikers bekend, maar slechts een aantal. Veelal kwam dit omdat de onderzoekers een punt willen maken, en verder geen ethische of juridische grenzen wilden overschrijden. Criminelen en veiligheidsorganisaties++Edward SnowdenKlokkenluider Edward Snowden onthulde in 2013 het enorme surveillanceprogramma dat de Amerikaanse overheid had opgezet. die deze terughoudendheid niet hebben, komen een stuk verder.

En, grappig genoeg, kunstenaars ook.

Zo ben ik zelf betrokken bij het project ‘De Nationale Verjaardagskalender’ van medialab SETUP. Daar ontstond de vraag: hoe moeilijk zou het zijn om een database van alle Nederlanders te maken door online informatie bij elkaar te verzamelen? Door data van Hyves, het telefoonboek, wieowie.nl, schoolbank.nl, 50plusser.nl en nog tientallen andere websites bijeen te sprokkelen++SprokkelenGeautomatiseerd grote hoeveelheden data van websites kopiëren wordt web scraping genoemd. Maar ook gewoon googlen naar ‘ledenadministratie’ leverde al schrikbarend veel Excel-sheets op. en over elkaar heen te leggen, werden knooppunten in de ‘datamist’ zichtbaar. We schrokken zelf een beetje van de resultaten; in slechts zes weekenden wisten dertig data-experts allerlei details over acht miljoen Nederlanders te vinden.In slechts zes weekenden wisten dertig data-experts allerlei details over acht miljoen Nederlanders te vinden. Van meer dan 800.000 daarvan is op dit moment naam, adres, geboortedatum en nog minimaal ‘1 ander feit’ herleid. En het feest is nog lang niet afgelopen.

Het project onderstreept iets dat iedereen wel kan aanvoelen: hoe meer data we met zijn allen genereren, delen en lekken++DatalekkenEn dan hebben we het nog niet eens over de enorme groei van het aantal serieuze datalekken dat we de laatste jaren zien. In 2015 groeide het aantal lekken met vijftien procent, en zagen we de burgeradministratie van meerdere landen gelekt worden (Mexico, Israël, Turkije en Iran)., des te makkelijker wordt het om gaten in data alsnog aan te vullen.Hoe meer data we met zijn allen genereren, delen en lekken, des te makkelijker wordt het om gaten in data alsnog aan te vullen.

Deep Learning

De technieken waarmee datasets kunnen worden gekoppeld worden ook steeds geavanceerder. Drijvende kracht is deep learning, een relatief recente sprong in de ontwikkeling van kunstmatige intelligentie (AI). Ik kijk met een mengeling van fascinatie en afschuw naar de rap toegenomen surveillancemogelijkheden die het met zich meebrengt. Om sociale media als voorbeeld te nemen:

• Facebook kan nu beter gezichten herkennen dan mensen: in 97% van de gevallen gaat het goed, zelfs als een gezicht maar ten dele zichtbaar is.
• PlaNet, door Google opgezet, kan van een willekeurige foto achterhalen waar op aarde die genomen is.
• De Russische app FindFace kan op basis van een willekeurige foto van mensen de bijpassende profielen vinden++Daar gaan we weerEen soortgelijke app ontstond al eerder, maar toen voor de Google Glass. op VKontakte, het grootste Russische sociale netwerk.

FindFace

Screenshot van de FindFace-website. Ook dit is de slimme stad: mooie vrouwen fotograferen zodat je hun identiteit kunt achterhalen.

Samengevat: de geschiedenis van data en anonimiteit is een continu schuivende lijn van wat als ‘veilig geanonimiseerd’ kan worden beschouwd. En dan hebben we het nog niet eens over de enorme toename van datalekken en een opkomend veld van dubieuze datahandelaren. Het heeft serieuze gevolgen.

De Stalkende Stad

FindFace leidt in Rusland tot veel onrust. Russische prostituees en pornoactrices die anoniem proberen te blijven worden nu lastiggevallen door moraalridders die zelfs hun vrienden en familie van hun werk op de hoogte stellen. De software werkt al verbluffend goed: de Russische fotograaf en kunststudent Egor Tsvetkov nam in de metro foto’s van honderd verschillende mensen. Van zeventig van hen wist hij het bijbehorende socialmediaprofiel tevoorschijn te toveren.

YOUR FACE IS BIG DATA

Uit het project YOUR FACE IS BIG DATA, gebruikt met toestemming van de fotograaf (maar waarschijnlijk niet met toestemming van de gefotografeerden...). Hoe lang zullen ‘blurs’ de deep learning-algoritmes nog tegenhouden? (Blur toegevoegd door KL).

De bescherming die anonimiteit biedt tegen stalken en andere onplezierige activiteiten wordt door deze nieuwe technieken afgebroken. Juist kwetsbare groepen in de maatschappij hebben daar vaak het eerste last van.De bescherming die anonimiteit biedt tegen stalken en andere onplezierige activiteiten wordt door deze nieuwe technieken afgebroken. Juist kwetsbare groepen in de maatschappij hebben daar vaak het eerste last van. Russen die de app verdedigen stellen dat er ook positieve effecten zijn. Zo zijn er twee brandstichters geïdentificeerd door beelden van bewakingscamera’s aan FindFace te voeren. Je hoort hen bijna zeggen:

“Kom op jongens, wegen een paar gestalkte vrouwen niet op tegen het beter kunnen handhaven van de orde?”

De repressieve stad

“The most certain test by which we judge whether a country is really free is the amount of security enjoyed by minorities.” – John Dalberg-Acton

In een afweging als deze gaat iets fundamentelers verloren: het idee dat het waardevol is om de zwakkeren in de maatschappij te beschermen. In een datagedreven stad waarin we allemaal transparanter worden zijn het de mensen die het verst van de norm af staan die als eerste de druk tot conformeren voelen. Big Data zal ons veel moois brengen, maar er zit ook een schaduwkant aan: het versterkt de tirannie van de meerderheid.In een datagedreven stad waarin we allemaal transparanter worden zijn het de mensen die het verst van de norm af staan die als eerste de druk tot conformeren voelen. Big Data versterkt de tirannie van de meerderheid.

Dat is een van de grootste problemen van onze tijd: natuurlijke barrières die onze privacy en andere vrijheden beschermden, zoals hoge kosten voor sensoren, camera’s en spionage, vallen weg. Als we onze vrijheden en verworvenheden willen beschermen, zullen we bewust nieuwe barrières moeten opwerpen, zoals wetgeving en de vorming van nieuwe, respectvolle, sociale normen. Maar, zoals ik in de tweede helft van dit artikel wil beargumenteren, dat is nou juist precies wat er niet gebeurt.

Innovate first, ask questions later++MorozovDit is een uitspraak van schrijver en criticus Evgeny Morozov waarmee hij de Silicon Valley-mentaliteit beschrijft.

De rücksichtslose verzameling van data wordt een steeds groter probleem, en de dominante technologische narratieven als het ‘internet of things’ en de ‘smart city’ zijn olie op het vuur. Hoe komt het toch dat de kritische discussie, ondanks de onthullingen van mensen als Edward Snowden, zo marginaal plaatsvindt? Hoe kan het dat we de ethische vragen die de slimme stad oproept voor ons uit blijven schuiven?

Een eerste puzzelstukje biedt de oratie van professor Koen Frenken. Hij beschreef in zijn analyse van de deeleconomie een inzicht dat volgens mij ook voor de slimme stad geldt. Ik heb in het citaat hieronder het woord ‘deeleconomie’ vervangen door ‘slimme stad’:

“Het interessante van is dat het innovatieproces eigenlijk omgekeerd verloopt in vergelijking met andere innovatieprocessen. We hebben hier te maken met wat ik ‘reverse technology assessment’ zou willen noemen, of in goed Nederlands: omgekeerde technologiebeoordeling. In een traditionele technologiebeoordeling wordt een innovatie eerst wetenschappelijk onderzocht, dan vindt een normatieve publieke discussie plaats over de wenselijkheid ervan, dan komt de politiek met regulering, en dan pas komt een innovatie pas op de markt. Zo gaat het bijvoorbeeld bij nieuwe medicijnen, nieuwe vliegtuigen, nieuw voedsel, nieuwe bouwmethoden, nieuw speelgoed: eerst onderzoek, dan veiligheidstesten, dan regelgeving, en dan marktintroductie. Bij is dit proces feitelijk omgedraaid. Bedrijven lanceren namelijk eerst een nieuw platform, en daarna volgt pas de normatieve discussie, en daarna pas het wetenschappelijk onderzoek.”

Dit wegduwen van het normatieve debat en de politieke controle is letterlijk terug te lezen in uitspraken van Ger Baron over de slimme stad:

“Het is niet tegen te houden. Dus wat we nu hebben afgesproken: je kunt voor of tegen zijn, maar het gebeurt gewoon, het is niet politiek.” – Ger Baron

Barons uitspraak is een klassieke technologisch-deterministische++Technologisch determinisme versus sociaal constructivismeVoor Technologisch Deterministen is technologie de dominante vormende factor in onze maatschappij, al het andere is secundair. uiting. Voor aanhangers van dit dominante gedachtegoed is technologie de belangrijkste factor in de vorming van onze maatschappij. Technologie legt in deze verhalen altijd zijn ‘wil’ aan ons op, en heeft een ‘impact’ op de maatschappij. Maar wie naar de geschiedenis kijkt, ziet ook iets anders: een continu afwijzen en bijsturen van technologie door de mens. Atoomenergie, conserveringsmiddelen in ons eten, dure belminuten, Peeple++PeepleMensen (anoniem) beoordelen zoals wasmachines of restaurants, dat was het idee achter de startup Peeple. De bedenkers, twee blonde dames (jawel) kregen een enorme lading kritiek over zich heen (waar ze ironisch genoeg niet mee om konden gaan).
, en nu zelfs olie. Het enige dat een uitspraak als “het is niet tegen te houden” doet is een self fulfilling prophecy creëren. Het kweekt apathie richting het vormen van gedegen technologiebeleid. Terwijl het omgekeerde nodig is. Het lijkt me heel wijs om bij de slimme stad eens goed op de rem te gaan staan, en ons af te vragen of we de gevaren wel overzien, en in hoeverre we in deze ontwikkeling op alle vlakken voorop willen lopen.Het lijkt me heel wijs om bij de slimme stad eens goed op de rem te gaan staan, en ons af te vragen of we de gevaren wel overzien, en in hoeverre we in deze ontwikkeling op alle vlakken voorop willen lopen.

Als ik ergens wetmatigheden zie, dan is het niet in de ontwikkeling van technologie, maar in de manier waarop we met technologische droombeelden omgaan. Keer op keer geven we het bouwen van een verleidelijke, ‘revolutionaire’ droom voorrang boven het genuanceerd repareren van de realiteit. Dat is het gevaar van zulke aantrekkelijke ideologieën: ze verlammen ons kritisch denkvermogen door belangrijke vragen te framen als iets dat vanzelf wel goedkomt. Technologie wordt gekarikaturiseerd als de ‘grote problemenoplosser’. Signalen die aangeven dat we de datawoede helemaal niet onder controle hebben, zoals het stalkingvraagstuk, worden weggewuifd als tijdelijke problemen. Je krijgt dan uitspraken als “We zijn nog in ‘beta’, dus foutjes mogen! #Durftefalen!”.

Op hoge snelheid nuchter blijven

Beste Ger Baron, overal chips en sensoren in stoppen is niet moeilijk. Die chips erin stoppen zonder dat je brute schade toebrengt aan het sociale weefsel van de maatschappij, dat is de uitdaging.Overal chips en sensoren in stoppen is niet moeilijk. Die chips erin stoppen zonder dat je brute schade toebrengt aan het sociale weefsel van de maatschappij, dat is de uitdaging. Je zou er een boek++KuchIk schreef recent een boek over het ontwerpen van privacy in Internet of Things-systemen, getiteld ‘Design My Privacy’. Het is online te koop en ook gratis te downloaden. over kunnen schrijven.

Waar de technologiegoeroes en ik het over eens kunnen zijn is: er komen waarschijnlijk meer nieuwe technologische ‘wondertjes’ zoals deep learning. Baron ziet dat stiekem ook wel. Wanneer hij stelt dat de huidige technologie de data nog niet kan de-anonimiseren, dan geeft hij in wezen toe dat dat in de toekomst wel eens heel anders kan worden.

“Moeten we dan maar niks doen?”, hoor ik Baron zeggen. Nee, Big Data en de smart city kunnen ons veel goeds opleveren. Maar we moeten wel wat nuchterder worden en ook in de start-up- en beleidswereld net zoveel tijd steken in het onderzoeken van de risico’s als de kansen.

'Anoniem' meisje

Dit meisje is bewust anoniem op de foto gezet. (Totdat een algoritme iedereens kledingaankopen of lichaamstaal gaat analyseren).

Denken als een crimineel

Afgelopen maandag organiseerde Kennisland de tweede bijeenkomst van het Gemeentelijk Leernetwerk Open Data. Daar ontstond naar aanleiding van de Tegenlicht-aflevering en de Nationale Verjaardagskalender een goed gesprek over de ethiek van open data, en de vraag “hoe ver wil je gaan?”. Deelnemers brainstormden over de vraag hoe ze de data op data.overheid.nl++Open data van de overheidDoor de nieuwe Wet Hergebruik Overheidsinformatie komt nog meer data vrij, zoals geografische stankoverlastmetingen, de locatie van kinderspeelplaatsen in Amsterdam, of zorgbehoeftes in de wijk. zouden kunnen misbruiken. Binnen vijf minuten werden er al verrassend schadelijke mogelijkheden rondom pedofilie, milieuschade en privacyschending gevonden, veelal door twee of drie datasets te combineren. Het voelde soms wat raar om te doen, maar het werd wel als een waardevolle oefening ervaren. Juist door af en toe een ‘ondeugende’ positie in te nemen, wapen je jezelf tegen eenzijdig optimisme.Door af en toe een ‘ondeugende’ positie in te nemen, wapen je jezelf tegen eenzijdig optimisme.

Open data is fascinerend, en kan ons veel goeds brengen. Maar er zitten ook allerlei haken en ogen aan. Juist bestuurders zouden ons moeten behoeden voor de uitwassen van de technologie. Helaas zien we, zoals Frenken beschreef, eerder een de-politisering van innovatievraagstukken, die ironisch genoeg onder de vleugels van politici plaatsvindt. De technologische droombeelden zijn blijkbaar zo verleidelijk dat de gemeente Amsterdam zelf op een start-up wil lijken: Ger Baron is immers Amsterdams ‘Chief Technology Officer’, een titel die gebruikelijk is bij start-ups.

Natuurlijk, start-ups zijn wendbaar en speels, en dat is een houding die de overheid zichzelf best wat meer mag aanmeten. Maar op veel vlakken is de start-upscene niet het voorbeeld van hoe het moet. Start-ups houden zich niet graag met morele vragen bezig, iets waar overheden zich juist wel mee bezig zou moeten houden. Als snelheidswinst ontstaat door morele vraagstukken niet te behandelen, dan verwordt de overheid tot een cheerleader, en kan er wat Frenken een ‘democratisch tekort’ noemt ontstaan.

Mijn advies: laat Amsterdam op zijn minst ook een ‘Chief Digital Ethics Officer’ aannemenMijn advies: laat Amsterdam op zijn minst ook een ‘Chief Digital Ethics Officer’ aannemen., wellicht iemand uit de veel kritischere en verder net zo wendbare en speelse Amsterdamse hackersscene. Daarmee zou de gemeente Amsterdam de opzijgeschoven ethische discussie weer voorop kunnen zetten. En dan zou de start-upscene nog iets van de gemeente kunnen leren.

Data is niet het nieuwe goud, maar eerder de nieuwe olie++Data en gedragIn februari gaf ik een TEDx-presentatie waarin de maatschappelijke gevaren van Big Data worden benoemd.: ze kan ons van energie voorzien, maar ze kan ook rampzalig zijn voor ons (sociale) milieu, en de vrijheid die we in de stad voelen. De slimme lantaarnpaal, de ‘smartphone van de stad’, is niet alleen een bron van data, maar ook een bron van potentiële (en eigenlijk voorspelbare) privacyschending. Beide kanten verdienen evenveel aandacht. We kijken tegenwoordig veel kritischer naar ons gebruik van olie, en de oliebaronnen die het in de negentiende en de twintigste eeuw ongeremd oppompten. Als we een herhaling van deze geschiedenis willen voorkomen, is het essentieel dat er nu meer tegenlicht wordt geschenen op de hedendaagse evenknie, de ‘data-Baron’.