StemWijzer gaf inzicht in alle gegeven stemadviezen - update 2

Een beveiligingsonderzoeker heeft op eenvoudige wijze inzicht gekregen in de hoeveelheid stemadviezen die voor bepaalde partijen werd afgegeven door het adviesplatform StemWijzer. Dit onbedoelde 'lek' zou volgens de maker ProDemos inmiddels gedicht zijn.

Volgens beveiligingsonderzoeker Loran Kloeze is het openen van de devtools in Chrome voldoende om inzicht te krijgen in de hoeveelheid adviezen per partij. Hij maakte een Python-scriptje om de resultaten bij te houden. Volgens hem is de StemWijzer hierdoor meteen Stempeiler, iets waar de dienst niet voor bedoeld is. Volgens de maker van de StemWijzer kwam dit door de statmachine van de dienst, die is inmiddels uitgezet.

Kloeze zet daarnaast vraagtekens bij de beveiliging van StemWijzer doordat hij de teksten 'SijmenRuwhofiseenlul' en '31337' aantrof in code van de StemWijzer. Ruwhof is de beveiligingsonderzoeker die vorige week tal van lekken aantrof in de software waarmee stemmen geteld worden bij de Nederlandse verkiezingen. Niet duidelijk is waarom en hoe de tekst in de code terechtkwam.

Ten slotte stelt Kloeze vraagtekens bij het gebruik van Google Analytics op StemWijzer. "Politieke voorkeuren willen veel mensen graag geheim houden. Dat Google misschien uw browser en ip-adres kan koppelen aan uw politieke voorkeur voelt wel erg ongemakkelijk", schrijft hij.

De StemWijzer werd maandag online gezet door ProDemos, in het bijzijn van verschillende lijsttrekkers. De dienst is volgens ProDemos 'veruit de meest gebruikte stemhulp'. De beveiliging van dit soort diensten is een heet hangijzer omdat westerse inlichtingendiensten claimen dat er aanwijzingen zijn dat buitenlandse mogendheden verkiezingen proberen te manipuleren. Tegenover de NOS liet StemWijzer maandag weten dat er extra maatregelen genomen waren voor de beveiliging van de dienst, onder andere werd de hulp van het Nationaal Cyber Security Centrum ingeschakeld.

Update, 15.16: Volgens tweaker nuveo zouden de teksten"SijmenRuwhofiseenlul" en "31337" simpelweg via JSON naar Stemwijzer verstuurd kunnen zijn door het id aan te passen. De berekeningen van de dienst vinden namelijke wel client-side plaats, maar aan het eind zou een AJAX-request met de antwoorden naar de server gestuurd worden. Via de developer console van Chrome kunnen hierbij aanpassingen gemaakt worden. Een groot beveiligingsprobleem zou dit niet zijn.

Update 2, 17.30: Kloeze zelf geeft verduidelijking over zijn handelwijze.

Reacties (194)

[atlaste]

Persoonlijk vind ik de stemwijzer sowieso een heel dubieus concept. Punt is nl. dat veel mensen volgens verschillende bronnen de adviezen klakkeloos overnemen. Ik geloof er niet in dat de stemwijzer onafhankelijk is.

Een harde claim, dus die ga ik toelichten.

De stemwijzer kiest (volgens eigen zeggen) thema's op zo'n manier dat politieke partijen zo goed mogelijk van elkaar worden gescheiden. Het idee daarachter is dat sommige partijen veel op elkaar lijken en je daardoor extra vragen nodig hebt om tot een conclusie te komen. Goed, so far so good.

Deze stelling suggereert echter ook dat voor een 'goede' stemwijzer de voorspelde uitslagen bij random input ongeveer (statistisch) gelijk verdeeld zou moeten zijn. Welnu, dat kan je testen en dat heb ik dus gedaan. (Broncode is beschikbaar via github)

De conclusie: de resultaten zijn helemaal niet ongeveer gelijk verdeeld. Sterker nog, er is een sterk verband met de werkelijke verkiezingsuitslag. En ondanks dat de correlatie minder sterk is dan de correlatie met de media (die verschillen zijn echt scary klein), is het nog steeds een issue.

Wat betekent dit? Het betekent dat de stemwijzer niet een onafhankelijk advies geeft.

Dus... Wat vind de stemwijzer hiervan? Zij vinden dat ze een goed advies geven omdat de adviezen die ze geven corresponderen met de verkiezingsuitslag. Ik denk dat iedere idioot zich wel beseft dat dit echt helemaal de omgekeerde wereld is...

Kortom, doe jezelf en iedereen een lol - en lees gewoon even de (samenvatting van de) standpunten van de partijen, bedenk of je vertrouwen hebt in hun leiderschap en stem vervolgens op de burger beweging ofzo.

[MenN]

Dat is te makkelijk gesteld dat de stemwijzer partijdig is.

Het ding is namelijk, elke partij heeft een partijprogramma met punten en issue's welke zij aandacht willen geven. Met 31 partijen die meedoen aan de verkiezingen is het ondoenlijk om binnen 30 stellingen de belangen van elke partij gelijk te trekken, simpelweg omdat je stemwijzer ook echt mensen moet helpen een beeld te vormen van de Nederlandse politiek.

Je kunt dus niet de punten van bijv de VVD of Jesus Leeft niet als gelijkwaardig bestempelen aangezien je weet dat de VVD een veel grotere invloed heeft op de politiek en hoe het electoraat erover denkt.

Dus als die stellingen voor de stemwijzer gemaakt moeten worden is het in mijn optiek logisch dat er ook meer stellingen gemaakt worden aan de hand van de punten uit de programma's van de grote partijen. Je kunt niet de helft van de stellingen gaan vullen met punten uit de programma's van de 15 kleinste partijen, dan doe je het Nederlandse volk geen eer aan en je vergroot dan indirect de invloed van een relatief kleine groep Nederlanders.

Als gevolg hiervan is het inderdaad zo dat de stemwijzer gekleurd is qua stellingen en dat er een VVD/PVV smaak aan zit.
Maar ik geloof echt niet dat ProDemos als een soort puppet master actief probeert de VVD/PVV aan de macht te helpen.

Ik denk dat het simpelweg een resultaat van de manier waarop de stellingen zijn samengesteld, maar ik ontken zeker niet de bevindingen die jij gedaan hebt met je experiment. En ik zou het interessant vinden als ProDemos zelf eens uitleg hierover kan geven.

[atlaste]

Het ding is namelijk, elke partij heeft een partijprogramma met punten en issue's welke zij aandacht willen geven. Met 31 partijen die meedoen aan de verkiezingen is het ondoenlijk om binnen 30 stellingen de belangen van elke partij gelijk te trekken, simpelweg omdat je stemwijzer ook echt mensen moet helpen een beeld te vormen van de Nederlandse politiek.

Leuk idee, maar dat is niet hun doel. Hun doel is om een onafhankelijk advies te geven voor de partij die het best past op jou voorkeuren. De manier waarop is door vragen zo te formuleren dat ze onderscheidend zijn tussen de verschillende partijen. Let wel, dat is niet mijn mening, dat is wat ze zelf aangeven!

Je kunt dus niet de punten van bijv de VVD of Jesus Leeft niet als gelijkwaardig bestempelen aangezien je weet dat de VVD een veel grotere invloed heeft op de politiek en hoe het electoraat erover denkt.

En daarmee raak je precies de kern van het probleem: dit heet een 'self-fulfilling prophecy'.

Bovendien is het (nogmaals) niet eens wat ze zelf claimen te doen.

We hebben het echt niet over de stellingen vullen met punten ('theologische verschillen') uit de programma's van de kleinste partijen. Er zitten bijv. in de huidige verkiezingsprogramma's best veel onderwerpen die sterk differentieren over de breedte, zoals hoe wordt gedacht over onderwijs, kinderopvang, etc. We hebben het hier absoluut niet over details!

Als gevolg hiervan is het inderdaad zo dat de stemwijzer gekleurd is qua stellingen en dat er een VVD/PVV smaak aan zit.

Ok, laten we dit eens gewoon concreet maken als "werkproces". En laten we ook even vergeten wat ze zelf claimen te doen.

Wat je hiermee stelt is dat ze in een kamertje zitten te brainstormen over welke onderwerpen het meest relevant zijn voor de verkiezing, deze onderwerpen opschrijven en ze vervolgens toetsen tegen de verkiezingsprogramma's? Hoe komen ze aan onderwerpen? Iedereen kan je wel vertellen wat er speelt... immigratie, asielzoekers, defensie, studiebeursen - als je het nieuws volgt kan je hier makkelijk een lijstje van maken.

Ik ben het dan met je eens, het klinkt logisch dat ze dit doen - en ja, dat matcht aardig op wat je ziet aan vragen. Maar het heeft ook helemaal niets te maken met onderscheidend vermogen en geeft bovendien een behoorlijke bias aan de verkiezingen op basis van wat er is gebeurd in de afgelopen regeerperiode.

Maar ik geloof echt niet dat ProDemos als een soort puppet master actief probeert de VVD/PVV aan de macht te helpen.

Bewust? Nee.
Ik denk dat de weg naar de hel geplaveid is met goede bedoelingen.

[MenN]

[...]
Leuk idee, maar dat is niet hun doel. Hun doel is om een onafhankelijk advies te geven voor de partij die het best past op jou voorkeuren. De manier waarop is door vragen zo te formuleren dat ze onderscheidend zijn tussen de verschillende partijen. Let wel, dat is niet mijn mening, dat is wat ze zelf aangeven!

Hmm, dus schijnbaar weet jij beter wat ProDemos aangeeft te doen met de stemwijzer dan ProDemos zelf

van hun website:

"StemWijzer
Met de StemWijzer kunt u kijken op welke partijen u uitkomt aan de hand van uw standpunten. De StemWijzer baseert zich op het verkiezingsprogramma van een partij." bron

Anders onderbouw maar even waar jij je info vandaan hebt over wat Prodemos wel of niet voor doel heeft

Dus die stellingen worden wel degelijk gemaakt aan de hand van de partijprogramma's. En laten we nog specifieker gaan:

Stelling 2 - Er moet een maatschappelijke dienstplicht voor jongeren komen. Zij kunnen dan dienen in het leger, bij de politie of in de zorg.

Stelling 14 - Nederland moet de grenzen sluiten voor islamitische immigranten.

Stelling 26 - Er moet een landelijk zorgfonds komen, zodat het stelsel van particuliere zorgverzekeraars kan verdwijnen.

Stelling 30 - Nederland moet uit de Europese Unie (EU) stappen.

Dit zijn geen stellingen waar een breed politiek debat over is, of zaken die sterk differentiëren in de breedte. Dit zijn stellingen gebaseerd op punten uit een partijprogramma van 1 specifieke partij. Zo is stelling 2 puur uit het CDA programma geplukt, 14 & 30 komen zo van de PVV af en 26 is regelrecht een SP idee.

[Reactie gewijzigd door MenN op 26 juli 2024 12:23]

[atlaste]

Hmm, dus schijnbaar weet jij beter wat ProDemos aangeeft te doen met de stemwijzer dan ProDemos zelf

Natuurlijk niet. Mijn informatie komt uit (1) mensen die het hebben nagevraagd bij de Stemwijzer en (2) informatie van de website zelf. Vroeger stond die direct gelinkt vanaf de homepage, tegenwoordig weet ik die niet meer te vinden, maar volgens Google is dit de link naar de content.

De meest relevante quote:

De redactie van de StemWijzer kiest onderwerpen die op dit moment in de politiek en in de verkiezingscampagne veel aandacht krijgen. Op basis van deze informatie wordt een groslijst van zo’n zeventig stellingen gemaakt. Deze lijst wordt aan de partijen voorgelegd. Zij geven aan of ze het eens of oneens zijn met de stelling, dan wel een neutrale positie innemen. Een belangrijk selectiecriterium voor de uiteindelijke stellingen is in hoeverre een stelling een onderscheid tussen de partijen weergeeft. Als veel partijen over een bepaald thema hetzelfde standpunt innemen is een stelling over dit onderwerp voor de StemWijzer minder interessant en bruikbaar.

Dus: de stellingen worden NIET gemaakt aan de hand van de partijprogramma's. Dat zeggen ze zelf!

Vwb. je stellingen, volgens mij is hier bijzonder veel debat over. Maar wat weet ik nu, ik volg alleen de media en kijk regelmatig naar de politieke debatten op NPO Politiek...

[MenN]

Lol, je geeft gewoon zelf het bewijs dat de stellingen wel degelijk aan de hand van de partijprogramma's gemaakt worden.

"De redactie van de StemWijzer kiest onderwerpen die op dit moment in de politiek en in de verkiezingscampagne veel aandacht krijgen."

Een verkiezingscampagne is niets anders dan partijen die hun programma verkopen aan het volk om zo stemmen te winnen. Hoe kun je dan beweren dat die stellingen niet gemaakt worden aan de hand van de punten uit de partijprogramma's. Het is gewoon hetzelfde maar anders verwoord. Natuurlijk pennen ze niet letterlijk standpunten over, maar de verkiezingsprogramma's van de grote partijen bepalen wel degelijk de onderwerpen die in de politiek en verkiezingscampagne veel aandacht krijgen.

Sterker nog, het staat gewoon letterlijk op hun website. Terwijl jou bron niet meer te vinden is op de ProDemos site.

[atlaste]

Nee dat is dus niet hetzelfde! Wat er staat is dat de redactie beslist welke stellingen relevant zijn (op basis van het objectieve criterium "veel aandacht") en vervolgens die stellingen leggen tegen de partijprogramma's.

De FAQ stond online ten tijden van het onderzoek. Waarom ze die offline hebben gehaald weet ik niet.

Dat heet een self fulfilling prophecy, hoe je het ook wend of keert.

[MenN]

De redactie kan doen wat ze willen, maar de zaken die in het nieuws komen tijdens campagnetijd wordt gewoon bepaald door de agenda van politieke partijen. En die wordt weer vormgegeven door het programma dat ze hebben opgesteld.

je kan nog zo goed naar een bron verwijzen die niet meer bestaat. Maar als ProDemos letterlijk zegt op hun website:

'De StemWijzer baseert zich op het verkiezingsprogramma van een partij."

Is de zaak gewoon kant en klaar. De redactie maakt stellingen die gebaseerd zijn op de punten die de politieken partijen maken in hun programma's.

Er komt echt geen eigen initiatief van ProDemos wat betreft de stellingen, ze kunnen alleen spiegelen wat er al in de politiek gezegd is aangezien ProDemos geen deel is, wil en moet zijn in het politieke debat. Anders zullen deze stellingen gewoon verworpen worden door de politieke partijen zoals je zelf aangeeft hoe die procedure loopt.

De redactie verwoord de gewoon op een wijze waarmee veel politieke partijen akkoord kunnen gaan en begrijpelijk is voor een groot publiek. Maar de oorsprong van die stellingen komen gewoon direct uit partijprogramma's.

[Reactie gewijzigd door MenN op 26 juli 2024 12:23]

[atlaste]

De redactie bedenkt de vragen, de antwoorden corresponderen met het verkiezingsprogramma.

Ik weet niet wat daar zo moeilijk aan is. Wat er staat op de site van ProDemos klopt gewoon volgens de letter. En het klopt ook met de FAQ. En het klopt ook met de mensen die ik heb gesproken.

Nogmaals, ik beroep me niet op een bron (en ook niet op een zin). Je kan proberen die ene zin die je op de website hebt gevonden linksom en rechtsom te verdraaien naar eigen inzicht, maar zo simpel zit het in elkaar.

[MenN]

Wat is er niet aan te begrijpen dat die vragen niet uit het luchtledige bedacht worden. Deze komen uit een politiek klimaat welke in campagnetijd word gevormd door de punten uit partijprogramma's.

Dus de een volgt de ander en die vragen worden dus opgesteld uit zaken die spelen in de politiek. En dus worden die vragen opgesteld aan de hand van de punten van een partijprogramma. ProDemos is een spiegel voor de politiek, en neemt niet deel in die politiek. Dus zij bedenken helemaal geen vragen, maar verwoorden gewoon wat er speelt in de politiek.

Leuk dat je mensen gesproken hebt, maar laten we hier de discussie houden op basis van openbare feiten. En ik verdraai niets naar eigen inzicht, het staat gewoon letterlijk op hun website. Dat je dat niet wil accepteren is prima, maar beticht mij er dan niet van om informatie te verdraaien.

En die informatie is niet 'zomaar een zin' het is notabene de enige bron van publieke informatie op dit moment welke omlijnt hoe die stemwijzer tot stand komt.

[Reactie gewijzigd door MenN op 26 juli 2024 12:23]

[Cerberus_tm]

Dit is een uitstekend antwoord. Het is logisch en redelijk dat de stemwijzer expres zo is opgebouwd dat de standpunten van partijen aandacht krijgen naar rato van hoeveel zetels ze hebben of mogelijkerwijs zouden krijgen; anders wordt de stemwijzer veel minder nuttig voor verreweg de meeste mensen. Bijna niemand heeft interesse in de theologische verschillen tussen Jesus Leeft en Andere Religieuze Partij Die Ook Nooit Zetels Zal Halen.

[DaMook]

En daardoor is de stemwijzer dus WEL gekleurd. Die kleine partijen hebben hierdoor minder kans om tot hun recht te komen dan de grote partijen.

Het gaat er bij de stemwijzer in mijn ogen niet om welke partijen de meeste zetels hebben of kunnen krijgen. Al krijgt een partij geen zetel, maar past deze wel het beste bij mij, dan wil ik ook dat advies krijgen!

Het is dus niet logisch en redelijk..

Hetzelfde gebeurd nu bij de nos met het debat, daar worden partijen uitgesloten omdat ze nog geen zetels hebben en in de peilingen er geen hebben. Op deze manier krijgen ze ze nooit, laat deze partijen er gewoon bij, dan krijgen ze daardoor misschien juist WEL stemmen.

Of ze dan wel of geen zetels doet er niet toe. Dat is democratie, je geeft ze iig wel een kans.

[emperor3s]

Interessante blogpost waar je naar linkt. Kun je uitleggen waarom de verdeling met stemadviezen bij willekeurig invullen niet gewoon gelijk verdeeld is over alle partijen? Is dat omdat in 2012 (waar de blogpost over gaat) niet alle partijen een mening hadden opgegeven over alle stellingen, al was die maar 'geen van beide'/'0', en ze daardoor minder kans hadden op een match met de invuller?

Dat probleem zou dan in elk geval bij de 2017-versie niet meer mogen bestaan.

[atlaste]

Kun je uitleggen waarom de verdeling met stemadviezen bij willekeurig invullen niet gewoon gelijk verdeeld is over alle partijen?

Het antwoord is heel simpel: zo zitten de vragen gewoon in elkaar. De stemwijzer zegt de vragen zo te formuleren dat ze maximaal de partijen van elkaar scheiden...

... maar dat is niet wat ik zie als ik het experiment draai. Wat in werkelijkheid gebeurt is dat partijen die hoog eindigen veel onderscheidend vermogen hebben tov. de andere partijen en partijen die laag eindigen weinig onderscheidend vermogen hebben tov. de andere partijen (op basis van deze vragenlijst).

Het is ook niet wat ik zie als ik gewoon naar de vragen kijk van 2017. Die vragen gaan bijv. over terrorisme, immigratiebeleid, etc. Werkelijk onderscheidende dingen die ik haal uit de partijprogramma's zijn echter onderwerpen zoals defensie en onderwijs.

Wat ik vermoed is dat de Stemwijzer de vragen formuleert op basis van wat zij denken dat speelt in Nederland. Terrorisme, immigratiebeleid, moeten we in de EU blijven, meer referenda -- allemaal dingen die niet echt onderscheidend zijn, maar wel veel in de media genoemd worden. Wat ik bedoel met 'niet onderscheidend' is dat als je een van deze vragen stelt, je impliciet het antwoord al weet op de rest...

[Verwijderd]

Dus de Stemwijzer bepaalt de waarde van een partij programma of stelling aan de hand van de aandacht die door het nieuws en de samenleving wordt gegeven over deze stellingen ?

Ik wil niet zeggen dat dit een slecht idee is maar het roept wel vragen op over de beïnvloedbaarheid van de vragenlijst van de stemwijzer.

Zo zou bijvoorbeeld de recente situatie met de door geert Wilders getweette nep foto over de D66 leider Alexander Pechtold die nu veel nieuwst aandacht krijgt en een discussie over nep nieuws oplaait invloed kunnen hebben op de vragenlijst van de stemwijzer.
Als deze situatie zich al eerder dit jaar zich had afgespeeld en veelvuldig aandacht kreeg van de media en er een partij is die in zijn verkiezingsprogramma een standpunt over nep nieuws opneemt dan had er in de stemwijzer een vraag kunnen zitten over nep nieuws.
Hiermee heeft de tweet van Geert wilders dus een invloed op de vragenlijst van de stemwijzer.

Of dit een gewenste situatie is kan ik niet beoordelen.

[Reactie gewijzigd door Verwijderd op 26 juli 2024 12:23]

[atlaste]

Exact.

En log los van of dit wel of niet een gewenste situatie is, vind ik het wel iets zeggen over de objectiviteit van het advies dat je krijgt.

[Verwijderd]

Het kan inderdaad dan zijn dat partijen die niet zo "uit de band springen" en weinig standpunten hebben die te maken hebben wat onder de bevolking leeft (als de media daar goede weerspiegeling van is) minder snel een advies krijgen.

Zolang die "actualiteiten" van belang zijn voor de Nederlandse bevolking is er niet zo veel aan de hand omdat het juist goed is dat de partijen met aan actueel programma voorrang hebben op partijen die dat niet doen.

Massa Immigratie is bijvoorbeeld potentieel een groot probleem, dat er dan vragen zijn die over het immigratiebeleid gaan omdat dat een "hot item" is is dan ook van groot belang.

[atlaste]

Dan nog is het op zijn zachtst gezegd "bijzonder" dat er ergens "een redactie" is, die bedenkt wat mensen wel en niet "relevant" vinden.

Ik kan me bijv. voorstellen dat onderwijs relevant wordt gevonden door een groot deel van de bevolking, mits daarnaar wordt gevraagd. Een snelle zoekvraag op https://watstemthetparlement.nl/ levert op dat dit genoemd wordt in ongeveer 10% van de kamerstukken en dat het staat in 100% van de verkiezingsprogramma's - dus de politiek vind het sowieso een erg belangrijk onderwerp. De stemwijzer heeft over onderwijs geen vragen. De impliciete aanname daarbij (die door "de redactie" is gemaakt) is dat als mensen de vraag niet zien, het dus niet relevant is voor hun beslissing om op een partij te stemmen.

Daarnaast heb ik ook wel wat moeite met "actualiteiten". Zie ook https://www.sdebruijn.nl/...-op-verkiezingsuitslagen/ waarin ik op een simpele manier de NOS vergelijk met de verkiezingsuitslag. Ja, ik had wel verwacht dat er een verband te vinden was, maar dat het zo sterk was... poeh...

De vraag die je je daarbij moet stellen is: vinden mensen onderwerpen belangrijk omdat ze deze vaak horen in het nieuws, of komen onderwerpen vaak in het nieuws omdat mensen ze belangrijk vinden? Indirect is daarmee de vraag: wie bepaalt nou eigenlijk de samenstelling van onze politiek, onze politieke agenda en (onder de aanname dat het proces is gebaseerd op actualiteiten) de stemwijzer - de media of de bevolking?

Het antwoord op die vraag kan ik je (helaas) niet geven. En dat vind ik best problematisch (en minstens on-democratisch), aangezien de media een aantal perverse prikkels heeft, tegenwoordig 'advertorials' maakt, etc, etc.

[Verwijderd]

De vraag die je je daarbij moet stellen is: vinden mensen onderwerpen belangrijk omdat ze deze vaak horen in het nieuws, of komen onderwerpen vaak in het nieuws omdat mensen ze belangrijk vinden? Indirect is daarmee de vraag: wie bepaalt nou eigenlijk de samenstelling van onze politiek, onze politieke agenda en (onder de aanname dat het proces is gebaseerd op actualiteiten) de stemwijzer - de media of de bevolking?

Het antwoord op die vraag kan ik je (helaas) niet geven. En dat vind ik best problematisch (en minstens on-democratisch), aangezien de media een aantal perverse prikkels heeft, tegenwoordig 'advertorials' maakt, etc, etc.

Ik denk ook dat dit een ander vraagstuk is en de kieswijzer vragen zijn gewoon een symptoom van dit "verschijnsel".

Vroeger bepaalden de machthebbers van het land de gedachten van de bevolking nu doende media (of media manipulators) dat in zekere zin.

[atlaste]

Ik denk ook dat dit een ander vraagstuk is [...]

Helemaal eens.

[...] de kieswijzer vragen zijn gewoon een symptoom van dit "verschijnsel".

Deels eens: daarmee suggereer je simpele naïviteit van de redactie; in het slechtste geval kiezen ze hier echter bewust zelf voor. Hoe dan ook maken ze zelf deze keuze en zijn ze wmb. dus in beide gevallen ook zelf verantwoordelijke voor de consequenties daarvan (en niet alleen de media).

[Sandertje1980]

Daarnaast heb ik ook wel wat moeite met "actualiteiten". Zie ook https://www.sdebruijn.nl/...-op-verkiezingsuitslagen/ waarin ik op een simpele manier de NOS vergelijk met de verkiezingsuitslag. Ja, ik had wel verwacht dat er een verband te vinden was, maar dat het zo sterk was... poeh...

Ook hier heb je vergeleken met de verkiezingsuitslagen van 2010, niet die van 2012:
https://nl.wikipedia.org/wiki/Tweede_Kamerverkiezingen_2012
Ik denk dat je per ongeluk de eerste tabel hebt gekopiëerd.

Ik vraag me nu wel af wat wat veroorzaakt. Is de media-aandacht misschien juist een gevolg van de uitslag i.p.v. de oorzaker?

Er zijn heel veel theorieën over massacommunicatie en hun invloed op de publieke opinie. Volgens mij is de consensus op het moment dat media cultiverend werkt. Oftewel: iemand die van huis uit rechts stemt, zal er zelf voor kiezen om voornamelijk kennis te nemen van rechtse media, en dat geldt mutatis mutandis ook voor linkse kiezers. Media en publieke opinie versterken elkaar dus.

[Reactie gewijzigd door Sandertje1980 op 26 juli 2024 12:23]

[atlaste]

Ik vraag me nu wel af wat wat veroorzaakt. Is de media-aandacht misschien juist een gevolg van de uitslag i.p.v. de oorzaker?

Ook deze getallen heb ik aangepast. Dank!

Interessant is de resultaten van enerzijds PvdA en anderzijds alle andere partijen. Laat de getallen maar voor zichzelf spreken.

[Sandertje1980]

Kun je uitleggen waarom de verdeling met stemadviezen bij willekeurig invullen niet gewoon gelijk verdeeld is over alle partijen?

Dat kun je het beste zien door de stemwijzer te vereenvoudigen tot 3 partijen en 3 ja/nee stellingen.

Partij A zegt ja op stelling 1 en 2.
Partij B zegt alleen ja op stelling 1.
Partij C zegt alleen ja op stelling 3.

Er zijn nu 8 mogelijke uitslagen:
jjj: a (67%)
jjn: a (100%)
jnj: b/c (67%)
jnn: b (100%)
njj: c (67%)
njn: a (67%)
nnj: c (100%)
nnn: b/c (67%)

Totaal: 3xa, 4xc, 3xb

Dit komt doordat partij c een afwijkende mening heeft ten opzichte van a en b, terwijl a en b dichter bij elkaar zitten. Stem je meer met c mee, dan is de kans groot dat je op c uit komt. Stem je meer met a mee, dan stem je automatisch ook meer met b mee. In dat geval is er een even grote kans dat a of b als advies wordt gegeven.

[Reactie gewijzigd door Sandertje1980 op 26 juli 2024 12:23]

[Grijze Vos]

Eens met je kernboodschap, maar je statement

r een 'goede' stemwijzer de voorspelde uitslagen bij random input ongeveer (statistisch) gelijk verdeeld zou moeten zijn

heb je totaal niet onderbouwd. En dat volgt niet simpelweg uit die stelling erboven. Dat zul je aan moeten tonen. Ik denk overigens dat die aanname die je hier doet complete onzin is.

[Blizz]

Partijprogramma's zijn partijdig, stemwijzers zijn dat niet per se. Je hebt bewezen dat sommige partijen niet het beste uit de kast komen bij het willekeurig selecteren van opties in een themaquiz. De conclusie die je eruit trekt is gebaseerd op een aanname die niet altijd juist is, namelijk de aanname dat partijopinies evenredig verdeeld zijn, als een toets met opties waarbij het juiste antwoord evenredig over A/B/C is verdeeld (spoiler alert: dit is meestal niet zo). Wat je hierbij dus niet meeneemt is dat partijprogramma's niet zwart of wit zijn. Er is dus vaak ook een middenweg (realistisch gezien een veelvoud hiervan) of een 'geen mening', waardoor de context en invulling plots een grote rol spelen en partijen misschien onevenredig vaker in een van de geforceerde rijtjes voorkomen.

Door partijprogramma's te simplificeren tot een ja/geen van beide/nee format doen we sommige of de meeste opinies bij sommige of de meeste vragen geen recht aan. Zo simpel ligt het eenvoudigweg niet en zo'n simpel principe klopt dan ook niet. Wat jij verwacht is dat de Stemwijzer alle partijen even vaak adviseert. Een even foutieve aanname zou zijn dat alle partijen even veel stemmen krijgen in een verkiezing als het puur op basis van de partijprogramma's in dat format zou zijn.

Kortom, doe jezelf en iedereen een lol - en lees gewoon even de (samenvatting van de) standpunten van de partijen, bedenk of je vertrouwen hebt in hun leiderschap en stem vervolgens op de burger beweging ofzo.

+1

[Reactie gewijzigd door Blizz op 26 juli 2024 12:23]

[atlaste]

De conclusie die je eruit trekt is gebaseerd op een aanname die niet altijd juist is, namelijk de aanname dat partijopinies evenredig verdeeld zijn, als een toets met opties waarbij het juiste antwoord evenredig over A/B/C is verdeeld (spoiler alert: dit is meestal niet zo).

Klopt. Ik heb het veel simpeler opgeschreven dan het is. Ik heb me heel lang zitten afvragen welke verdeling je krijgt als je een set vragen hebt, die zo geformuleerd zijn dat ze de partijen discrimineren. Dit o.a. op basis van de FAQ die inmiddels niet meer online staat.

Hierbij wat meer informatie...

Eerste vraag: hoe kan je 'het beste' vragen formuleren? Een methode die ik had bedacht is om gewoon unigrammen te verzamelen uit de partijprogramma's en feature selection gebruiken. Voor dat laatste zijn een paar standaardmaten, nl. chi2, mutual information en information gain. Op basis van wat woorden moet het wel mogelijk zijn om wat vragen te formuleren. Het resultaat is een dat de stemwijzer alle partijen even vaak zou adviseren als mensen random antwoorden geven (en we weten allemaal dat dat niet zo is in de werkelijkheid). Kortom, dit is wmb. de ideale verdeling.

Maar ook als je gewoon zelf een grotere set vragen formuleert (lees: "brainstormen"), moet je een subselectie in die set gaan maken die onderscheidend is. Waarom? Simpel, omdat je een goed advies wilt geven die minstens matcht op wat de partijen zelf vinden. Wederom, om dat te testen kan je soortgelijke statistische methoden gebruiken.

En zo heb ik wel meer manieren bedacht om de vragenlijsten te maken. Hoe zien de resulterende verdelingen eruit? Nou, in het ideale geval is het een evenredige verdeling. Praktisch gezien is het waarschijnlijker dat partijen die dichter bij elkaar zitten meer zetels krijgen, omdat het onderscheid lastiger te maken is. Maar zelfs een soort normaalverdeling rond het 'midden' (wat dat dan ook mag zijn) had ik geaccepteerd als 'goed'. Hoe dan ook is het echter onwaarschijnlijk dat de PVV en VVD met een veel grote willekeurige kans eruitkomen tov. de andere partijen (want dat onderscheid tov. de andere partijen was in 2012 al behoorlijk makkelijk te maken).

De enige manieren waarop ik een dergelijke statistische verdeling kan verklaren is door het punt met 'discriminatie van partijen' los te laten en te kijken naar 'hot topics', zoals bijv. wat veel genoemd wordt in de media.

En weet je, ook dat subjectieve advies zou ik verder prima vinden, ware het niet dat de Stemwijzer niet het stemgedrag zou bepalen van zo ongelofelijk veel mensen.

En inderdaad, dan stap ik nog even over alle issues die ik heb met eens/oneens/geen mening heen, omdat ze weinig recht doen aan de werkelijkheid. De enige manier om goed te weten waar je op moet stemmen is volgens mij om gewoon een avondje lekker te gaan lezen en je mening rustig te gaan vormen...

[Blizz]

Ik vind het een boeiend onderwerp, want hoe pak je het analyseren van zoiets het beste aan? Laat staan om ten eerste al een stemwijzer te maken die niet te gecompliceerd is voor de gemiddelde burger om een kwartier aan te zitten. Dank voor het uittypen!

[atlaste]

Ik vind het een boeiend onderwerp, want hoe pak je het analyseren van zoiets het beste aan?

Dat is inderdaad een lastige vraag, waar ik inmiddels al best een tijdje over heb nagedacht... Laten we even uitgaan van een ideale stemwijzer - hoe maak je zo'n ding?

Een systeem met scores lijkt volgens mij wel aardig op een naive bayes classifier. Wat je kan doen is gewoon alle woorden uit de programma's pakken, feature selection erop loslaten en een naive bayes classifier leren. Daaruit pak je de meest discriminerende woorden, schrijf je om tot vragen en antwoorden en je leert een naive bayes classifier. Bijv. via de Weka toolkit.

Alleen moet je je afvragen of een dergelijk model uberhaupt recht doet aan de werkelijkheid... Ik denk het niet.

Een ander idee dat ik later had is dat het misschien wel beter is om te kijken naar de miljoenennota. Per post kan je vervolgens uitleggen wat de huidige situatie is en welke veranderingen er worden voorgesteld (incl. de verwachte impact, pro's en cons). Uiteindelijk is dit immers voor een groot deel waar politiek over gaat: de vraag ben je bereid om meer/minder geld uit te geven aan X. Op soortgelijke manier kan je ook kijken naar voorgestelde veranderingen in het belastingstelsel. Wat je daarmee wel mist zijn evt. aanpassingen in het proces; daar heb ik geen goede oplossing voor.

(Ben trouwens benieuwd wat je van dat idee vind, want ik ben aan het overwegen om dat wat meer uit te gaan werken).

[Red Boll]

Ik zou naast de standpunten als aanvulling graag willen zien wat de "antecedenten" zijn van partijen. Met andere worden: Wat doen de partijen nu echt met hun standpunten in tegenstelling tot wat ze beloven.

Hoe stemt men nu echt bij moties en wetsvoorstellen?
Is dat afhankelijk van of ze in de coalitie of oppositie zitten?
Welke partij breekt het (minst) vaakst een standpunt?
etc...

Gegevens van https://www.tweedekamer.nl/kamerstukken/stemmingsuitslagen zouden hiervoor wellicht als basis kunnen dienen.

[Cerberus_tm]

Goeie! Dit zou ik ook heel graag willen zien, b.v. op basis van de stellingen uit de vorige Stemwijzer en de stemmingsuitslagen.

[P_Tingen]

Dat kan. ProDemos heeft ook een StemmenTracker. Dat is ook een soort stemwijzer, maar dan inderdaad op basis van echte wetsvoorstellen die in de afgelopen jaren zijn ingediend. Je krijgt het wetsvoorstel te zien (in een korte zin uiteraard) en kunt voor of tegen stemmen. Jouw keuzes worden dan vergeleken met het stemgedrag van de politieke partijen.

De stemmentracker is nu niet bereikbaar, want je komt nu op de stemwijzer terecht. Geen idee of het nog weer terugkomt, maar dan zou het via www.stemmentracker.nl moeten zijn.

Wel interessant om te doen, want bij mij kwam er al een partij uit waar ik zelf verbaasd over was.

[coolmos]

Dat kan!

De Correspondent heeft al het voorwerk al gedaan.

Bij watstemthetparlement.nl staat alle data op een rijtje. En als je zelf wat data wilt hebben kan dat ook.

[atlaste]

Ik zou "dat kan" graag een stuk willen nuanceren.

De issues zijn nl. dat (1) zoekmachines hier niet voor gemaakt zijn omdat ze (bewust) ontworpen zijn om false posives te verbergen en (2) je geen inzicht krijgt in false negatives - en de conclusie die je trekt over partijen dus wellicht niet correct is. Meer details: https://decorrespondent.n...7-18b4e7a1#comment-249669 .

Wat je er wel van krijgt is een "eerste indruk", vooral op basis van de documenten die je kan lezen.

[Red Boll]

Ah, wist niet dat dat bestond! Nice!

[Sandertje1980]

Deze stelling suggereert echter ook dat voor een 'goede' stemwijzer de voorspelde uitslagen bij random input ongeveer (statistisch) gelijk verdeeld zou moeten zijn. Welnu, dat kan je testen en dat heb ik dus gedaan. (Broncode is beschikbaar via github)

De conclusie: de resultaten zijn helemaal niet ongeveer gelijk verdeeld. Sterker nog, er is een sterk verband met de werkelijke verkiezingsuitslag. En ondanks dat de correlatie minder sterk is dan de correlatie met de media (die verschillen zijn echt scary klein), is het nog steeds een issue.

In je analyse heb je vergeleken met de verkiezingsuitslag van 2010, niet die van 2012:
https://nl.wikipedia.org/wiki/Tweede_Kamerverkiezingen_2012
Ik denk dat je per ongeluk de eerste tabel hebt gekopiëerd.

Wat niet wegneemt dat de resultaten niet gelijk verdeeld zijn. Maar een verband met de verkiezingsuitslag zul je nog een keer moeten checken met de echte verkiezingsuitslag

Ik denk trouwens dat het onmogelijk is om een 100% gerandomiseerde stemwijzer te maken. Je zou dan stellingen moeten kiezen waarbij er zo min mogelijk overlap is tussen de partijen. Dit lijkt mij een schier onmogelijke opgave. Dus zal er altijd een partij zijn die relatief veel afwijkende antwoorden heeft en deze krijgt dan een grotere kans om als advies uit de bus te komen.

[Reactie gewijzigd door Sandertje1980 op 26 juli 2024 12:23]

[atlaste]

In je analyse heb je vergeleken met de verkiezingsuitslag van 2010, niet die van 2012:

I did?.. HMM Dat zou wel een stomme fout zijn... ga ik nakijken! Dank je wel. (Ik had denk ik overigens niet de wikipedia als bron gebruikt, maar iets van de rijksoverheid)

Ik denk trouwens dat het onmogelijk is om een 100% gerandomiseerde stemwijzer te maken. Je zou dan stellingen moeten kiezen waarbij er zo min mogelijk overlap is tussen de partijen. [...]

Klopt: je wil stellingen die telkens een binaire verdeling maken, waarbij de overlap minimaal is en gebalanceerd op het 'midden'. Geinig detail: als je kijkt onder de 'antwoorden' in de huidige stemwijzer, zijn ze meestal sterk gepolariseerd naar 'eens' of 'oneens'.

Ik denk niet dat het onmogelijk is, maar wel lastig. Ergens hier beschrijf ik een methode die denk ik redelijke resultaten zou moeten geven. E.e.a. hangt ook samen met de manier waarop gewerkt wordt (een score-systeem ipv. bijv. een of meerdere decision tree's -- die laatste zijn makkelijker te balanceren).

Maar waar het me eigenlijk om gaat is de invloed die zo'n tool uitoefent tov. de kwaliteit van vraag en antwoord. Je kan m.i. niet zomaar vragen of je 'uit de EU wil stappen', zonder dat mensen weten wat de EU nou eigenlijk allemaal doet.

-- *update*

Heb het aangepast.

[Reactie gewijzigd door atlaste op 26 juli 2024 12:23]

[nuveo]

Het is heel simpel te verklaren hoe de "SijmenRuwhofiseenlul" in hun data terecht is gekomen.

Alle berekeningen van de Stemwijzer vinden client-side plaats, maar helemaal aan het eind wordt er door middel van een AJAX request naar de server gestuurd welke antwoorden je hebt gegeven. Dat is een simpele JSON dictionary met als key het ID van de vraag, en als value jouw antwoord.

Iemand heeft simpelweg de developer console er bij gepakt en in de te versturen JSON het ID van één van de vragen gewijzigd naar "SijmenRuwhofiseenlul" of "1337", waarna dat 1 op 1 is overgenomen in hun opslag.

Nee, dat is niet netjes (nooit user input vertrouwen!), maar in de nieuwsberichten hierover zoals bij http://nos.nl/artikel/215...it-onder-de-motorkap.html ontbreekt ook wel weer elke vorm van nuance.

[WhatsappHack]

Interessante vondst, vroeg t me ook al af. Nice!

Hee wat leuk trouwens, een artikel van Joost Wist niet dat ie bij de NOS was gaan werken, lees die site normaliter nooit.
Verder nuanceert hij het toch wel trouwens? Er staat netjes beschreven dat het niet zeker is hoe die data in Stemwijzer terecht is gekomen en dat het een actie van derden kan zijn.

[nuveo]

Het wordt vooral niet goed duidelijk gemaakt dat de impact van deze actie waarschijnlijk zeer beperkt is. Als je als leek de headline ("stemwijzer scheldt hacker uit") en het artikel ("die claimt de Stemwijzer te hebben gemanipuleerd") leest, krijg je al snel de indruk dat de stemwijzer gehacked/gemanipuleerd is óf dat de programmeurs ervan niet te vertrouwen zijn.

Maar met een beetje inzicht zie je dat dit sowieso helemaal los staat van de adviezen die de stemwijzer geeft, en dat de impact ook wel weer meevalt. Het is beter te vergelijken met iemand die spam achterlaat in de comments op een blog, dan met termen als manipuleren.

[WhatsappHack]

Oh zeker, het riekt een beetje clickbaiterig - dat ben ik met je eens..

[nieuwveen]

Ja of ze hebben na het testen de result tabel niet geleegd

[Allovich]

Als dit tijdens het testen er op die manier in is gekomen en het nu alsnog mogelijk is om op deze manier random bagger als user input te geven, dan nemen ze dus de beveiliging helemaal niet serieus. Dat zou nog veel erger zijn.

[datadevil]

http://blog.maniac.nl/ind...en-stemwijzer-zoetermeer/ . Daar was de telling voor

[Verwijderd]

Nou kweenie maar dat is een artikel uit 2006, 11jaar geleden dus dat lijkt me sterk.

[datadevil]

ik weet wel, dat is de oorspronkelijke opzet, was tot tijdje terug ook zo in de nationale stemwijzer. Alle complottheorien ten spijt, de waarheid is helaas wat simpeler.

[PCR]

Ik ben Loran Kloeze, de genoemde beveiligingsonderzoeker. Leuk maar vooral erg goed dat jullie er aandacht aan besteden, zowel Tweakers als de tweakers die reageren.

Vandaag is de meeste gestelde vraag aan mij geweest: 'waarom ben je op zoek gegaan naar problemen rondom de beveiliging/privacy op de website van de StemWijzer?' Gistermiddag tijdens het invullen van de stemwijzer heb ik de dev tools ernaast gehouden omdat ik dat interessant en belangrijk vind bij dit soort websites. Een boel stemgerechtigden gebruiken het als leidraad voor de aanstaande verkiezingen. Dat was al een operatie op zich wegens de ernstige overload. In ieder geval, tijdens het klikken op de buttons bij de vragen zag ik voortdurend een requestje naar Google Analytics gaan. Opvallend en dat heb ik op Twitter gemeld. De verontwaardiging op Twitter was groot dat Google zo'n gedetailleerde tracking mocht uitvoeren op zoiets privacygevoeligs als een stemwijzer.

Vervolgens ben ik verder gaan zoeken naar andere privacygevoelige zaken. En met dezelfde dev tools zag ik dat de keuzes én het stemadvies allemaal werden teruggestuurd naar de server van de stemwijzer. Je kunt een discussie voeren of dat moet kunnen. Maar wat mij betreft buiten discussie staat, is dat je het verzamelen van die data netjes en duidelijk moet melden aan gebruikers van zo'n tool als een stemwijzer. Dan kunnen ze zelf bepalen wat ze willen doen. Het blijkt overigens zo te zijn dat de geanonimiseerde data aan de Universiteit van Amsterdam wordt aangeboden voor studiedoeleinden. Maar daarmee is de stemwijzer ineens wel een stempeiler geworden.

Tenslotte ging ik nog wat verder zoeken in het netwerkverkeer en ik zag dat er aan het einde van de vragenlijst een php-script aangeroepen werd. De response van dat script bevatte een lijst met id's met daarachter een getal. Die id's bleken te corresponderen met partijnamen. Die koppeling tussen id en partijnaam haalde ik uit de html-source. Dus nu had ik een lijstje met partijnamen met daarachter een getal. En de verhoudingen tussen de getallen kwamen verdacht veel overeen met hoe de partijen ervoor staan in de huidige peilingen. Dit leek mij dus een lijst met hoe vaak een bepaalde partij was geadviseerd aan een gebruiker. Zie mijn tweets voor de lijstjes zelf.

En dat verhaal met Sijmen Ruwhof zal iets van een oude fittie te zijn. Dat weet ik niet precies. Wat ik wel weet is dat de gebruikersinvoer blijkbaar onvoldoende werd gefilterd waardoor je gegevens kon toevoegen aan de database. Dat is dus een ernstig veiligheidsprobleem. Iemand anders heeft dus die injection gedaan. Het lijkt geen zuivere SQL-injectie te zijn maar meer een ingebouwde mogelijkheid om velden toe te voegen. Beetje speculatief omdat een andere persoon dit uitgevoerd heeft. Ik heb het alleen maar geconstateerd in dit geval.

Kortom, 3x een privacy-gerelateerd probleem en 1x beveiligings-probleem en dat was alleen nog maar door mij gezien. Wie weet wat een ander nog vindt. Dat alles was voor mij voldoende aanleiding om te adviseren de stemwijzer eens even offline te doen, de beveiliging te testen/oppoetsen en hem vervolgens weer online te zetten.

[derkesthai]

Ik neem aan dat Google Analytics is gebruikt om het gedrag van de gebruikers te analyseren. Dit is voor de beheerders van StemWijzer neem ik aan. Ik weet niet wat in de voorwaarden staat van Google Analytics staat over het delen van deze gegevens. Ik weet niet precies wat er in de voorwaarden van Google staat, maar vind het nogal een aanname om zomaar aan te nemen dat Google deze gegevens zelf kan gebruikren.

[Dingen]

Google kan deze gegevens gebruiken. Dat is de hele reden dat ze Analytics überhaupt gratis aanbieden. Ze zeggen hier zelf het volgende over: https://www.google.com/policies/privacy/partners/

[friend]

Als Google zou willen, dan kunnen ze aan de hand van al beschikbare informatie waarschijnlijk een beter advies geven dan de stemwijzer. Daar hebben ze stemwijzer niet voor nodig. Net zoals (zeker voor diegene met een Android telefoon) geslacht, leeftijd, geloof, (al of niet uitgesproken) seksuele voorkeur, hoeveel je verdient, wat je werk is, waar je woont, waar je werkt, wat je status is en hoe het met je relatie is, waar je op vakantie zou willen en waar je werkelijk naar toe gaat, of je vegetariër/veganist bent, etc, etc, etc.

[derkesthai]

Thanks!

Ik zie alleen wel in dat een deel van deze gegevens juist nodig is om Analytics te kunnen laten werken.

En je kunt een opt-out doen m.b.v. add-on in Chrome - maar dat is natuurlijk weer browser afhankelijk. Wellicht is het nodig / wenselijk om een website te laten vragen of het OK is om je data naar GA te sturen. Ik begrijp dat het voor een website weldegelijk zinvol is om Analytics te gebruiken. Maar in sommige gevallen we twijfelachtig ja.

[Lennart-IT]

Tjah, men had dan net zo lief PIWIK kunnen gebruiken die dezelfde inzage mogelijk maakt, waarbij de gebruikersdata in bezit van StemWijzer blijft en de privacy van de gebruikers niet met derden worden gedeeld.

Websites die remote fonts van google, remote scripts en google analytics op hun website toepassen schenden massaal onze privacy. Zelfs overheids, onderwijs en ziekenhuis websites doen dit.

[Allovich]

Bij de volgende verkiezingen staat er Lorankloezeiseenlul

Persoonlijk vind ik het erg goed dat je de tijd ervoor neemt om dit uit te zoeken. Het laat maar weer zien dat ook deze partij kennelijk helemaal niet zo transparant handelt en privacy en beveiliging niet op nummer één hebben staan.

Dat terzijde heb ik het idee dat de 'grote oudere' partijen in de uitslagen veel te veel naar voren komen. Het hele partij programma van bijvoorbeeld de Piraten partij heb ik van A tot Z doorgelezen en moet zeggen dat ik mij hier inhoudelijk héél goed in kan vinden. Kwam deze partij naar voren uit deze stemwijzer? Nope.

[MenN]

Neem dan even de moeite om de redenatie van de PPNL bij elke vraag te lezen. Ik merkte dat bij sommige stellingen waar ik een verschil had met een bepaalde partij de redenatie van die partij mij just veel meer aansprak dan de originele ja/nee stelling.

En dit zul je altijd hebben met zo'n korte vragenlijst. et is natuurlijk ondoenlijk om elk punt uit elk partijprogramma te behandelen, dus wordt er een soort middenweg gevonden met betrekking tot die stellingen. Dus grote partijen zoals VVD/PVV hebben door middel van hun partijprogramma's natuurlijk meer invloed op die stellingen dan een partij die nog geen zetel heeft.

[jqv]

Dat de piratenpartij niet naar voren komt, kan zijn omdat je antwoorden geeft die meer neigen naar andere partijen.
Er zijn meerdere partijen die namelijk op onderwerpen weinig tot niets verschillen. En als er iets gevraagd wordt waar jij achterstaat (of neit) en de piratenpartij heeft een ander inzicht, dan kan het zomaar zijn dat er een ander voorstel komt.
Daarentegen verschillen de partijen niet ze heel veel van elkaar. Vaak alleen op details.

Ik kwam als sp-er (ik kom er voor uit) wel op vooral de links georienteerde partijen uit. Met de PVV achter SP, PvdA en groenlinks. Terwijl ik nooit op de PVV zou stemmen....en de verschillen waren niet groot qua percentage (sp 79 % en PVV 61 %)

[Verwijderd]

Dus iemand die geen relatie heeft is een homo. Interessante gedachtengang.

[jqv]

Dus omdat jij denkt dat Rutte homo is en er niet voor uit komt, maakt het dat je een andere partij kiest?

Wie ben jij om te bepalen of hij uit de kast komt of niet? Voor dit soort opmerkingen kan ik geen respect op brengen.

Een persoon bepaalt toch lekker zelf wat ze willen delen met hun omgeving/maatschappij.

[Blizz]

Erger nog:

Kortom, 3x een privacy-gerelateerd probleem en 1x beveiligings-probleem en dat was alleen nog maar door mij gezien. Wie weet wat een ander nog vindt.

alleen door jou gemeld*
wat een ander al heeft gevonden*

[PCR]

Mocht je nog een update 3 erin willen gooien. Alle punten van kritiek heb ik opnieuw getest en ze zijn allemaal opgelost. Het is met een breekijzer uitgevoerd: alles van Google is eruit gesloopt en er is na het laden van de landingspage geen enkel moment van communicatie meer met welke server dan ook.

[Verwijderd]

Nou, eind goed al goed, I guess Bedankt voor je werk.

Blijft de vraag voor mij hoe verstandig het is zo'n stemwijzer te doen. Je zou toch maar beinvloed kunnen worden in je keuze, en ik denk niet dat zoiets complex als een stemkeuze goed kan worden ingeschat door een lijstje korte vragen

[Blizz]

Het is met een breekijzer uitgevoerd:

Wat een fantastische reactie! Vette plus voor Stemwijzer.

[WhatsappHack]

Absoluut niet. Ze hebben dat gedaan omdat ze gedwongen werden door AP en ACM. Eerder hadden ze zelf de trackers juist gewoon weer terug aangezet. Als ze eerst een waarschuwing moeten krijgen van AP/ACM voor ze hun brakke zooi fixen, dan verdienen ze absoluut geen complimenten.

[Reactie gewijzigd door WhatsappHack op 26 juli 2024 12:23]

[Blizz]

Aha, dat is niet wat PCR zei. Het andere artikel had ik over 't hoofd gezien! Inderdaad, als dit hun eerste reactie was, dan zat het goed, maar dit is het tegenovergestelde.

[zap8]

"Met het uitzetten van de #stemwijzer stats-engine is de versie voor mensen met een visuele beperking onbruikbaar geworden."

Bovenstaande is tweet van Edwin van der Palen. Link naar tweet hier:
https://twitter.com/EdwinvdP/status/828906340332556288

Wil je tweets en dus ook laatste nieuws van beveiligingsonderzoeker Loran Kloeze die de boel aan het licht bracht volgen. Link naar zijn twitter account:
https://twitter.com/LoranKloeze

[GEi]

Een 'foutje' kan gebeuren, maar bewust Google Analytics mee laten kijken, daar is onvoldoende over nagedacht, denk ik.

[Reactie gewijzigd door GEi op 26 juli 2024 12:23]

[aliencowfarm]

Helaas is privacy een onder gesneeuwd gedachten tegenwoordig. Men heeft maar al te graag jQuery, Google fonts en ander CDN spul op hun website. Zonder er over na te denken dat je hier mee de privacy van je bezoeker mee schaad.
Ben helaas een van de weinigen die zich hier aan irriteert.

[Verwijderd]

Er zijn meer mensen die zich eraan ergeren.
Ik heb een commerciele website die ik heb gemaakt bewust trackerloos gehouden, maar omdat er nogal wat grafieken en tabellen op staan ben ik daarvoor toch bij Google (graphs) terechtgekomen. Deze bevatten echter nooit gebruikersdata, daarvoor gebruik ik gewoon het table statement.

Mocht je trouwens een alternatief weten dan zou je me er een groot plezier mee doen.

[fan1200]

Wanneer jij zelf in bezit bent van de data en je wilt er grafiekjes van maken kan ik het volgende aanraden: http://morrisjs.github.io/morris.js/

Reeds heb ik hier gebruik van gemaakt, was simpel om op te zetten, je hebt keuze uit verschillende types en is redelijk instelbaar. Beetje offtopic maar misschien heb je er iets aan.

[Verwijderd]

Dankje, maar zo te zien kom ik daar -net- niet mee weg.
Ik kan 'm eens mailen om te zien of hij het wil aanpassen.

Maar goed, het is wel erg off topic.

[Qunix]

Er zijn meerdere hoor... Ik ben er ook eentje van.
Check dit: https://vimeo.com/190855745 (49:49 voor het antwoord waar wij naartoe moeten gaan met "data")

Juist op een website als StemWijzer zou dit niet mogen gebeuren. Wij, met technisch verstand, veroordelen hen. De leken die NOS volgen snappen er niks van. Daarom wordt zulke nieuwsitems ook anders beschreven, alsof het niet erg is lijkt wel...

[Reactie gewijzigd door Qunix op 26 juli 2024 12:23]

[aliencowfarm]

Ik doelde niet echt op lokale gebruikers gegevens die gekoppeld wordt. Maar meer op het feit dat alles wat je extern laad gebruikt kan worden om bezoeker gegevens te dataminen. Ip adres, browser gegevens ect...

Ik weet niet of dit iets is: Javascript Graphs and Charts libraries
Heb me niet echt verdiept in kaarten en grafieken.

[Verwijderd]

Snap ik, ik ook niet.

Ik zal eens gaan kijken of ik er wat mee kan.
Ik heb in 1e instantie voor Google Charts gekozen omdat ik -iets- moest kiezen en er al genoeg keuzes te maken waren.

[Iblies]

Nee hoor, afnemer wil een goed werkend product. Daarbij kan de leverancier zelf ook meedenken in hoeverre zijn speelveld is en bij twijfel overleggen.

Bij landelijke verkiezingen moet je zeer terughoudend zijn met externe partijen. Sowieso geen partijen die op twijfelachtige manier heel veel data verzamelen en die op commerciële weer verhandelen.


Ik vermoed dat wanneer er een persoon in een pak met een uurtarief van meer dan €100,- er automatisch een vertrouwen ontstaan.

[Reactie gewijzigd door Iblies op 26 juli 2024 12:23]

[b2vjfvj75gjx7]

Helaas is privacy een onder gesneeuwd gedachten tegenwoordig. Men heeft maar al te graag jQuery, Google fonts en ander CDN spul op hun website. Zonder er over na te denken dat je hier mee de privacy van je bezoeker mee schaad.
Ben helaas een van de weinigen die zich hier aan irriteert.

Maar gelukkig niet de enige

KNAB bank laadt via https oa. extern-http in, issue?

[Reactie gewijzigd door b2vjfvj75gjx7 op 26 juli 2024 12:23]

[mannowlahn]

Ik moest meteen hier weer aan denken. Is het inmiddels opgelost bij KNAB of hanteren ze nog steeds dezelfde mentaliteit daar?

[Wraldpyk]

Het was binnen enkele uren opgelost! (staat in diezelfde thread)

[Reactie gewijzigd door Wraldpyk op 26 juli 2024 12:23]

[b2vjfvj75gjx7]

Ik moest meteen hier weer aan denken. Is het inmiddels opgelost bij KNAB of hanteren ze nog steeds dezelfde mentaliteit daar?

Nee, het is niet opgelost - eerst laadden ze +/- 35 tracking-scripts in (ook over normaal http) en na de melding, een paar dagen later, nog iets van 25 tracking-scripts.

Het was binnen enkele uren opgelost! (staat in diezelfde thread)

Volgens hun is het opgelost, volgens mij niet

Ze laden nog steeds 20+ externe tracking-scripts in, in de back-end van hun semi-beveiligde omgeving... dus zeer veel externe partijen weten exact wat je daar doet, inclusief 2 screen-capture scripts.

[aliencowfarm]

Had het gelezen is inderdaad niet iets wat je verwacht van een bank website. Misschien leuk voor je Facebook 'Heb net rekening zus en zo betaald woohoo....' doh

[mekkieboek]

Hier nog een die zich daaraan irriteert. Ook goedbedoelde sites met medische informatie bevatten de google analytics tag. Zoek je bijvoorbeeld naar info over griep, google doet ip-adres[mekkieboek]->hits[griep] ++

Nou ja 'deed' want geruime tijd staat in mijn hosts.block van dnsmasq:
$ grep "google-analytics" /etc/hosts.block
192.168.1.2 www.google-analytics.com
192.168.1.2 www-google-analytics.l.google.com
192.168.1.2 ssl.google-analytics.com
192.168.1.2 ssl-google-analytics.l.google.com

[Keypunchie]

Google Analytics is een makkelijke manier voor statistieken verzamelen voor jezelf.

En superpopulair, want gratis. Maar ja, iedereen (inclusief webdevs) vergeet dat je daarmee als site zelf ook "produkt" bent geworden.

[dragonsoldier]

Ik raad iedereen aan om ipv google analytics piwik te gebruiken. Dit is een gratis, opensource alternatief, die op je eigen server draait. Werkt net zo goed als google analytics.

Geen van de sites die ik bouw bevat code van google, facebook (like buttons) of andere third party providers. Alles draait op mijn eigen server. Dit om mijn bezoekers te beschermen, ik vindt niet dat ik als developer het recht heb om informatie over mijn bezoekers door te spelen aan google of facebook.

[Reactie gewijzigd door dragonsoldier op 26 juli 2024 12:23]

[Wraldpyk]

Om even offtopic te gaan, Heeft Piwik ook app support? Ik zie alleen website support in de demo. Maar dingen als App versie, OS versie etc is relevante data voor apps

[b2vjfvj75gjx7]

Ja, je kan alles tracken met PIWIK.

Zelf gebruik ik het om - geanonimiseerde - data van mijn apps te vergaren;

Welke pagina's in de app scoren goed, welke buttons scoren minder, wat is het aandeel van Android 4.x met een Sony-toestel, hoe ziet de terugloop van WP 8.x er uit, etc...

Je moet wel een Webview-component (1x1 pixels, kan onzichtbaar) in je app zetten - omdat het via javascript gaat, dus dat moet wel uitgevoerd worden (of statisch, via een image die weer naar piwik.php verwijst).

[Wraldpyk]

Ah, dat is wel een grote tekortkoming helaas. Webviews in elke pagina inladen vind ik een beetje overkill

[BertBertjes]

Sijmen Ruwhof is een beveiliginsonderzoeker die een aantal lekken heeft gevonden in de Stem software.

[Martinspire]

Sowieso is er amper nagedacht. Een wordpress site, een simpel script en that's it. Niet alleen de subsidie onwaardig, maar ook nog eens ongelofelijk afgezet. Hoe kan B.V. Nederland hiermee akkoord gaan?

[Verwijderd]

B.V. Nederland heeft er geen verstand van en denkt dus dat het wel best is

[De_Delph]

Ik heb die StemWijzer ingevuld, nu weet Google dat ik als advies '50 plus' heb gekregen. Ze hebben dus niets aan die data! Mij krijgen ze niet!

[pietje63]

Ze weten ook op 30 heel persoonlijke vragen jouw voorkeur? Ook weten ze welke deelgebieden jij het belangrijkst vindt?

Wellicht kom je uit op 1. piratenpartij en 2. dierenpartij. Als de dierenpartij ziet dat jij kilometerheffing erg belangrijk vindt, kunnen ze jou advertenties laten zien dat zij voor kilometerheffing zijn (ook al geven ze daar geen snars om). Als ze daarnaast zien dat jij geen fan bent van 21% btw op dierenvlees dan kunnen ze bewust dat punt uit hun programma minder benadrukken in hun "persoonlijke campagne aan jou".

Het gevolg: door de op maat gemaakte advertenties krijg je een verkeerd beeld bij de dierenpartij en stem jij daarop. Vervolgens verbaas jij je erover waarom de politieke partijen jouw ambities niet waarmaken.

Ik ben meestal redelijk nuchter in Google, maar hier zie ik toch echt gevaren in.

[nota bene: no flame intended, en niet persoonlijk bedoeld. De jij vorm schrijft alleen makkelijker]

[Reactie gewijzigd door pietje63 op 26 juli 2024 12:23]

[Zumpelvelder]

Dat de data niet klopt wil niet zeggen dat ze daar niet van uit gaan. Je hebt nu de rest van je leven het '50 plus' labeltje. Dus binnenkort kun je reclame voor rollators verwachten als je je adblock even uit zet.

[De_Delph]

Gelukkig maar, ik ben die reclames over babyvoeding helemaal zat aan het worden! (male, 30s, no kids)

[Martinspire]

Dus binnenkort kun je reclame voor rollators verwachten als je je adblock even uit zet op tweakers.

FTFY

[Zumpelvelder]

Dus binnenkort kun je reclame voor rollators verwachten als je je adblock even uit zet op tweakers.

FTFY

[Martinspire]

Je zet hem toch niet even uit maar gewoon permanent

[Piet_Piraat7]

Hoe kan dit miljoenen per jaar kosten en zo slecht zijn?

[P_Tingen]

Ik gok dat de inkomsten van ProDemos niet alleen naar de stemwijzer gaan. Ze doen nml aardig meer dan alleen de stemwijzer. Mijn dochter werkt bij ProDemos en gaat bij scholen langs om kinderen (basisonderwijs en voortgezet onderwijs) kennis te laten maken met de democratie en met onze rechtsstaat. Ze geeft hier les in en neemt kinderen mee naar gemeentehuis en rechtbank.

Een van de dingen die kinderen bijvoorbeeld doen is het naspelen van een raadsvergadering. Hierbij moeten ze samen discussiëren en beslissen over bijvoorbeeld de inrichting van hun stad of dorp. Ook neemt ze kinderen mee naar de rechtbank om daar een zitting bij te wonen zodat ze kunnen zien hoe dat gaat.

Als ik zie wat voor onzin er soms wordt uitgekraamd over hoe onze rechtsstaat wel of niet werkt, denk ik dat er misschien nog wel wat méér subsidie naar ProDemos mag gaan

Een deel van de inkomsten van ProDemos bestaat uit subsidie van het Ministerie van Binnenlandse Zaken en Koninkrijksrelaties. Daarnaast ontvangt ProDemos voor afzonderlijke projecten subsidie van derden. Eigen inkomsten worden verworven uit de diensten die ProDemos levert aan gemeenten, provincies en andere opdrachtgevers. Voor de StemWijzer Tweede Kamerverkiezingen krijgt ProDemos geen subsidie, de kosten worden zoveel mogelijk betaald uit advertentiegelden.
bron

[Zumpelvelder]

Heb je hier een bron van?

Voor de StemWijzer Tweede Kamerverkiezingen krijgt ProDemos geen subsidie, de kosten worden zoveel mogelijk betaald uit advertentiegelden.

http://www.watstemtmijnraad.nl/Over-ProDemos

[Martinspire]

Geen idee waar het precies vandaan komt, maar Geenstijl vond daar een afbeelding van: http://www.geenstijl.nl/a...ges/prodemosmiljoenen.png

Ik zal zoeken naar een betere bron maar dat blijkt lastiger dan gedacht

Hmm:

Een deel van de inkomsten van ProDemos bestaat uit subsidie van het ministerie van Binnenlandse Zaken en Koninkrijksrelaties en de Tweede Kamer der Staten-Generaal. Daarnaast ontvangt ProDemos voor afzonderlijke projecten subsidie van derden. Eigen inkomsten verwerven we door diensten aan te bieden aan gemeenten, provincies en andere opdrachtgevers. Omdat een deel van onze inkomsten afkomstig is van subsidie, kan ProDemos veel diensten kosteloos aanbieden.
ProDemos volgt de CAO Welzijn en Maatschappelijke Dienstverlening. De cao-schalen gelden ook voor de directeur/bestuurder.
ProDemos staat geregistreerd onder het fiscaal nummer 8230.08.72

https://www.prodemos.nl/over-prodemos/

Maar vanuit advertentiegelden moet het ook makkelijk kunnen met bijna 5 miljoen bezoekers. Ik snap echter, gezien de gebruikte techniek en knowhow, wel waarom er geen subsidie bij hoeft (als het echt waar is wat ze schrijven)

[Reactie gewijzigd door Martinspire op 26 juli 2024 12:23]

[sarcast]

En dáár is het antwoord op het google analytics verhaal!
Hopsa, puzzel is weer compleet!

De heren onderzoekers ( ) van Geenstijl hebben een overzichtje naarboven gehaald.
ProDemos krijgt schijnbaar toch wel redelijk wat subsidie. Maakt die advertentie inkomsten nog vreemder.
http://www.geenstijl.nl/mt/archieven/2017/02/prutstool.html

[Reactie gewijzigd door sarcast op 26 juli 2024 12:23]

[ATS]

Ja, en ze doen dus veel meer dan due stemwijzer. Informeer je nu eens voordat je GS gaat nablaten...

[sarcast]

Is het idee achter die subsidie niet dat het een neutrale en objectieve website moet zijn?
Of ze die subsidie nou voor iets anders ontvangen of niet, gedachten erachter lijkt me hetzelfde.

Komt ook nog eens bij dat als een bedrijf zóveel miljoen subsidie binnenharkt voor overheidswerkzaamheden, ik me sterk afvraag waarom extra inkomsten van een commerciële partij als Google dan nodig zijn?

Winstbejag bedrijf VS privacy en democratie waarborging van een volk.

Hacken door de Russen?? We geven het op een presenteerblaadje aan de Amerikanen!

@hieronder
Overigens zou iets meer inhoudelijk (met bronnen) en iets minder op de persoon af communiceren chique zijn. T.net is geen NUjij.

[Reactie gewijzigd door sarcast op 26 juli 2024 12:23]

[P_Tingen]

Ohja, het staat op GS, dus dan is het waar.

Misschien even nagaan wat Prodemos nog meer doet. Dan is die paar miljoen subsidie peanuts

[Piet_Piraat7]

edit: ik zie dat ze idd meer doen dan alleen de stemwijzer

[Reactie gewijzigd door Piet_Piraat7 op 26 juli 2024 12:23]

[Zak aarde]

ProDemos doet veel meer dan alleen de stemwijzer.

[10 feet high]

Tuurlijk.En ze krijgen ook geen miljoenen subsidies. Niet alles geloven wat je in de commentaren bij een nieuwsartikel leest.

Nu is het gewoon weer aftellen tot de commentaren komen dat het allemaal opgezet spel is, en dat de overheid stemwijzer gebruikt als geheim wapen tegen de oppositie, en dat dan waarschijnlijk op vraag van de US, want er wordt immers een Amerikaans bedrijf in het artikel genoemd.

[Verwijderd]

Overheid + ICT

[Blokker_1999]

Dit is echt geen specifiek overheidsprobleem, alleen willen mensen het graag zo laten overkomen. Alleen weten we bij de overheid wel welke projecten mislukken en hoeveel ze gekost hebben dankzij de openbaarheid van bestuur. In de private sector wordt zoiets gewoon toegedekt en tracht men faalprojecten zo snel mogelijk te vergeten

[Martinspire]

Dit is niet door de overheid maar gewoon een stichting die naar subsidie harkt. De overheid kan zo in zee gaan met een alternatief. En dat moeten ze ook zsm doen.

[Verwijderd]

Overheid + ICT krijgen vooral een slechte naam omdat alles wat daar gebeurt onder een vergrootglas ligt en er altijd politici zijn die uit zijn op hun 5 minutes of fame.

Bij bedrijven worden veel van die dingen gewoon op de grote hoop geveegd en is het niet zichtbaar voor de buitenwereld. Ik draai al bijna 30 jaar mee in de ICT in het bedrijfsleven en heb nog maar heel weinig projecten meegemaakt die niet vertraagd zijn en binnen budget zijn gebleven. En in 1 keer perfect werkte.

[BertBertjes]

Wat ik me eigen dan afvraag, waar werdt deze data dan wel voor gebruikt? Ik vind het raar dat ze deze data opslaan, en al helemaal terug geven aan de gebruiker als je de StemWijzer compleet hebt ingevuld?

[Xubby]

Wat ik me eigen dan afvraag, waar werdt deze data dan wel voor gebruikt? [...]

"... vraagtekens bij het gebruik van Google Analytics op StemWijzer."

Hier dus het antwoord op je vraag: om je het bijpassende verkiezingsprogramma en lidmaatschaps aanbod te sturen (of als advertentie te tonen) van je partij van (mogelijke) keuze in maart.

[BertBertjes]

Een onafhankelijke tool (zoals ze zelf beweren) die de data opslaat, is te belachelijk voor woorden.

[HooksForFeet]

Daar hebben ze de gegevens van alle uitgebrachte stemadviezen niet voor nodig, alleen de gegevens van het aan de gebruiker uitgebrachte advies.

[mashell]

om je het bijpassende verkiezingsprogramma en lidmaatschaps aanbod te sturen

Of nog erger, om je kapot te spammen met reclame voor andere partijen om je op andere gedachten te brengen.

[zap8]

Ook handig voor de Amerikaanse overheid. Google blijft een Amerikaans bedrijf.

[cornebw]

Dit word als het goed is doorgegeven aan de Universiteit van Amsterdam voor onderzoek.

[HooksForFeet]

Daar is niets over terug te vinden, dus dat lijkt me sterk. Bovendien verklaart dat nog steeds niet waarom de stemwijzer-pagina zelf aan het eind van het proces om de statistieken vraagt.

[Framoes]

Dat over de UvA stond in een ander artikel op Tweakers of NOS.nl. Er wordt onderzoek gedaan de de uitkomsten. "Geheel anoniem", volgens de Stemwijzer en de UvA.

[Devion]

Ik gok voor statistieken per partij, % van de bezoekers stemde Y etc, of % van de bezoekers vond dat bericht X geweldig was, etc.

[HooksForFeet]

Maar waarom vraagt de webapp die gegevens dan op, als die statistieken uiteindelijk niet getoond worden?

[Devion]

Beats me - heb nog even gekeken op de twitter feed van Loran maar ook daar kon ik niet zo terug vinden wat het doel was.

[datadevil]

Voorheen werden de resultaten getoond

[Verwijderd]

Het doel zal onderzoek zijn. Wellicht is nu nog niet bekend welk onderzoek precies, maar je kunt als onderzoeker nooit genoeg data hebben. Er zijn altijd wel dingen te verzinnen die je wilt onderzoeken.

[WhatsappHack]

"Kloeze zet daarnaast vraagtekens bij de beveiliging van StemWijzer doordat hij de teksten 'SijmenRuwhofiseenlul' en '31337' aantrof in code van de StemWijzer."

Haha Daar moest ik wel om lachen.
Niet alleen omdat het grappig is dat opeens tegen te komen, maar ook omdat de ironie in dezen haast sarcasme zou kunnen zijn... Het zou namelijk ook een programmeur kunnen zijn die iedereen trollt, omdat hij/zij bij ontwerpfase al problemen zag, maar werd opgedragen het maar "even" te negeren; en het hem erg grappig/ironisch leek dat iemand die opmerking dan tegenkwam als ze t kraken.
... Maar misschien denk ik nu iets te vriendelijk, het kan ook pure rancune/haat jegens Ruwhof zijn uiteraard.

Anyway, wat nog gezegd moet worden: als ik t goed heb begrepen werd dit stukje tekst gevonden in response data, niet in de code zelf?

[Reactie gewijzigd door WhatsappHack op 26 juli 2024 12:23]

[SCiENTiST]

Inderdaad, het zat volgens mij in de dataset, niet in de code. Dus een gebruiker heeft dat waarschijnlijk "ingevuld".

[moozzuzz]

Of Sijmen zelf

[CAPSLOCK2000]

Dat was ook mijn eerste gedachte

[HooksForFeet]

Yep. Dus het kan heel goed zijn dat een of andere lolbroek zelf heeft gekeken welke gegevens de stemwijzer allemaal post, en vervolgens een eigen POST request heeft gestuurd met die teksten erin. Dat de stemwijzer die gegevens dan gewoon zonder enige vorm van validatie opslaat is vrij krankzinnig, natuurlijk. Ik ben benieuwd of iemand al '; drop database; heeft gepost.