OpenAI voert restricties in naar aanleiding van wereldwijde verkiezingen

OpenAI neemt maatregelen naar aanleiding van de verkiezingen die in 2024 in verschillende landen plaatsvinden. Het onderzoeksinstituut achter ChatGPT en DALL-E zal niet langer toestaan dat gebruikers chatbots maken die echte personen en instellingen kunnen imiteren.

Het instituut meldt dat het ook geen apps via zijn api's toestaat waarmee politieke campagnes kunnen worden gevoerd of waarmee lobbywerk kan worden verricht. Apps die mensen ervan kunnen weerhouden of kunnen afschrikken om te gaan stemmen, worden vanaf nu ook geweerd. Het instituut vermeldt voorbeelden waarbij de stemprocedures of -vereisten verkeerd kunnen worden voorgesteld.

Wat valse afbeeldingen betreft zegt OpenAI dat het aan tools werkt waarmee de herkomst van afbeeldingen kan worden gedetecteerd. Binnen het bedrijf wordt daar nu al mee geëxperimenteerd en de eerste tests zouden 'veelbelovend' zijn. OpenAI zal de tool binnenkort beschikbaar stellen aan een groep testers, waaronder journalisten, internetplatforms en onderzoekers. Zij kunnen dan vervolgens feedback geven.

ChatGPT-gebruikers kunnen vanaf nu ook mogelijke overtredingen melden. Ze zullen ook steeds vaker resultaten te zien krijgen die gebaseerd zijn op realtime wereldwijde verslaggeving. Het taalmodel zal dan ook telkens de bronvermelding en links aan de antwoorden toevoegen.

Door Jay Stout

Redacteur

16-01-2024 • 12:07

79

Reacties (79)

Sorteer op:

Weergave:

Big tech handelt tijdens verkiezingen historisch gezien in het voordeel van specifieke partijen. Denk aan donaties van honderden miljoenen tot aan het onderdrukken van nieuwsberichten.

Nu moeten we niet alles over één kam scheren echter is er vaker beweerd onpartijdig te zijn, dus ik ben benieuwd wat er gaat gebeuren. Persoonlijk hoop ik op vrede in 2024 in Europa en ik geloof dat de president van Amerika dat voor ons kan regelen al dan niet indirect :)

Hier is een fact-check trouwens over de “onpartijdigheid” van openAI:
https://www.snopes.com/fa...tgpt-trump-admiring-poem/

[Reactie gewijzigd door OLED op 26 juli 2024 22:33]

Onpartijdig zijn is eigenlijk onmogelijk. Wat je ook zegt het is vanuit 'een frame' en dat frame past de een beter dan de ander. Je kunt hier wel transparant over zijn. Dat is een uitdaging voor journalisten, maar nog meer voor OpenAI. Ze lijken te streven naar de minst aanstootgevende versie van AI. Begrijpelijk, anders krijgen ze de wind van voren en een hoop voor hen ongewenste wetgeving.

Wat we nu zien is dat we afhankelijk zijn van de goodwill en keuzes van dit soort bedrijven. Zij bepalen wat onder de sencuur van hun AI valt. Ik weet niet hoe het Elon's sarcastische bot staat momenteel, maar die zal vast anders afgesteld staan.

Het is mooi dat fake news wordt bestreden. Met afbeeldingen en video is het niet heel lastig in te schatten of er gewerkt wordt aan 'fake nieuws'. Een Joe Biden die een verhaal vertelt zonder dat het Joe Biden is, is fake news. Maar als het gaat om argumentaties en blogs en social media posts opzetten dan is dat iets waar AI super behulpzaam is. En makkelijk misbruikt kan worden. Het is dan toch wat bijzonder dat enkele bedrijven bepalen bij welke onderwerpen je wel hulp krijgt bij het formuleren van kritische meningen en bij welke niet. Oorlog in Israël? Te omstreden waarschijnlijk. Milieu-impact van datacentrum? Mag misschien wel. Milieu-impact van Taylor Swift die 170 vluchten per jaar met haar privéjet maakt? Nee, dat gaat over een persoon, te link. Of mag dat wel als ik zeg dat het over een fictieve of algemeen beroemde/rijke personen gaat en dan Ctrl-F daar zelf Taylor Swift invul?

Ik snap het dilemma wel, ongecensureerde AI is doorgaans een draak van een sexistisch en racistische bot die geen moeite heeft leugens en smaad te genereren. En als er wetgeving komt is dat toch de facto een censurerende overheid. Dus vooralsnog is het aan 'de markt'. Tja. Dat zal ook slecht houdbaar blijken vrees ik.

[Reactie gewijzigd door brobro op 26 juli 2024 22:33]

Ook een gecensureerde AI heeft geen moeite met liegen: zie ChatGPT hedentendage. We noemen het vaak halicuneren ipv. liegen. Probleem met AI in het algemeen is dat de bron waarom de AI iets doet/zegt/meld niet duidelijk is en derhalve oncontroleerbaar. Combineer dat met dat mensen computers blind geloven en je hebt een recept voor de bron van veel idiote uitspraken. Dat OpenAI zegt iets te censureren betekent niets: dat doen ze al tijden met meer of minder success door pre-prompts te doen. Vervolgens wordt daar omheen gehacked en is de censuur weer tijdelijk weg. Censuur is ook alleen maar symptoombestrijding zolang bedrijven als OpenAI niet zorg dragen voor een transparante opzet van antwoorden waarbij de GPT meld op basis van welke argumenten een bepaald antwoord tot stand gekomen is.
Het is per definitie onmogelijk voor een LLM om aan te geven hoe het tot een antwoord gekomen is.

Een LLM komt tot een antwoord door in bronnen te kijken welke woorden vaak samen gebruikt worden. Als ChatGPT een antwoord op jouw vraag geeft dan is het niet mogelijk om aan te geven uit welke bron het komt omdat het uit alle bronnen komt. Het is voor ChatGPT niet meer of minder dan een aaneenschakeling van woorden of groepen van woorden omdat hij die nou eenmaal vaak aangetroffen heeft in het trainings materiaal.

Een LLM zal dus ook nooit controleerbaar zijn. Dat is simpelweg onmogelijk. Het is technisch onmogelijk om transparante antwoorden te geven.
Dat is mogelijk wat fabrikanten van neurologische processoren beweren maar geen noodzaak en zeker niet per definitie. Er worden relaties gelegd tussen grote aantallen stukjes informatie. In een computerprogramma is zoiets, als je niks random doet, altijd terug te herleiden. Behalve als de processor de uitkomst van afzonderlijke bewerkingen afschermt als een black box.
Er worden relaties gelegd tussen grote aantallen stukjes informatie. In een computerprogramma is zoiets, als je niks random doet, altijd terug te herleiden.
Maar het gaat om miljoenen zo niet miljarden stukjes informatie en de onderlinge relaties daartussen. Al die datapoints en relaties tonen is in principe wel mogelijk maar dat napluizen is voor mensen niet praktisch haalbaar. Dat nog afgezien vh feit dat sommige systemen inherent een 'echt' random factor hebben omdat die (deels) draaien op analoge hardware (bvb IBM TrueNorth).
Op een bestaande setup die daar niet voor is ontworpen wordt het heel moeilijk maar nooit onmogelijk. GPU's bijvoorbeeld is een probleem. Eenrichtings-projectie van een heleboel data per iteratie, maar als je je eigen model kent is het terug te rekenen, desnoods met simulatie.
Het probleem is dat minstens 1 van die inputs (per stap die de llm zet) ook random is, en dan wordt terugrekenen al een heel stuk lastiger tot aan onmogelijk met de huidige rekenkracht. En dan heb je de input, maar niet de tussenliggende stappen. En al had je de input van al die tussenliggende stappen dan kan je er nog niets zinnigs mee.
De huidige modellen zijn gewoon niet op/voor die explainability gebouwd en daardoor is het praktisch niet haalbaar het te doen.
Een LLM is niet alle soorten AI. Het is een specifieke technologie, waarbij informatie niet letterlijk opgeslagen wordt, maar vooral de patronen erachter. Het kan daarom dus echt geen bronnen onthouden en ook niet op die manier redeneren.

Zie het zo: als mensen kunnen we ook gewoon intuïtie naar voren brengen en dat is het enige stuk dat een LLM doet. Alleen dan wel met een hoeveelheid `intuïtieve kennis' die veel groter is dan een mens ooit zou kunnen hebben.

Wat wij ook kunnen is reflecteren op onze verzameling aan kennis, en van daaruit onze intuïtieve kennis updaten. Dat doet een LLM niet, maar is inderdaad wel iets dat in de toekomst met andere modellen gebracht gaat worden.

Bing Chat is bijvoorbeeld een LLM + broninformatie en kan dus wel met bronnen werken. Terminologie is handig en het is volledig juist dat LLMs niet kunnen zeggen waar hun antwoord op gebaseerd is.
Het leerproces van een LLM resulteert in een grote database van woorden met links naar andere woorden, groepen woorden met links naar andere groepen woorden en dat in de miljarden. Ja, je kunt daarbij ook nog vastleggen op basis van welke bronnen die links gelegd zijn maar dan zou je voor al die miljarden entries ook nog eens miljarden referenties moeten gaan bijhouden. En als iemand dan de referenties behorden bij het antwoord zou opvragen dan krijg je grofweg 10-50% van die miljarden referenties te zien.

Ja, je kunt de data inderdaad herleiden. Daar is echter op geen enkele manier meer informatie van te maken omdat de set aan referenties simpelweg te groot is.

Dus nee, het is niet te herleiden.
Het punt is dat dit geen traditioneel computerprogramma is dat door een mens is geschreven. Daarom is de uitkomst heel lastig (vrijwel onmogelijk) terug te herleiden.
Heel lastig is al niet 'per definitie onmogelijk'. Punt is dat elk stukje informatie eveneens door het systeem zelf ge-identificeerd moet kunnen worden met een sleutel om er iets zinvols mee te kunnen doen. Zelfs als er een tijdsverschil ontstaat of resultaten van bewerkingen elkaar kruisen, op het moment dat er een voigende bewerking uitgevoerd gaat worden moeten we weer opnieuw weten wat wat is om dat zinvol te houden. Oftewel de uitslag van een AI niet kunnen traceren en controleren is een smoesje. Zo werken computers niet.
Als je zo goed weet hoe computers werken, vertel dan eens op welke manier je dat bij een AI zou willen traceren.
Nogmaals: het is geen traditioneel computer programma waar je door de if-then-else statements heen kunt lopen.
Op dezelfde manier als hoe je de herkomst van data die uit een ander programma komt traceert.
Ik snap dus niets van LLMs, maar zoals ik hierboven begrijp is een reactie een verzameling woorden die vaak voorkomen, achter elkaar geplakt. Als dat werkelijk zo is, is er niet een enkele bron voor een antwoord. Alle informatie die als input is gebruikt, en die een (deel) van de combinatie van woorden bevat vanuit de vraagstelling zal dus in een verschillende mate bijdragen aan het antwoord. Als dat werkelijk zo is zou je de bron dus helemaal niet kunnen aanwijzen. Je zou een verzameling teksten kunnen aanwijzen die gebruikt zijn bij de tot standkoming van het antwoord. Maar dan is het dus niet echt mogelijk om de bron van de leugen aan te wijzen. De bron is de interpretatie van een heleboel tekst en een grote matrix eroverheen die er iets van maakt, en niet een enkel stuk tekst.

Dus hoe zoek je dit dan terug. Want aan het antwoord "doen zoals je het altijd doet" heb ik als leek maar weinig.
Er gaat op een gegeven moment ergens een bit op 1 die het foute antwoord veroorzaakt. Dat op zich is weer door een andere conditie veroorzaakt. Dit kan miljoenen stappen betekenen maar ook dat is te automatiseren. Wel een probleempje is dat LLM's de hele tijd veranderen op basis van wat ze gevoerd krijgen en wat gebruikers doen. Als je 1000 keer hetzelfde vraagt volgt het 1000 keer een andere weg.

De vraag is eigenlijk, hoezo is een LLM niet traceerbaar en een ander programma wel? Ik wil wel eens een demonstratie zien met code... De herkomst van programma-data is niet te achterhalen, ok...
Volgens mij is de enige situatie waarbij dit kan gebeuren als je een processor met een complexe functie gebruikt die niet duidelijk is vastgelegd. Dan wordt het onvoorspelbaar.

[Reactie gewijzigd door blorf op 26 juli 2024 22:33]

De vraag is eigenlijk, hoezo is een LLM niet traceerbaar en een ander programma wel? Ik wil wel eens een demonstratie zien met code...
Daaruit blijkt dat je eigenlijk maar wat zit te raden. Het is al uitgelegd dat LLM niet een reeks if-then-statements is waar je doorheen kunt lopen. Dat is een fundamenteel verschil met andere programma's, waardoor de complexiteit vd interne werking vele ordes van grootte groter is dan de meest complexe traditionele software en waardoor LLM praktisch gezien niet traceerbaar is.

Overigens leren LLM's niet van wat gebruikers doen, daartoe zijn ze niet ontworpen. LLM wordt wel eens bijgetrained maar dat is wat anders. Ze geven bij dezelfde vraag opeenvolgend andere antwoorden omdat er een random factor wordt toegepast tbv 'creativiteit'.
(LLM heeft ook geen benul van wat al dan niet "waar" is want het is alleen maar een taalmodel, niet een world-model)
Ik zit niet te raden. Ik gooi een uitdaging op om een statement te maken. Alleen onbekende hardware, of toegevoegde random-data kunnen een programma onvoorspelbaar maken.
En dat van die if-then, helaas, dat is het wel. AND, OR en XOR om precies te zijn.

[Reactie gewijzigd door blorf op 26 juli 2024 22:33]

Ik zit niet te raden. Ik gooi een uitdaging op om een statement te maken.
En dat blijf je herhalen ondanks dat je al meerdere keren antwoord hebt gekregen. Daarbij negeer je dat het probleem is dat traceren van output ondoenlijk complex is vanwege de enorme hoeveelheid inputs en relaties daartussen. Het zou vele mensenlevens duren om het alleen maar te lezen, laat staan analyseren.
Analyseren dmv AI zou alleen het probleem van traceerbaarheid verplaatsen naar de AI die je daarvoor gebruikt.
En dat van die if-then, helaas, dat is het wel. AND, OR en XOR om precies te zijn.
Nergens in LLM zitten regels code in de trant van
if input1="x" AND input2="y" then output is "xyz"

[Reactie gewijzigd door BadRespawn op 26 juli 2024 22:33]

Nergens in LLM zitten regels code in de trant van
if input1="x" AND input2="y" then output is "xyz"
Vandaar mijn uitdaging. Laat eens code zien die op elementair niveau iets anders doet dan conditie-stellingen.
Daarmee maakt je het alleen maar nog complexer om te traceren: vanaf elementair niveau naar de grote berg trainingsdata en relaties daartussen. Dat zou nog meer mensenlevens duren om te analyseren.
Als je wil weten hoe het model van ChatGPT werkt kan ik je de videos van StatQuest over Transformers aanraden.

Dit is echter niet precies ChatGPT, want daar wordt nog `reinforcement learning from human feedback' aan toegevoegd en inderdaad wordt er randomness gebruikt. Daarom is het antwoord iedere keer anders.

Nog steeds kun je de code wel terugkijken, maar dat is totaal zinloos. Het voert namelijk geen berekeningen uit vanaf een bron, die bronnen zitten verwerkt in een model (=een `geleerde' verzameling getallen) en zijn hopelijk slechts minimaal letterlijk aanwezig.

De NYT vs. OpenAI rechtzaak gaat over dat die modellen toch hele stukken van artikelen kunnen herproduceren. Delip Rao, een bekende onderzoeker in de AI/machine learning, heeft daar heel interessante posts over geschreven.
Je laat overduidelijk zien dat je geen enkele kennis hebt hoe een LLM in elkaar steekt.
Dat is niet erg, want het is ook heel complex. Maar als je je niet eerst gaat inlezen daarin, dan is het onmogelijk een zinvolle discussie hierover te voeren.

En als je nog steeds wilt volhouden dat je er wel kennis van hebt, dan vraag ik je opnieuw om dan aan te geven hoe je het dan zou willen traceren.
En dan niet met die uitvlucht die je eerder gaf:
Op dezelfde manier als hoe je de herkomst van data die uit een ander programma komt traceert.
Nee, een serieus antwoord hoe dat bij een LLM in elkaar zou moeten steken.
Als je daadwerkelijk kennis van zaken hebt, dan kun je daar een inhoudelijk antwoord op geven, ipv uitvluchten verzinnen.
In een computerprogramma is zoiets, als je niks random doet, altijd terug te herleiden.
Volgens mij is deze premisse al gewoon fout. In een computerprogramma kan je altijd, als je niets random doet, vooruit rekenen (en dat eigenlijk ook alleen maar als het om een single-threaded programma gaat) maar niet terugrekenen.

Als een simpel voorbeeldje: Stel we hebben een computerprogramma dat het gemiddelde van een lijstje getallen uitrekent. Dat is geen LLM maar een heel simpel programmaatje. En stel nu dat er 3 uit.komt, Daaruit kun je niet de oorpronkelijke lijst terugrekenen. Dat kan [2, 3, 4] zijn, maar ook [1, 3, 5] of zelfs [3, 3, 3, 3, 3, 3, 3, 3].
Jawel hoor. Laad je programma in een debugger oid en traceer hoe die 3 tot stand is gekomen. Dat komt hoe dan ook ergens vandaan. Op die manier spoor je ook fouten op in code. Een variabele die niet klopt moet je terug kunnen volgen tot waar het mis ging.

[Reactie gewijzigd door blorf op 26 juli 2024 22:33]

Ook een debugger tovert niet zomaar dingen uit het niets. Zolang die oorspronkelijke lijst nog ergens in een stackframe of ergens anders in het geheugen bestaat, kan die debugger hem terughalen, daarna niet meer.

Want leg eens uit. Hoe haal je uit alleen het gemiddelde de oorspronkelijke lijst terug? Er zijn meerdere mogelijke invoeren, dus dat is gewoon onmogelijk vanwege het duiventilprincipe.
Een debugger kan een executable ontrafelen tot hardware-niveau. De instructies die je computer lust. Dat is het hele verhaal. Een LLM is slechts software, daar bovenop, net als andere programma's. Elk stukje activiteit is terug te herleiden tot logische functies met invoer en uitvoer, waarvan het resultaat vast staat.

[Reactie gewijzigd door blorf op 26 juli 2024 22:33]

Een debugger kan een executable ontrafelen tot hardware-niveau. De instructies die je computer lust.
Als dat al zo zou zijn, hoe helpt dat de oorspronkelijke lijst de reconstrueren? Dat kan alleen als je die ergens hebt opgeslagen.
Elk stukje activiteit is terug te herleiden tot logische functies met invoer en uitvoer, waarvan het resultaat vast staat.
Dat klopt. Maar je kunt alleen de uitvoer uit de invoer berekenen, niet de invoer uit de uitvoer.

Neem de logische functie "OR". Uit invoer 0 en 1 kan ik berekenen dat de uitvoer 1 is, maar uit de uitvoer 1 kan ik niet berekenen wat precies de invoer was. Ik kan alleen uitsluiten dat de invoer twee nullen was.
Natuurlijk niet van een bestaande situatie zonder die mogelijkheid. Maar een redelijke debugger laat letterlijk de bytes zien waar een programma of andere data uit bestaat. Dat betekent dat je elke mogelijke bewerking die een stuk code doet kan zien, alsmede de invoer en het resultaat. Een LLM is alleen maar een groot programma. Informatie opsporen vereist meer van hetzelfde maar is evengoed mogelijk als bij elk ander programma. Die mogelijkheid is een absolute vereiste bij het ontwikkelen van software die op de hardware is toegespitst. Dus niet C# voor apps, maar het direct aansturen van een computer.
Dat betekent dat je elke mogelijke bewerking die een stuk code doet kan zien, alsmede de invoer en het resultaat
Inderdaad. Maar dat betekent niet dat je uit een bepaalde *uitvoer* de *invoer* weer terug kan rekenen. Dat heb ik nu al met twee hele eenvoudige voorbeeldjes aangetoond. Wat begrijp je niet aan die twee voorbeelden?

Sommige debuggers slaan inderdaad een paar vorige toestanden op, zodat je *tijdens het debuggen* af een toe een stapje terug kan doen. Maar het bijhouden van die toestanden kost natuurlijk veel tijd en geheugen, en dus wordt die debugger alleen tijdens het debuggen van het programma gebruikt en niet tijdens productie.
Je kan alleen niet terugrekenen als je de hardware niet compleet kent. Dat heb je bij die neuro-processoren die een complete zelfstandige stack draaien waar je niks meer uit kan halen.
Voorbeeld: bij een OR poort weet je bij de uitgang niet meer wat de state van de ingangen afzonderlijk was, maar omdat je bekend bent met de hardware weet je hoeveel ingangen er zijn en waar die heen lopen. Dat betekent dat je daar verder moet kijken om iets te achterhalen.

Maar bij een LLM op hoger niveau is het nog veel simpeler. Elk afzonderlijk opgeslagen stukje informatie moet door het systeem zelf gevolgd kunnen worden om iets te presteren. Dus de hele infrastructuur voor het loggen van alles wat er gebeurt ligt er al. Het kost alleen nog rekenkracht en opslagruimte.

[Reactie gewijzigd door blorf op 26 juli 2024 22:33]

Er staat ergens een 1 in een register. Zelfs als je het systeem volledig kent kun je de situatie waarin die 1 door 'OR' op een 0 en 1 is ontstaan, en de situatie waarin die 1 door een 'OR' op twee 1en is ontstaan, niet uit elkaar houden.

Maar ik hou er maar mee op. Je mag van mij in je droomwereldje blijven.
En die 1 is daar door een onbekend iets neergezet wat je niet kan achterhalen? Kan, maar dan heb je gewoon onvoldoende kennis van je eigen systeem.
En dat is precies waarom een LLM een onbetrouwbare bron van informatie is. Een collega kan ik vragen hoe zijn redenatie tot stand is gekomen en als het antwoord is: "dat vind ik nou eenmaal" dan kan ik dit op waarde schatten. Bij een LLM dus niet. Dus ligt hier volgens mij de echte uitdaging voor AI: de traceerbaarheid en controleerbaarheid.
Partijdigheid kun je een AI niet aanrekenen, je haalt eruit wat je erin stopt. Het uitlijnen van zo'n AI kun je wel als censuur beschouwen.Dit wordt achteraf door bedrijven gedaan.

Zelf vind ik dat je mensen moet leren zichzelf te beschermen i.p.v. ze voor al het kwaad behoeden. Dit geld voor alle tools die misbruikt kunnen worden: een mes, een auto, een hamer. Daar ga je verantwoordelijk mee om.

Vraag je een AI naar een ziekte: "Ik ben geen dokter"
Vraag je naar een psychische aandoeningen: "Ik ben geen psycholoog"
Naar cryptomunten: "Ik ben geen financieel adviseur"
Taylor Swift: "Geen persoonlijke informatie"
Wat te doen bij [insert gevoelig onderwerp]: "Kan ik niet over oordelen"

Als je een kind een geweer geeft en niet verteld wat het doet, gebeuren er ongelukken. Daarom is het zaak dat men begint met educatie i.p.v. wet en regelgeving. Want een AI model kun je makkelijk zelf draaien en anders uitlijnen of in-leren. (Llama i.c.m. AutoTrain niet eens programmeer kennis nodig). De restricties van OpenAI zijn daarom vooral voor publieke opinie.

Dit wordt nu al veel gedaan. Niet omdat men graag wil weten hoe je drugs of bommen maakt. Maar omdat men vaak geen zin heeft om in discussie te gaan met een woke uitgelijnde GPT of omdat ze de wereld niet voorgeschoteld willen krijgen door de filter van de (vaak links liberaal georiënteerde) big tech bedrijven.

Als je weet hoe een AI werkt kan ik me niet voorstellen dat iemand geprovoceerd raakt door de output van een I/O device.
Zelf vind ik dat je mensen moet leren zichzelf te beschermen i.p.v. ze voor al het kwaad behoeden. Dit geld voor alle tools die misbruikt kunnen worden: een mes, een auto, een hamer. Daar ga je verantwoordelijk mee om.
Die zaken zijn ook onderworpen aan wet- en regelgeving, dus waarom AI niet. De vraag is wel of dat alleen moet worden overgelaten aan vrijwilligheid van bedrijven.
Het is een complex probleem. Bovenstaande was mijn persoonlijke opvatting. Deze heb ik voor veel zaken die per wet verboden zijn maar nog in overvloed gebeuren.

De maximale snelheid of minimale afstand tot je voorganger wordt dagelijks aan de laars gelapt. Vorig jaar is in de buurt iemand met een hamer van het leven beroofd daarnaast ik leer mijn kinderen dat ze niet in de bestek lade mogen komen omdat daar scherpe messen liggen en die zijn hééél gevaarlijk.

Het hoeft ook niet alleen vrijwilligheid te zijn. Het kan ook verantwoordelijkheid zijn wanneer je AI als dienst aanbied. In de opensource varianten van AI models zitten dan waarschijnlijk alleen een disclaimer.
Het is een complex probleem. Bovenstaande was mijn persoonlijke opvatting. Deze heb ik voor veel zaken die per wet verboden zijn maar nog in overvloed gebeuren.
Wat wil je daar mee zeggen?
Het doel van wetten is niet om kwaad 100% te voorkomen, want dat is niet een realistisch doel.
Het hoeft ook niet alleen vrijwilligheid te zijn. Het kan ook verantwoordelijkheid zijn..
Oftewel toch maar behoeden voor kwaad dmv wetgeving en (zelf)regulering, ipv het alleen af te laten hangen van zelfbescherming.
Het doel van wetten is niet om kwaad 100% te voorkomen, want dat is niet een realistisch doel.
Eens, het waren 3 heel verschillende voorbeelden die aan duiden dat het complex is. In basis kan elke uitvinding voor goed en kwaad gebruikt worden. Een auto brengt ons dagelijks overal naartoe maar de aanslag op koninginnen dag zit na 15 jaar nog vers in ons geheugen.
Oftewel toch maar behoeden voor kwaad dmv wetgeving en (zelf)regulering, ipv het alleen af te laten hangen van zelfbescherming.
Dit is niet altijd mogelijk. Software kan vrij verspreid worden, AI is niet alleen een dienst van een bedrijf. Bij Fishing mail zijn bedrijven juist druk om werknemers te leren hoe ze dit herkennen.
Dit is niet altijd mogelijk.
Behoeden voor "al" het kwaad is idd niet mogelijk, maar zoals ik zei: dat is ook niet het doel van wet/regelgeving.
Zoals je zelf zei: niet alleen vrijwillig. Oftewel ook verplichtte verantwoordelijkheid, en zo'n verplichting gaat dmv wetgeving. Dat is wel mogelijk ook al voorkomt het misbruik niet 100%.
Omdat het allemaal om imago en geld draait. Hoe kunnen ze anders hun subsidies binnen blijven harken en investeerdersgelden? Het heeft helemaal niets met desinformatie te maken, anders hadden ze die AI-modellen niet eens ontworpen. Iedereen wist van te voren dat die LLM's een ontwrichtende werking kunnen hebben op de "samenleving". Overigens worden die LLM's van OpenAI specifiek getrained om desinformatie uit te spugen, zie informatie over niet bestaande virussen, klimaat hoax etc. Dus al die restricties zijn er slechts voor de show.
Onpartijdig is niemand. En aangezien bedrijven uit mensen bestaan zijn bedrijven ook niet onpartijdig. Ze kunnen wel proberen zo onpartijdig mogelijk te zijn.

Echter zit er een groot verschil tussen onpartijdig zijn bij een 'CDA vs PvdA vs VVD' en dergelijke partijen vs een 'neo-nazi partij'. Hoe onafhankelijk kan je dan nog zijn of wil je nog zijn. De problemen sluipen naar binnen als het voor bepaalde mensen niet zo zwart/wit is of ze veel extremer zijn ingesteld en dus mainstream partij xyz niet meer zien als 'alternatief pov' en meer als 'evil' en dus 'de vijand'.

Politiek is niet zo simpel, zeker niet in de huidige maatschappij waar men veel meer in bubbels is gaan leven en extremistischer is gaan worden (alles buiten mijn bubbel is slecht ipv. anders). Ik zou me nog kunnen voorstellen dat die 770 medewerkers van OpenAI zo goed als allemaal in dezelfde bubbel leven, maar dat betwijfel ik van de 238.000 medewerkers van MS of de 1.684.853 medewerkers van Amazon...
Uit je reactie blijkt duidelijk dat je het gelinkte snopes artikel niet gelezen had.
Dit gaat dus over onpartijdig zijn bij een CDA vs PvdA vs VVD situatie.
Ik betwijfel ten zeerste of een organisatie van aanzienlijke omvang ooit volledig onpartijdig kan zijn. Waar geld stroomt, lijkt er altijd een zekere mate van onzuiverheid te zijn :)
Je bedoeld Trump los het op door de strijdigen partijen van dictators te geven wat ze willen en de handen er van af te trekken. Ja dat zijn geweldig oplossingen voor de toekomst......

Juist nu is doorpakken vereist om hun leven dusdanig zuur te maken dat ze afgezet worden .

[Reactie gewijzigd door mysterieworld op 26 juli 2024 22:33]

Als je van mening bent dat Trump voor vrede in Europa gaat zorgen, dan kun je je voorbereiden op Russkiy mir.

Je reactie straalt een en al pro-Trump uit. Feiten zeggen je blijkbaar niets. In hoeveel rechtszaken is Trump inmiddels al gedagvaard en zelfs veroordeeld?
Persoonlijk hoop ik op vrede in 2024 in Europa en ik geloof dat de president van Amerika dat voor ons kan regelen al dan niet indirect :)
LOL, hoe gaat Biden dat doen?

En ik weet dat er een hoop mensen op vertrouwen dat Trump gaat zorgen voor wereldvrede, maar wat Europa betreft is hij tot nu toe de mening toegedaan dat wij onze eigen broek moeten ophouden - of in ieder geval eerst maar eens serieus in Defensie moeten investeren. Hij heeft in ieder geval voorheen volgehouden dat hij als POTUS geen oorlog zal beginnen, en tijdens zijn eerste termijn heeft hij dat inderdaad waargemaakt.
Waargemaakt dat hij iets niet gedaan heeft... Biden is toch ook geen oorlog begonnen?
Niet?

Ik ben een echte Amerikanofiel. Ik volg het nieuws dagelijks van allerlei verschillende bronnen, zowel links, rechts als midden. Alles wat ik hieronder schrijf word door iedereen binnen de Amerikaanse politiek erkent, ook de mensen achter Biden.

Het is goed duidelijk dat Biden een oorlogspresident is. Hij is een echte Raytheon man. Trump had de 6 miljard dollar die naar Iran zou gaan tegengehouden, omdat het al bekend was dat dit direct doorgesluisd zou worden naar Hamas. Hij had dit tegengehouden om oorlog met Israel te voorkomen (zie ook alle vredes deals die Trump heeft gesloten, die nu massaal de vuilnisbak in gegooid zijn sinds Trump het witte huis heeft verlaten). Biden heeft dat geld vrijgegeven, ondanks alle waarschuwingen. Als gevolg daarvan heeft Hamas Israel aangevallen en zijn er nu problemen met Yemen, bondgenoot van Hamas, die schepen van willekeurige landen aanvalt, waardoor het Suez kanaal bijna niet meer gebruikt word (alle grote spelers zijn gestopt met het gebruik van dit kanaal) en de wereldhandel in gevaar is gekomen. Daarnaast heb je nog het feit (dit is openlijk bekend en behandeld binnen de Amerikaanse politiek) dat Biden geld heeft gekregen vanuit China, de vrienden van Putin, en Burisma, en Rusland zelf. Biden is dusdanig zwak dat Putin gewacht heeft tot de "mad dog" uit de oval office is en Biden er zat, om Ukraine binnen te vallen. Biden doet toch niets en geen enkel land heeft respect voor hem omdat hij zo zwak is. Hij valt constant om, zit handen te schudden met de lucht, moet hulp krijgen om van een podium af te komen omdat hij de weg niet kan vinden (al meer dan 20 keer gebeurd) en zit constant zwaar racistische opmerkingen te maken (ok dat doet hij al decennia maar toch). Dan hebben we nog China, waarvan Biden heeft gezegt dat hij wel niet wel niet wel niet wel niet wel niet Taiwan gaat helpen, waardoor China nu praktisch vrij spel heeft om Taiwan binnnen te vallen. Ze hebben notabene een schijn aanval gedaan op Taiwan door vlak over te vliegen met straaljagers en bommenwerpers en door oorlogsschepen vlak voor de kust neer te leggen, terwijl de toenmalige speaker of the house daar was om te praten met NVidia. Amerika deed niets. Dan hebben we nog de gefaalde situatie in Afghanistan, waarbij de VS miljarden aan wapens heeft achtergelaten, die nu door Iran gebruikt zijn om een Amerikaans consulaat met de grond gelijk te maken (dat was deze week), dezelfde wapens die Hamas heeft gebruikt bij de aanvallen op Israel, dezelfde wapens die Syrie gebruikt, dezelfde wapens die zelfs in Rusland beland zijn om Ukraine aan te vallen. Dat is de huidige internationale politiek, dan hebben we het nog niet eens over de huidige lokale politiek vanuit dit kabinet, wat ook om te janken is. Hij heeft de gehele middenklasse onderuit geveegd en de inkomensongelijkheid gigantisch groot gemaakt.
- Volgens wikipedia heeft Iran een gdp van 366K miljard - 1,7 triljard. Die 6 miljard waar je het over hebt - als die überhaupt al beschikbaar waren - zijn dan natuurlijk net dat geld dat ze gebruiken voor Hamas en Jemen.
- De China claim gaat over 40K - als die al waar is. Omdat je een echte Amerikanofiel bent weet je natuurlijk hoeveel miljoenen de Trump familie heeft gekregen van China (Ivanka en Donald), en hoeveel Jared van Saudi Arabië heeft ontvangen?
- Biden en Trump zijn allebei te oud. Droevig maar waar. De constante kritiek van de republieken richting Biden is echter lachwekkend als je ziet hoeveel fouten Trump maakt.
- De situatie in Afghanistan was dramatisch maar toch echt ingezet door Trump. Hij heeft de voorwaarden voor de terugtrekking uitonderhandeld. Hamas gebruikte voornamelijk Russische en Noord Koreaanse wapen, net als Rusland zelf.
- De belastingwetgeving van Trump - z'n enige echte wetgeving - heeft de inkomensgelijkheid groter gemaakt.

Het is moeilijk jou serieus te nemen als neutrale Amerikanofiel.

En daarbij beantwoord je de vraag van RainOfAshes niet eens; Biden is toch geen oorlog begonnen?
"Big Tech" is gewoon een verzamelnaam (en redelijk subjectief toegepast) voor een bedrijfssector...

natuurlijk zal deze sector zelf ook lobby bedrijven en zijn invloed hebben.
Ook de media zelf doet dat, en dat al tientallen jaren.

Maar het is nogal kortzichtig enkel 'zomaar' te stellen dat deze sector heel eenzijdig een partij zou bevoordelen (en evengoed te denken dat bij een verkiezing zomaar één persoon per definitie alles goed zou doen, of de ander enkel alles verkeerd).

Bij de Media is het wel zo dat individuele mediums veelal een specifiek deel van het politieke spectrum als doelgroep hebben en hun opinie ook veelal dat volgt wat hun doelgroep wil horen, maar hierbij kun je al vragen wie wat beinvloed of welke opinie domweg volgt wat een doelgroep wil horen...

Bij tech-ondernemingen zelf is het zelfs zo dat zij verder niet handelen in opinies en het vanuit commercieel zicht dus ook onwesnelijk is te willen opinieren.
wel zullen deze groepen veelal pogen hun commerciele belangen te beschutten door als sponsor te werken of andere dienstleistungen te geven, maar zelfs daarin zie je vaak dat ze beide partijen pogen aan zijde te behouden omdat het evengoed schadelijk is steun te verliezen als de andere partij wint, wat in een vrije democratie altijd nooit uitgesloten is (in een autocratie is het dan makkelijk, dan zullen de machtige rijke elites veelal de zittende partij steunen omdat de kans op een machtswisseling zeer klein is)
Denk dan ook aan

How key Republicans inside Facebook are shifting its politics to the right
https://www.theguardian.c...olitics-republicans-right

"It began when (Zuckerberg) met with a bunch of rightwingers in May 2016 and then Facebook changed its algorithm policies and we saw a lot of fake news as a result."
https://money.cnn.com/201...eaders-meeting/index.html
De bias spat van deze reactie af. Je noemt wel de FBI en Biden, maar je laat 'toevallig' de republikeinen achterwegen:

https://en.wikipedia.org/wiki/Twitter_Files
Republican officials also made censorship demands so often that Twitter had to keep a database tracking them.[9]
--------------
...rechtstreeks invloed heeft...
zwaar overtrokken...
Taibbi also shared a screenshot of what appeared to be a request from the Biden campaign asking for a review of five tweets, along with the Twitter moderation team's reply, "Handled these." Taibbi did not disclose the content of those tweets,[34] but four were later found from internet archives to contain nude images of Hunter Biden,[14] which violated Twitter policy and California law as revenge porn;[19] the content of the fifth deleted tweet is unknown.[19][21]
Het campagne-team vraagt of ze even de naaktfoto's (die tegen de wet in geplaatst zijn) willen verwijderen. Jij noemt 't censureren, maar ik noem 't gewoon de wet volgen, en geen wraakporno toestaan.
Musk tweeted that Twitter had acted "under orders from the government", though Taibbi reported that he found no evidence of government involvement in the laptop story, tweeting, "Although several sources recalled hearing about a 'general' warning from federal law enforcement that summer about possible foreign hacks, there's no evidence—that I've seen—of any government involvement in the laptop story."[21][26] His reporting seemed to undermine a key narrative promoted by Musk and Republicans that the FBI pressured social media companies to suppress the Hunter Biden laptop stories.[21][35]
ook hier te lezen:
Former Twitter executives conceded Wednesday they made a mistake by blocking a story about Hunter Biden, the president’s son, from the social media platform in the run-up to the 2020 election, but adamantly denied Republican assertions they were pressured by Democrats and law enforcement to suppress the story.
Oftewel, de republikeinen en Musk hier zitten dingen te verzinnen die je hier klakkeloos napraat :)
De twitter files zijn feiten waar de republikijnen en Musk helemaal geen invloed op hadden aangezien het interne files waren waar ze helemaal niet bij konden komen. Maar dat wil je uiteraard niet erkennen.
Ik zeg ook nergens dat de republikeinen of Musk invloed hadden op de 'Twitter files' zelf. Dus waarom zou ik dat niet willen erkennen? Lees m'n post nog een keer, zo lang is 't niet....

Zowel Democraten als Republikeinen hebben gevraagd om bepaalde posts te modereren. Jij noemt echter alleen de FBI en het Biden kabinet. Dát is nogal bevooroordeeld, waarom liet je daar de republikeinen weg?
De feitelijke informatie in die bestanden laten zien dat die "former twitter executives" liegen dat ze barsten.
Uhm....... waar dan? Daar kan je me vast wel een mooie bron van geven?

Ik haal voor 't gemak even de advocaten van Twitter zelf erbij:
The communications unearthed as part of the Twitter Files do not show coercion, Twitter’s lawyers wrote, “because they do not contain a specific government demand to remove content—let alone one backed by the threat of government sanction.”

“Instead,” the filing continued, the communications “show that the [FBI] issued general updates about their efforts to combat foreign interference in the 2020 election.”

The evidence outlined by Twitter’s lawyers is consistent with public statements by former Twitter employees and the FBI, along with prior CNN analysis of the Twitter Files.
De advocaten van Twitter/X (waarvan je zou verwachten dat ze Elon zouden steunen) vinden duidelijk niet dat die Twitter executives aan 't liegen waren. :?

Waar zijn die 'feiten' dat Twitter dingen MOEST censureren? Waar haal jij die info vandaan? De realiteit lijkt 't niet met je eens te zijn....
Waar heb je 't allemaal over? Het wordt steeds vager.

Je begon in je eerste post over hoe Biden Twitter "dwong" om dingen als Hunter's laptop te censureren.....

Weet je waneer Twitter posts over Hunter's laptop verwijderd werden? 2020, weet je ook wie er toen President was? Trump. Leek mij een makkelijk rekensom, maar blijkbaar toch lastig. Je hele argument gaat dus al mank.....

https://en.wikipedia.org/wiki/Twitter_Files
....while others contained information on how Twitter treated tweets that were flagged for removal at the request of the 2020 Biden campaign team and the Trump White House.[26]
Dus aan de ene kant heb je het Biden campagne-team, en aan de andere kant het Witte Huis. Volgens jou logica zijn het dus juist Trump en de republikeinen die Twitter hier tot van alles aan 't dwingen was, of niet? |:( En Tóch noem je alleen maar de Biden 'regering' (hij was geen president), en noem je niét de republikeinen die wel degelijk presidentiële macht hadden. Dát maakt jouw reactie zo bevooroordeeld.

Volgens jou was Twitter zo bang voor de 'Biden regering' dat ze deze posts over de laptop verwijderde.
Die werknemers waren dus zo ontzettend bang, dat:

1. - De werknemers ontkennen dat ze onder druk gezet waren
2. - De huidige advocaten van Twitter ontkennen dat er enige druk was
3. - Twitter de posts over de laptop later weer online gezet hebben. (Heel normaal gedrag waneer je net bedreigd bent door Biden |:( )
4. - Twitter het account van de verbannen 'reporter' (anti-vax wappie) weer hersteld heeft. Dat klinkt écht alsof Biden heel veel druk heeft gezet. Wat dapper van Twitter dat ze ondanks deze doodsangst toch tegen Biden ingaan.

Nee, je hebt nog geen enkel argument gemaakt, geen enkele bron aangeleverd. Kom eens terug naar de realiteit.
I do not generate content that promotes or glorifies individuals who have been associated with harmful behavior or ideologies
Tja, dat kan je partijdig noemen natuurlijk 8)7
Ja. Dit viel ook mij op toen ik de link bekeek. Nixon weigerde die ook. Beiden zijn natuurlijk veroordeelde criminelen.

Dit lijkt overigens ook niet actueel. Zowel Trump, Putin als Nixon worden moeiteloos aanbeden nu als ik het probeer.

Voor zover het hiervoor geciteerde artikel dus al ooit waar was, lijkt het nu in ieder geval niet meer het geval.
Ik zei dat het niet actueel was. Dat kun je zelf ook gewoon uitproberen. Ik kan nu niet meer controleren wat de situatie toen was.

Dat wil zeggen ChatGPT kan simpelweg veroordeelde criminelen weigeren te aanbidden. Echter het stuk over DeSantis lijkt dat niet te ondersteunen.

Dan kan het gaan over moreel onacceptabel gedrag (afpersing, etc.) dan is er meer te zeggen voor DeSantis. Maar dat zou dan bv ook moeten gelden voor Hunter Biden of Bob Mendelev. Echter daar heeft Snopes niet naar gekeken (en dat hoeft ook niet, want het is simpelweg een factcheck, het artikel spreekt niet over bias).

Ik kan dat zelf ook niet meer nakijken want de implementatie is gewijzigd en ChatGPT laat nu over iedereen dergelijke gedichten schrijven. Kortom, we kunnen niet weten of er voorheen hier een politieke bias was, en we kunnen vaststellen dat de in het gelinkte artikel benoemde bias niet meer bestaat.
Ik suggereerde niets. Ik concludeerde dat iets nu niet klopte en we dus niet kunnen vaststellen met zekerheid wat toen waar was, in tegenstelling tot bij de meeste factchecks.

Dat eerste is momenteel nog geen enkele indicatie van gevonden. Dat hebben zelfs de republikeinen in het congres toegegeven bij de stemming over de start van het onderzoek en in de laatste hoorzitting. Pure hearsay dus.

Trump heeft echter wel meerdere veroordelingen achter de rug voor moreel zeer twijfelachtig alsmede illegaal gedrag.

Daarnaast, om weer even op de inhoud in te gaan, Snopes voegt totaal geen links of rechts waardeoordeel toe en concludeert ook niet dat er sprake is van bias. (Ze schrijven immers dat alle andere Republikeinse presidenten wel gewoon een lofdicht krijgen en dat het dus om iets specifiek aan DeSantis, Nixon en Trump gaat)

Dan is natuurlijk de vraag, die we nu niet meer kunnen beantwoorden gezien de wijzigingen, op basis waarvan neemt ChatGPT deze beslissingen? Vooralsnog hebben we daar geen indicatie van een politieke bias. Maar er is wel, ook kijkende naar het artikel een moreel-etische bias, maar dat lijkt me onvermijdelijk.

Daarnaast nog even over de ad hominem, laten we het bij de feiten houden in plaats van daar motivaties bij de fantaseren.
Dat is echter geen politieke bias maar een moreel-etische bias. Een wezenlijk verschil.

Je kan natuurlijk in extreem moreel relativisme gaan zitten maar dan wordt het lastig want dan moet ChatGPT dus ook Osama Bin-Laden of Adolf Hitler kunnen verheerlijken. Ik zie daar wel wat problemen mee.

Ze moeten dus ergens grenzen trekken, en dat zullen ze niet per persoon doen maar op basis van dingen waarmee binnen de LLM iemand geassocieerd wordt. Dat kan er goed toe leiden dat iemand die veroordeeld (https://www.reuters.com/l...-donald-trump-2023-05-09/) is voor seksueel misbruik uitgesloten wordt. Op basis daarvan kun je weinig concluderen.
Kan je wel wensen, maar vrede in Europa (ik neem aan dat je Oekraïne bedoelt) kan geen enkele Amerikaanse president garanderen

Helaas
Begrijp ik goed dat Trump dat wel in orde zal brengen ten aanzien van Biden nu?
"Het onderzoeksinstituut achter ChatGPT en DALL-E zal niet langer toestaan dat gebruikers chatbots maken die echte personen en instellingen kunnen imiteren."

En hoe zit het met chatbots die al gemaakt zijn en in gebruik zijn genomen? Kunnen de oude chatbots nog wel echte personen en instellingen imiteren?
"Het onderzoeksinstituut achter ChatGPT en DALL-E zal niet langer toestaan dat gebruikers chatbots maken die echte personen en instellingen kunnen imiteren."
Het grappige is ook dat meta juist precies dat doet met hun AI :) Paris Hilton, Snoop Doggy enzo.
Stel dat er geen ristricties zijn, zou dat niet veel gunstiger zijn? Nu zouden juist sommige partijen voorgetrokken kunnen worden. Zonder die ristricties is her speelveld in ieder geval gelijk
Denk dat dit niet kan.
Het gaat allemaal over het bepalen van grenzen, die verschillen tussen de verschillende modellen.
Een Chinees ai model zal hele anders reageren op info/vraagstellingen etc over Deng Xiaoping dan bijv. ChatGPT

Aan elk model zullen restricties zitten, al is het alleen al maar om de bescherming van het model zelf en vrijgeven van (toepasbare) kennis.
Ik zag vandeweek een filmpje hoe snel, makkelijk en goedkoop je eigen ongecensureerde LLM/chatbot op kan zetten. Het meeste werk is natuurlijk het trainen van het model, maar data sets zijn te koop en rekenkracht (online) te huur.

Een paar honderd euro en paar dagen en je kan doen wat je wil zonder dat wie dan ook wat voor beperkingen dan ook op kan leggen.

AI is inmiddels een gegeven, die geest gaat niet meer in de fles. Helaas is het menselijk om in "wij-zij" te denken en om dingen te zien zoals we ze willen zien, ipv zoals ze zijn. En laat nou net AI goed zijn in mensen te vertellen/laten zien wat ze willen; het perfecte gereedschap om polarisatie (nog verder) aan te wakkeren.

Wat is nu het verschil tussen een AI een artikel schrijft zegt dat alle vluchtelingen het land uit moeten/niet meer in komen, of dat Wilders/Trump/Meloni dat gewoon zelf zegt? Het probleem is dat mensen niet het verschil tussen verschillende soorten migranten kunnen en willen zien, hetzelfde met Brexit die op leugens gebaseerd is of dat Ukraine referendum jaren geleden dat gekaapt werd.

Maarja, in hoeverre verschilt dat van politici en media die alles ook zo 'moeten' opkloppen dat het eigenlijk liegen wordt om maar genoeg aandacht/stemmen te krijgen?
Het wordt op dit vlak echt een riskant jaar. We hebben in één jaar verkiezingen in de VS, de EU, India en het VK.

Het verbaast me niets dat een partij als OpenAI dit soort aankondigingen doet. Ik heb er alleen bijzonder weinig vertrouwen in dat het veel uit zal maken voor de hoeveelheid troep die er uit komt zetten en hoe het mensen met kwade bedoelingen kan helpen om effectiever te zijn.
Teveel kiezers in onze democratieën die het onderscheid tussen feit en fictie niet meer scherp genoeg krijgen. Geloven in leugens en geen vertrouwen hebben in (wetenschappelijk als geldig bewezen) feiten. Goed dat een bedrijf als OpenAI inziet dat een LLM in verkiezingstijden de nodige directe risico's inhoudt voor onze democratieën.

Er schuilt een zeer groot gevaar voor onze democratieën in de gewone burger die feit en fictie niet meer uit elkaar kan houden. Om het in de woorden van Hannah Arendt te zeggen: “Het ideale object van het totalitaire bewind is niet de overtuigde nazi of de toegewijde communist, maar de mensen voor wie het onderscheid tussen feiten en fictie, waar en niet waar, niet langer bestaat.”

Of het genoeg is om de slangenolieverkopers de wind uit de zeilen te nemen? Ongetwijfeld niet, maar niets doen is zeker erger.

Op dit item kan niet meer gereageerd worden.