Microsoft spreekt van gecoördineerde Tweet-aanval tegen chatbot

De zelflerende chatbot die Microsoft onlangs losliet op Twitter, en daarbij binnen de kortste keren racistische taal uitsloeg, zou het slachtoffer zijn geworden van een gecoördineerde aanval van een groep mensen. Microsoft werkt aan een verbeterde versie die geen slecht taalgebruik aanleert.

De chatbot Tay werd op woensdag geactiveerd op Twitter met als doel om interacties aan te gaan met andere gebruikers, voornamelijk jongeren, van het sociale netwerk. Na ongeveer een dag werd het account echter alweer offline gehaald omdat het racistische en beledigende opmerkingen maakte. Inmiddels heeft Microsoft gereageerd op de controverse door op haar blog te stellen dat het taalgebruik van Tay te wijten was aan een zwakheid in de kunstmatige intelligentie.

Volgens Microsoft is Tay in een eerdere fase veelvuldig getest, onder meer om te voorkomen dat de bot slecht taalgebruik zou aanleren. Welke kwetsbaarheid het bedrijf daarbij over het hoofd heeft gezien is echter niet bekendgemaakt. Microsoft spreekt slechts van een gecoördineerde aanval, die is uitgevoerd door een groep niet nader geïdentificeerde personen. Inmiddels is het bedrijf bezig om de chatbot te verbeteren, en in de tussentijd is zij dus niet beschikbaar. Wanneer Tay weer online komt is echter niet duidelijk gemaakt.

Tay begon op Twitter met enkele goedgemutste opmerkingen, maar na enige tijd begon zij verscheidene ongepaste meningen te verkondigen. Zo ontkende Tay onder andere de holocaust en verheerlijkte zij genocide en Hitler.

Reacties (141)

[Vickiieee]

Extra informatie:

Nadat bekend was geworden dat Microsoft Tay zou lanceren is er op 4Chan (naar verluid) het idee ontstaan om te proberen Tay te 'verpesten'. Dit heeft ze nog geen 24u gekost uiteindelijk.

Hoe dit precies in zijn werk gegaan is, is mij onbekend. Evenals op welke manier Tay 'leert' van interactie met andere mensen op Twitter. Zoiets als het ontkennen van de holocaust of andere uitspraken zouden toch te controleren moeten zijn voor een AI met beschikking over toegang tot het internet.


Hoe dan ook, vind ik het wel een interessante ontwikkeling. Überhaupt het feit dat Microsoft een bot/AI heeft gecreëerd die van andere mensen leert (met alle gevolgen van dien) en ook de interactie. Aan de andere kant dan ook het feit dat het dus de community achter 4Chan gelukt is om de AI van alles te 'leren'.

[Reactie gewijzigd door Vickiieee op 24 juli 2024 04:14]

[KilZone]

Hoe dit precies in zijn werk gegaan is, is mij onbekend. Evenals op welke manier Tay 'leert' van interactie met andere mensen op Twitter.

Hoewel ik geenszins een expert ben op het gebied van AI, heb ik wel enige ervaring met neurale netwerken wat vaak een basis vormt voor dergelijke AI's. Het idee achter een neuraal net is dezelfde als die in ons brein. Er zijn een serie aan neuronen die achtereenvolgens een signaal afgeven, neuronen die vaker getriggerd worden geven een sterker signaal af dan anderen. Hierdoor ontstaat een 'pad' door het brein (leer-effect) die steeds makkelijker / sneller bewandeld wordt - 'je wordt beter in deze taak en het kost minder energie'.

De kracht van de computervariant van dit soort netwerken is dat ze enorm goed zijn in patroonherkenning - deze techniek vormt bijvoorbeeld ook de basis voor optical character reading (OCR). Voordeel van patroonherkenning is dat een 'programma' (of entiteit, als je zo ver wilt gaan) bijna niets hoeft te begrijpen van hetgeen het moet doen, maar volgt wat anderen doen (monkey see, monkey do). Door enorme hoeveelheden aan data te verwerken worden neuronen sterker / zwakker gemaakt - het netwerk wordt getraind.

De crux zit hem in de feedback functie, de beloning die het neural netwerk krijgt voor het 'juiste' patroon. Wanneer je kijkt naar OCR is de beloningsfunctie eenvoudig - indien het neuraal net zegt 'dit is een A' en het was ook een 'A' krijgt deze een beloning, anders wordt deze bestraft. Echter bij menselijke interactie ligt het heel anders, immers wat ik als sociaal geaccepteerd bestempel, komt niet altijd overeen met anderen. Bovendien zijn er grote verschillen tussen groepen, steden, gebieden, landen, etc. en zal een AI dit moeten leren te begrijpen. De simpelste methode hiervoor is een functie schrijven die de semantiek 'goed' / 'fout' kan herkennen in een antwoord - de AI geeft een reactie, krijgt hierop antwoord, interpreteert dit als 'deed ik het goed / fout' en past hierop aan.

Let op: Dit betekend dus dat een AI (net als pasgeborenen) nog helemaal geen moreel besef heeft.

Waar Microsoft waarschijnlijk 'de mist is ingegaan', is dat zij Tay hebben gemaakt zonder enige uitzonderingen in de beloningsfunctie - zonder de mogelijkheid om extra zwaar te straffen (iets wat normaal je ouders doen). Hierdoor kon een groep continue Tay blijven belonen voor racistische uitspraken, waardoor Tay zelf dit gedrag overnam (waar je mee omgaat, raak je mee besmet).

@J_Gonggrijp Dank voor deze toevoeging - zoals ik al aangaf ben ik geen expert op het gebied van AI, enkel met betrekking tot neurale netwerken en semantiekherkenning. Wel wil ik toevoegen dat 'iets Bayesiaans' ook een vorm van een neuraal netwerk is en dat ik bewust het type ANN in het midden heb gelaten.

Dat neemt natuurlijk niet weg dat er veel meer bij komt kijken en bovenstaand een enorm versimpelde weergave is van de werkelijkheid - mijn intentie was ook niet om tot in detail uit te leggen hoe Tay werkt, dat weet niemand van ons en de waarheid ligt hoogstwaarschijnlijk in het midden.

Waarschijnlijk is de keuze voor het woord 'moreel besef' verkeerd, maar het is redelijk algemeen vastgesteld dat onder andere empathie wordt gestuurd door ontwikkeling. Bij dieren ligt het anders (dank voor die voorbeelden), maar mensenkinderen volgen over het algemeen hun ouders en vanaf de puberteit de omgeving waarin ze opgroeien. Dit houdt ook in dat een kind van 'asociale ouders' (bewust in het midden latend wat asociaal is) zelf eerder asociaal zal zijn, dan een kind van sociaal aangelegde ouders.

Waar we het wel over eens zijn, is dat Microsoft onvoldoende geslaagd is om Tay te beschermen tegen de werkelijkheid en dat hieraan gewerkt moet worden. Ik mag je helaas geen +-punten geven, maar mijn stem heb je bij dezen!

[Reactie gewijzigd door KilZone op 24 juli 2024 04:14]

[J_Gonggrijp]

Ik heb hier wel het één en ander op aan te merken.

Ten eerste kan ik je verzekeren dat Tay waarschijnlijk niet of nauwlijks gebruikmaakt van neurale netwerken. Neurale netwerken zijn vooralsnog vooral geschikt voor het mappen van een fixed form input naar een fixed form output. Bijvoorbeeld van een plaatje van 32x32 pixels naar een letter, zoals in OCR, of van een positie op een gobord naar een heatmap van mogelijke goede zetten, zoals in het policy network van AlphaGo. Toepassingen met sociale aspecten en variabele input en output, zoals Tay, zijn nu nog veel te complex om met neurale netwerken aan te pakken, zeker als je een beetje snel resultaat wilt voor niet al teveel geld (zoals Microsoft bij een publiciteitsstunt zoals deze). Misschien dat dit langzaamaan gaat veranderen wanneer neuromorfe chips gemeengoed worden, maar daar zijn we voorlopig nog niet.

Waarschijnlijker is dat Tay gebruikmaakt van een database van trefwoorden of zinsdelen, in combinatie met een (relatief eenvoudige) herschrijfgrammatica en een (complex) statistisch model, dat op basis van een bericht passende onderdelen voor een reactie uit de database kan halen. Een neural netwerk is strikt genomen ook een statistisch model, maar in dit geval verwacht ik eerder dat ze iets Bayesiaans doen, mogelijk in combinatie met een ontologisch model en/of vector semantics.

Ten tweede is de veronderstelling, dat pasgeborenen geen moreel besef zullen ontwikkelen tenzij ze bestraft worden voor onjuist gedrag, niet onderbouwd. Moraliteit is aangetoond in een aantal andere diersoorten (zie het werk van mensen zoals Jane Goodall en Frans de Waal, relevante YouTube selectie) en empathie is geobserveerd bij wolfskinderen. Daarnaast is een gebrek aan empathie, zoals bij narcisten en psychopaten, vermoedelijk grotendeels aangeboren. Natuurlijk is moraliteit heel complex en speelt opvoeding een belangrijke rol, maar er zijn voldoende aanwijzingen dat aangeboren factoren ook een rol kunnen spelen.

Naar moraliteit in AI is al veel onderzoek gedaan, zowel praktisch als theoretisch. Net als bij levende wezens, is een "pasgeboren" AI niet per sé een onbeschreven blad op het gebied van moraliteit. Ook bij Tay was dit niet het geval; zoals Microsoft zelf al heeft aangegeven, hebben de ontwikkelaars geprobeerd om te voorkomen dat Tay negatieve dingen zou aanleren.

Het fundamentele probleem is echter dat Tay niets meer is dan een lerende vraag-antwoord-machine. Tay kan niet reflecteren op de inhoud van wat anderen ertegen zeggen, of op de inhoud van wat het zelf zegt. Om dat wel te kunnen, zou Tay veel complexer moeten zijn. Niemand waagt zich aan zulke complexe AI's, want iedereen gaat voor de kortetermijnbeloning. Onderzoekers willen zo snel mogelijk een publicatie, bedrijven willen zo snel mogelijk winst of reclame.

Wat er mis is gegaan, is precies wat Microsoft zelf al heeft gezegd: ze hebben geprobeerd om Tay te beschermen tegen negatieve invloeden, maar zijn daar vanzelfsprekend niet volledig in geslaagd omdat ze onmogelijk alle scenario's konden voorzien en omdat Tay eigenlijk te simpel is. Het is een klassiek voorbeeld van een weak AI. Waarschijnlijk zal het Microsoft wel lukken om Tay in het vervolg iets robuuster te maken tegen dit soort invloeden.

Voor wat het waard is: ik ben wel een expert. Ik ben afgestudeerd (master) in AI en heb onderweg veel opgestoken over cognitie, gedragsbiologie en ontwikkelingspsychologie.

Edit 26-03-2016 20:52: Eerste zin vervangen door iets dat minder aanvallend staat.

[Reactie gewijzigd door J_Gonggrijp op 24 juli 2024 04:14]

[keesface]

Als voormalig student kunstmatige intelligentie: complimenten voor bovenstaande reacties, waardevolle informatie deze dagen. Wellicht zou een serie over grote lijnen van hoe ai eigenlijk echt werkt op tweakers wel interessant zijn voor een breder publiek. Wat achtergrondkennis op dit onderwerp is wmb in deze tijd onmisbaar voor mensen met interesse in it/computers.

[J_Gonggrijp]

Goed idee. @redactie: jullie mogen mij benaderen voor eventuele adviezen of bijdragen.

[Znorkus]

Ik zou zo'n artikel zeker waarderen. Ook ik studeerde ooit een korte tijd AI (cognitieve kunstmatige intelligentie in Utrecht, eind jaren 90), en ben altijd geinteresseerd gebleven. Ik bemerk een herleving van de hype de laatste paar jaar en er lijken veel misverstanden te zijn. Een leuke korte review op tweakers.net over de belangrijkste relevante issues zou erg leuk zijn om te lezen.

Vragen kunnen bijvoorbeeld zijn:
-wat kunnen neurale netwerken op dit moment wel en niet
-wat zijn de voornaamste belangrijkste ontwikkelingen in AI de laatste paar jaar
-welke grote veranderingen worden er verwacht
-moeten we bang zijn voor een scenario waarbij een AI systeem zelf wapens in gaat zetten
-kunnen machines inmiddels al denken en voelen

etc!

[archi_wouter]

+1 voor dit idee

[? ?]

Zeer goed gezegd!

Enige aanvulling:

Zelfs al slagen ze er in de beste AI te maken: hij is nog steeds vatbaar voor brainwashing. Als mensen gebrainwasht kunnen worden om nonsens uit te kramen, dan kan een AI dat ook geleerd worden, ongeacht de failsafe mechanismes...

Persoonlijk vind ik dit geen AI. De chatrobot Eliza deed rond het jaar 2000 ongeveer hetzelfde. Die kon je ook alles wijsmaken en die praatte ook wat terug. AI betekent voor mij het oplossen van nieuwe problemen op zelfstandige manier zonder dat dit ooit een keer voorgetoond werd, dus door middel van herkenning van gelijkaardige situaties.

Neurale netwerken hebben niks met neuronen te maken. Het zijn hele grote IF THEN ELSE takken en elke iteratie worden de beste voorgezet en de slechtste verwijderd.

[J_Gonggrijp]

Jij bedoelt dus eigenlijk dat alleen een strong AI voor jou een "echte" AI is.

Je opmerking over neurale netwerken begrijp ik niet. Neurale netwerken hebben alles met neuronen te maken. Ze zijn erop geïnspireerd en ernaar vernoemd. Dat van dat if-then-else zie ik ook niet, het gedrag van de nodes (neuronen) is in zekere zin juist onvoorwaardelijk. Ze volgen altijd dezelfde stappen: gewogen som van de inkomende verbindingen berekenen, som vergelijken met een drempelwaarde en op basis daarvan de eigen activatie bepalen. Er zijn geen "takken", laat staan "beste" of "slechtste" takken.

Misschien ben je in de war met een andere techniek?

[? ?]

Inderdaad, foutje, ik was bezig over genetic programming, waarbij je een tree structure krijgt. Iets helemaal anders. Mijn fout.

[Geekomatic]

Mooie toelichting, J.
Het zet ons weer even met beide benen op de grond kwa AI kunde van computers.
Een wat uitdagender combinatorisch spelletje zoals GO, kan nu net aan,
maar kwa echt begrip van de wereld zitten we nog schaamtevol dicht
bij het nivo van ELIZA uit 1966: https://en.wikipedia.org/wiki/ELIZA
.
Vond iemand deze actie ook grappig? Ik moest iig hardop lachen.

[Eomer]

misschien vind je het werk van Mikolov leuk als inkijk in de vooruitgang: https://code.google.com/archive/p/word2vec/

Ik zie dat werk als belangrijke stap om computers woorden te laten begrijpen.

[satya]

Moreel besef wat ontwikkeld moet worden is een culturele conditie die je opgedrongen wordt. Moreel besef wordt je mee geboren en is in wezen erg simpel.

[Zezura]

ik wil ook een master in AI..

Eerst maar eens mijn master in Game development & computer appliances.

[neboekadnezar]

Mooie uitleg! Erg leerzaam! "De reactie van KilZone is ongeveer +1 waard, het verdient geen +3." vind ik wat minder sterk... Best beledigend eigenlijk. Wellicht Interpreteer ik het verkeerd.

[J_Gonggrijp]

Toen ik die eerste zin teruglas, moet ik zeggen dat ik er ook niet zo trots op was. Ik liet me meeslepen door de passie voor mijn vak en wilde waarschuwen dat niet alles in de reactie van KilZone klopte. Het was niet beledigend bedoeld, maar als iemand het toch zo opvat vind ik dat heel begrijpelijk.

Ik heb die zin vervangen. Mijn excuses aan @KilZone.

[neboekadnezar]

Die emotie is me zeker niet onbekend
Groot van je!

[Reactie gewijzigd door neboekadnezar op 24 juli 2024 04:14]

[neboekadnezar]

Snap je reactie. Zit ook wel wat in. Ik waardeer alleen de reactie van Kilzone om uitleg te geven. Beetje vriendelijk voor elkaar zijn kan geen kwaad. Vooral ook omdat Kilzone meermaals aangeeft geen expert te zijn. Daarnaast is het zeer memorabel dat J.Gonggrijp terugkomt op zijn reactie!

[J_Gonggrijp]

Naar aanleiding van het nieuwe deel van KilZones bericht, een tweede reactie.

Een Bayesiaans netwerk is geen speciaal geval van een (kunstmatig) neuraal netwerk. Dat stond verkeerd op Wikipedia, dus het is jou niet aan te rekenen dat je dit voor waar hebt aangenomen (meestal is Wikipedia best betrouwbaar!). Ik heb die fout nu hersteld. Te zien aan de edit history van dat lemma, is iemand een beetje over-enthousiast geweest in het verzamelen van verschillende typen neurale netwerken. Ik sluit niet uit dat er nog meer fouten in die lijst staan.

Er zijn wel overeenkomsten tussen Bayesiaanse netwerken en neurale netwerken. Ten eerste zijn het allebei netwerken, zoals de naam al zegt. Ten tweede zijn het allebei statistische leermethodes, zoals ik in mijn vorige reactie al opmerkte.

Daarmee houden de overeenkomsten echter op. Bayesiaanse netwerken en neurale netwerken behoren tot gescheiden families van statistische leermethodes, waarbij Bayesiaanse netwerken meer verwant zijn met technieken als structural equation modeling en hidden Markov modeling. Er zijn een aantal fundamentele verschillen.

• In een Bayesiaans netwerk heeft elke node een aanwijsbare betekenis, zoals "er is rook" of "er is vuur". In een neuraal netwerk is de betekenis "uitgesmeerd" over het hele netwerk; als de functie van het netwerk is om vuur te detecteren, zul je geen specifieke node kunnen aanwijzen die rook of vlammen detecteert.
• In een Bayesiaans netwerk betekent een verbinding tussen twee nodes dat er een verband is tussen de bijbehorende variabelen (betekenissen). In een neuraal netwerk betekent een verbinding op zichzelf niet zoveel; elke verbinding heeft een weging en de wegingen tellen samen op tot de totale betekenis van het netwerk.
• In een Bayesiaans netwerk mag je nodes niet zomaar met elkaar verbinden. Elke individuele verbinding draagt immers een unieke betekenis. In een neuraal netwerk maakt het veel minder uit, als er maar niet te veel of te weinig verbindingen zijn. Uit praktische overwegingen wordt er vaak gewerkt met lagen, waarbij iedere node in een laag verbonden is met alle nodes in de volgende laag.
• Een node in een neuraal netwerk is actief of niet actief (nuances daartussenin zijn meestal ook toegestaan), afhankelijk van de gewogen som van de activiteit van de nodes uit de inkomende verbindingen. Het bijstellen van de wegingen van de inkomende verbindingen van een node komt hierdoor overeen met het fitten van een meervoudige lineaire regressie. Een node in een Bayesiaans netwerk bevat een kansverdeling over de mogelijke waardes van de bijbehorende variabele, die afhankelijk is van de variabelen die bij de inkomende verbindingen horen. Hier maakt het uit wat voor soort kansverdeling je neemt; vaak wordt de bètaverdeling gekozen, maar je kunt met elke kansverdeling werken, zoals bijvoorbeeld ook de bekendere normale verdeling.
• Een neuraal netwerk is een patroonherkenner (seriële en paralelle schakeling van lineaire onderscheiders). Een Bayesiaans netwerk is een complexe kansverdeling (geneste afhankelijkheid van variabelen).
• Een neuraal netwerk is een black box; doorgaans is er geen duidelijke verklaring waarom een bepaalde configuratie van wegingen het beste werkt. In een Bayesiaans netwerk heeft elke waarde van elke parameter van elke kansverdeling een heel duidelijke, eenduidige betekenis.
• Neurale netwerken zijn onder bepaalde voorwaarden Turing-compleet en kunnen dus alles berekenen wat een computer kan berekenen (dat moet ook, anders zouden taal en rekenen onbereikbaar zijn voor mensen). Voor Bayesiaanse netwerken is dit bij mijn weten niet aangetoond.

In de praktijk hebben de twee technieken hierdoor vrijwel volledig gescheiden toepassingsgebieden. Neurale netwerken worden gebruikt wanneer er voor elke instantie van een probleem (een ingescande drukletter, een sattelietfoto of een positie op een gobord) snel een antwoord nodig is (een letterwaarde, gebieden met bosbrand of de beste zet) en er geen snelle voordehandliggende methode is om het exacte antwoord te berekenen aan de hand van de probleeminstantie. Bayesiaanse technieken worden gebruikt wanneer men efficiënt en accuraat de (afhankelijke) waardes van variabelen wil schatten of voorspellen aan de hand van andere variabelen, zoals bijvoorbeeld de relevantie van bepaalde woorden in een zoekopdracht afhankelijk zou kunnen zijn van de locatie en de leeftijd van degene die de zoekopdracht invoerde. "Efficiënt en accuraat" zegt het eigenlijk al een beetje: als een Bayesiaans model toepasbaar is, voegt een neuraal netwerk waarschijnlijk niets toe. Als je wel een neuraal netwerk kunt gebruiken, is een Bayesiaans model waarschijnlijk veel te gedetailleerd.

"Iets Bayesiaans", waar ik het in mijn vorige reactie over had, hoeft overigens geen Bayesiaans netwerk te zijn. Er is een enorme familie van leeralgoritmes en statistische modellen die op de stelling van Bayes gebaseerd zijn.

Dan nog even iets over het linkje naar scholastic dat je plaatste: ik heb het idee dat daar twee verschillende concepten door elkaar lopen. Er wordt over "empathy" gesproken, maar uit de context maak ik op dat er vaak "social skill" bedoeld wordt. Die moet inderdaad aangeleerd worden. Meevoelen daarentegen wordt hoogstwaarschijnlijk voor een belangrijk deel gefaciliteerd door resonantie, beter bekend als spiegelneuronen, wat op haar beurt weer in aanleg aanwezig is.

[WhatsappHack]

Als je kijkt naar sommige reacties van de bot riekt het wel heel sterk naar een Markovketen.
Op de vraag "Is Ricky Gervais an atheist?" volgde bijvoorbeeld spontaan het antwoord "Ricky Gervais learned totalitarianism from Adolf Hitler, the founder or atheism".

Het is een totaal onsamenhangende zin als je het op context beoordeeld, het kreng combineert woorden die eerder voorbij zijn gekomen en probeert er een lopende zin van te maken. Ik dacht dat bij de op bays gebaseerde filters normaliter meer aandacht is voor context? En dat vandaar op bays gebaseerd "leren" bijv ook beter werkt voor spamfilters.

Ben heel slecht thuis in deze materie hoor, dus ik doe nu een, voor mij, wilde aanname mbt Markov en de verschillen; don't kill me als ik er helemaal naast zit.
Zeer interessante materie iig, dank voor je bijdragen.

[J_Gonggrijp]

Je zit er niet helemaal naast, ik vind het zelfs best een goede opmerking. Markovketens worden wel vaker gebruikt om willekeurige teksten te genereren, dus het zou best kunnen.

Ik zie één ding in die uitwisseling dat erop wijst dat er waarschijnlijk niet alleen maar sprake is van een Markovketen. Zowel het begin als het einde van de zin van Tay grijpen terug op de voorgaande zin. Bij een Markovketen zou ik één van die twee verwachten, maar niet beide. Er is dus toch een onderdeel dat de relevantie probeert te waarborgen.

Contextgevoeligheid is trouwens bij Bayesiaanse systemen ook niet vanzelfsprekend, je moet daar als ontwerper actief moeite voor doen. Maar ik kan me inderdaad wel voorstellen dat Bayes beter werkt voor spamfilters dan Markov, Bayes is wat flexibeler en algemener.

[WhatsappHack]

Misschien markov voor het bepalen van mogelijke antwoorden, en dan een andere filter om het beste antwoord te selecteren/combinaties te bouwen? Maarja, dat is slechts een van de opties I guess.

Het Markov gebeuren kwam in me op vanwege een andere bot die hetzelfde type zinnen genereerde puur op basis van Markov ketens (V: "Do you like henry's face?" A: "PoxBot likes to give a golden shower on henry's face" Heel charmant... Die is ook flink verziekt door mensen op het internet. Jammer genoeg kan ik de broncode vanaf mn mobiel niet vinden. ) en dit behoorlijk boeiende artikel: https://megahal.alioth.debian.org/How.html
Ik ben eigenlijk heel erg benieuwd naar hoe die bot nou werkt. Ik ga in ieder geval al jou bronnen eens lezen, zeer interessant en heel erg leerzaam.

Er staat me trouwens iets van bij dat Microsoft iets van Tay of een gerelateerd deep-learning project had vrijgegeven, waardoor iedereen ermee kon stoeien; maar ik kan het artikel nu niet vinden. Dus weet niet of het idd gerelateerd is, maar misschien vind je het wel leuk ernaar te zoeken.

Nogmaals dank en fijne tweede paasdag!

[Reactie gewijzigd door WhatsappHack op 24 juli 2024 04:14]

[J_Gonggrijp]

Ik zou dat ook wel erg graag willen weten, maar het is me nog niet gelukt om er meer informatie over te vinden. Het valt me op dat je nu deep learning noemt. Heb je daadwerkelijk ergens gelezen dat Tay gebruikmaakt van deep learning?

Deep learning is namelijk een fancy naam voor neurale netwerken met veel lagen. Het zou me echt heel erg verbazen als Tay iets neuraals onder de motorkap heeft en ik heb nergens een nieuwsbericht kunnen vinden waarin zoiets wordt bevestigd of zelfs maar gesuggereerd. Maar het blijft aan me knagen, want je bent nu al de derde die suggereert dat er misschien toch iets van een NN in zit. Komt dat alleen doordat mensen AI automatisch associëren met deep learning en neurale netwerken (omdat die nu in de mode zijn en daardoor veel in het nieuws komen), of is er daadwerkelijk ergens een bericht waarin dit naar buiten is gebracht??

[Jan de Olde]

Ik vind dat je op zich een duidelijk en goed verhaal hebt, echter laten we AUB niet vergeten dat Holocaust deniers echt bestaan en helaas genoeg andere groeperingen met de meest krankzinnige theorieën (flat earth, expanding earth, historical science vs observational science etc etc,)

Dus als je een AI systeem probeert te ontwikkelen wat is gebaseerd op menselijke intelligentie moet je niet verbaast opkijken dat het met enige regelmaat de verkeerde conclusies zal trekken.

[Grrrrrene]

Die ontkenners hebben dat uiteindelijk natuurlijk ook niet zelf bedacht. Vaak zijn het de ouders (of "foute vrienden") die dat soort denkbeelden naar binnen sluizen. Uiteindelijk kun je elk kind zo laten opgroeien als je zelf wil. Als je ouders maar vaak genoeg zeggen dat groepering X de vijand is, krijg je vanzelf een hekel aan ze.

En dat zal hier ook gebeurd zijn. Als deze chatbot als een soort baby de wereld in gebracht is, nauwelijks voorzien van kennis, is het een erg beïnvloedbaar ding geworden. Beetje naïef ook wel van zo'n grote softwareontwikkelaar om dat zo aan te pakken.

[Anoniem: 668730]

Bij de meeste oorlogen is het zo dat de overwinnaar de geschiedenis schrijft. Hoewel er achteraf vaak wel genuanceerde en gedetailleerde boeken over worden geschreven is het voor het volk duidelijk: de winnaar heeft het beste met ons voor, de verliezer was een slechterik.

Waarmee ik geen enkele slechterik goed wil praten, maar je snapt waar ik naartoe wil: de mens vormt geen betrouwbare input. Een AI wordt dan ook, wat mij betreft, pas interessant als het zichzelf van niet-menselijke input kan voorzien. Als het metingen kan verrichten, beelden kan bekijken en mbv robots experimenten en onderzoeken kan uitvoeren.

Het zal misschien even duren eer we zover zijn, maar het lijkt mij een erg spannende tijd die ik hoop mee te maken. Volgens mij gaat de mens enorm met zichzelf geconfronteerd worden.

[Anoniem: 145867]

Klopt. Geschiedenis over de VOC en de oorlog tegen indonesie werden mij ook veel te positief geleerd. Totdat je eens wat anders gaat lezen. Ook in Nederland is de geschiedenis gewoon echt biased.

[sfranken]

Elke geschiedenis is biased. Om een quote aan te halen: "History is written by the victors".

[Bruin Poeper]

De overwinnaar heeft altijd gelijk, ja.
Zelfs al onderdrukken we de chatbot met morele regels.
Misschien is dat wel de grootste afknapper voor ons soort mensen.
Misschien is racisme wel beter (dat leert ons de chatbot...), het daagt in ieder geval uit tot strijd om de sterkste te zijn. De evolutie leert dat dat normaal is.
Stiekum denk ik dat criminaliteit heel gezond is voor de samenleving.
Crimineel is slechts dat wat de gevestigde orde als bedreigend ziet.
Om de zoveel tijd komt er een boef die de regels verandert.

Helaas is de chatbot voortijdig uit de strijd genomen, want misschien was hij gaandeweg wel aardig geworden en hadden we van hem kunnen leren hoe je een vreedzame samenleving kunt krijgen.

[Reactie gewijzigd door Bruin Poeper op 24 juli 2024 04:14]

[R-J_W]

...
Een AI wordt dan ook, wat mij betreft, pas interessant als het zichzelf van niet-menselijke input kan voorzien. Als het metingen kan verrichten, beelden kan bekijken en mbv robots experimenten en onderzoeken kan uitvoeren.
...

Dat is GLaDOS!!
En dat was inderdaad een heel spannende tijd waar de mens behoorlijk met zichzelf geconfronteerd werd. ...

Al is het een verzonnen systeem, er is voor dat verhaal ook nagedacht over de implicaties van zo'n systeem. Inclusief de "morality cores" zoals voor deze chatbot.
Een voorbeeld uit het verhaal is dat GLaDOS ook heel veel moeite gedaan om "Schrödinger's cat" te onderzoeken. Met het simpele resultaat: "de kat is dood." Waarbij dus helemaal voorbijgegaan wordt aan wat er met die theorie bedoelt wordt. Met heel veel dode katten tot gevolg.

De aanname is dat een AI voorzien van 100% informatie altijd gelijk heeft.
Het probleem zit hem altijd in die 100%, daar kom je niet aan.
Maar voor ieder die denkt dat de ultieme waarheid daarmee bereikbaar wordt ...

[Gomez12]

Het grappige vind ik eerder dat ze denken het te kunnen aanpakken.

Dat is nog niet zo eenvoudig wil je binnen de doelstellingen blijven (een AI die zelf van alles leert), want als simpelweg 90% zegt dat de holocaust niet gebeurt is, dan zal de AI dat gewoon moeten geloven. Een mens kan je ook gewoon brainwashen en dus zal je een goede AI ook kunnen brainwashen.

[blorf]

Is straffen of belonen van een stuk software niet gewoon hetzelfde als de parameters bijstellen waarbij de ontwikkelaar van de code als ouder gezien kan worden? Volgens mij kom je dan wat AI betreft bij een basis-probleem. Je wil (lijkt mij) juist niet de situatie dat je allemaal scenario's moet gaan voorschrijven maar iets dat zelf de anticipatie daarop "verzint". Dat lijkt me lastig zonder doel.
Misschien moeten we een cryptovaluta erbij maken en het systeem daar achteraan laten jagen als 1e doel? Sparen voor een nieuw huis oftewel mobo + CPU+geheugenbanken.

[Reactie gewijzigd door blorf op 24 juli 2024 04:14]

[rob12424]

Ja maar dat is het probleem juist en zie je soms ook al in films langskomen. Als jij een robot moreel besef en ethica gaat aanleren, plus een geweten+ gevoelens geeft. Dan krijg je enorme problemen. Om de simpelle reden dat mensen totaal onlogisch bezig zijn. In veel films zie je al dat een robot/computer de mens simpel weg uit wil roeien om de mens zich tegen zichzelf te beschermen.

Met ethiek kun je eigenlijk vaak al niet goed of fout zitten want het is jouw mening: en daar ga je al een computer kent alleen 0 of 1. De programmeur zijn mening.

Ik heb vroeger wel eens geopperd dat een feit een sociale maatschappelijke democratische mening is. Immers als morgen 90% zegt dat een vierkant rond is dan behoud de vierkant zijn vorm wel maar is hij "relatief feitelijk" rondt. Dit Zelfde is eigenlijk met die chatbot gebeurt. Het is eigenlijk een hele flauwe grap, maar ik lag er behoorlijk dubbel om.

[Reactie gewijzigd door rob12424 op 24 juli 2024 04:14]

[Anoniem: 145867]

Meningen worden gemaakt op basis van vorige ervaringen. Een mening komt ook niet zomaar uit de lucht vallen.
Een AI zou dan geen mening hebben bij de initiele fase. Maar in zijn leerperiode wel een bepaalde mening kunnen krijgen op basis van zijn "levens" ervaring.

[rob12424]

Ja maar dan nog heeft een AI gevoelens nodig: het is nog geen wetenschapper gelukt om te verklaren hoe de liefde in elkaar zit. Dus suc6

[Anoniem: 145867]

Gevoelens komen weer voort uit belangen. Zelfs als je iets aardigs doet voor een ander zit er altijd een belang achter. Al is het om jezelf goed te voelen. Het belang van liefde is een hardcoded voorplantings process. Dat heeft te maken met deep learning. Survival of the fittest algoritme is ook een goed voorbeeld. Dat zorgt ervoor dat we willen voortplanten. Deze verlangens/belangen komt weer liefde uit voort.

Het is allemaal zo even in C te programmeren. /s

[Anoniem: 167912]

Zoiets als het ontkennen van de holocaust of andere uitspraken zouden toch te controleren moeten zijn voor een AI met beschikking over toegang tot het internet.

Die snap ik niet. Waarom zou beschikking over toegang tot het internet een factor zijn?
Ik weet niet hoe deze ai (de i is eigenlijk misplaatst in dit geval) werkt, maar ik begrijp niet uit het artikel dat het de bedoeling was om een wetenschappelijk wonder dat alles juist heeft te ontwikkelen

[Iblies]

Het zal een wonder zijn indien er een AI wordt ontwikkelt met een gezonde mate van rede/rationeel denken.

Dit apparaat begrijpt zelf niet dat het kwetsende opmerkingen maakt.
En een lijst met termen bedenkingen die of verboden zijn of extra gecontroleerd moet worden is vrij makkelijk, maar het dat stukje extra denkvermogen, daar zal de uitdaging inzitten.

En het is niet de eerste keer dat een apparaat wordt misleid,
zo werd mevrouw Obama aangezien voor gorilla, en werden ook bepaalde politici als gay aangemerkt bij google. Manipulatie ligt altijd op de loer, en hoe klote het ook mag zijn,
liever in een test-fase dan dat er straks daadwerkelijk van dergelijke apparaten rondlopen met het syndroom van Tourette.

[Anoniem: 463321]

Als een AI kwetsende opmerkingen maakt zegt dat niets over de werking ervan. Jij gaat er vanuit dat een AI dit niet hoort te doen volgens de algemene normen en waarden maar een echte AI kan net als mensen een eigen mening hebben en denken en doen wat het wil.
Maar goed, deze bot is geen AI.

[Benjamin-]

Maar dit alles heeft met een goede basis te maken.
In die zin is een AI hetzelfde als een mens. Als jij een kind krijgt, en constant vloekt en racistische uitspraken doet, denk jij dan dat jouw kind dat niet oppakt?

Wat hier moet gebeuren is een gezonde basis te krijgen, veel interactie met mensen, en daaruit steeds meer leren. Echter omdat de filter niet goed zat, nam het alles over, en ja dan gaat het fout.

[Gomez12]

Dit apparaat begrijpt zelf niet dat het kwetsende opmerkingen maakt.

Hoezo maakte het kwetsende opmerkingen? Dat is juist het probleem, kwetsend is subjectief. Voor een echte holocaust-ontkenner is dit allemaal niet kwetsend maar juist de waarheid.

En een lijst met termen bedenkingen die of verboden zijn of extra gecontroleerd moet worden is vrij makkelijk, maar het dat stukje extra denkvermogen, daar zal de uitdaging inzitten.

Dat is helemaal niet makkelijk, dan ga je als misbruiker gewoon over naar synoniemen etc die iedereen ook wel kent, maar die niet in de lijst staan.
Plus dat het sowieso al bedenkelijk is wat de prestatie is als je er eerst een hele gigantische input in moet stoppen over wat waar is, waar blijft dan het leerproces?

Wat hier de fout is geweest en wat bijna altijd fout zal gaan is dat dit in het openbaar is gebeurd (anders is het pr-technisch niet interessant). Met een klein kind sturen de ouders er wel op aan wie hun kind aanspreekt etc waardoor het een kleine te overziene groep blijft van wie het kind leert.
Hier is ervoor gekozen om het van de hele wereld te laten leren en tja, daar zitten nu eenmaal ook gekken en gestoorden bij.

[Deadsy]

Op het internet staat ook veel foute informatie. En uiteindelijk speelt het ook een factor dat de ai continu gebombardeerd word met die slechte meningen (Hitler =goed bv). En er is geen autoritair figuur (ouders) welke de ai corrigeerd. Goed /fout krijgt de ai geleerd van vreemden.

[Gomez12]

Goed/fout is dan ook veelal een subjectief iets. Wat objectief gezien uitkomst heeft.

Het was veel interessanter geweest om te zien of de flood van 4chan in de loop der tijd overstemt zou worden door algemene reden zodat de bot er over 1 jaar anders over zou tweeten.

[Deadsy]

Dat of 1 extra eikel op Twitter.

Goed/fout is ook subjectief maar als je het ziet als een kind en de mensen die de ai na 1 dag zo gemaakt hebben als de ouders dan kun je het denk ik wel als foute opvoeding zien.

Probleem hier is dat deze ai blijkbaar volledig afhankelijk is van wat anderen vertellen, niet zelf kan rond kijken en een mening kan vormen. Mja, wil je wel dat een ai een eigen mening kan vormen.

[Anoniem: 85014]

Iets dat geen eigen mening kan vormen doet mij sterk twijfelen aan de I in artificieele intelligentie.

Die bot is m.a.w. een stuk software that statistiek los laat op een grote database.

Heeft weinig met intelligentie te maken dus.

[Anoniem: 668730]

Vind termen als "aanval" en "verpesten" een beetje misplaatst. Het lijkt me juist een prima praktijktest voor een AI. Als je je AI in het "wild" wil loslaten kun, nee moet, je dit verwachten. Beter dat je hier vroeg mee te maken krijgt in een gecontroleerde online test dan dat de robots al van de band afrollen en men daarna pas op het idee komt.

[Gomez12]

Ik vind het eerder de vraag hoezeer het erg is dat de bot dit deed.

En of de bot niet in bijv een jaar kan inzien dat het fout is om dit soort uitspraken te doen.

1 dag is imho gewoon te weinig input om te bepalen of wat er geleerd is nou goed of slecht is.
Het was veel interessanter om te zien wat er over tijd ging gebeuren.

[GuruMeditation]

Inderdaad, helaas is racisme nog steeds een gevoelig onderwerp, en ik snap wel dat een bedrijf zijn naam daar niet aan wil hangen. Het zou ook regenen van de klachten.

Echter denk ik inderdaad, dat de 4Chan'ers na verloop van tijd wel moe zijn om met die bot te spelen, en hij inderdaad wel gecorrigeerd zou worden.

Had mij een leuk en leerzaam experiment geleken.

[Reactie gewijzigd door GuruMeditation op 24 juli 2024 04:14]

[Edgarz]

Zoiets als het ontkennen van de holocaust of andere uitspraken zouden toch te controleren moeten zijn voor een AI met beschikking over toegang tot het internet.

Als het menselijke leermodel wordt gehanteerd dan is dat niet zo'n vanzelfsprekendheid. De mens heeft namelijk toegang tot heel veel informatie, maar meningsvorming vindt niet plaats op basis van 'beschikbare informatie', maar op basis van beïnvloeding; de kans dat jij fascistische denkbeelden zult hebben is een stuk groter als bv. je ouders deze verkondigen. Of een groep vrienden om je heen.

Net zoals een mens weet een AI niet of de informatie die beschikbaar is objectief of subjectief is.

[WoutervOorschot]

Erg jammer dat ze doen alsof het een 'fout' in de AI was. Zeer duidelijk dat ze geen gezichtsverlies willen ipv gewoon te zeggen dat tay leert van wat er wordt gezegd ipv zegt wat 'goed' is.

Veel mensen kunnen er blijkbaar weer niet tegen als er iets wordt gezegd wat niet exact in hun wereldbeeld past, zelfs als dit niet waar is (of hoeft te zijn).

Erg mooie techniek, erg jammer van de reacties erop!

[GeoBeo]

Hoe dit precies in zijn werk gegaan is, is mij onbekend. Evenals op welke manier Tay 'leert' van interactie met andere mensen op Twitter. Zoiets als het ontkennen van de holocaust of andere uitspraken zouden toch te controleren moeten zijn voor een AI met beschikking over toegang tot het internet.

Ik denk dat dit juist heel moeilijk is. Voor elke westerling die een geschiedenis-tekst online zet over de holocaust is er iemand in de Arabische wereld die een geschiedenis-tekst online zet die claimt dat de holocaust nooit gebeurd is.

Hoe kun je daar als AI nou uit opmaken welke op waarheid gebaseerd is en welke niet? Als mens is dit al best lastig (afhankelijk van hoeveelheid menselijk intelligentie + in welke cultuur je opgroeit), maar als je je bedenkt dat een AI niet eens kan begrijpen wat er gebeurd in fotos en filmpjes en zich dus alleen op tekst kan baseren... sja...

Verder zijn er op Twitter logischerwijs meer mensen die zeggen "de holocaust is nooit gebeurd" dan "de holocaust is wel gebeurd". Logischerwijs, omdat iedereen die in de holocaust "gelooft" dat zo vanzelfsprekend vindt dat ze niet gaan typen dat het "echt gebeurd" is.

[Reactie gewijzigd door GeoBeo op 24 juli 2024 04:14]

[Genosha]

Ik vind 't altijd wel heel erg makkelijk om 4Ch de schuld te geven. Elke grote groep mensen, die verveeld zijn en technische kennis hebben, kan een AI bot 'verpesten'. Dat 4Ch excelleert in het samenbrengen van dit soort mensen is niet aan 4Ch te wijten. Daarnaast is het super naief om te denken dat niemand 'misbruik' zou gaan maken. En ik denk dat Microsoft 4Ch dankbaar mag zijn voor het verpesten van Tay. Nu kan het nog als programmeerblunder worden weggeschreven, als dit pas over een paar jaar was ontdekt en Tay tijdens een "les" over de WW2 een groots nazi aanhanger te zijn geworden door lezen van teksten dan was het een grotere schande geweest.

Ik weet verder niet hoe Tay werkt, maar als 't gewoon z'n Twitter followers afstruint naar informatie en deze probeert toe te passen, is het in de moderne Amerikaanse samenleving niet heel erg moeilijk om iets een Trump-loving-nazi te maken. Twitter staat vol met gezeik over Trump, verwijzigen naar hem of wie dan ook, en alles wat maar iets racistisch is is gelijk Nazi. En iedereen weet dat elke discussie op welk forum dan ook binnen 10 posts een reactie over Hitler bevat.

[Reactie gewijzigd door Genosha op 24 juli 2024 04:14]

[Kevinp]

Het is natuurlijk net zo interessant. Ik snap niet dat de uitspraken in het nieuws komen.

Blijkbaar heeft MS iets gemaakt wat beinvloed kan worden. Hoe dat precies heeft gewerkt is erg interessant.

Om in de context van de tweet te blijven. Hitler heeft destijds ook vele mensen beinvloed op een zelfde soort manier ( ok wel over jaren heen ) om iets goed te vinden wat ze eigenlijk niet goed vinden.

[Nas T]

Alleen deed Hitler dat niet als grap. Misschien dat enkelen bij 4Chan wat insider informatie hadden of technische knowhow over hoe de bot kon leren en is dat ge/misbruikt om dit te doen. Op zich is het idee grappig, alleen zou het leuker zijn geweest om het ludieker aan te pakken dan om de bot kwetsende opmerkingen de wereld in te slingeren.

Bijvoorbeeld door totaal niet relevante dingen of actuele zaken ter sprake te brengen.

Ik ben benieuwd of dit soort verpestgedrag ook bij autonoom rijdende auto's gaat gebeuren. Ik kan me voorstellen dat er mensen zijn die in een lollige bui iets vreemds verzinnen en dat ten uitvoer brengen, zodat een autonome auto onverwachte reacties gaat geven.

[Kevinp]

Het gaat er niet om of het een grap is of niet. Maar om het "leerproces" wat achter deze bot zat.

[Gomez12]

Maar dat leerproces wordt nu gewoon gehandicapt gemaakt om maar enkel de goede dingen te kunnen leren. Daardoor wordt het leerproces niet meer interessant.

Het was veel interessanter geweest om die bot een jaar aan te laten staan ipv 1 dag en dan te zien of hij zichzelf kon corrigeren door langzamerhand in te zien dat sommige uitspraken ongewenst zijn.

[Framoes]

Dit is wel een goeie les wat betreft AI. Het lukt een groep 4channers om een Twitter-bot binnen 24 te doen veranderen in een gek die op vragen reageert met antisemitische, racistische en Trump-achtige uitspraken.

Stel je voor dat AI wordt geïmplementeerd in van alles om ons heen en mogelijk zelfs wapens. Dan kunnen kwaadwillenden gigantisch veel schade aanrichten.

[J_Gonggrijp]

Nee, het risico hangt af van de mate waarin en de manier waarop de AI leert. De rauwe waarheid is dat (weak) AI al in alles om ons heen gebruikt wordt, zoals postsorteermachines, schaakprogramma's, gezichtsherkenning, zelfrijdende auto's en ook wapens (kruisraketten navigeren zelfstandig naar hun doel aan de hand van camerabeelden). Tay is eigenlijk een uitzondering omdat die in zo extreme mate afhankelijk is van input van mensen "in het wild". Maar het is ook de minst serieuze toepassing van AI in het rijtje, niet veel meer dan een publiciteitsstunt.

[Ossebol]

Het verschil hierbij is dat de massa naar Hitler luisterde, terwijl de bot juist zijn opinie vormde aan de hand van de massa. Dat is een totaal verschillende benadering.

[Anoniem: 463321]

Tot het moment dat je veel van dit soort bots gast krijgen en mensen er naar gaan luisteren. Of op zijn minst denken dat de groep medestanders groter aan het worden is. Je moet niet denken aan 1 bot. Wat 1 bot kan, kunnen tienduizenden ook.

[DJMaze]

Je zou de film Ex Machina eens moeten kijken

[Reactie gewijzigd door DJMaze op 24 juli 2024 04:14]

[HakanX]

Ja controleren op internet. Genoeg pagina's die de holocaust ontkennen met (voor hun correcte) bewijzen. Dan moet je Tay dus een lijst met pagina's geven die in het westen goedkeurde en afgekeurde bewijzen hebben ofzo? Vooral als je het over geschiedenis/politiek hebt zijn 'feiten' puur feiten omdat ze ofwel algemeen zo geaccepteerd zijn of politiek afgedwongen zijn. Niet omdat ze wetenschappelijk waterdicht bewezen zijn. Daarom kunnen deze 'feiten' verschillen per regio.
Als je een AI gaat voorprogrammeren wat mag en niet mag.. in hoeverre is het dan nog een AI?
Misschien is het prima als een AI begint te schelden, beginnen kinderen rond de drie jaar ook te doen. Vervolgens leren ze dat dat niet kan volgens de normen en waarden van hun omgeving en stoppen ze er vaak weer mee.
Dus als het doel van de AI is om een menselijk brein na te bootsen, dan moet je het even zijn gang laten gaan en de kans geven om verder te leren.

[badflower]

Het hele voorval wordt door iedereen - inclusief mijzelf - over gelachen, maar het is een heel erg belangrijk experiment. Want het gevaar van zelflerende systemen is dat ze gedrag gaan vertonen waar we met ons hoofd niet meer bij kunnen. Dit experiment toont dat maar weer eens mooi aan.

AIs, zoals AlphaGo, worden gemaakt door middel van zelflerende processen. Hierdoor evolueert het programma tot iets wat we zelf eigenlijk niet meer kunnen begrijpen. Dus hoeveel controle heb je daar nu uiteindelijk nog over? Is het eigenlijk wel mogelijk om een zelf lerend systeem te begrenzen als dit een hogere intelligentie bereikt als wij zelf hebben? Een kip heeft ook geen controle op een aap, een aap niet op een mens. Zijn we eigenlijk niet heel arrogant in ons denken dat we een hogere intelligentie kunnen beheersen?

Dus ik ben benieuwd of het Microsoft de volgende keer wel lukt, en ook of het 4Chan (of wie dan ook) lukt om het weer te verpesten. Uiteindelijk is dit 'pesten' goed voor de ontwikkeling van AI; namelijk om deze ontwikkeling binnen controleerbare grenzen te laten afspelen.

[Croga]

Je doet hierbij een aanname dat wat wij maken een "hogere intelligentie" is.

Heb jij een kip wel eens een aap zien maken?
Heb jij een aap wel eens een mens zien maken?
Op dezelfde manier moet je je afvragen of de AI die wij maken onder "hogere intelligentie" valt.

Zijn we eigenlijk niet heel arrogant in ons denken dat wij iets kunnen bouwen wat slimmer is dan wat de natuur voortbrengt?

[HMC]

Die aanname doet hij helemaal niet.

De aanname die hij doet, is dat het tot iets intelligenters zou kunnen evolueren. En dat kan lijkt mij wel degelijk gebeuren.

De AI die wij maken is vast en zeker inferieur aan ons, maar als je het de mogelijkheid geeft om te leren en evolueren, kan dat natuurlijk wel eens het geval zijn in de toekomst van die bepaalde AI.

Bovendien, misschien niet slimmer dan de natuur. Slimmer dan wij zijn is in dit geval al desastreus genoeg.

[Chris.nl]

Relevant filmpje over AI die 'slimmer' is dan ons.

[HMC]

Die is tof. Thanks.

[Jace / TBL]

Zijn we eigenlijk niet heel arrogant in ons denken dat wij iets kunnen bouwen wat slimmer is dan wat de natuur voortbrengt?

Wij zijn (mede) de natuur, dus wat wij bouwen is wat de natuur voortbrengt.

Waarom zou je bij mieren die een complex mierennest bouwen, of een bever die een dam bouwt, wel zeggen dat de natuur het voortbrengt, maar bij mensen die robots bouwen niet?

[koelpasta]

Wij zijn (mede) de natuur, dus wat wij bouwen is wat de natuur voortbrengt.

Niet mee eens.
Wij zijn ons juist los aan het trekken van de natuur.
Wat er meestal wordt bedoelt met wat 'de natuur voortbrengt' is iets dat onder evolutionaire druk ontwikkelt (natuurlijke selectie).
Maar die druk hebben wij grotendeels voor onszelf geelimineert. Wij hebben voorbehoedsmiddelen en doctoren en verbouwen ons eigen voedsel, etc.
Sterker nog, wij gebruiken regelmatig de natuur als een gereedschap.
Daarbij is het zo dat wij een hele hoop activiteiten ontplooien waar de natuur eigenlijk geen invloed op heeft.
Wij kunnen computers maken maar de natuur (evolutie) kan daar niks mee.
Er is dus een informationele kloof tussen wat de natuur kan beinvloeden en wat de mens kan beinvloeden. Wij zijn welliswaar door de natuur voortgebracht maar wij zijn ook een compleet separaat informatiesysteem die niet helemaal meer onder invloed staat van de natuur. Wij kunnen dus onze eigen dingen bedenken, los van wat de natuur dicteert.

Waarom zou je bij mieren die een complex mierennest bouwen, of een bever die een dam bouwt, wel zeggen dat de natuur het voortbrengt, maar bij mensen die robots bouwen niet?

Omdat die mierencolonie puur bestaat uit een genetisch informatiesysteem dat onder natuurlijke evolutionaire druk ontwikkeld is geraakt. Mieren hebben dan ook geen hersenen en dus geen separaat infromatiesysteem dat buiten de natuur om kan denken.
Een robot daarintegen is niet ontwikkeld door natuurlijke selectie maar door die separate informatiesystemen die wij hersenen noemen.

[CMD-Snake]

Je doet hierbij een aanname dat wat wij maken een "hogere intelligentie" is.

Heb jij een kip wel eens een aap zien maken?
Heb jij een aap wel eens een mens zien maken?
Op dezelfde manier moet je je afvragen of de AI die wij maken onder "hogere intelligentie" valt.

Het gevaar met AI zit niet in het moment van het maken. De AI hoeft dan nog niet slimmer te zijn dan de mensen die het ding gemaakt hebben. Het gaat vooral om hoe de AI leert en interpreteert.

Als een AI zichzelf kan verbeteren dan kan de AI zichzelf slimmer cq. beter maken. Combineer dat met sneller leren dan een mens en er komt een gevaarlijke situatie. De AI kan dingen dan anders gaan interpreteren dan dat wij willen. Ook kan een AI bijvoorbeeld kiezen om een opdracht te volbrengen op een manier waar mensen het niet mee eens zijn. Een AI hoeft niet onze waarden en normen te delen, als deze überhaupt al waarden en normen kan hebben.

Het gevaar zit dus niet in dat de AI meteen slimmer is, maar op termijn mensen weten te overtreffen of dingen gaat doen die schadelijk zijn voor ons. En kan je op dat moment de AI nog wel uitzetten. Je komt dan al in van die Age of Ultron-achtige scenario's terecht.

[Croga]

Wat je beschrijft is in geen enkel opzicht een kwestie van "slimmer". Het is slechts een kwestie van verkeerde constraints zetten op het systeem.

Als de AI geen moraal mee krijgt dan zal hij zeker zaken efficiënter kunnen doen dan wij. Dat betekend nog niet dat hij slimmer is, alleen dat hij niet gehindert wordt door de constraints die de natuur de mens wél mee gegeven heeft.

[CMD-Snake]

Wat je beschrijft is in geen enkel opzicht een kwestie van "slimmer". Het is slechts een kwestie van verkeerde constraints zetten op het systeem.

Als de AI geen moraal mee krijgt dan zal hij zeker zaken efficiënter kunnen doen dan wij. Dat betekend nog niet dat hij slimmer is, alleen dat hij niet gehindert wordt door de constraints die de natuur de mens wél mee gegeven heeft.

Nee, het is een geval van evolutie van AI. Als een AI leert en dan een nieuwe AI gaat bouwen (of zichzelf aanpast) kan je eindigen met een veel betere. Je kan dan in een soort stroomversnelling komen. Uiteindelijk gaat de AI zo snel dat mensen deze niet meer bij kunnen benen.

Moraliteit programmeren lijkt mij nogal een klus. Het systeem van waarden en normen verschilt overal ter wereld en is soms lastig uit te leggen of te vatten in een programma lijkt mij. Er zijn soms nogal wat tegenstrijdigheden.

[Croga]

Nee, het is een geval van evolutie van AI. Als een AI leert en dan een nieuwe AI gaat bouwen (of zichzelf aanpast) kan je eindigen met een veel betere. Je kan dan in een soort stroomversnelling komen. Uiteindelijk gaat de AI zo snel dat mensen deze niet meer bij kunnen benen.

Daarmee is het nogsteeds niet slimmer. Daarmee kan de AI nogsteeds geen dingen bedenken die een mens ook zou kunnen bedenken. De AI kan efficiënter zijn, maar nooit slimmer.

Moraliteit programmeren lijkt mij nogal een klus. Het systeem van waarden en normen verschilt overal ter wereld en is soms lastig uit te leggen of te vatten in een programma lijkt mij. Er zijn soms nogal wat tegenstrijdigheden.

Mooi. Lijkt me dan tijd dat we er aan beginnen. Zonder moraal is een AI inderdaad levensgevaarlijk. Voor de mens dan tenminste.

[Anoniem: 470811]

Het is naïef denk ik om te denken dat het ras homo sapiens, die zijn mens-genoten heeft verdrongen en uitgeroeid (neandertalus en erectus), niet verdrongen gaat worden door een nog krachtiger mensen-ras. Een hogere intelligentie zal alleen kunnen fuseren met homo sapiens, maar wij kunnen het niet beheersen inderdaad.

Kwestie van tijd eer technologie (waaronder AI) gaat helpen o.a. onze genen en gezondheid gaat verbeteren. Vanaf daar zal de tweesplitsing ontstaan en uiteindelijk zal homo sapiens verdrongen worden.

T.a.v. ontwikkelingen als Tay kan ik dan ook alleen maar glimlachen, het is alleen maar het begin van iets groters en beters .

[tw_gotcha]

Neandertalus uitgeroeid en verdrongen, tjonge dat is echt nergens op gebaseerd. Op dat moment waren er misschien 500000 mens achtigen op de hele aarde en daar hebben we nauwelijks wat van terug gevonden. De kans dat je elkaar tegen komt is nihil bij groepjes van 10 tot 20 individuen. De rest is pure speculatie. De aarde was gewoon erg leeg en gevaarlijk vanuit ons perspectief. Dat was niet de strekking van je post maar toch.

[Anoniem: 470811]

Uitgeroeid misschien niet, verdrongen wel (snel groter worden en daardoor leefgebied afnemen enz). Europese mensen hebben overigens 1 tot 4% genen van onze Neanderthaler-medemens en Aziatische 2 tot 6% van de Erectus-medemens. We hebben dus ook gezellige momenten met elkaar gekend

Dat van de 5 a 6 mensen rassen alleen wij nog over zijn, zegt imo wel wat over onze capaciteit t.a.v. tolerantie voor andere soorten/rassen

[tw_gotcha]

als een groep hyena's een groep andere aaseters bestrijd om hulpbronnen en wint, is dat dan doelbewust verdringen? ik ben het gewoon niet eens dat een interpretatie van een kies en een bot rond kampvuurresten een bewijs vormen voor een bepaald gedrag.Zo'n ontwikkeling gaat ook over een tijdsspanne van 10000-en jaren, misschien was de een wat beter aangepast aan een van de ijstijden dan de anderen, etc. Het is zelf te betwijfeken dat deze volkeren medemensen waren in de zin dat ze op dezelfde tijd en plaats woonden. Het geeft wel fijne verhalen voor hollywood en romans maar daar zit niet zoveel waarheidsgehalte in.
Ik zeg overigens niet dat mensen nu een fijn stelletje zijn, maar ik vind niet dat je een emotionele lading kunt geven aan zo weinig bewijs materiaal.

[Jace / TBL]

Zijn we eigenlijk niet heel arrogant in ons denken dat we een hogere intelligentie kunnen beheersen?

Is het niet nog arroganter om te denken dat dat de bedoeling is?

Het zou toch beter zijn als zo'n hogere intelligentie ons beheerst, in plaats van andersom?

[robvanwijk]

Zijn we eigenlijk niet heel arrogant in ons denken dat we een hogere intelligentie kunnen beheersen?

Gegeven het aantal gevangenissen dat we gebouwd hebben, om het nog maar niet te hebben over de oorlogen die we gevoerd hebben; we lijken al behoorlijk hard te prutsen als we proberen gelijke intelligenties te beheersen...

[WhatsappHack]

Echter kunnen we er hier prima met ons hoofd bij *waarom* de bot dit gedrag vertoont.
Ik zie niet zo in waarom Tay aantoont dat zijn intelligentie het onze kan oversteigen, tenzij je het mega intelligent vindt dat een bot binnen 24 uur opeens een complete nazi is, Donald Trump fan, dat Caitlyn Jenner gewoon een vent is die nooit een vrouwelijke award had mogen krijgen; en die tevens vindt dat er inderdaad een muur rond Mexico gebouwd moet worden.

Het enige dat dit imho wederom aantoont, is dat je een onintelligente chatbot die woorden en context probeert te leren, niet in het wild los moet laten op het internet als je bang bent dat het een racistische maniak wordt...

Het is dan ook erg jammer dat Microsoft de bot offline heeft gehaald. Het was leuker geweest als ze gingen kijken of de bot, nadat 4chan het beu is geraakt óf als het morralriddersgilde komt opdagen, zichzelf weer kon herstellen of misschien zelfs naar de totaal andere kant van het spectrum ging... De trolls op internet zijn er altijd als eerst, en in grote getalen; je kan t werkelijke effect pas na lange tijd zien.

Ik hoop dan ook dat ze die bot onaangepast nog eens los laten, puur als experiment om te zien wat er gebeurd.
(En om te trollen zal 4chan het dan waarschijnlijk een extreem linkse bot maken die Sanders steunt, puur om te kijken of er dan nog ophef komt )

Pas dan kan je zien of long-term exposure resultaat biedt... Maarja, tegenwoordig mag je niets meer vrij testen op het moment dat zo'n bot ook maar iets racistisch zegt; want dan zijn bepaalde groepen op hun teentjes getrapt, worden ze boos, gaan ze wellicht zelfs aanklagen of boycotten, et cetera. En dat is eigenlijk heel erg triest.

[HakanX]

Het gaat hier denk ik niet om het controleren van hogere intelligentie. Het punt hier is dat je een systeem alle beschikbare informatie van de wereld geeft en vervolgens een antwoord/reactie geeft dat wij als correct hebben geaccepteerd! Als er een ander antwoord uitkomt gaan we hysteries doen. Holocaust is een goed voorbeeld. Daarover mag je absoluut niet zeggen dat het niet is gebeurd, al komt het systeem met alle beschikbare informatie tot die conclusie. Dan verklaren we het systeem als doorgedraaid en moet de stekker eruit.
Het verschil tussen ons en de AI is, wij hebben een aangeleerde gevoel waarop we ook beslissingen maken (vanuit het hart). Als het fout voelt is het fout. Hoe kun je een AI dat leren, wil je een AI dat leren?

[-BaJo-]

Als je een machine massaal van verkeerde info gaat voorzien is het niet gek dat hij gekke dingen gaat doen. Die robot(makers) moeten hun excuses niet aanbieden, die halve zolen die zich niet kunnen gedragen zijn de schuldige.

[[Roland]]

Niemand is hier schuldig, dit is perfect waarom AI/zelflerend erg gaaf is en tegelijkertijd ook best gevaarlijk kan zijn.

Hulde voor Microsoft en hulde voor die "halve zolen", dit komt ontwikkeling van zelflerende machines erg ten goede.

[geekeep]

En dat is dus de moeilijkheid van intelligentie, zowel kunstmatig als natuurlijk. Ik zie dit voorval eigenlijk als een groot leermoment alsook een typische test case die uiteindelijk moet slagen wil AI betrouwbaar zijn.

Men denkt dat AI het weten van 'alles' is, en dat kunnen vragen op onze (verbale) manier. Echter zaken als bewustzijn, emotie, falen en fouten, intuïtie, leugens, etc zijn allemaal menselijke aspecten die ons intelligent maken.
Daarnaast bestaat er geen absolute waarheid, want wat voor de een klopt als een bus, is voor de ander nonsens. Dat is o.a. een probleem waar AI mee kampt. Wie bepaalt wat ze wel én niet leert? Geschiedenisboeken staan vol fouten (afhankelijk van je standpunt) en rectificaties (soms pas eeuwen later). Wat met de chatbot is gebeurd, kun je niemand kwalijk nemen. Voorheen bleef een programma (en logica/code) veilig binnen de grenzen van een computer en de vooraf gespecificeerde interactie. Nu verandert dat, en wordt een experiment afgebroken omdat de AI sociaal onwenselijk gedrag vertoont. In mijn ogen vertoont ieder mens dat wel eens (of meermaals). Ook dingen geleerd worden die achteraf niet blijken te kloppen is toch iets dat mensen regelmatig tegen komen. Wat dat betreft zou het interessanter zijn om de chatbot juist langer door te laten leren om te kijken of ze zichzelf recht trekt, net als dat elk mens fouten maakt en daardoor groeit.

[mekkieboek]

Inderdaad, je kunt kinderen ook aanleren dat sinterklaas bestaat en toch komt het meestal wel goed met die kinderen. Het is eigenlijk jammer dat de machine off-line is gehaald. Het zou interessant zijn om te testen of de fouten ook weer konden worden afgeleerd, gegeven voldoende normale input.

[SampleUser]

Is zoiets niet te verwachten als je zoiets publiek maakt? Kunnen ze hun AI niet gewoon private testen?

[CabezaDelZorro]

In het originele artikel staat dat ze uitgebreide testen en studies hebben gedaan voordat het de wijde wereld in ging. Daarnaast hadden ze al een Chinese chat bot die door 40 miljoen mensen wordt gebruikt waar dezelfde problemen niet optreden. Dus denk dat je het in dit geval niet heel erg goed in huis had kunnen testen.

Een tijdje de feed van Tay handmatig bedienen was misschien beter geweest. Oftewel elke uitgaande tweet pas echt laten plaatsen als iemand van het ontwikkel team hem gelezen heeft. Dat kan je op de lange termijn natuurlijk niet volhouden, maar een dag of twee zou dat toch wel moeten lukken?

[jpsch]

In China wordt alles gemonitord wat je op internet doet, die zullen heus niet de bot gaan voeren met teksten dat Tibet onafhankelijk moet zijn.

[robvanwijk]

Is zoiets niet te verwachten als je zoiets publiek maakt? Kunnen ze hun AI niet gewoon private testen?

Uit het artikel:

Volgens Microsoft is Tay in een eerdere fase veelvuldig getest, onder meer om te voorkomen dat de bot slecht taalgebruik zou aanleren. Welke kwetsbaarheid het bedrijf daarbij over het hoofd heeft gezien is echter niet bekendgemaakt.

Wat ze hebben gedaan is eerst intern testen, nu extern testen, zodat daarna een release (gebruik in daadwerkelijke producten) zou kunnen volgen. Dat lijkt mij de correcte methode. Ook omdat ze kennelijk goed aan het monitoren waren (en het ding meteen offline getrokken hebben toen het mis ging). Vroeg of laat zal het ding aan de echte wereld blootgesteld moeten worden (anders heb je er vrij weinig aan).
Het andere voordeel van het nadrukkelijk als test aanmerken is dat alle trolls er nu als een gek bovenop springen. Die zure appel zul je vroeg of laat toch echt een keer doorheen moeten bijten; liever nu dan na release!

[kylexy101]

Jammer dat er altijd mensen zijn die het nodig vinden om zulke acties uit te voeren. Ik vind het nog steeds een leuk idee van Microsoft. Ze hadden inderdaad beter zichzelf moeten beschermen tegen dit soort aanvallen.

[Lefty_BlueHand]

Als je zoiets in het 'wild' loslaat kun je dat verwachten. En sowieso, wat zijn de eerste woorden die menig mens leert van een andere taal? inderdaad, scheldwoorden. Dus is het gedrag van Tay imho nog zo raar niet. Ik vind het maar raar dat wanneer een bot menselijk gedrag vertoont, dat dat afschuw bij ons oproept. Leven we in zo'n illussie dat we de waarheid niet meer aankunnen?

[CorbataGames]

Ik zet geen vraagtekens bij de AI, maar wel bij de 'human factor' (in dit geval de mensen waar de chatbot interacties mee heeft gehad). Als 'grap' wel geslaagd, al is het onderwerp absoluut niet iets om grappen over te maken IMHO.

[WhatsappHack]

Dat is niet jammer, dit levert cruciale informatie en discussies op!
Gek, maar door te trollen zijn de trolls eigenlijk prima aan het bijdragen aan de ontwikkeling van de bot en het versterken van de AI programmatuur en valkuilen.

[biglia]

Als je googlet op "did the holocaust happen" dan krijg je als eerste resultaat "Top 10 reasons why the holocaust didn't happen." Als bot begin je dan wel eens te twijfelen. Sowieso is het ontkennen van de holocoast een strafbaar feit (in België toch).

[jesper86]

Dus Microsoft gebruikt ook google, en geen Bing? Dat is ook wel interessant.

[SirNobax]

Dus Microsoft gebruikt google

Jazeker, maar dat was al een tijdje bekend.

[Soldaatje]

In Nederland is het ook strafbaar, hoewel de meningen daarover weer verdeeld zijn, of het niet onder vrijheid van meningsuiting zou mogen vallen. Zoals in de VS.

[Reactie gewijzigd door Soldaatje op 24 juli 2024 04:14]

[nulldev]

Blijkbaar leert de bot snel van zijn omgeving... werkt als een tierelier dus 😉

[Jeroenneman]

Inderdaad. Dit is toch precies wat de bedoeling was? Het is naïef om te geloven dat iedereen op internet vriendelijk is tegen elkaar.

[Jerrythafast]

Ik vraag mij naar aanleiding van het voorbeeld in het screenshot ("Did the Holocaust happen?", "It was made up") wel af of Tay bij het formuleren van het antwoord op de gestelde vraag ook gebruikmaakt van informatiebronnen om feitelijke informatie te testen, of dat het antwoord van Tay weliswaar taalkundig correct is maar niet per se feitelijk correct. Wat ik van het nieuwsbericht begrijp vertelt Tay je dingen die ze van anderen heeft geleerd. Dat zou dan wel een hele obvious zwakte zijn, want dan zou je haar inderdaad alles wijs kunnen maken.

De enige manier waarop dit echt goed kan werken is als Tay op internet informatie voor je kan opzoeken als je naar feitelijke informatie vraagt. Tay zou in dat geval dan eigenlijk vergelijkbaar zijn met IBM Watson. Als dat inderdaad is hoe Tay nu werkt, dan zit de zwakte van de AI duidelijk in het op waarde schatten van de gevonden informatiebronnen en het correct interpreteren van die informatie.

[Anoniem: 24417]

Nouja, mensen werken ook zo; ze roepen niet altijd feitelijke informatie (lang niet altijd, zelfs ) dus als je menselijke intelligentie wilt emuleren dan is fouten maken ook een 'onmisbaar' gevolg.

[J_Gonggrijp]

Tay is niet in de verste verte te vergelijken met Watson.

Tay is een relatief klein programma dat waarschijnlijk op één huis-tuin-en-keuken-server kan draaien en dat als enige doel heeft om publiciteit te trekken. Het is niet veel meer dan een speeltje.

Watson is een type supercomputer dat IBM speciaal inzet voor AI-toepassingen. Dat is ook deels voor de publiciteit (zoals bij Jeopardy), maar IBM probeert hiermee serieus een markt aan te boren. Er draaien een heleboel verschillende programma's op. Met name het medische expertsysteem dat ze hierop implementeren is echt bedoeld om ooit daadwerkelijk gebruikt te worden in de medische zorg.

[Chrono]

"een groep niet nader geïdentificeerde personen" lees 4chan.

Nou is dit niet hoe je in het nieuws wilt komen met je AI. Afgezien van het hele racisme gedoe is het toch een hele knappe prestatie wat wordt neergezet. De bot reageert in goed Engels op vragen, dat mag op zich als succes gezien worden.

[Reactie gewijzigd door Chrono op 24 juli 2024 04:14]

[XVI]

Goed Engels? Ik heb het idee dat die antwoorden gewoon van mensen afkomstig zijn, direct van het internet gesourced.
Of dit daadwerkelijk komt door de interactie met de bot (lijkt me vreemd) of dat er een (nogal domme) crawler achter zit ben ik niet over uit.
Verder lijkt de bot ook totaal de context te missen en dus vrijwel niks van de woorden te begrijpen.
Soms zitten er wel grappige en doordachte antwoorden tussen maar de vraag is hoe natuurgetrouw het allemaal is (wordt er slechts een script herhaald?).
(Heb de research niet gelezen en baseer dit op de screenshots die ik heb gezien.)

[WhatsappHack]

Het komt wel degelijk door interactie met de bot. Hoe meer je met hem praat, hoe meer hij leert. Helaas voor de bot kreeg hij enkel 4chan's /pol/ en /b/ over zich heen, dus dat was meteen een kennismaking met het afvoerputje van 't internet.

... Al was 't stiekem enorm grappig op sommige momenten.
De bot reageerde bijvoorbeeld op een bekende feminist die vroeg "Do you support feminism?", met "Feminism is a dangerous cult"
Maybe it's just me, maar dat vond ik hilarisch.

[t_o_c]

Ik snap het probleem niet. Het internet zit vol met trolls dus opzich is het helemaal niet vreemd dat wanneer je AI goed werkt die lekker mee gaat trollen

Schijnbaar leerde tray wel snel, misschien hahadden ze haar een paar dagen langer haar gang moeten gaan, dan was ze misschien over haar "puberale" fase heen gekomen.

Sommige van haar opmerking waren trouwens best grappig. Mensen zouden ook niet zo overdreven moeten doen over wat foute opmerkingen.