Blog geschreven door kunstmatige intelligentie haalt toppositie op Hacker News

Een Amerikaanse student heeft met een door kunstmatige intelligentie geschreven blog een toppositie op Hacker News bereikt. Lezers van dat platform merkten niet op dat de tekst niet door een mens is geschreven. De student gebruikte het GPT-3-taalmodel van OpenAI.

Ai-blog op Hacker NewsZijn blog met berichten geschreven door GPT-3 heeft in totaal 26.000 bezoekers opgeleverd, schrijft Liam Porr. De Amerikaanse student maakte drie accounts op Hacker News om links in te sturen naar zijn eigen blog en een paar up-votes te geven. Een van de blogposts kreeg tractie en kwam bovenaan de lijst te staan. Onder die post, getiteld 'Feeling unproductive? Maybe you should stop overthinking' ontstond een inhoudelijke discussie van Hacker News-gebruikers.

Reacties op ai-blogVerreweg de meeste gebruikers hadden niet door dat het om een tekst ging die niet door een mens is geschreven. Er is wel iemand die opmerkt dat het om een tekst lijkt te gaan die door GPT-3 is gegenereerd, maar die persoon wordt door anderen tegengesproken.

Porr verduidelijkt tegenover MIT Technology Review dat hij zelf een titel en een introtekst schreef en een foto toevoegde. Hij liet GPT-3 de rest van het werk doen en het verhaal afmaken. Dat taalmodel van OpenAI is overigens niet vrij beschikbaar. De organisatie vreest dat er misbruik van wordt gemaakt. Daarom is de bètaversie alleen toegankelijk voor onderzoekers en wordt er gekeken naar het gebruik. Porr kon er gebruik van maken via een student die bezig is met promotieonderzoek en via die weg toegang heeft.

Hoewel Porr de kunstmatige intelligentie grotendeels het werk liet doen, maakte hij wel kleine aanpassingen aan de teksten. Zo schreef de ai een quote van Bob Dylan toe aan iemand anders en zaten er een aantal spelfouten in de teksten.

OpenAI presenteerde GPT-2 begin vorig jaar. Dat taalmodel had 1,5 miljard parameters en was getraind op acht miljoen webpagina's. De kunstmatige intelligentie kan coherente teksten schrijven door telkens het volgende woord te voorspellen. GPT-3 is in juli dit jaar uitgebracht in bèta; deze opvolger werkt met 175 miljard parameters en is daarmee het meest geavanceerde taalmodel.

Door Julian Huijbregts

Nieuwsredacteur

17-08-2020 • 16:55

64

Reacties (64)

64
63
51
5
1
7
Wijzig sortering
Interessant maar niet onverwacht als we naar de vooruitgang van de afgelopen paar jaar kijken. (Ik werk zelf aan een doctoraat in natural language processing - het veld dat met dit soort zaken bezig is.)

Enkele belangrijke zaken die nuttig zijn om aan te halen:
  • groter is beter: de afgelopen jaren hebben we alsmaar grotere modellen gezien (aantal parameters), de enige limiet waar we nu tegenaan lopen is dezelfde als die ze veertig jaar geleden ook hadden: computationele kracht. Het zal niet lang meer duren voor we tegen een plafond aanlopen, waarna de focus zal moeten verschuiven: in plaats van alsmaar grotere modellen te bouwen zullen er weer grote stappen op algoritmisch/architecturaal niveau moeten gebeuren
  • al in vorige modellen doet "de computer" het beter in bepaalde taaltaken (benchmarks) dan mensen. (zie bv. hier en kijk naar human scores tegenover beste taalmodel) Dat is te wijten aan de generalisatiemogelijkheden van taalmodellen, maar er zijn ook al veel discussiepunten geweest waarop werd aangehaald dat de benchmarks te specifiek zijn en dat het niet te verwonderen is dat de computer hier goed op kan scoren. Na verloop van tijd wordt een benchmark zo belangrijk dat systemen zo gebouwd worden dat ze goed scoren op de benchmark, maar slecht presteren in andere taken (overfitting)
  • je zal nooit, met de huidige technieken, een systeem hebben dat zo spreekt/schrijft als je in de films soms ziet. Ze zullen altijd door de mand vallen. Bij kleine fragmenten zal je het niet zo snel merken (bv. Google translate), maar als je bv. een boek laat vertalen zie je het onmiddellijk. Samenhang en creativiteit zijn twee grote moeilijkheden van dit soort systemen
  • Zoals bij elk machine-learning systeem, weet het model enkel wat het ooit "geleerd" heeft en kan daar generalisaties uit halen. Het "weet" dus niets (AGI is nog veraf). Je kan dus ook niet verwachten dat het uit het niets een nieuwsartikel over een recente gebeurtenis of nieuwe telefoon kan schrijven: het "weet" niets over deze zaken en kan er dus niets over vertellen. Het zal dat "proberen" zodat de tekst die het produceert juist lijkt en zo vlot mogelijk leest, maar inhoudelijk zal daar niets van kloppen. Wel is er onderzoek naar knowledge base-integratie (bv. Wikipedia) in dit soort systemen, wat wel erg interessant is!
  • Extraatje: ik gebruik bewust het woord AI niet vaak. Er wordt altijd gezegd dat onze manier van communiceren als mens ons "intelligent" maakt. Toch zit een computer nog helemaal niet ver in dat stadium. Ja, we kunnen commando's geven aan onze koelkast, en we kunnen onze telefoon mopjes laten vertellen, maar dat zijn erg specifieke regeltjes. Wanneer je een gesprek wil voeren met chat bots, zal je al snel tegen de communicatiekloof aanlopen. De Turing-test staat nog onoverwonnen recht als het om algemene zaken gaat. In gerichte taken is die test al overwonnen door de computer, maar een avond gezellig een babbeltje slaan zonder dat je beseft dat het een computerprogramma is? Daar zijn we nog niet.
Zelf eens proberen hoe goed GPT-2 (de voorganger) tekst kan aanvullen? Probeer hier.

[Reactie gewijzigd door BramVroy op 28 juli 2024 05:37]

groter is beter: de afgelopen jaren hebben we alsmaar grotere modellen gezien (aantal parameters), de enige limiet waar we nu tegenaan lopen is dezelfde als die ze veertig jaar geleden ook hadden: computationele kracht. Het zal niet lang meer duren voor we tegen een plafond aanlopen, waarna de focus zal moeten verschuiven: in plaats van alsmaar grotere modellen te bouwen zullen er weer grote stappen op algoritmisch/architecturaal niveau moeten gebeuren
Interessant, van Google's (nogal succesvolle) vertaalmachine ontwikkeling begreep ik dat ze 'domme' data (gigantische verzamelingen user evaluated translations) prefereren boven algoritmes. Maar misschien is vertalen ook wel iets anders dan het genereren van teksten op deze wijze?

Heel goed overigens dat ze deze broncode geheim houden, hopelijk zit daar ook military-grade security op, als dat al voldoende is... ik voorzie anders een explosie aan kwalijke desinformatie bovenop de ellende die we nu al niet meer kunnen beheersen - terwijl die wel onze wereld bepaalt. Doodenge ontwikkelingen. Ik ben er ook nog niet uit op welke manier het ooit zinvol zal worden dat/als computers überhaupt zelf teksten kunnen genereren.
Niet helemaal correct. Google Translate is inderdaad getraind op onnoemlijk veel data en wordt continu verder getraind met nieuwe data (de verschillende releases zijn echter niet beschikbaar, je weet dus niet welk "versienummer" je hebt gebruikt). Daarnaast is de architectuur die ze gebruiken ook top-of-the-line. Ze gebruiken een architectuur die gebaseerd is op transformer-blocks. Alle hedendaagse state-of-the-art systemen zijn gebaseerd op deze architectuur (GPT-1, 2, 3 ook).

Bij Google Translate is het echter wel zo dat zij zoveel gelijktijdige klanten hebben dat efficientie enorm belangrijk zijn. Taalmodellen en gigantische neurale netwerken an sich zijn eigenlijk erg inefficient. (Als je hier meer wil over weten kan je eens zoeken op quantization en distillation). Google zal waarschijnlijk dus ook heel wat werk hebben gestopt in hun gigantische best-performing systeem, wat uit enorm veel parameters bestaat maar relatief traag is, te reduceren tot een kleiner model dat iets slechter presteert. Niemand weet wat er zich juist achter de schermen afspeelt, dus ik weet geen details. Wel kan ik je vertellen dat ik als een onderzoeker bij een grote universiteit enkel maar kan dromen van de middelen die deze grote jongens tot hun beschikking hebben.
Hmm toch presteert de vertaalmachine van DeepL naar mijn mening beter dan Google, terwijl het een klein bedrijfje is.
DeepL is geen "klein bedrijfje" (wel als je het met Google vergelijkt natuurlijk). Maar inderdaad, ze presteren voor enkele specifieke taalparen erg goed. Ik denk dat ze twee jaar geleden meldden dat hun vertaling voor Nederlands Engels beter werd bevonden door human evaluators. Erg mooi dat! Maar eigenlijk zou je continu de twee moeten vergelijken. Er komen vaak updates naar dit soort services zonder dat het wordt aangekondigd dus het is moeilijk te weten welke "versie" je eigenlijk gebruikt. Je moet er ook rekening mee houden dat DeepL erg specifiek werkt op bepaalde taalparen terwijl Google translate als doel heeft zo veel mogelijk talen naar alle andere talen te kunnen vertalen. Niet evident!


In mijn onderzoek gebruiken we verschillende services, waaronder zowel Google Translate als DeepL. Niet verwonderlijk maken ze allebei soortgelijke fouten.

[Reactie gewijzigd door BramVroy op 28 juli 2024 05:37]

Okee, klein in vergelijking met Google dan.

Ik heb gedurende enkele jaren wel vaker vertalingen vergeleken, en eigenlijk kwam Deep L er bijna altijd beter uit dan Google voor de paren die ik gebruikte. Wat mij betreft consistent goede prestaties.

Natuurlijk heeft Google meer paren, maar die presteren ook veel en veel slechter dan b.v. Engels-Duits bij Google. Als je eens Engels-Latijn probeert zie je hoe totaal onbruikbaar en waardeloos dat is. Google heeft neem ik aan het grootste deel van zijn tijd en geld geïnvesteerd in de paren die het meest gebruikt worden, wat denk ik ook de paren zijn die Deep L heeft.

Mijn achterliggende gedachte is dat Google vaak een beetje opgehemeld wordt, zoals veel andere grote Amerikaanse multinationals. Alsof zij dingen zo veel beter kunnen dan andere, kleinere bedrijven.

Daaraan zou ik nog een gedachte willen knopen: ik las een tijdje geleden een artikel over hoe Google te werk was gegaan met Translate. Het was voor het grootste deel puur statistisch, weinig gebaseerd op modellen van hoe taal en syntax eigenlijk werken. Op het moment dat Deep L naar voren trad, dat zich juist wel veel op zulke modellen baseert en eigenlijk beter werkte, heeft Google naarstig het roer omgegooid en is het ook meer zulke modellen gaan gebruiken, waarmee het inderdaad zijn vertaalmachine de laatste jaren flink heeft verbeterd. Dit is natuurlijk een simplificatie, maar toch.

[Reactie gewijzigd door Cerberus_tm op 28 juli 2024 05:37]

Ik ben wel benieuwd naar dat artikel want dat klopt gewoon niet.

In den beginne had je regelgebaseerde machinevertaling. Dat waren simpelweg gigantische grote lijsten met regels: als hier woord X staat moet daar woord Y staan. Daarna kwam de statistische machinevertaling die tot sinds enkele jaren de heer en meester was. Dat is degene die de meeste onder ons nog kennen als we verwijzen naar de "o zo slechte vertaling van machinevertaalsystemen" (dezer dagen is dat al heeeeel veel beter). Na SMT is het neurale tijdperk aangebroken. Dat zijn dus, in gelijke aard als GPT, grote neurale netwerken die het merendeel zelf oplossen en an sich weinig tot geen taalkundige kennis ge-injecteerd krijgen. Google NMT net zoals DeepL NMT zijn overgeschakeld naar NMT op basis van attention (cf. "transformer"), waarbij het systeem automatisch leert welke woorden belangrijk zijn en meer aandacht verdienen en welke niet. Zelfs in hun laatste iteratie eerder dit jaar, gaf DeepL aan dat ze de algoritmes en "de wiskunde" hebben verbeterd, los van de taalkundige informatie.

Begrijp me niet verkeerd: ik ben zelf taalkundige van achtergrond en ben daarna in AI gespecialiseerd en ben zo bij NLP terechtgekomen. Ik zou ook liever zien dat we vertaalmodellen beter kunnen maken met geinjecteerde taalkundige informatie. Daar wordt zeker op gewerkt (zowel op lexicaal als syntactisch niveau), en het zal ook zeker nodig zijn om de systemen nog beter te maken in de toekomst. Meer nog, Google heeft taalkundige posities waar ze mensen op aannemen! Maar de basis van beide systemen, DeepL en Google, zijn neuraal, d.w.z. niets meer dan algoritmes die een probleem optimaliseren.
Ik kan het artikel niet meer vinden. Maar dit is toch niet per se in tegenspraak met wat jij zegt? Wellicht ging het om een momentopname, toen Google nog minder neurale netwerken gebruikte en Deep L al wel, o.i.d. Maar los daarvan ging het in het artikel echt ook om meer inhoudelijk taalkundige theorieën/modellen, waar Deep L meer gebruik van zou hebben gemaakt dan Google, op dat moment. Dat kan toch samengaan met een overstap naar neurale netwerken? Natuurlijk gebruikt Deep L ook massa's statistiek e.d., het ging meer om een verschil in focus.

Mijn theorie over vertaling is trouwens dat een computer pas net zo goed als een mens zal kunnen vertalen wanneer hij ongeveer net zoals een mens kan denken, en net zulke dingen weet als een mens. Semantiek is namelijk noodzakelijk voor een goede vertaling.
Dat DeepL beter presteert is ook mijn ervaring. Maar grootte maakt niet zoveel uit: je hebt genoeg cloud providers die je de nodige resources kan leveren, als je het maar kan betalen. En dat zie je ook terug in hun pricing model, best wel kostbaar. Zelfs de dev api kost 2 cent per 1000 karakters bovenop een maandelijks plan.
De gratis tier vind ik ook wel tricky: kijk maar bij de "Maximum data security" optie die je niet krijgt bij het free plan. Blijkbaar ga je bij deze tier akkoord dat al je data gebruikt mag worden door third parties.

Wil ik niet zeggen dat je bij Google Translate beter af bent natuurlijk.
Ik denk inderdaad dat grootte niet super veel uitmaakt, boven een bepaalde drempelwaarde gaat het er meer om dat je goed werk levert. En ik denk dat Deep L daar beter in is geslaagd dan Google, ook al heeft Google er vast veel meer tijd en geld in geïnvesteerd. Naar wat ik las over hoe Google te werk ging tot recent was dat ook minder slim dan Deep L.
Het gaat er niet zozeer om dat mensen computers zelf teksten willen laten genereren. Het uiteindelijke doel is om een menselijk overkomende AI te maken, een AI die voor de mens niet te onderscheiden is van de mens. Aangezien de mens communiceert met taal, is taal daarin één van de belangrijkste factoren.

Dit is vergelijkbaar met kinderen op school een opstel laten schrijven. Dat gaat er niet om dat kinderen opstellen schrijven, of dat men verwacht dat kinderen ONS iets gaan leren met opstellen, dat gaat er om dat een kind leert om gedachten en gevoelens zo in taal om te kunnen zetten, dat het voor anderen te volgen is.

Ik moet overigens zeggen, ik heb dit een tijd niet gevolgd, het bronartikel is door de auteur opzettelijk op een aantal punten aangepast om authenticiteit te verhogen, maar als je het leest, zullen er weinig mensen zijn die zeggen dat het een door de computer gegenereerde tekst is. Ook die GPT-2 test is al schokkend goed.
Ja...de structuur is redelijk, maar de inhoud is super wazig. Inderdaad zijn er genoeg echte artikelen die net zo slecht zijn, dus daarom lijkt het 'echt'. Maar alleen omdat het dus om een super slecht genre gaat. Het is gewoon eigenlijk hetzelfde idee als de Postmodernism Generator. Artikelen uit die machine hebben ook wel eens een academisch tijdschrift gehaald, maar dat kan alleen omdat er grote problemen in het hele genre van zulke artikelen zitten.
Het gaat er niet zozeer om dat mensen computers zelf teksten willen laten genereren. Het uiteindelijke doel is om een menselijk overkomende AI te maken, een AI die voor de mens niet te onderscheiden is van de mens. Aangezien de mens communiceert met taal, is taal daarin één van de belangrijkste factoren.
Daarmee is de vraag naar de zin van dat alles nog niet beantwoord. Als je een mens wil, kun je ook gewoon een mens nemen.
De Turing-test staat nog overwonnen recht als het om algemene zaken gaat. In gerichte taken is die test al overwonnen door de computer, maar gezellig een babbeltje staan zonder dat je beseft dat het een computerprogramma is? Daar zijn we nog niet.
Nou, GPT-3 komt toch dichterbij dan alles wat daar voor is gekomen.
Traditionally, artificial intelligence struggles at “common sense”. But GPT-3 can answer a lot of common sense questions.

Q: What is your favorite animal?
A: My favorite animal is a dog.

Q: Why?
A: Because dogs are loyal and friendly.

Q: What are two reasons that a dog might be in a bad mood?
A: Two reasons that a dog might be in a bad mood are if it is hungry or if it is hot.

Q: How many eyes does a giraffe have?
A: A giraffe has two eyes.

Q: How many legs does a frog have?
A: A frog has four legs.

Q: Are there any animals with three legs?
A: No, there are no animals with three legs.

Q: Why don't animals have three legs?
A: Animals don't have three legs because they would fall over.
Zie dit artikel voor de rest

[Reactie gewijzigd door Kain_niaK op 28 juli 2024 05:37]

Ik heb de originele paper gelezen toen die eerst uitkwam. Er zitten een paar mooie voorbeeldjes in. Maar dat is vaak cherry picking. Het systeem "weet" natuurlijk erg veel, als je kijkt naar de bergen data waarop het getraind is. Maar zoals ik aangaf zit je al snel met het probleem dat recente kennis ontbreekt (en heel het systeem opnieuw trainen is erg kostelijk). De typische problemen met language models blijven ook overeind (context, ambiguïteit, temporele consistentie). Daarom zijn onderzoekers nu ook bezig met het integreren van knowledge graphs/bases in language models. Erg interessant werk! Wat we vandaag zien is al erg indrukwekkend, maar er is nog veel werk voor de boeg.
Kan GPT-3 een vraag via taal herleiden tot een eenvoudige rekensom en die uitvoeren? Bijvoorbeeld "Is 2040 een schrikkeljaar?" beantwoorden met ja of nee? Dwz als dezelfde vraag niet identiek (en juist beantwoord) in de trainingsdataset stond?
Er zijn specifieke taalmodellen die getraind zijn om gevraagde rekensommen op te lossen, losstaande van hun formuleringen. Dat lijkt triviaal maar is het niet. Je kan het nie zomaar hardcoden namelijk: je input kan erg noisy zijn. Ik denk dat de intentie ook meer was om te kijken "wat zo een model nu eigenlijk kan", en niet "een netwerk bouwen dat zo efficient mogelijk rekensommen kan oplossen".

Op je tweede vraag weet ik geen antwoord. Het zal een antwoord geven, maar of dat antwoord correct is weet ik niet. Maar als je bedoelt of het consistent weet wat een schrikkeljaar is, en welke jaren schrikkeljaren waren en daardoor kan afleiden of een toekomst jaar een schrikkeljaar is: ik ben niet zeker, maar het lijkt me wel mogelijk, maar met een niet-kleine foutmarge. Onthoud dat deze modellen niet voor elk klein stukje informatie een regel opbouwen (bv.: jaartallen, vorige informatie over jaartallen, schrikkeljaren), maar op basis van ruimere gegeven context en hogerorde functies, komt het tot de meest waarschijnlijke uitkomst. Daar zit als het om echte feiten gaat dus zeker wat ruis op.
oef, daar ontbreekt de ziel nogal uit... als je tegen iemand praat dan praat je niet als pure Wikipedia kennis...

Een deel van het verhaal is net niet in 1 zin antwoorden, en hoofd van bijzaken onderscheiden... de 3 poten vraag, daar gaat vrijwel niemand zo op antwoorden.
Dus de titel van dit artikel mag weer eens aangepast worden. Voor het gemak noemen we machine learning maar AI terwijl het compleet andere dingen zijn. Alsof ik het AD aan het lezen ben, "auto herkent verkeersborden met ai"
AI is, in mijn ogen, een te snel te misverstaan begrip. Als iemand me vraagt om AI te definiëren, dan kan ik dat niet. "intelligentie" zoals wij dat kennen, bestaat volgens mij niet in computers. Daarvoor is die term echter ook niet ontwikkeld. De bedoeling was eerder om een computer berekende beslissingen te laten nemen, dus op die manier zijn er erg veel dingen wel "AI". In theorie is logistieke regressie dan ook AI. Ik vind de lijn tussen AI en machine learning en wiskunde op zichzelf erg moeilijk om te trekken.
Een berekende beslissing is (even simpel gezegd) een heleboel if-then-else statements. AI is als een computer zelf beslissingen neemt op alle input die je het maar kan geven. Dus robot versie van een mens. Die bestaat gelukkig nog niet.
Wel apart dat als je over explosions begint en het laat aanvullen door die GPT-2 het al snel draait naar gebouwen en vliegtuigen... america much?
Alles wat in de data staat, zal ook bij inference naar boven kunnen komen. Zo werkt het nu eenmaal. Onderliggend is het niets dan probabiliteiten en dooegeeffuncties. Als er in de data veel over explosies besproken i' verband met vliegtuigen, dan zal je dat als gebruiker ook vaak terug zien.
In hoeverre is de beschikbare data een probleem? Je focus ligt op NLP, maar je zal ongetwijfeld ook wat weten over andere velden. Bijvoorbeeld Youtube is een nagenoeg onbeperkte bron van video die gratis te gebruiken is voor o.a. trainen op frame interpolatie, beeldherkenning en noem maar op. Twitter is voor tekst ook nagenoeg onbeperkt en Reddit kan je ook gratis scrapen. Zit daar nog een bottleneck in of denk je dat we inmiddels genoeg trainingsdata beschikbaar hebben voor diverse systemen?
Hangt ervan af wat je bedoelt met probleem.

- qua hoeveelheid is er voor het Engels zeker geen probleem. Je hebt wel problemen als je iets wil doen met talen waarvoor weinig data beschikbaar is. Deze "low resource languages" hebben een speciale plek in het onderzoeksveld. Ze missen vaak heel elementaire zaken, zoals woordenboeken of geschreven tekst. Dit zijn uiteraard minder bekende talen (vaak stamtalen of talen met weinig sprekers), maar toch zou het net voor die talen en gemeenschappen nuttig zijn om bv. een goed vertaalsysteem te hebben. Er worden dus wel degelijk stappen ondernemen om dit te beteren. Dat gaat van veldwerk (data verzamelen door sociolinguisten) tot slimme truukjes (talen zoeken die erg verwant zijn met de taal in kwestie en dan selectieve transfer learning toepassen).
- qua kwaliteit van de data zitten we echter met een probleem. Zoals je aangeeft zijn er hopen en hopen aan data. Van deze data is nooit verzekerd of de spelling juist zit, noch of de feiten juist zijn. Als je dus alles scrapet en gebruikt dat je maar kan vinden, dan zal er veel misinformatie en eventueel spelfouten in je data zitten. Dat zal je altijd wel deels hebben, uiteraard, maar het is wel iets om goed over na te denken. De onderzoekers die deze gigantische systemen uitbrengen schrijven meestal dus ook een, welkom, tekstje over de data die ze gebruikt hebben en hoe ze die eventueel gefilterd hebben. Hierover is overigens vaak debat: is het onze taak als onderzoekers om de data op te kuisen, terwijl de data net exact toont hoe wij als mensen en maatschappij zijn? Er zijn argumenten voor en tegen, maar het is belangrijk om te onthouden dat deze taalmodellen intrinsiek nog steeds "dom" zijn en dat alle data die ze krijgen ook gebruiken. Met andere woorden, elke bias die ze als input krijgen zullen ze ook genereren. Alle soorten discriminatie, haatdragende symboliek, en extreem propaganda wordt dus gewoon opgenomen als dat niet wordt gefilterd.
AGI is natuurlijk een kwestie van dataset grootte... i.e. computing kracht zoals jij dat mooi aankaart.

Mensen kunnen over een nieuwsartikel iets vertellen omdat wij een heel leven aan gebeurtenissen daar aan voorafgaand hebben meegemaakt en daar herinneringen, meningen en ideeën over hebben.

Daarom vind ik (deep-)learning AI zo interessant omdat daar toch uit blijkt dat door AI iets te laten 'doen' en leren dmv vallen en opstaan ze een betere grip krijgen op wát ze aan het doen zijn dan simpelweg de programmeurs zo veel mogelijk uit te laten drukken in algoritmen.

Uiteindelijk is het menselijk 'algoritme' vrij basaal.. onze neuronen zijn allemaal hetzelfde (erg makkelijk uit te drukken in een verzameling van weighed inputs en outputs + 'gewenning' (versterking/verzwakking van verbindingen)) en de enige echte 'algoritmische sturing' die plaats vind is d.m.v. de genetische 'vormgeving' van je hersenquadranten gedurende het groeiproces. De rest komt allemaal door 'learning' en doen.
Vind het dan ook erg interessant om te zien dat die hersen 'regios' daadwerkelijk 're-mapped' kunnen worden wanneer iemand bijvoorbeeld blind of doof wordt/is, wat nog eens extra aanstipt hoe klein de rol van die 'algoritmische programmering' daadwerkelijk wel niet is.

De kunst, mijns inziens, is dan ook om écht goed te focussen op het hormonale aspect van de menselijke 'geest', en de impact die al deze stofjes op onze hersenen hebben. Zij zijn immers, samen met de impulsen van onze sensoren, de échte 'algoritmische sturing'.
Er zit toch aardig wat structuur en voorgebakken kennis in onze hersenen, en ja, dan heb je nog hormonen. Het is echt flink ingewikkeld... ;-)
Probeersel met GPT-2. Eerste stukje "Hello all, my name is Henk and" is van mij, de test is met herhaaldelijk indrukken van TAB bij elkaar geflanst. Het lijkt nog een echte text ook:

Hello all, my name is Henk and I am a fan of the Elder Scrolls series . I have been playing this game since the early days and wanted to do something to give back for their hard work. So I decided to make the Elder Scrolls II : Daggerfall in Skyrim theme a reality. I started with a few paintings of the main characters from the game . After making some changes , it became a beautiful thing to play. I hope you guys like it as much as I do. Please give it a like on my FB page as well , it was a great idea !. If you do not like the idea, please do not download this theme.

Even voor de duidelijkheid ik ben geen Elder Scrolls fan en heb nooit een theme gemaakt, Dit is gewoon wat die GPT-2 engine heeft aangevuld. Toch wel redelijk waanzinnig dit, en dan te bedenken dat GPT-3 nog vele malen beter is.
Hmm.Ben niet geheel overtuigd van die GPT-2 die je linkt.. Ben begonnen met de eerste zin, de rest is allemaal auto-complete en dan semi-willekeurig de antwoorden gekozen..
A German, a robot, and a donkey walk into a bar. The German says:

"What do you want for Christmas ?"

The barkeep says : "A drink." The robot says: "A drink? What do you mean?" The barkeep continues: "A glass of wine or a shot of whiskey . .."

The German asks him if he is joking , to which the barkeep replies: " No, I 'm serious. I don't want to hear any more nonsense ." The German is now very annoyed and asks him why he doesn't want to hear anything anymore. He then goes back to his seat and says to the barkeep: " Where are we going? I want to see some lights .." The barkeep , thinking that the German might be confused , explains the rules of the bar and gives a warning: " Don 't ever mention our name again in this bar. Ever. I promise , it will be fun." The German goes to the toilet and returns with a huge bag of candy, and tells the bar keep that he has won the Christmas.
Aan de andere kant heeft 't wel iets intrigerends,en wil ik weten hoe 't verder gaat haha.
Als reactie op degene die aangeeft dat het op een GPT-3-tekst lijkt, omdat het een tekst zonder enige substantie is:
Maybe you're new here, but your comment punches below the belt and isn't acceptable in a community like this.
If you disagree, be civil and give reasons rather than throw insults.
Moet er een beetje om gniffelen.

[Reactie gewijzigd door vickypollard op 28 juli 2024 05:37]

Het verbaast me dat die comment niet geflagt is aangezien de oorpsonkelijke een valide commentaar was. Dit komt waarschijnlijk ook doordat de tekst vrij rap weer weg was. Hij is gepost op de hotspottijd in de VS, daarna gemanipuleert met enkele self-upvotes (met lang bestaande accounts) en daarna omhoog geschoten en net zo snel weer verdwenen. Geen achievement als je het mij vraagt, zeker met new-age hippyachtige verhalen die komen wel vaker voorbij.

Ik zag de tekst zelf ook voorbij komen en het was niet te lezen en zeker niet nieuwswaardig. Dit is meer een test van hoe je het systeem kan manipuleren dan een valide test van GPT-3.
Ik zag de tekst zelf ook voorbij komen en het was niet te lezen en zeker niet nieuwswaardig. Dit is meer een test van hoe je het systeem kan manipuleren dan een valide test van GPT-3.
En hier heb je denk ik precies de spijker op z'n kop geslagen. Het werkelijk doel.
Als GTP-3 effectief in gezet moet worden (om welke politieke reden of andere motieven dan ook) is ook jouw punt iets waar onderzoeksaandacht naar toe moet. ;)

En ja, eens: korte termijn systeem manipulatie is vrij triviaal. Ook handig toe te passen als je intern een voorstel wil laten goedkeuren, dat de executives per toeval net die week, dag en ochtend voor de presentatie nog een bericht lezen uit onafhankelijke bron ... (toeval?)
Gebeurd vaker dan je wellicht vermoed.

[Reactie gewijzigd door djwice op 28 juli 2024 05:37]

Zelf titel en intro maken... inhoudelijke en spelllingsaanpassingen doen... klinkt een beetje als valsspelen...
Zelf titel en intro maken...
Dat is wel de essentie van hoe GPT-3 werkt. Je moet het taalmodel een beetje voeren met een opzetje en vervolgens komt er een heel verhaal uit :)
Het is echt bijzonder hoe coherent GPT 3 verhaaltjes kan schrijven.

Hier is een voorbeeld. De input is
Alan Turing and Claude Shannon are sitting at a table of a small cafe in Paris. There is a glass of
water on the table. Depending on the interpretation it is either half full or half empty. The
conversation is about information theory and Turing patterns.

Develop a dialogue out of this situation.

Shannon: "I read your paper on morphogenesis. It is fascinating and complex. Can you summarize
it in a few sentences?"
De output is
Turing: "Yes. It is about patterns of development. We find them everywhere. In art, in science, in nature,
in society and even in the very laws of physics. They are universal. Such patterns an be found in a
cluster of branches in a forest, in the distribution of galaxies in the universe or in the periodic table of the
elements."

Shannon: "Yes, | do remember the analogy to the periodic table. But that was only an anology."

Turing: "Well, it is a real analogy. Some argue that it was more the other way around. That it was the
arrangement of the periodic table that made the elements appear. They shaped our world. So why
should the patterns in nature not be responsible for the arrangement of elements in the periodic table?"
Shannon: "It is a fascinating idea. | do agree with your reasoning. It is elegant."

Turing: "Most of these patterns are beyond us. We just happen to be part of them. We evolved to fit this
specific environment. But we also influence the world around us. We do not fit into the laws of physics,
yet we can take pictures with a camera or rearrange molecules with a reagent."

Shannon: "You mean to say, we can influence nature without being directly part of it."

Turing: "Yes. Even random events do not happen at random. Our very perception of them shapes them."
Shannon: "How do you explain this? What is the mechanism behind it?"

Turing: "| have been trying to find an answer to that question for a long time. But it is not that easy. So |
try to define what does randomness actually mean."

Shannon: "Is there something you can put on paper?"

Turing: "No, but | can tell you what I think about it."

Shannon: "Go ahead."

Turing: "Ok, randomness is anything that does not exhibit a pattern, a structure, a design or an
algorithm. That is something quite hard to define. Randomness is usually taken for random number
generators in computers."

Shannon: "Or being really good at dice throwing."

Turing: "Yes, exactly. Dice throwing is hard to argue with that. In a very simple situation, we have only
one outcome which can happen. But there are a lot of factors involved. To start with, even dice have
patterns on them and there is an air flow that determines which outcome can happen.”

Shannon: "You mean every roll of the dice can be predicted?"

Turing: "Not necessarily. Even chaos has patterns. The chaos we see is part of a larger pattern which we
do not perceive."

Shannon: "I still don't see how this relates to complexity theory."
Toen heeft een andere dev bovenstaande als input genomen en zelf de volgende lijn toegevoegd.
The cafe darkens. There is a loud crash, and a flash of smoke. Harry Potter appears. His scar is
bleeding.
De output werdt toen
Harry: "Alan! | need your help!" Harry's wand shakes, and he looks over his shoulder, frightened.

Turing: "Not now, Harry! Claude Shannon wants to explain the human perception of pattems."

Shannon: "Do you really know that boy?"

Turing: "Oh yes. My friend John Von Neumann found him as an infant and placed him under our
protection. We do this for many magical children who would otherwise die."

Shannon: "Magic?"

Turing: "Yes, magic. Harry is a wizard."

Shannon looks at his glass, who is shaking violently. He looks around with a concerned look. One of the
glasses at the next table starts to shake. The waiter has trouble keeping his balance and moves his tray
aside with one hand in an awkward gesture.

Shannon: "This is not happening.”

Turing: "What are you talking about?"

Shannon: "Harry Potter does not exist. | have read many books about him but he is not real. He is a
fictional character. He could not possibly be here."

The windows in the cafe explode, and the bricks in the wall fall down. Hagrid enters with his battle axe.
Several trolls follow him, trying to get inside the cafe. While this happens a massive hammer breaks
through the wall, creating a hole ta the street beyond.

Hagrid: "Ah, Claude. Alan has finally sent word about an experiment of my liking! And you said there was
no chocolate frog." Hagrid looks disappointed for a moment before laughing his hearty laugh.

Shannon: "This is crazy."

[Reactie gewijzigd door Kain_niaK op 28 juli 2024 05:37]

Turing: "Oh yes. My friend John Von Neumann found him as an infant and placed him under our
protection. We do this for many magical children who would otherwise die."
Damn son. o0 Dat is wel een mooie.
Een significant gedeelte van de bezoekers zal alleen de titel en de intro lezen en de foto bekijken en daarna de comments in duiken. Precies alle human-created content dus. Ik vind het dus maar een beetje slappe hap.
die spelfouten erin laten zitten lijkt me minder ai achtig, dus dat lijkt mij niet valsspelen.
Ligt aan de fouten die erin zitten. Het kan ook juist computer gegenereerd voelen. "Ik loop naar de bank" zou een computer misschien neerzetten als "Ik loop naar bank". Dan klinkt het dus meer als een computer. Of bij elke woord wat dt nodig dat het fout gaat.

Ook ligt het aan de hoeveelheid fouten. Een blogger die 100 fouten maakt in 1 blog lijkt mij ook niet helemaal te kloppen. Dan zou ik bijna denken aan een vertaal programma bijvoorbeeld.
Dat is geen spelfout maar grammatica fout

[Reactie gewijzigd door TweakerVincent op 28 juli 2024 05:37]

Het was dan ook maar een voorbeeld om te laten zien dat fouten computer achtig konden klinken en dus verbeteren toch nog onder valsspelen kan vallen. En ook zullen sommige mensen dit onder hetzelfde schuiven omdat spelfouten makkelijker is dan spelfouten en grammatica fouten
Ik blijf erbij dat spelfouten JUIST menselijk zijn.
Ik zeg ook niet dat het niet menselijk is. Ik maak ook fouten. Ik zeg alleen dat sommige fouten wel als een computer kan klinken. Schrijf je "jij vind" eenmalig fout dan zal het zekers menselijk zijn. Staat het de hele tijd fout dat of weet de persoon het echt niet of het is fout gegenereerd.
Nog een stapje verder, wat ik me soms wel eens afvraag op online-discussieplatformen (bijv. hier, het GoT-forum of Reddit) in hoeverre er nu al accounts tussen zitten die dusdanig op menselijke reacties/discussies lijken dat we het misschien niet eens door hebben. Is het niet nu, dan misschien wel over vijf of tien jaar. Als je in discussies niet meer het onderscheid tussen een AI-bot of een echt persoon kan maken is het best bizar welke kant je dan op gaat. Er zijn genoeg fora waar mensen tekstueel heel veel steun en toe verlaat hebben aan andere mensen die ze 'begrijpen'.

Er komt dus een moment - misschien sneller dat we denken - dat AI eigenlijk een soort therapeut kan worden of de mens prima kan vervangen. Als dat moment dus komt, dan is het best bijzonder om over na te denken als AI-bots net zoveel of misschien meer aanwezig zijn dan 'echte' mensen in discussies op internet. Of nog erger, dat je discussies hebt tussen AI-bots en jij je er in mengt en eigenlijk niet meer met mensen bezig bent. Oftewel, de grote vraag: moet er verplicht worden aangegeven in de toekomst bij accounts die iets posten/blogs schrijven/enz. of het om een AI-bot gaat of niet?
Ik denk dat het niet echt uitmaakt of een artikel/blog/reactie is geschreven door een mens of een AI. Zolang het relevante info geeft, interessante content is, of een logisch "beredeneerd" inzicht verkondigd, maakt het mij niet uit of dit door een mens of een programma is geschreven.

Daarnaast is het tegenwoordig toch al zo dat er al een hoop menselijke bots bestaan. Dan gaat het over menselijke bots, die tegen betaling, commerciele of politieke standpunten verkondigen. En dan zijn er ook nog de menselijke bots die enkel reageren met meningen die ze direct overnemen vanuit hun bubbel. Bij deze mensen is er ook geen sprake van logische beredeneringen, aangezien deze mensen nooit de standpunten uit hun bubbel zullen uitdagen met logische beredeneringen. Met deze mensen zul je dus ook nooit een logische discussie kunnen voeren, aangezien die altijd zullen terugvallen op de blueprint van hun bubbel.

Wat dat betreft denk ik dat forum conversaties of artikelen/blogs met/van AI prefereer boven de menselijke bots.
Het probleem is wanneer bots zo geprogrammeerd zijn dat ze met intentie foute informatie verspreiden. Dat kan erg subtiel zijn. Het hele 'fake news'-gebeuren wordt verder gepropageerd door mensen maar ook grotendeels door retweetende bots die de juiste contact verspreiden op de juiste plaatsen met een specifieke (vaak negatieve) intentie.
Dat zit wel wat in, maar afgezien van de intensie, is dat ook geen verschil met menselijk geproduceerde content. Mainstream nieuws bevat ook een boel fake nieuws, en eenzijdige informatie. En het ergelijke is dat dergelijk bronnen grotendeels als betrouwbaar worden gezien. En waar vandaag de dag ingezet wordt op het "bestrijden" van fake nieuws door diverse partijen, zie je dat het gedeeltelijk gaat om daadwerkelijke bestrijding van fake news, maar grotendeels ook om de structurele supressie van nieuws/meningen die niet mainstream zijn ofwel tegen de mening ingaan van diegene die dergelijke fake news bestrijding doen.

De realiteit is helaas dat je nieuws, blogs en reacties vaak met enig wantrouwen moet bezien, van welke bron het ook komt.

offtopic: Mijn methode is om per dag maximaal een half uur tot een uur nieuws te volgen, en al helemaal niks wat van de sociale media komt. En wat betreft sites gelijk wikipedia kijk ik daar nog enkel de technische artikelen, aangezien wikipedia ook al behoorlijk verpest is door bots.
Er komt dus een moment - misschien sneller dat we denken - dat AI eigenlijk een soort therapeut kan worden of de mens prima kan vervangen.
Als je sommige mensen vraagt is dat moment allang geweest. ELIZA was een van de eerste programma's die implementeerde wat we nu een chatbot zouden noemen -- in de verste verste niet te vergelijken met dingen als GPT-3 omdat het gewoon dom papegaaide wat de gebruiker erin stopte, maar omdat mensen niet gewend waren aan een computer die coherente discussie kon produceren (hoe basaal ook) namen ze het aan voor een begrijpende medemens. Dit zegt meer over hoe mensen functioneren dan over computers.

En de vraag is hoe relevant het is of iets een bot is of niet. Dat je met een "echt mens" praat betekent nog niet dat wat er uit dat biologische neurale netwerk rolt begrijpender, inzichtelijker, meelevender, relevanter, juister of emotioneel meeslepender is dan wat er uit een primitiever neuraal netwerk rolt dat helemaal niet opgegroeid is in een klein dorpje in Limburg maar getraind is met miljarden eerder geschreven teksten. Dit soort dingen houden ons feitelijk een spiegel voor die ons hopelijk wat dieper na doet denken over hoeveel waarde we nu eigenlijk echt moeten hechten aan dat befaamde menselijke intellect waar we zo graag over opsnijden.

Als je kijkt naar wat AI nu aan creatieve "content" produceert dan valt op 1) hoe machtig consequent en betekenisvol de tekst leest in vergelijking met pure willekeur en 2) hoe oppervlakkig het geheel blijft omdat het puur bestaande constructies opnieuw ophoest zonder echt nieuw inzicht of verdieping toe te voegen. Maar hoeveel anders is dat laatste als je kijkt naar wat mensen doen? De meesten van ons (ik incluis) komen inderdaad echt niet verder dan een herhaling van zetten met lichte variaties.

Ik vind dit "enger" vanwege de spiegel die deze technologie ons voorhoudt dan om het zogenaamde vermogen om ons "voor de gek te houden". Het enige wat dit aantoont is hoeveel we zelf niets anders zijn dan spiegels met wat opsmuk. Dat wil niet zeggen dat wij niet verder de diepte in kunnen dan wat zulke netwerken produceren -- wel dat het ons siert als we daar inderdaad op inzetten en minder snel tevreden zijn met goed klinken en goed lijken.

Overigens, als er iemand denkt dat we ons door dit soort discussies scherp kunnen houden en de opmars van de bots kunnen vertragen, vergeet het maar -- ook alle teksten waarin we bakkeleien over wat we nu aanmoeten met al die automatische tekstschrijvers zullen uiteindelijk gewoon de automatische tekstschrijvers in gaan, zodat die later probleemloos een goede boom zullen kunnen opzetten over hoe problematisch ze zijn. Mandatory XKCD. :+

[Reactie gewijzigd door MneoreJ op 28 juli 2024 05:37]

Verreweg de meeste gebruikers hadden niet door dat het om een tekst ging die niet door een mens is geschreven.
Waar is deze claim op gebaseerd? Het aantal votes en comments? Want als je wel eens op het web komt, weet je dat bijna niemand artikelen (volledig) leest :+
Het gros kijkt direct naar de reacties, daar is in veel gevallen meer nuttige informatie te halen dan in een artikel. Het artikel fungeert dan ook vaak als start voor een discussie (merk ik zelf).
Kwam om dit te zeggen; Meeste voters en reageerders zullen het artikel even gescand hebben...
Nu dit nog koppelen met een semantisch en contextueel systeem en dan mogen we pas over AI spreken.
Dit klinkt meer als een T9 ++ voor de snelle brief naar je oma of om de wat basale publicaties uit handen te nemen van redacteuren.. ;) }>
Nou het is toch echt wel een stuk indrukwekkender dan dat.

Je moet dit maar eens lezen.

https://lacker.io/ai/2020...-gpt-3-a-turing-test.html

Als dit waar is dat komt GPT-3 dichter bij het verslaan van een turing test dan alles wat er voor is gekomen.
Dit noem ik dus nu echt de toekomst! Met AI een blog schrijven is niet niks. Er moet nog wel veel aan gebeuren voordat dit echt een ding wordt. Bijvoorbeeld spelfouten en nog wat van dat soort kleine dingen (Er zullen ook grote dingen zijn die ze nog moeten oplossen) En talen ondersteuning want op dit moment is het volgens mij alleen nog maar mogelijk in het Engels. Dus super veel respect naar de mensen die dit hebben gemaakt. Heb zelf net de GPT-2 uitgetest en het was best goed. Als de GPT-3 uit komt ga ik die zeker gebruiken voor wat dingen. (Dan moet het natuurlijk wel NL ondersteunen) Misschien gaat Tweakers dit wel in de verre toekomst gebruiken. Hoewel ik lees veel reactie dat dit vals spelen is. Volgens mij is dat het ook wel een beetje. Maar mijn conclusie: In de toekomst (of nu al met GPT-2) leuk om te gebruiken/testen!
Bij veel nieuws item van tegenwoordig heb ik ook het idee dat het uit een simpele copy paste machine komt. Dit wordt nu verbeterd. Ik weet niet of ik hier blij mee moet zijn. Ik word oud :P

[Reactie gewijzigd door FlyEragon op 28 juli 2024 05:37]

De werkelijkheid is iets genuanceerder, lees even wat Dan Gackle / dang (de moderator op hn) hierover te zeggen heeft: https://news.ycombinator.com/item?id=24164470

Op dit item kan niet meer gereageerd worden.