Google vraagt medewerkers om uren tijd te besteden aan handmatig corrigeren Bard

Google heeft alle medewerkers gevraagd om twee tot vier uur te besteden aan het handmatig corrigeren van antwoorden van chatbot Bard voor de release. Dat moet fouten voorkomen bij de release van de chatbot.

Google hoopt dat als medewerkers de tijd nemen om Bard te corrigeren de antwoorden van de chatbot beter zullen zijn, meldt CNBC. De mail bevatte ook een handleiding met hoe medewerkers de chatbot moesten corrigeren en hoe antwoorden van de chatbot moeten klinken. Google benadrukt daarbij dat de chatbot geen emotie moet lijken weer te geven.

Het is gebruikelijk dat medewerkers intern een nieuwe functie testen, maar nu ligt Bard meer onder het vergrootglas na een fout in de demonstratie vorige week. Daarbij zei de chatbot dat de James Webb-telescoop de eerste was die een exoplaneet fotografeerde, maar dat is niet waar.

Het is niet voor het eerst dat AI-systemen van grote techbedrijven moeten leunen op menselijke correcties. Alle techbedrijven met digitale assistenten, zoals Apple Siri, Amazon Alexa, Microsoft Cortana en Google Assistent, leunden minimaal tot 2019 op menselijke correcties om stemcommando's juist te interpreteren.

Google wil Bard snel uitbrengen, omdat Microsoft bezig is om gebruikers toegang te geven tot de nieuwe Bing met integratie van GPT-technologie van OpenAI. Ook in die demonstratie zat een reeks onjuistheden, terwijl gebruikers nu ook rare antwoorden krijgen. Tweakers publiceerde donderdag een achtergrondverhaal over chatbots in zoekmachines.

Microsoft Bing en Google Bard

Reacties (91)

[geert1]

Geen van deze tekstmodellen zal goed genoeg zijn om feitelijk correcte antwoorden te geven over wat dan ook. Er is alleen een kans dat het verhaal klopt, en die kans is best groot per zin, maar het is gebaseerd op woordassociaties en geen enkel begrip van wat er geschreven wordt. De kans dat er een taalkundig juist maar feitelijk onjuist woord bij een zin in glipt, is altijd groter dan 0%. Handmatig corrigeren lijkt me een gebed zonder einde, zelfs met een klein leger aan mensen.

De data waar het model op getraind is bevat misschien ook fouten, of sarcasme, humor, een gedicht of fictie dat net zo serieus genomen wordt als de rest. Maar zelfs met perfecte trainingsdata blijft het eindresultaat een benadering op basis van welke woorden bij elkaar horen, zonder begrip van de concepten of processen.

Deze modellen gaan niet over feiten, ze komen er alleen statistisch bij in de buurt. Een ander soort model is nodig voor begrip van concepten en hoe de wereld werkt, of de feiten worden ouderwets verzorgd door mensen. Een GPT-achtige kan het geheel dan mooi verwoorden in elke taal en toon. Deze techniek moet uiteindelijk alleen gebruikt worden voor verwoording, met de ruwe feiten of data van een eerdere bron (mens of algo). Want dat is wat deze modellen echt goed kunnen.

Ik ben erg benieuwd hoe de hype, de technologie, en de inzet ervan, zich zal ontwikkelen. We staan nog aan de wieg van het grotere geheel maar big tech is een beetje haastig.

[Reactie gewijzigd door geert1 op 25 juli 2024 23:35]

[CAPSLOCK2000]

Geen van deze tekstmodellen zal goed genoeg zijn om feitelijk correcte antwoorden te geven over wat dan ook. Er is alleen een kans dat het verhaal klopt, en die kans is best groot per zin, maar het is gebaseerd op woordassociaties en geen enkel begrip van wat er geschreven wordt.

Het roept de vraag op in welke mate mensen dat ook doen. Het gemiddelde koetjes-en-kalfjes gesprek bij de koffie is heel voorspelbaar. Ook mensen die stomdronken zijn kunnen nog hele gesprekken voeren. Inhoudelijk zijn dronken mensen meestal niet zo sterk maar dat houdt ze niet tegen om stevig door te kletsen.
De meeste kleine gesprekken die we dagelijks voeren gaan ook zo snel dat er niet echt heel diep of intensief nagedacht kan worden. Meestal is dat ook niet nodig bij vragen als "Zullen we gaan lunchen?" of "Met mayo?", aan een paar woorden heb je genoeg om je een antwoord te formuleren op grond van min of meer vaste patronen.

Ik ben erg benieuwd hoe de hype, de technologie, en de inzet ervan, zich zal ontwikkelen. We staan nog aan de wieg van het grotere geheel maar big tech is een beetje haastig.

[dikkechaap]

Deze analyse bevat een aantal tegenstrijdigheden en sprongen in logica. De eerste zin is feitelijk onjuist; deze tekstmodellen geven zeer vaak feitelijke correcte antwoorden "over wat dan ook". Dat daar geen onderliggend "begrip" aan te grondslag ligt is waar (en dat er ook veel fouten voorkomen ook), maar dat is bij heel veel interacties met mensen niet anders. Mensen zijn ook heel goed in een verhaal vertellen, inclusief over hoe iets werkt of geinterpreteerd moet worden, zonder dat ze dat zelf bedacht hebben. Dan praten mensen iemand na, of ze combineren informatie van meerdere bronnen. Ook mensen zijn vaak helemaal niet goed in het herkennen van nepnieuws, humor, sarcasme etc, waardoor mensen vaak ook onjuiste ideeën, theorieën en broodje-aap-verhalen propaganderen.

Het "probleem" met chat-GPT is volgens mij tweeledig momenteel:

1. De trainingsset is groot, maar er zit niet of nauwelijk kwaliteitscontrole op. Dit kun je oplossen aan de voorkant of aan de achterkant. Als je het aan de voorkant doet, dan doe je eigenlijk wat je hier voorstelt:
"Deze techniek moet uiteindelijk alleen gebruikt worden voor verwoording, met de ruwe feiten of data van een eerdere bron (mens of algo)." -> selectie op feiten en bronnen voordat je het model voedt. Ze zijn nu ook bezig aan de achterkant, dus actief foute antwoorden verbeteren. Hiervan kunnen de modellen ook leren om soortelijke andere fouten te voorkomen. Uiteindelijk zal zoals altijd een combinatie van beide aanpakken het beste werken.
2. Er wordt vaak gezegd dat een kernprobleem is dat de AI niet weet wanneer hij onzeker/verkeerd zit, de bekende "hallucinaties". In principe is dit echter niet veel anders dan met menselijke interacties, mensen kunnen ook heel overtuigd van hun eigenlijk gelijk volkomen onzin uitkramen, omdat ze iets onzinnigs hebben gelezen of gehoord. Mijns inziens is het vooral problematisch dat de vaardigheden van de AI hier zo onevenwichtig zijn, waardoor we als mens in de war raken. De AI is extreem taalvaardig, snel, en heeft/bevat zeer veel kennis. Daardoor komt hij zeer coherent en daarmee autoritair over, waardoor het ineens erg gek is als er iets onzinnigs/fouts/totaal verzonnens wordt gezegd. Bij mensen is er over het algemeen (nee, niet altijd) een verband tussen bijvoorbeeld taalvaardigheid en algemene kennis; het komt minder voor dat iemand eloquent in correcte volzinnen een volslagen onzinnig feit ter berde brengt. Zeker in deze vroege fase moeten we er aan wennen, en het accepteren, dat indrukwekkend opgeschreven antwoorden niet altijd juist zijn.

[geert1]

Wat een vreemde insteek. Je zegt dat mensen soms ook poep praten, en dus is het goed als een taalmodel dat ook doet? Dus een chirurgie-robot moet ook maar evenveel fouten gaan maken als een menselijke chirurg? Waarom zouden we dat als hoogst haalbare aannemen? Kunnen we dan niet in elk geval uitgaan van de mensen met de hoogste expertise over elk onderwerp en dat combineren? Wat hebben we aan een taalmodel dat lult als een tante op Facebook? Dat wij mensen continu snelle oordelen, aannames en bluf toepassen in ons sociaal gedrag, lijkt me niet iets om te kopiëren. Mensen willen graag iets vinden zonder de tijd te nemen iets uit te zoeken; een model zou het moeten uitzoeken en dan beginnen te praten. Maar op dit moment zoekt het model geen enkel feit of verband uit, behalve woordverbanden.

Verder schrijf je wat ik ook schreef: de trainingsdata en de modellen zijn imperfect. Maar dat dan maar accepteren als normaal is niet de weg, en ook niet het inzetten hiervan voor zaken die het niet goed genoeg doet. We kunnen het veel beter doen dan het gemiddelde menselijke niveau. De huidige modellen moeten we reëel inschatten en dan meer verwachten van de volgende generatie.

[Reactie gewijzigd door geert1 op 25 juli 2024 23:35]

[dikkechaap]

Ik denk dat je me niet helemaal goed begrijpt. Ik zeg nergens dat het "goed" is dat er fouten worden gemaakt, of dat menselijk niveau het hoogst haalbare is. Ik ben het volmondig eens met je laatste zin, ik verwacht veel meer. Ik verschil alleen van mening over hoe we "de huidige modellen reëel moeten inschatten". Ik zie dat in veel analyses over Chat-GPT en vergelijkbare modellen er een overdreven/onjuiste dichotemie wordt voorgesteld tussen menselijk begrip en het "begrip" van deze modellen. Dat komt niet zozeer voort uit het verkeerd voorstellen van de onderliggende processen van de modellen (uiteraard heeft een taalmodel limitaties), als wel uit het verkeerd voorstellen van de onderliggende processen in mensen. We overschatten onszelf blijkbaar graag.

[NotSoSteady]

Vraag me ook af welke uitgever zit te wachten om te worden opgenomen in een chatbot dat zelf een artikel produceert uit meerdere bronnen dan dat de site een bezoeker ontvangt. Kun je het geld beter naar Facebook brengen om je pagina te laten groeien.

[hscheper]

Dat is ook wat er in het achtergrondartikel review: Bing, Bard en de toekomst van zoeken naar voren wordt gebracht.

[Marzman]

En welke bezoeker. Zit je op google om snel iets op te zoeken of wil je liever dat langdurige gebrabbel van chatgpt?

[supertanno]

Het beeld dat jij nu schetst van deze technologie is niet de werkelijkheid. In eerste instantie wordt het AI alleen gebruikt om een antwoord op je zoekvraag te genereren. Pas als je aangeeft dat je wil chatten, gebeurt dat ook. Als je contextafhankelijk wil zoeken is dat wel handig.

LinusTechTips ging er tijdens de laatste WAN show op in en hadden een live demo, check dat hier.

[GeeEs]

ChatGPT zoekt vooralsnog sowieso niks zelf op. Het is een offline chatbot/taalmodel.

[drakiesoft]

Chatgpt in Bing zoekt dus wel op internet aldus microsoft:

Naast het genereren van een lijst met relevante links, consolideert Bing betrouwbare bronnen op internet om u één samengevat antwoord te geven.

[GeeEs]

Dat is totaal wat anders natuurlijk.
Er zijn inderdaad wel al talloze koppelingen mogelijk, dat zeker, daar is ook niet zoveel fantasie voor nodig om dat te combineren en te maken.
Je kunt chatgpt inderdaad heel makkelijk en mooi een paar ( bv eerste 3 of meer) relevante zoekresultaten voeren en die in een mooi format aan de gebruiker laten tonen.
ChatGPT zelf voert de zoekopdracht echter (nog) niet uit, en bepaalt (nog) niet wat relevant is. Dat doet de search engine en hun eigen algoritmes voorlopig nog zelf.
Chatgpt maakt er alleen een mooi opgemaakte samenvatting van.
Bing's of Googles algoritme doet de zoekopdracht op het web, stuurt de eerste x resultaten in een prompt naar chatgpt, welke de x resutlaten netjes opmaakt (en evt samenvat) en stuurt de respons via Bing/Google weer terug naar de gebruiker.

[Reactie gewijzigd door GeeEs op 25 juli 2024 23:35]

[drakiesoft]

Dat is wat jij denkt hoe het werkt. Dit is niet chatgpt 3, maar een nieuwere versie. Toch denk ik dat dit niet 100% zoeken van searchengine en dat chatgpt er dan iets mee doet. Gezien de voorbeelden wordt de vraag eerste geanalyseerd, ik denk oa door chatgpt, vervolgens wordt relevante info gezocht met specifieke zoekopdrachten. Dus chatgpt doet de zoekopdracht. Daarna wordt het antwoord geformuleerd met de informatie die chatgpt geextraheerd heeft als relevant tbv formulering van het antwoord. Dit is dus wat bing/chatgpt zo goed maakt, echter bings chatgpt model is denk ik al enige tijd geleden getrained, dus er is een mismatch kwa tijdsperiode.

[Reactie gewijzigd door drakiesoft op 25 juli 2024 23:35]

[GeeEs]

Zou kunnen inderdaad, maar ik lees in je antwoord ook wel vaak dat jij dat dus ook denkt ;-)

Wat weten we nu zeker?

Heb eens wat verder gelezen op de blog van Microsoft, waaruit blijkt dat ze dus inderdaad de AI hebben toegepast op hun core ranking engine..... (de AI.. wordt me niet helemaal duidelijk of dit ook
het taalmodel van OpenAI is, maar dat zou dus zeker kunnen?!)
Het resultaat schijnt significant beter te zijn. Largest jump in relevance in 2 decades...

Microsoft zelf schrijft onder andere dus dit:

Applying AI to core search algorithm. We’ve also applied the AI model to our core Bing search ranking engine, which led to the largest jump in relevance in two decades. With this AI model, even basic search queries are more accurate and more relevant.

[Reactie gewijzigd door GeeEs op 25 juli 2024 23:35]

[SPee]

Ik vraag me af of AI wel hulpzaam is.

Een collega gebruikt ChatGPT regelmatig om dingen op te zoeken.
Zo vroeg hij hoe iets gedaan kon worden in een bepaald configuratiebestand. En daar kwam dan een voorbeeld uit. Zelf zocht ik "op de oude manier" en kwam uit bij de pagina waarin dat configuratiebestand staat gedocumenteerd.
Mijn collega had alleen een voorbeeld dat mogelijk wel of niet werkte. Ik kon zien wat ik nog meer in dat configuratiebestand kon zetten en wat de waardes zou kunnen zijn.
Wat is dan beter?

[supertanno]

Ik denk dat het heel erg situatieafhankelijk is, en dat het ook een geval is van AI dat steeds beter wordt in correcte antwoorden geven. Bovendien geeft de bot bij Bing ook zijn bronnen weer, dus je kan het ook controleren. Zelf heb ik het recentelijk voor twee dingen gebruikt:

- Een recept genereren met alles wat nog in mijn koelkast lag. Daar kwam een lekker recept uit, met als enige probleem dat er teveel noedels in zaten voor de hoeveelheid groente en saus en dat de lenteuitjes als eerste de wok in gingen. Dat kon dus beter, maar het was een goede basis en als je een beetje kookkennis hebt kan je dat prima zelf corrigeren.
- Herschrijven van een zin die veel te lang was om in de bio van een Facebook-pagina te zetten, waar je maximaal 101 tekens mag gebruiken. Dit deed ChatGPT geweldig, en het bedrijf waar ik voor werk had voor het eerst in lange tijd weer een degelijke bio.

Nu ChatGPT in Bing wordt geïntegreerd ga je denk ik steeds betere resultaten zien, omdat de dataset ook up-to-date zal zijn. De video die ik linkte was ook een mixed bag, maar de berekening van hoeveel LTT-rugtassen in de achterbak van een Tesla Model Y passen vind ik wel erg indrukwekkend.

[CivLord]

Misschien moet die uitgever dan niet voor de korte news-bites gaan, maar voor meer achtergrondinformatie die je niet in de korte samenvatting van de IA terugvindt.

[Marve79]

Het is toch AI? Moet zich dat niet zelf corrigeren en leren van zijn fouten?

[Dream_ON]

Je moet AI wel trainen, AI weet niet of iets goed of fout is als je dat niet aangeeft. Tis met een klein kind 😉

[Gropah]

Er is ook unsupervised machine learning. In deze tak van sport, is data niet gelabeld en probeert een algoritme zelf uit te vogelen van hoe of wat. Dit gaat vaak ten koste van accuraatheid, maar kan je flink veel tijd besparen in labeling.

[hooibergje]

Dat is precies de manier hoe dat schaak- en goAIs tegenwoordig trainen.
Er is namelijk geen menselijk trainingsmateriaal op hoog genoeg niveau.

[djwice]

Maar het uiteindelijke goede antwoord: 'gewonnen' en wat 'gewonnen' betekent is wel supervised toegevoegd aan de training.

Dat is bij de chatbot niet het geval.

[Reactie gewijzigd door djwice op 25 juli 2024 23:35]

[Gropah]

De game state gewonnen, of het doel om dat te behalen, is inderdaad een label waar een AI naar toe kan werken. Maar de individuele tussenstappen zijn niet gelabeld. Het algoritme moet zelf bepalen of een gamestate winnend of verliezend is, en dat is het unsupervised zelflerende deel.

[Caelorum]

Ook bij unsupervised zal de AI een voorbeeld moeten krijgen om na te doen, en zo'n voorbeeld is er amper voor dit soort toepassingen, of eigenlijk het voorbeeld gaat hier via correcties.

[Gropah]

Ook dit is volgens mij niet specifiek waar. Het is ook mogelijk om doelgericht te leren, zonder per se een voorbeeld te krijgen. Dit zie je bijvoorbeeld bij reinforcement learning.

Een bekend voorbeeld van reinforcement learning is een AI die Mario leert spelen, puur op basis van het halen van een zo hoog mogelijke score. De ai doet eerst maar wat, maar op een gegeven moment behaalt het punten, en gaat dat dan steeds meer doen. En zo leert het om levels te voltooien en uiteindelijk speelt het de game uit.

[Caelorum]

reinforcement learning is dan weer geen unsupervised learning en heeft inderdaad een (enkele) score metriek om de prestatie mee te bepalen.

[Gropah]

Maar afaik is reinforcement learning ook geen supervised learning, en heeft het ook geen gelabelde data nodig. En vooral dat laatste is waar deze discussie over begon.

[Caelorum]

Indirect corrigeer je dus de AI wel, doordat je al van tevoren een manier van score hebt bepaald en dus informatie hebt meegegeven over de gewenste uitkomst.
Dus op de eerste vraag of een AI zelf niet moet leren van zijn fouten. Ja, en nee. Want of het moet een voorbeeld krijgen om te emuleren (unsupervised) of het moet direct gevoed worden met correcte en incorrecte informatie (supervised) of het moet een examinator krijgen in de vorm van een score model (reinforcement).

[Lapjespoes]

Unsupervised learning in deze context houdt in dat de AI zijn gang gaat uitgaande van een vooraf opgesteld doel. Als jij een ander een taak geeft en er verder niet naar om kijkt, voldoet de definitie ook. Unsupervised houdt enkel in dat tijdens het proces naar het doel niet ingegrepen wordt. Het betekent niet dat er vooraf geen doel gedefinieerd mag worden.

[3raser]

Een klein kind kan zelf ook prima leren van zijn fouten. Bijvoorbeeld dat een verwarming heet kan zijn. Of dat het zijn zin niet krijgt als het brutaal is. Je mag verwachten dat een AI ook zelflerend is want om iedere fout handmatig te moeten corrigeren is vrijwel onmogelijk.
Blijkbaar laten sommige AI's zich ook niet corrigeren. Zoals Bing die weigerde te geloven dat we in het jaar 2023 leven. Ja, op die manier wordt het lastig.

[supersnathan94]

Dat een verwarming heet is ja, maar:

Of dat het zijn zin niet krijgt als het brutaal is.

Is wel degelijk afhankelijk van externe factoren.

[3raser]

Er is altijd een externe factor. Het voorbeeld met de verwarming is ook een externe factor, namelijk de verwarming. Zonder hem aan te raken weet je niet dat hij heet is en dat je hem daarom niet aan zou moeten raken. Het gaat erom dat je die externe factor op een goede manier kan interpreteren.

[GeeEs]

Als mens loop je altijd wel een keer tegen een muur of lamp inderdaad (Extern dus, letterlijk of figuurlijk)
Als het goed is, leer je daarvan.
Ezel, been stoten, niet 2e keer doen enzo..

Je kan een kind 1000x waarschuwen voor iets gevaarlijks. Ze leren het pas echt als het een keer (goed) echt misgaat. Volwassenen trouwens ook.

[Reactie gewijzigd door GeeEs op 25 juli 2024 23:35]

[CivLord]

Zoals Bing die weigerde te geloven dat we in het jaar 2023 leven. Ja, op die manier wordt het lastig.

Maar je wil ook niet dat Bing door iedere willekeurige user te corrigeren is. Dat is vragen om moeilijkheden.
Je moet hooguit aan kunnen geven dat een antwoord naar jouw mening onjuist is, waarna de AI zelf op zoek gaat naar meer bevestiging.

[3raser]

Dat wil je zeker niet. Dan krijg je van die Tay bot taferelen. Maar dat Bing het blijkbaar niet voor elkaar kreeg correct de datum van vandaag te bepalen geeft wel aan dat er iets helemaal verkeerd gaat. Hij had meerdere mogelijkheden om de juiste datum te achterhalen maar faalde daar gewoon in.

[SPee]

Misschien lag het wel aan de MS infra, waarbij hun NTP servers een jaar achterlopen.

[Milanobrotchen]

Net als de film chappie

[vgroenewold]

Het is niet intelligent, ook al staat dat in de naam. Het principe is niet eens super ingewikkeld, het moet getraind worden via input van de mens en corrigeren kan dan nodig zijn aan de hand van meer data. Wat ik wel indrukwekkend vind van bijv. ChatGPT is hoe er daarna een stap volgt om niet altijd het meest waarschijnlijke antwoord te kiezen, maar te baseren op context en dergelijke. Dat maakt het wat willekeuriger en dus minder "robotic".

[Kevinp]

Dat geld toch ook voor mensen? Iemand moet zeggen: volgens mij heb je geen gelijk. En dan ga je verder zoeken.

Als niemand dat doet zal degene die het eerste iets tegen je zegt altijd gelijk hebben.

[The Zep Man]

Dat geld toch ook voor mensen?

Over intelligentie van mensen kan je inderdaad vaak twijfelen.

[Reactie gewijzigd door The Zep Man op 25 juli 2024 23:35]

[vgroenewold]

Dat stukje wel, maar om nu te zeggen dat het daarom intelligentie heeft, nee. Een mens kan in principe ook "aanvoelen" wat logisch klinkt en wat niet. Idealiter dan, niet dat je dat vaak tegenkomt.

[Reactie gewijzigd door vgroenewold op 25 juli 2024 23:35]

[Atmosfeer]

Hoewel waar kunnen mensen ook leren van hun omgeving, zonder andere mensen. Soms met slechte afloop natuurlijk maar dat is nog een stukje dat AI op dit moment mist. Het kan niet experimenteren en uit de conclusies zichzelf aanpassen.

[Kevinp]

Tuurlijk zijn er verschillen. Maar mensen doen net alsof het zo anders is dan wij leren. Maar dat is helemaal niet zo.

Alleen beide hebben limitaties. Een AI kan bv veel makkelijker alle bronen van het internet gebruiken. (met meteen een uitdaging voor fake news).

Ze kunnen (nog) niet bellen met deze bronnen om iets te controleren. Maar waarom zouden ze dat eigenlijk niet kunnen. Persoon X heeft iets gezegd, in het verleden is dat waar gebleken. Ik kan nu deze uitspraak vinden, bel op, controleer en het is waar.

Maar ja wie doet dat wel? En is dat wenselijk dat 1 miljard mensen een journalist gaan bellen?

[bonus]

Ja maar als je niet bij stuurt dan gaat hij door met antwoorden op foute antwoorden en dan wordt het een grootte puinhoop. Net als een kind zal hij soms moeten worden bijgestuurd om de juiste richting in iedergeval te nemen zeker in het begin. Dat bepaald het succes later 😁

[mijsk1974]

Juiste richting voor de één is de verkeerde voor de ander.
Veel van onze vragen en antwoorden gaan over meningen, religie vs wetenschap, wetenschappelijke interpretaties, subjectieve belevenissen e.d.

Een succesvole bron van informatie is wanneer hierin objectief meetbaar correcte antwoorden te vinden zijn.
(en dan heb je al een controverse te pakken als je godsdienst leer en evolutieleer tegenover elkaar stelt, als niet gelovige vind ik godsdienst een overtuiging en geen feit maar een gelovige kan dat anders zien).

Een succesvolle A.I. is voor mij wanneer deze niet meer te onderscheiden is van een mens.
En daar horen ook fouten bij. Met één antwoord tijdens een demonstratie verdampte er bijna 100miljard beurswaarde voor Google. Deze A.I. had wat mij betreft direct Elon Musk genoemd mogen worden... wat betreft zijn uitingen op Social Media welteverstaan.

[MartijnHavinga]

Dan moet het wel een manier hebben om te weten wat goed en fout is.

[Lapjespoes]

Het is geen 'echte' AI zoals je van de naam zou verwachten. Het is artificial, maar niet een intelligence. Marketing heeft de term vervuild, waar het eigenlijk gaat om een 'simpel' machine learning algoritme.

[drakiesoft]

Het is AI en dat kent vele vormen en niveaus. Ook machine learning is daar een onderdeel van. Als het zo simpel was, waarom hadden we dit 20 jaar geleden niet? Elize is niet hetzelfde.

[Lapjespoes]

Het is alleen AI omdat bedrijven het AI noemen, niet omdat het daadwerkelijk voldoet aan de definities van de woorden. Artificial wel, intelligence zeer zeker niet.

Intelligence has been defined in many ways: the capacity for abstraction, logic, understanding, self-awareness, learning, emotional knowledge, reasoning, planning, creativity, critical thinking, and problem-solving. https://en.wikipedia.org/wiki/Intelligence

Je merkt gelijk al op dat dergelijke programma's niet voldoen aan de meeste vertalingen van het begrip intelligentie, met als belangrijkste zelfbewustzijn, emotie, creativiteit en kritiek kunnen nadenken. Of, überhaupt kunnen denken. Het is een complexe statistische functie dat, hoewel het geïnspireerd is door een bepaald aspect van het menselijk brein, zeer specifiek taken uitvoerd waarvoor het geprogrammeerd is, enkel op commando van de mens en niet kan afwijken van deze programmering. In essentie verschilt het niet van een programma als Photoshop of Winamp, en ik durf te stellen dat deze twee complexer zijn dan de machine learning algoritmes.

[drakiesoft]

Ik lees weinig inhoudelijk argumenten behalve een referentie naar Wikipedia. ik lees verder dat je zelf een definitie bedacht hebt wat AI is, maar dat betekent nog niet dat dat zo is.

[Lapjespoes]

Volgens mij was mijn reactie vrij inhoudelijk. De wiki link was puur ter backup waar ik de informatie vandaan haalde. Het toont tevens het fenomeen aan dat definities herschreven worden om situaties te beschrijven die voorheen niet gedekt werden door de termen.

Om nog even terug te komen op je vorige reactie, nergens heb ik gezegd dat iets simpels inhoudt dat het al eerder bedacht had moeten zijn. Zo werkt het nu eenmaal niet. Iets moet eerst ontdekt worden voordat bepaald kan worden hoe complex of eenvoudig het is.

Dit gaslighten wat je doet is nogal onprofessioneel. Als je een ander beticht van weinig inhoud hebben of dingen verzinnen, helpt het ook als je niet zelf precies datgene doet.

[Loller1]

Vraag je nu serieus waarom we gemiddeld complex systeem A niet vele jaren eerder hadden omdat de term waarmee we ernaar verwijzen eigenlijk duid op een super complex systeem B? Wat heeft dat met de stelling dat wat we AI noemen eigenlijk geen AI is te maken?

[Terracotta]

Good luck, het hele concept van machine learning op big data is net dat je niet manueel tussenkomt. Eigenlijk moet de big datalake al een smart datalake zijn voor je er machine learning op loslaat. De directives die ze nu moeten creëeren om alle onzin antwoorden te filteren kunnen duidelijk omzeild worden of tot het uiterste gedreven worden.

Op zich spijtig dat ze het als kennisbron willen inzetten ipv dat ze het als taalmiddel willen inzetten. Wanneer ik zelf een tekst schrijf is de eerste draft gericht op het idee en hoe ik het versta, al dan niet met de emotionele bagage die samenwerken met mensen inhoudt. De tweede draft is gefocust op de ontvangende partij en doelgroep: hoe kan/zal mijn woordkeuzs (verkeerd) geinterpreteerd worden en de finale ronde is alle schrijffouten er uit halen. Net die twee laatste time-consuming stappen kan een taal AI serieus versnellen.

Net zoals een tolk niet de inhoudt moet snappen van wat ie vertaalt of net zoals een acteur (zoals in bvb sci-fi) niet moet snappen wat hij zegt, snapt een taal ai zijn tekst niet. Het zijn voor hem woorden die op een juiste manier aan elkaar geplakt moeten worden (met de nodige probabiliteiten gebaseerd op menselijke conversaties). Het levert geen kennis database, waardoor je die bullshit generering niet zomaar kan omzeilen met manuele directives (waar zowat alle AI academici ook voor waarschuwen).

[Verwijderd]

Een opmerkelijke reactie.
AI modellen moet je wel trainen. ChatGPT is ook volledig getrained door mensen om de output te verbeteren. (PT in ChatGPT staat voor Pre-Trained).

Waarom dan ineens kritiek op Google om ook meer te trainen?

[Terracotta]

Dit gaat niet om trainen, dit gaat om een filter zetten op het trainingsresultaat.
Basically worden de antwoorden gefilterd totdat er een 'acceptabel' resultaat uitkomt. Waarbij de filters manueel worden aangemaakt op basis van user input. Met als gevolg dat als er iets misgaat met die filter de antwoorden sérieuse gevolgen kunnen hebben.

De startdataset is duidelijk vervuild anders zouden er zo geen antwoorden uit komen. Ipv dat ze met kleinere 'propere' datasets beginnen die op voorhand gefilterd zijn is men nu de resultaten aan het filteren.

Of het nu om chatgpt, Bing chat of bard gaat maakt niet uit, ze hebben allemaal last van een vervuild big data lake. En ze snappen geen van de drie wat ze zeggen.

[Verwijderd]

In het geval van ChatGPT ging het wel om trainen: De "feedback" van mensen over ongewenste resultaten worden weer in het model gestopt waar de AI dan van leert. Ik ging er van uit dat dit ook voor Google gold maar kan dat niet uit het artikel halen.

[Terracotta]

Die feedback wordt gebruikt om een filter te maken. Machine learning heeft data nodig en probeert een model te maken, in dat model kan men zelf niet ingrijpen, het enige dat men kan doen is extra constraints toevoegen die bepaalde antwoorden zal filteren waardoor het model een ander antwoord zoekt dat wel door de filter geraakt.
Dat is direct het zwakke punt van de huidige ai implementaties: in plaats van de input (de dataset) te filteren om direct goede antwoorden te krijgen, wordt de output gefilterd tot het een acceptabel antwoord levert.
Vermoedelijk is dat een noodzakelijke stap om de nodige kennis op te doen om nieuwe ai's te kunnen ontwikkelen op basis van minder grote (en beter gecontroleerde) datasets. After all, elke mens kan wel met relatief weinig datasets leren goede zinnen te produceren. (en met nog minder datasets op vuilbekkend zinnen te maken :-))

[Reactie gewijzigd door Terracotta op 25 juli 2024 23:35]

[Speleding]

Ik ben zelf geen expert, maar in deze uitgebreide uitleg van hoe ChatGPT werkt worden de aanwijzingen wel degelijk gebruikt als aanvullende trainingsdata, en niet als filter: https://writings.stephenw...ing-and-why-does-it-work/

[Terracotta]

Ben ook geen expert en bedankt voor de link maar heb het tot nu maar snel doorgescrold (ziet er meer als een weekend-read uit). 't lijkt er wel op dat hij enkel uitlegt hoe het model tot stand komt en werkt (indrukwekkend goed). Het element van ongewenste antwoorden, het vermijden van moordstrategieën uitleggen en andere ongewenste personaliteiten die naar boven komen wanneer de directives omzeild worden, lijkt me (vluchtig bezien) niet aan bod te komen.

Het is al impressionant wat deze AI's doen, maar voor zover ik lees, zijn alle AI professoren het erover eens dat het nog altijd bullshit generatoren zijn en we echt nog moeten oppassen voor we het loslaten op gewone mensen als authoritatieve kennisbron.

[Reactie gewijzigd door Terracotta op 25 juli 2024 23:35]

[controvi]

is het niet juist zo dat de AI in eerste instantie leerd van mensen, daarna zelf verder gaat en uit eindelijk met alle data en informatie een antwoordt geeft dat incorrect kan zijn waarna mensen de AI een shop geven zodat hij de juiste info gaat geven?

Het hele idee van AI is compleet nutteloos als je allemaal filters gaat plaatsen om de data eruit te krijgen die wilt dat er uit komt.
Dan kun je net zo goed de AI omdoopen tot het toppunt van Confirmation Bias.

[Terracotta]

That's exactly my point: als je voorbij de directives geraakt (en de DAN-personaliteit (do anything now) bovenkomt), dan zie je dat het ding heel veel bullshit genereert, die bij het commerciële product gefilterd wordt door de directives die bepalen of het antwoord 'acceptabel' is.

[kodak]

De hype van ai gaat er gedeeltelijk om dat de producten gezien worden als mythische zelflerende intelligente automatisering die oplossing zijn voor menselijk onvermogen. De realiteit is dat het afhankelijk van mensen en niet intelligent is. Dus als de realiteit weer eens blijkt dat het niet zo intelligent is maar domme grove fouten maakt, of dat het niet zelfstandig is en een bedrijf miljoenen medewerkers inzet om het te moeten helpen, dan tast dat de het onrealistische mythische idee aan. Natuurlijk kan je de kritiek dan onbegrijpelijk vinden omdat je andere verwachtingen hebt over hoe zelfstandig of intelligent die oplossingen kunnen zijn, maar andersom gaat dat net zo op zolang deze bedrijven richting het grote publiek leunen op de woorden artificial intelligence om aandacht en geld te genereren en het liever niet hebben over het omgekeerde wat er massaal bij komt kijken.

[Hans1990]

Volgens mij heeft ChatGPT dezelfde kritiek gehad. Kan ook soms onzin uit kramen met ontzettend hoog zelfvertrouwen.

AI lijkt een soort doorgeslagen heuristic te worden, iets wat in CS zeer populair is. Het werkt ongeveer gemiddeld genomen, maar als je leven er van af hangt dan zou ik er niet op vertrouwen. Dit staat eigenlijk haaks op de wat hardere wetenschappen zoals theoretical CS of vakgebieden die afkomstig zijn van math/physics/chemistry. Hoewel deze ook z'n beperkingen hebben (bijvoorbeeld keuzes in modellen die van de werkelijkheid af staan), is de voorspelbaarheid vaak wel een stuk groter.

Voor mij begint de vraag mbt het toepassen van AI altijd bij: is dit een stochastisch process? Nee => schrijf harde logica.
Zijn er stochastische keuzes te maken? Ja => overweeg AI of heuristics. Nee => doe je statistiek en vogel de wiskunde uit.

Een taal is in princiepe wel redelijk 'random'. We hebben een set aan woorden die we dagelijks gebruiken, maar iedereen heeft een net iets andere schrijfstijl. Als je vraagt om een zin te construeren, dan kan het zelfs fijn zijn als niet elke zin precies dezelfde opbouw of woordengebruikt heeft. Anders wordt het al gauw erg saai.

Daarintegen zijn feiten precies feiten: ik heb ChatGPT wel eens enkele middelbare school wiskunde sommetjes laten oplossen zoals de Pythogras Theorem, en kon dit goed voltooien (overvloed aan voorbeelden). Maar gooi er enkele geintjes in zoals (cos(0) - 1) en het raakt in de war, ondanks dat het kon beredeneren dat (cos(0)-1) = (1-1)=0, en dus deze verstoring mocht wegstrepen. Het ging vervolgens verder met verkeerde redenaties en aannames. Zelfs een tool zoals WolframAlpha maakt onderscheid tussen met heuristics je vraag probleem er uit vissen, en met een wiskunde engine het probleem oplossen.

Ik wil niet zeggen dat daardoor AI of heuristics compleet nutteloos zijn. We hebben ze nodig omdat ze gemiddeld genomen wel zaken van 'onmogelijk in x tijd oplosbaar' naar 'redelijke oplossing binnen korte tijd' gaan. AI kan daar ook wat in betekenen, maar het is voorlopig nog geen magisch wondermiddel..

[devices]

Uit mijn ervaring blijkt dat een tolk of vertaler wel degelijk context nodig heeft van wat hij of zij vertaald afhankelijk van het onderwerp. Je kan een tolk in de rechtbank niet opeens inzetten bij een wetenschappelijke discussie. En andersom, trouwens. Voor veel zaken ligt het natuurlijk niet zo nauw.

[Terracotta]

Fair point. :-)

[gimbal]

Ja of de vertaler van een boek. Als je de schrijfstijl en woordkeuze van de originele auteur niet kunt matchen dan krijg je toch een heel ander soort en waarschijnlijk veel minder leuk boek eruit.

Het beste voorbeeld wat ik tot nu toe heb meegemaakt is de serie boeken waar de film "the Ring" op gebaseerd is, van oorsprong geschreven in het Japans. Maar toen ik de Engelse vertaling las gingen mijn haren overeind staan want ik had echt het gevoel dat er iemand achter me stond. Dat is kunst. Ik ga me afvragen of een AI dat ooit zou kunnen evenaren.

[sitmark]

Mensen op het internet zijn niet altijd zo lief voor elkaar, ik vraag me af op welke manier de engine om gaat met minder goede bedoelingen.

Zoals opzettelijk de engine iets fout laten ‘leren’ of op een automatische manier veel verkeerde informatie laten leren. Kan evengoed een bedrijf zijn die een eigen zinnelijke bouwt om snel en veel met Bard te laten praten met doel hun producten in elk antwoord te krijgen?

[Reactie gewijzigd door sitmark op 25 juli 2024 23:35]

[MrMonkE]

Heel belerend, Heel slecht. Alsof je met een mormoon aan het chatten bent.

[spinaze48]

Kunnen ze niet beter tijd stoppen in het toevoegen van bronvermeldingen, om aan te geven hoe Bard aan zijn antwoord is gekomen?
Bij ChatGPT kan ik geen waarde hechten aan het resultaat. Ik kreeg daar aantoonbaar onjuiste voetbal uitslagen voorgeschoteld, terwijl de correcte informatie gewoon op wikipedia staat. Een simpele automatische crosschecking zit er dus blijkbaar niet in. Maar bij Bard gaat men dat dus handmatig doen?

[CAPSLOCK2000]

Bij ChatGPT kan ik geen waarde hechten aan het resultaat.

Dat klopt helemaal, daar is die software ook niet voor geschreven.

Van de spellingscorrectie op je telefoon verwacht je ook niet dat die met correcte antwoorden doet. GPT is eigenlijk niet meer dan een fors opgevoerde versie van spellingscorrectie.

Vraag GPT nooit om antwoorden, daar is het niet voor. GPT moet je als schrijfassistent gebruiken. Je vertelt GPT wat er geschreven moet worden en GPT maakt er een nette tekst van zonder taalfouten.

[TheVivaldi]

Dus spellingcorrectie is bedoeld om mensen slecht Nederlands te laten schrijven?

[field33P]

Toch wel gek dat Microsoft GPT niet als eerste in Word, Outlook en/of Teams gebouwd heeft.

[19JM81]

Gaan ze daar ook een team van conversatie designers neerzetten

[CaDje]

Doet mij een beetje hier aan denken: https://www.youtube.com/watch?v=blB_X38YSxQ

[Autisme_tech]

Uiteindelijk is het menselijk brein ook getraind door de ouders die het weer leerden van hun ouders, daarom heb je ook zoveel verschillende mensen dat zal met dit soort AI's niet anders gaan zijn en krijg je straks diverse smaken en kan je kiezen welke je zelf persoonlijk het beste ligt.

[Get!em]

Als deze actie van google (en dus googlemedewerkers) slaagt, is dat meteen bewijs dat je slechts een beperkte groepsgrootte / massa-beweging nodig hebt om dergelijke chatbots aan te passen en te voorzien van informatie die een dergelijke groep welgevallig is.

Dit opent vervolgens de mogelijkheid om voor dergelijke groepen de uitkomsten te beinvloeden.