Google-ceo: Bard krijgt binnenkort upgrade naar een beter taalmodel

Google-ceo Sundar Pichai zegt dat Googles experimentele AI-chatbot Bard, die recent uitkwam als bèta, binnenkort wordt voorzien van een beter taalmodel. De topman doet dat in de Hard Fork-podcast van The New York Times.

Pichai zegt in de Hard Fork-podcast dat Bard binnenkort wordt overgezet naar een groter PaLM-dataset. De huidige versie van de chatbot is gebaseerd op het LaMDA-model. Dat moet volgens Pichai binnenkort al gebeuren. "Vrij snel, misschien als deze podcast live gaat, zullen we Bard upgraden naar enkele van onze meer capabele PaLM-modellen, die meer mogelijkheden bieden", zegt de topman. "Dus je zult in de loop van volgende week vooruitgang zien."

De topman stelt dat de huidige versie van Bard draait op een lichte en efficiënte versie van LaMDA, het taalmodel dat Google in 2021 voor het eerst demonstreerde. Het model is kleiner dan concurrerende modellen van bijvoorbeeld OpenAI. "In sommige opzichten heb ik het gevoel dat we een opgevoerde Civic hebben meegenomen in een race met krachtigere auto's", zegt Pichai tegen The New York Times. PaLM is een moderner en groter model, dat volgens Google onder meer beter in staat is om logisch te redeneren en code op te stellen.

Google kondigde Bard in februari aan en bracht op 21 maart een vroege versie van de chatbot uit. Het bedrijf deed dat met een beperkte bèta, die alleen beschikbaar is binnen de Verenigde Staten en het Verenigd Koninkrijk. Google lijkt een grote focus op de chatbot te leggen. Volgens een interne memo die is ingezien door CNBC, zou het bedrijf onder meer zijn Google Assistent-team herorganiseren en laten helpen bij de ontwikkeling van Bard. Tweakers publiceerde onlangs een vergelijking tussen Google Bard en concurrent Microsoft Bing. Die laatste maakt gebruik van OpenAI's GPT-4-model.

Reacties (44)

Ik weet niet hoe het met jullie zit, maar ik kan niet wachten op al die vrije tijd straks.

Hoezo wachten? Ik schrijf nu al allerlei applicaties om mijn werk te automatiseren met GPT4 terwijl ik niet kan programmeren.

Ga je dat ook debuggen als het fout loopt in jullie omgeving?

Ga je dat ook debuggen als het fout loopt in jullie omgeving?

Daar heb je een acceptatie omgeving voor. En GPT kan je ook vragen wat fouten betekenen en deze laten corrigeren in de code.

Maar, het blijft een hulpmiddel.

Met dat laatste sla je de spijker op z'n kop. Je kunt wel een acceptatie omgeving hebben, maar ook dan zul je problemen op moeten lossen. Als ik bepaalde belangrijke processen laat automatiseren door ChatGPT, het werkt een tijdje goed maar ik moet daar veranderingen doorvoeren, dan kan de acceptatie de problemen wel opvangen, maar dan moeten ze nog steeds opgelost worden.

Dan huur ik daar een softwarepecialist voor in, zoals ik nu ook een loodgieter inhuur om mijn lekkages te debuggen ;-)

Zonder dollen, ChatGPT-code en -commenting is duidelijker geschreven dan het overgrote deel van senior developers.

Het gaat mij niet zozeer om de kwaliteit van de code, ik reageer op iemand die zegt ChatGPT te gebruiken om zaken te automatiseren zonder programmeer kennis. Ik vind dat een bijzonder gevaarlijke ontwikkeling, want als je geen idee hebt wat code doet of hoe het precies werkt, dan komt er een moment dat het in de soep loopt en je tevens geen idee hebt hoe je het op moet lossen.

Ik gebruik ChatGPT ook, met mate, maar dan voor zaken waar ik wel verstand van heb. Als ondersteuning, inspiratiebron of om tijd te besparen. Ik kan echter alle output die daaruit volgt wel zelf begrijpen.

Sommige zaken hoef je helemaal niet te snappen wat er gebeurt.

Ik heb een afkeer van grafisch design bijvoorbeeld. Als ik fotos kan bewerken, editten, kleur toevoegen of wat nog allemaal zonder die programmas te moeten leren en urenlang te prutsen is het mij al lang goed.

Een foto bewerken is natuurlijk wel anders dan code laten schrijven waar een proces aan vast hangt. De foto is een éénmalig product, die keur je goed of niet. Maar zelfs daarvoor geldt, als je bepaalde bedrijfsprocessen af laat hangen van die foto's, en de uitkomst van die foto's is morgen ineens niet wat je verwacht, dan moet je het wel kunnen corrigeren.

Ja, en ook redelijk vaak slaat het helemaal nergens op als je de code probeert. Ik merk in ieder geval in de code die die genereert dat het goed lijkt, maar niet is, of een ander probleem oplost. Kan liggen aan het soort vragen dat ik stel (doe graag dingen met formele talen en compilerbouw), maar of het is een gebrek aan context (grotere lappen code bewerken) wellicht wat niche, maar dat geeft de kracht en zwakte van LLM modellen wel een beetje weer: het kent alleen zaken die al zo vaak gedaan zijn dat het inderdaad een herhaling van stappen is. Ik zie LLM mijn werkzaamheden voornamelijk vereenvoudigen op sommige gebieden, maar vervangen gaat nog even duren.

Zonder te dollen... wat heb je hem laten schrijven? Bij mij kan hij alleen zeer simpele methodes schrijven. Hele programma's met complexe methodes snapt ie helemaal niets van. Waarschijnlijk heeft hij alleen antwoorden op dingen waar allang oplossingen voor zijn. Bijvoorbeeld een rekenmachine of een stopwatch. Maar laat hem maar iets maken waar nog geen oplossing voor is.

Gewoon vragen aan gpt om te debuggen.

Werkt meestal alleen voor simpele taken. Voor complexere taken zit het soms zijn eigen staart achterna te jagen en komt het nooit zelf tot een goed antwoord zonder de exact juiste suggesties van de ervaren programmeur, want de fouten zijn soms zo subtiel dat je zelfs na vele jaren programmeer ervaring niet gelijk kunt zien wat er mis is! De syntax kan er op het eerste gezicht overtuigend uitzien, maar de functionaliteit is niet altijd wat je verwacht!

[Reactie gewijzigd door Weicool op 31 maart 2023 20:45]

Ligt eraan wat. Ik kan niet programmeren en heb ook geen zin om te programmeren. Niet iedereen in IT is programmeur. Zelf gebruikt om bepaalde manual werk af te nemen door een autohotkey script te laten schrijven. Prachtig ervoor.

Er zit een verschil tussen een beetje scripten en halve bedrijfsprocessen van je code af laten hangen natuurlijk. Niet iedereen is programmeur, dat klopt. Dat ben ik ook niet, daarom zal ik dan ook nooit op ChatGPT vertrouwen om dat voor mij in elkaar te steken, want ik moet het zo zelf kunnen begrijpen en debuggen.

Jullie omgeving? Ik ben geen IT-specialist of systeembeheerder of zo. Mijn werk bestaat voornamelijk uit administratieve werkzaamheden op mijn eigen laptop, dit praat niet met onze omgeving. Niet dat we echt een omgeving hebben of zo.

Ik gebruik GPT om een Python-script te genereren, dat ik vervolgens in een HTML-bestand kan integreren. Hierna voert het script diverse automatiseringstaken uit, zoals het verwerken van honderden rijen in Excel, het corrigeren van onjuiste opmaak zodat formules weer correct functioneren en het toevoegen van opmaak aan en automatiseren van het genereren van XML-bestanden voor onze website.

Onze website heeft een standaard XML-importfunctie die we vóór GPT-4 nauwelijks benutten. Met behulp van GPT is het nu mogelijk om deze functionaliteit effectief in te zetten en ons werkproces te verbeteren.

[Reactie gewijzigd door daanmd op 1 april 2023 11:46]

Verhaal blijft hetzelfde, jij hebt er een bedrijfsproces van gemaakt en dus is het wel degelijk opgenomen in "jullie omgeving". Volgens mij was mijn punt wel duidelijk, dat je wel moet weten wat iets doet als er andere processen of personen van afhankelijk worden. Want het is geweldig, totdat het fout gaat en niemand die weet hoe het in elkaar steekt. Dat is in de IT een gegeven dat al zo oud is als het beroep zelf en al helemaal als het om dataverwerking en markup gaat. Iemand heeft ooit iets gemaakt, dat wordt jaren gebruikt en is geweldig, vervolgens gaat het kapot en de enige die weet hoe het zat was die ene persoon. Dat kun je perfect projecteren op iets wat ChatGPT genereerd.

Goed bezig! Helaas kan ik maar weinig van mijn werkzaamheden automatiseren, maar gebruik het al wel om ideeën op te doen.

Zullen wel goede applicaties zijn dan
Ook handig om te weten hoe het precies werkt. Ook handig om te weten of er geen fouten in zitten. En nog veel meer.
Ik gebruik ook veel chatgpt en copilot als developer. Maar je moet echt nog steeds wel een developer zijn om goede applicaties te maken. Het is meer dan alleen code.

Je moet vooral goede uitgebreide technische specificaties kunnen schrijven. Mensen die geen programmeur zijn kunnen dat soms zelfs niet.

[Reactie gewijzigd door Weicool op 31 maart 2023 21:03]

Hoop dat je goed gespaard hebt, want zonder het bezit van gewilde skill (door de komst van AI) heb je weinig invloed op de wereld.

Een andere manier van er naar kijken is, dat het loon van alle banen die komen te vervallen bij de eigenaren van AI systemen te recht komen. Al die lonen aggregated zal vrij veel geld zijn gok ik zo.

De banen die de AI revolutie wel overleven worden minder waard, door markt werking, er zijn strak waarschijnlijk meer werkzoekende dan banen.

[Reactie gewijzigd door holhuizen op 31 maart 2023 20:19]

AI kent net zoals andere vormen van automatisering weer zijn eigen problemen die juist weer meer werk opleveren:

Bijvoorbeeld AI-vooroordelen (AI bias). Wie bepaalt welk vooroordeel het juiste vooroordeel is? Hoe voorkom je dat AI mensenrechten schendt?

Hoe voorkom je dat mensen misleidt worden door AI gegenereerde misinformatie (zoals deepfakes, fake news) en andere geloofwaardige propaganda?

Wie is er verantwoordelijk als de AI er naast zit en dit veel schade oplevert en mensenlevens kost?

Hoe gaan we om met de discussie over intellectuele eigendomsrechten als AI content op bestaande content gaat baseren?

[Reactie gewijzigd door Weicool op 31 maart 2023 20:35]

Laat ik mijn positie wat verduidelijken, met AI bedoel ik toekomstige AI, ik heb daarmee AGI capable systemen in gedachten. Hoe die er precies uit zullen zien weet niemand, maar ik verwacht iets tussen GTP4 en "een gesimuleerd team van experts" in, ofwel multimodal systemen die ongeveer even goed zijn als mensen, in elke branch van de kennis industrie.

AI kent net zoals andere vormen van automatisering weer zijn eigen problemen die juist weer meer werk opleveren

Wat mijn betreft is de potentie van AI veel meer dan simpele automatisering, automatisering hoort bij digitalisering wat de afgelopen decennia hebben gezien. AI is een heel nieuwe paradime, we switchen naar volledige zelf denkende systemen die kunnen leren en zichzelf kunnen updaten. Systemen die met hun eigen ideeën en oplossingen zullen komen, misschien zelfs wel ideeën die we zelf niet eens zullen begrijpen.

Bijvoorbeeld AI-vooroordelen (AI bias). Wie bepaalt welk vooroordeel het juiste vooroordeel is? Hoe voorkom je dat AI mensenrechten schendt?

Dit is iets wat je voor de kost van AGI wil proberen op te lossen, aangezien een AI veel sneller kan werken dan dat wij het kunnen controleren. Zou vergelijkbaar zijn met alsof je mensen moest inhuren om elke video op yt te controleren op de yt guidelines, dat is niet haalbaar. Daarnaast zou dit AI ook nutteloos maken aangezien mensen dan nog steeds de bottleneck zijn, en er dus effectief niks veranderd.

Wie is er verantwoordelijk als de AI er naast zit en dit veel schade oplevert en mensenlevens kost?
Hoe gaan we om met de discussie over intellectuele eigendomsrechten als AI content op bestaande content gaat baseren?

Dit zijn meer filosofische vragen voor problemen die er nu al zijn, tesla autopilot, google search recommendation, openAI chatbots, dit zijn allemaal systemen die niet perfect zijn en fouten maken.

Onderschat niet hoe veel impact AI kan gaan hebben, het is haast niet voor te stellen hoeveel er in een korte tijd zou kunnen gaan veranderen, te minste als we nu niet van koers veranderen.

[Reactie gewijzigd door holhuizen op 31 maart 2023 21:27]

Content moderatie kun je volgens de OpenAI CTO ook nu al als eerste met GPT-3/GPT-4 vervangen door AI. Maar vooroordeel zul je altijd behouden: de ene rechter kan ook anders oordelen over wat fair use is dan een andere rechter. De ene AI zal liever de ene persoon willen vermoorden dan een andere AI.

Ja inderdaad, maar hoe dit voor meer banen gaat zorgen zie ik zo 123 nog niet.
AI of kunstmatige intelligentie is niets anders dan intelligentie "on demand", dus waar en wanneer je het maar nodig hebt. Dat kan toch per definitie alleen maar voor minder werk gelegenheid zorgen?

De “80% impact” voor de banen die geautomatiseerd kunnen worden in de kennis industrie moeten ook zeker niet onderschat worden, zoals de paper “GPTs are GPTs: An Early Look at the Labor Market Impact Potential of Large Language Models” ook al beschreef.

Maar niet te vergeten dat AI ook weer leuke kansen biedt om jezelf te upgraden naar “AI project manager” in plaats van “gewone programmeur”, waarbij je dus enige kennis moet hebben van de beperkingen van AI, maar daarnaast juist nog meer programmeerwerk in minder tijd kunt laten verrichten, en veel goedkoper werk uit te besteden valt dan het minimumloon bij freelancers waar dan ook te wereld, meer vrije tijd over te houden valt en meer winst behaalt zou kunnen worden, vanwege lagere personeelskosten.

[Reactie gewijzigd door Weicool op 31 maart 2023 21:46]

Nu zeggen we gewoon het zelfde, maar ik met een meer pessimistische toon

maar daarnaast juist nog meer programmeerwerk in minder tijd kunt laten verrichten, en veel goedkoper werk uit te besteden valt dan het minimumloon bij freelancers waar dan ook te wereld, meer vrije tijd over te houden valt en meer winst behaalt zou kunnen worden, vanwege lagere personeelskosten.

Ergo een boel mensen verliezen hun baan, die mensen zullen vervolgens achter de banen aan gaan die nog wel bestaan zoals "AI project manager".

Verder zullen zoals ik eerder al aangaf de zwaktes van AI (zoals hallucinates, biases, reward gaming etc..) uiteindelijk allemaal verdwijnen, en daarmee ook de banen die AI gebruiken.

Zo praatte mijn overovergroot opa ook in 1899 toen de eerste machines in Rotterdam aankwamen. Niemand zou meer kunnen werken. 30 jaar later was de haven explosief gegroeid met duizenden nieuwe mensen met werk.
AI gaat vast en zeker voor een revolutie zorgen. Ik denk een goede met nog steeds heel veel werkgelegenheid.

Ah ja dat is een valid argument, omdat jou opa en mijn oma het niet destijds niet goed hadden, zal men het nu vast ook niet goed hebben... (AI kan nu al met sterkere argumenten komen).

Wat men niet lijkt te snappen is dat het maken van (artificial) intelligents een ongekend keerpunt is de geschiedenis van de mens. Voor het eerst hebben we geen monopoly meer op intelligentie.

Met mij zijn er trouwens een heleboel wetenschappers, waaronder een boel AI insiders, die er precies het zelfde over denken, zie de brandbrief die gisteren is gepubliceerd.

[Reactie gewijzigd door holhuizen op 31 maart 2023 22:38]

Het is denk ik niet zo dat AI gezien moet worden als iets los van ons. AI wordt inderdaad een onderdeel van ons. We zullen op een gegeven moment niet meer zonder kunnen. Maar dat geldt andersom ook.
We zullen AI in ons leven niet meer weg kunnen denken over een korte tijd. Maar ik denk nog steeds dat de mens als een soort dirigent het leven doorloopt. AI's zullen ons assisteren en daarmee zullen wij langzaam een worden met het AI systeem. Of het AI systeem met ons.

Ik hoop oprecht dat u gelijk heeft, dat zou de mooiste uitkomst zijn.

Studeer op het moment computer science, maar heb hiervoor een aantal jaar economie gevolgd. De combinatie aan interesse in deze 2 verschillende (maar ergens sterk gerelateerde ) disciplines geeft me misschien een ander perspectief.

Naast grote AI safety problemen zoals "the kill switch problem" en "mis-allingment" en vergelijkbaar hard problems. Voor zie ik dat AI de nieuwe cheap laber work force wordt, zoals Azië en zuid Amerika nu, en dat AI bedrijven hun geld verdien met steeds autonomere modellen ontwikkelen om die vervolgens aan grote bedrijven te verkopen, met als MO "Met onze nieuwste versie kan 90% van accounting worden uitgefaseerd".

[Reactie gewijzigd door holhuizen op 31 maart 2023 23:43]

Relevant:
Content writer productomschrijvingen vindt het al vrij lang duren voordat ChatGPT haar baan overneemt

ChatGPT is slecht in wiskunde en verzint een heleboel! Dus moet alles alsnog nagerekend en gecontroleerd worden

En slecht in logische puzzels waar nauwelijks aan gerekend moet worden. Tenzijn de puzzel van voor 2021 is, dan lukt het ineens wel. Hmm, iets met training cutoff date? En het is logisch dat LLM alleen dat kan wat al gedaan is: er zit een taalmodel in, maar iets basaals als een rekenmachine zit al niet in het model. Dus het kan ook helemaal niet 1+1=2 uitrekenen of met de stelling van Peano bewijzen dat 1+1=2 . Het kan wel vertellen dat 1+1=2 want iedere bron die dit zegt, zegt dat dit zo is. Maar dat is geen AI, dat is wiskunde met bewijzen op basis van populisme in plaats van een bewijs op totale inductie.

We zijn letterlijk een stukje dichterbij George Orwells 1984: de LLM kan letterlijk verkondigen dat 2+2=5

[Reactie gewijzigd door Weicool op 1 april 2023 09:32]

Het is niet alleen slecht in wiskunde, maar ook in rekenenen. In mijn testje was het prima in staat te snappen welk bedragen uit een tabel opgeteld moesten worden, echter gaf het continue een ander totaalbedrag

Waren 10 decimale getallen die opgeteld moesten worden.

Tot op heden heb ik meer het gevoel dat ik meer en leukere dingen kan doen en in die zin bijna minder vrije tijd heb omdat ik "moet" spelen met GPT

Je krijgt nulletjes maar je slaat de nagel op de kop. Zowel Google als Microsoft zijn op dit moment all in aan het gaan wat AI betreft. Twee tech reuzen.

Elke dag is er wel AI nieuws. De updates volgens elkaar in een sneltempo op. Deze post bewijst het.

Niemand kan op dit moment garanderen dat de job als softwareontwikkelaar over 10jaar nog zal bestaan. Het is perfect mogelijk dat software code dan geschreven wordt door GPT10.

Zolang die devs dan op een andere manier aan de slag kunnen is er niets aan de hand. Maar het kan ook zijn dat we niet iedereen meer aan het werk krijgen.

Mijn wilde gok is dat de overheid/onze economie ooit moet overschakelen op een vast inkomen. Mss een deel via een digitale munt. Op zich niets mis want of AI nu het werk doet, de mens zelf of een legertje aliens het maakt niet veel uit. Als het werk maar gedaan wordt.

[Reactie gewijzigd door Coolstart op 1 april 2023 14:53]

GPT4 is letterlijk en figuurlijk baanbrekend. Als Google een gedegen concurrent met API weet te lanceren is dat alleen maar goed nieuws.

Ik bouw momenteel aan een applicatie met GPT4 integratie maar de traagheid (en kosten) zijn toch wel erg irritant. Meer concurrentie is welkom.

Ik heb een keer de prijslijst gezien, en het leek best goedkoop. Heel veel tokens voor een cent of zo.
Kan je toelichten waarom je het toch duur vindt?

GPT4 is 29x duurder dan 3.5. In onze tool merk ik dit meteen. De userbase groeit als kool, en als een gebruiker eenmaal gebruik maakt van de tool, kan dit aardig in de papieren lopen. Zo’n 200 requests kost ons momenteel 10USD. Een request/response bevat meestal tussen de 1000-2000 tokens. 200 requests zit je met een kleine actieve userbase echt zo aan.

Dit zorgt er voor dat het steeds lastiger wordt om onze tool gratis aan te bieden, wat ik in deze fase jammer vind omdat het meteen zo’n belemmering is voor de groei en adoptie. Maar het is onoverkomelijk. Met GPT3.5 zou dit nog helemaal niet aan de orde zijn.

Okay, bedankt!

GPT in dit domein kan je 'm.i. het beste zien als wéér een hogere orde aan abstractie boven de diverse schillen in de software. Een soort super compiler zeg maar die menselijke gedachten over wat applicaties of diensten als welomschreven doel hebben kan vertalen naar functionaliteit. Die term welomschreven staat er niet voor niets, want ook bij GPT geldt garbage in garbage out, hoe fraai ook geformuleerd. Ik heb het echte software moeten schrijven altijd als een gevolg van de beperkingen van de mens machine interactie gezien en als de extensies op een taalmodel die kunnen overwinnen prima toch? Weer een stuk routinewerk dat ons uit handen genomen wordt. De hamvraag voor mij is hoogstens: hoe of wie test en valideert dan de gegenereerde software? Ook door de ene AI de andere te laten controleren of wordt dat toch weer mensenwerk? Je ziet overigens veel watervrees rond AI, nu zoveel ontwikkelingen die eerst bij de grote IT bedrijven verborgen waren nu razendsnel in de maatschappij opkomen en meer en meer softwarediensten AI integreren of daarmee koppelen. Verbieden zoals de Italianen willen, gaat zo niet lukken, de geest is uit de fles en die krijg je er niet in terug. Eeuwen terug verhinderde het door thuiswevers in brand steken van Jacquard's programmagestuurde weefgetouwen ook niet de automatisering van de productie van weefsels. "AI is here to stay; better get used to it"

[Reactie gewijzigd door donthuis op 31 maart 2023 22:33]

Wordt dit het BE taalmodel?