De wonderbaarlijke race om AI

Een chaotisch jaar in nieuwsberichten

Tot slot

Dall-E 3: een afbeelding van een groot taalmodel als blok kaas en
een chatbot op basis van een traditionele kaasschaaf

Welk gevoel blijft er achter na dit jaar van grote hype rond AI? Generatieve kunstmatige intelligentie zit of komt in elke dienst en elk stuk software dat we gebruiken, het komt in alle processors die in apparaten zitten en is of wordt een integraal onderdeel van ons digitale leven.

En toch voelt het voor veel mensen als een hype, een overdreven door marketing aangedreven ontwikkeling. Ook hier houdt het beeld van kaas stand. Veel mensen vinden kaas lekker, bijvoorbeeld in een tosti, op de pasta, op pizza of in andere gerechten. Maar zou je kaas willen hebben in alles wat je eet en drinkt? Plakje kaas in je koffie? Kaas in je aardbeienijs?

Dat geldt ook voor kunstmatige intelligentie. Net zoals er weinig mensen zijn die geen plek voor kaas zien in de keuken, ook al eet niet iedereen het, zullen er weinigen zijn die denken dat generatieve AI helemaal geen functie zal hebben.

Maar moet het overal in zitten? Vermoedelijk niet, maar dit is hoe hypes gaan. De komende tijd gaan wij en gaan bedrijven zien welke toepassingen beklijven en welke functies van AI we in de praktijk veel gebruiken. De rest zal daarna weer stilletjes verdwijnen of een kwijnend bestaan leiden.

Die cyclus van iets ontdekken en het daarna overal in willen gebruiken is menselijk en zo oud als de weg naar Rome, of nog ouder. Ooit zijn er mensen geweest die kaas hebben uitgevonden. Misschien deden die dat eerst ook overal op en overheen, tot ze ontdekten dat het bij bepaalde voedingsmiddelen beter smaakte dan bij andere. In die fase moeten we met de techsector op het gebied van generatieve AI nog komen.

Reacties (63)

[Jefrey Lijffijt]

AI is al breed aanwezig in de maatschappij sinds de jaren 90: Google Search, fraudedetectie, gepersonaliseerde marketing, recommenders, navigatie, persoonlijke assistenten, productieoptimalisering, root-cause analyse.

ChatGPT is een toffe stap maar geen illustratie waar we staan. Een jaar later kunnen we vooral concluderen dat het antropomorfische gehalte ons totaal op het verkeerde been heeft gezet. Dat autocompletion voor tekst en code ging werken wisten we al, het is een mooie maar beperkte stap vooruit. LLMs gaan ons niet op korte termijn naar AGI leiden. In die richting hoeven we dus niets te verwachten.

De voornaamste klappers op de korte termijn gaan komen van kleinere echt succesvolle toepassingen van grote pretrained modellen in contexten waar ze solide blijken en toch iets kunnen dat voorheen onmogelijk was. Ben benieuwd wat die toepassingen zoal gaan zijn.

Daarnaast komt de grootste waarde van supervised learning, want we weten ondertussen vrij goed hoe dat werkt: data in context verzamelen, een model trainen, evalueren, inzetten en monitoren. Je kunt hiermee dingen automatiseren die we eerder niet konden automatiseren. Laat je niets vertellen, LLMs en LMMs zijn daar geen alternatief voor, zonder nieuwe data die van jouw eigen proces komt kun je geen precisie verwachten. Ze kunnen hooguit extra context brengen.

[Petje!]

Het voelt voor mij, zoals eigenlijk veel zaken, zo ontzettend als een hype, zoals al aangegeven wordt. Alle bedrijven 'moeten' er aan mee doen, anders tel je niet lijkt wel.. tuurlijk moeten ze mee, maar ondanks het nog in de kinderschoenen lijkt te staan, vliegt iedereen erop zonder te weten wat de impact of nut gaat zijn.

[Reactie gewijzigd door Petje! op 24 juli 2024 22:36]

[langestefan]

Omdat het risico om de boot te missen te groot is. Denk aan Nokia ten tijde van de smartphone, of blockbuster ten tijde van Netflix. Beide gigantische bedrijven die de waarde van nieuwe technologie niet (op tijd) inzagen. Je moet nu meedoen, anders loop je al achter. Daarvoor is de potentie te groot

[The Zep Man]

Omdat het risico om de boot te missen te groot is. Denk aan Nokia ten tijde van de smartphone,

Nokia miste de boot niet door een gebrek aan innovatie, maar door in te zetten op een zinkend schip. Hun toestellen hadden prima Android kunnen draaien, en ze hadden ten alle tijden daarop over kunnen stappen.

[Reactie gewijzigd door The Zep Man op 24 juli 2024 22:36]

[langestefan]

Dat is wat mij betreft hetzelfde.

[The Zep Man]

Beide gigantische bedrijven die de waarde van nieuwe technologie niet (op tijd) inzagen.

Nokia zag zeker wel de waarde van nieuwe technologie in, getuige hoe ze bezig waren met open besturingssystemen en volgens mij zelfs eens op een moment in tijd Android had overwogen. Helaas waren te hebberig geworden, en gingen daarom exclusief met Microsoft in zee.

Het probleem van Nokia was niet techniek of innovatie, maar zakelijk.

[Reactie gewijzigd door The Zep Man op 24 juli 2024 22:36]

[langestefan]

Dat is te simplistisch. Er zullen veel belangen en mensen bij betrokken geweest zijn destijds, en toen zijn verkeerde keuzes gemaakt. Net als google nu met een inhaalstrijd bezig is door het potentieel van AI niet op tijd te gezien te hebben. Mis je de boot, dan ga je kopje onder. Waarom je deboot mist is alleen relevant voor historici.

[The Zep Man]

Dat is te simplistisch.

Als wat ik schrijf te simplistisch is, dan is dit dat ook:

Beide gigantische bedrijven die de waarde van nieuwe technologie niet (op tijd) inzagen

[langestefan]

Tsja, die grote edit kwam na mijn reactie pas. Volgens mij bedoelen we beiden hetzelfde.

[brobro]

.. tuurlijk moeten ze mee, maar ondanks het nog in de kinderschoenen lijkt te staan, vliegt iedereen erop zonder te weten wat de impact of nut gaat zijn.

Het lijkt juist niet in de kinderschoenen te staan. Je kunt fantastische afbeeldingen, teksten, code genereren. Je kunt ermee sparren over ideeën en argumenten, je kunt grote documenten bevragen, je kunt data analyseren, je kunt data herstructureren. Speech to Text en vice versa zijn handig. Vertalingen zijn genuanceerd.

Het vraagt vaak nog wat fine tuning en soms vaardigheid in prompting, maar het is al ontzettend bruikbaar en nuttig. Als dit de kinderschoenen zijn (en misschien zijn het dat) dan wil je aan boord zijn voor de volwassen functies.

De echte kinderschoenen waren misschien OCR en gezichten in afbeeldingen herkennen, spellingscorrectie en voorspelling op je virtuele toetsenbord. Klein bier vergeleken met het aanbod nu.

Natuurlijk krijgt nu alles een AI-sticker zoals laptops ooit een Skype sticker kregen, maar dat doet niet af aan de potentie van wat er al is.

[jimh307]

Mijn gevoel over AI is dat het, het leven makkelijker moet maken. Wellicht onbewust toch een markt voor de wat laaggeletterden die nu ook een mooie creatie kunnen maken of meer dingen kunnen automatiseren.

Voorlopig maak ik me geen zorgen over AI, maar zorg er wel voor dat de rode knop binnen handbereik is mocht het misgaan. Laten we eerst maar eens afwachten wat AI kan en doet in Windows 12 and beyond.

[Orangelights23]

Misschien interessant om mijn post in het forum te lezen. Mijn vorige werkgever zet in op AI en heeft al tientallen miljoenen bespaard. Ik heb voor mijn toenmalige team ook andere klussen moeten bedenken, omdat voornamelijk de handmatige werkzaamheden geautomatiseerd werden gedaan.

[Coolstart]

maar ondanks het nog in de kinderschoenen lijkt te staan, vliegt iedereen erop zonder te weten wat de impact of nut gaat zijn.

Het nut van een taalmodel is toch al gekend? Laat staan het nut van AI in het algemeen. Niemand kan in een glazen bol kijken hoe het gaat evolueren maar de nuttige toepassingen zijn er al jaren en nu gebruiken miljoenen mensen taalmodellen om hun teksten te herschrijven of na te kijken op fouten. Niet enkel taalfouten maar ook zinsconstructies etc. Om maar 1 stom ding te noemen…

De hype cycle bestaat zeker en er zullen bedrijven zijn die zich verslikken in de ontwikkelingskost maar dat is bijna bij elke revolutie zo. Er zijn winnaars en verliezers maar AI is 100% zeker een blijver net zoals de taalmodellen een blijver zal zijn voor duizenden toepassingen.

Of denk je dat AI een hype is die weer gaat liggen?

[The Zep Man]

Dat geldt ook voor kunstmatige intelligentie. Net zoals er weinig mensen zijn die geen plek voor kaas zien in de keuken, ook al eet niet iedereen het, zullen er weinigen zijn die denken dat generatieve AI helemaal geen functie zal hebben.

Je kan ook een minder fictief voorbeeld gebruiken. Van alle keukenapparatuur (en witgoed), hoeveel is 'smart' en hoeveel van wat 'smart' is wordt zo gebruikt?

Neem nu televisies. Hoeveel daarvan is 'smart' en hoeveel wordt daarvan zo gebruikt?

Ik heb geen onderzoek gedaan, dus kan enkel spreken in vermoedens gebaseerd op beperkte observatie. Ik denk dat het 'smart' gebruik van de eerste groep apparatuur een stuk lager is dan van de tweede groep. Dit baseer ik enkel op wat ik hoor over het gebruik van apparatuur. Veel mensen willen alles in hun TV zelf hebben zonder externe kastjes, en weinig mensen hoor ik over de geweldige functies van hun keukens die een internetverbinding vereisen.

Zoiets zie ik ook met de huidige vorm van 'AI'. Het zal een plek hebben in een specifiek deel van het leven van een groep mensen, maar niet een onderdeel zijn van het gehele leven van alle mensen.

Verder wordt het interessant hoe nieuwe wet- en regelgeving effect zal hebben op bestaande invullingen van 'AI'.

[Reactie gewijzigd door The Zep Man op 24 juli 2024 22:36]

[Wolfos]

De hamvraag is denk ik of ze toepassingen gaan weten te vinden die het onderzoekgeld verantwoorden. Waar AI momenteel om bekend staat is vooral plaatjes tekenen en teksten schrijven. Dat is niet de jackpot, zeker omdat het geen topkwaliteit is.

[The Zep Man]

De hamvraag is denk ik of ze toepassingen gaan weten te vinden die het onderzoekgeld verantwoorden.

Ik kijk vanuit een academisch perspectief. Elk open onderzoek is goed als het kennis oplevert, en nieuwe wet- en regelgeving waar nodig. Verdere onderzoeksrichtingen en praktische toepassingen (inclusief commerciële exploitatie) zijn leuke bonussen, maar hoeven geen onderdeel te zijn van het resultaat.

[Reactie gewijzigd door The Zep Man op 24 juli 2024 22:36]

[Kaasje123]

Die "plaatjes" zijn met de nieuwe modellen amper nog van echt te onderscheiden als je voor realisme gaat. En als je dat niet wil maar juist iets in de stijl van pixar animatie bijvoorbeeld is dat ook geen enkel probleem meer. Geen topkwaliteit is niet echt een terechte bewoording meer.

[Coolstart]

Niet de jackpot? Op welk gebied dan? Reken je AI af op wat je nu ziet en projecteer je dan op de toekomst?

Nu tekortkomingen = in de toekomst ook tekortkomingen?

De hamvraag is niet of bedrijf x moet investeren in AI, ook niet of AI een blijver is, de vraag is vooral wat de impact is, nu en op lange termijn. Sommige denken hier blijkbaar dat het een hype is die weer over gaat, anderen vrezen dat AI jobs gaat kosten op de lange termijn…

AI gaat ons 100% zeker helpen om efficiënter te zijn in alles letterlijk alles. Robotica, programmeren etc.

De hamvraag is: hoe snel gaat de evolutie? Gaat het gestaag genoeg gaan zodat we ons kunnen aanpassen of niet? Ik denk van wel maar het gaat gepaard gaat met sociale onrust en erg veel debatten hoe we die efficiëntie van AI kunnen matchen met onze economie.

[CAPSLOCK2000]

Ik heb geen onderzoek gedaan, dus kan enkel spreken in vermoedens gebaseerd op beperkte observatie. Ik denk dat het 'smart' gebruik van de eerste groep apparatuur een stuk lager is dan van de tweede groep. Dit baseer ik enkel op wat ik hoor over het gebruik van apparatuur. Veel mensen willen alles in hun TV zelf hebben zonder externe kastjes, en weinig mensen hoor ik over de geweldige functies van hun keukens die een internetverbinding vereisen.

Zoiets zie ik ook met de huidige vorm van 'AI'. Het zal een plek hebben in een specifiek deel van het leven van een groep mensen, maar niet een onderdeel zijn van het gehele leven van alle mensen.

Ik denk dat de vergelijking met een smart TV wel aardig is, daar ga ik graag nog even wat op in.
Er is namelijk een goede reden dat iedereen een smart-TV koopt en daar zijn lessen uit te trekken voor andere markten.

Naast de mensen die een smart TV willen zijn er ook die liever een dom scherm hebben. Hier op Tweakers hoor je daar veel van. Toch kopen die ook allemaal een smart TV want domme TVs worden niet meer gemaakt (behalve computermonitors). Je zou dus denken dat er een gat in de markt is voor goedkope domme TVs. Toch zie je ze niet. Een domme TV is namelijk nauwelijks goedkoper dan een slimme TV. De prijs van het "smart" gedeelte is namelijk redelijk verwaarloosbaar. Een moderne TV zit vol chips en heeft een CPU nodig om te functioneren of je die nu "smart" gebruikt of niet. Als er dan toch al een CPU in zit dan is het bijna gratis om de tv "smart" te maken. Een slimme TV geeft de fabrikant nieuwe mogelijkheden om geld te verdienen (reclame, spionage, streaming services, app stores). Iedere moderne TV een 'smart' chip omdat het de fabrikant eigenlijk niks extra kost en het wel extra mogelijkheden geeft om geld te verdienen. Een domme TV zou in praktijk duurder zijn door de kleinere oplages.

Ik vrees dat ditzelfde principe bij steeds meer apparaten zal worden toegepast. Chips worden steeds goedkoper en krachtiger. Een beetje magnetron heeft een chip aanboord die sneller is dan een PC van niet zo heel lang geleden. Als er dan toch capaciteit over is dan wordt het voor fabrikanten wel heel aantrekklijker om daar iets mee te doen, al is het maar om aan de 'smart' hype mee te doen.

Ik maak me grote zorgen over huishoudelijke apparatuur met IoT en/of smartfunctionaliteit. Dat soort apparaten gaat 10 tot 50 jaar mee en het is nu al onveilige troep. Op termijn wordt dat een ramp vergelijkbaar met asbest. Het zit overal, niemand weet waar, niemand is er voor verantwoordelijk en het opruimen kost klauwen vol geld.

[brobro]

een slimme tv is ook gewoon een tv met reclame en bloatware. Laptops zonder die zijn vaak ook duurder dan met.

Ik vind het waarschijnlijker dat fabrikanten de belangen/wensen van klanten hier negeren omdat de potentie om te verdienen aan smart functies gewoon te groot is. En klanten die liever een domme tv hebben, hebben daar waarschijnlijk gering geld voor over.

[CAPSLOCK2000]

Ik vind het waarschijnlijker dat fabrikanten de belangen/wensen van klanten hier negeren omdat de potentie om te verdienen aan smart functies gewoon te groot is. En klanten die liever een domme tv hebben, hebben daar waarschijnlijk gering geld voor over.

Dat is precies wat ik zeg, de fabrikanten kiezen de oplossing waar ze het meeste mee verdienen, of klanten daar blij mee zijn is secundair.

[svenk91]

Haal het van je wifi af en je probleem is geneutraliseert. Dat met asbest vergeleken slaat echt geen hout.

[pinocske]

Maak eens Béarnaise met een thermomix en je zal zien dat ook witgoed wonderlijk makkelijk kan zijn, of inspirerend.

Moesten ze daar ooit eens AI aan koppelen die nieuwe recepten genereert op basis van allergieën, voorkeuren of seizoenen of smartfuncties zodat de oven al voorverwarmd terwijl je jouw busquit maakt en vrienden contacteert dat het gebak om 15h klaar is, dan is 't klaar. Smakelijk!

[Mr. Smith]

De eerste helft van het jaar: AI all the things, maar ook zorgen

Daarnaast kwamen discussies los over wat wel en niet oké is met generatieve AI.
... Ook bij Tweakers hebben we erover nagedacht.
Schrijven met generatieve AI mag bij ons niet. Als we generatieve AI gebruiken, staat dat als zodanig aangemerkt, liefst met de prompt erbij.

"liefst met de prompt erbij"

"liefst": het gebruik van het woord "liefst" wekt al geen vertrouwen
We mogen het niet gebruiken om mee te schrijven.
Als we het toch gebruiken, merken we het als zodanig aan.
Maar de prompt zal er niet altijd bij geplaatst worden.

Waarom niet?
Elke andere reden dan "vergeten" is onacceptabel, duidelijkheid is bij regels van het hoogste belang.
En zelfs "vergeten" is te corrigeren, dus "liefst" is totaal geen optie.

Dit is geen commentaar op T.net persoonlijk, laat dat duidelijk zijn.
Maar als je iets probeert duidelijk te maken, en die duidelijkheid zelf ondermijnt, dan gaan er bij mij bellen rinkelen.
Ook als ik elders iets soortgelijks zie of hoor.

B.v. de reclame van Brand New Day

Op dit perron staan 28 mensen, meer dan de helft kan later mogelijk geld tekort komen ... pensioenpotje.

Er is vast veel geld betaald om deze commercial te laten maken.
En in eerste instantie trekt het ook je aandacht.
Maar het is overdreven om het doel te over-benadrukken:

"kan mogelijk geld tekort komen" mogelijk betekent dat het dus niet zeker is
Maar het is kennelijk wel een feit dat het, ondanks dat het niet zeker is, gaat om meer dan de helft ...
Dan moet ik meteen aan het woord "geloofwaardigheid" denken.

Ik hoop dat de commercial niet te duur is geweest.

Veilige jaarwisseling allemaal.

[brobro]

ik heb teksten geschreven met ai. Dat is een interactief gebeuren en daarna pas je het eindresultaat nog steeds aan. Of het resultaat van de interactie is slechts een deel van de tekst, verdeeld over fragmenten. Wat doe je dan met prompt erbij?

Ik weet ook eigenlijk niet waarom of hoe lang er indicaties 'met hulp van AI' bij moeten. Binnenkort worden vrijwel alle journalistieke en zakelijke teksten met hulp van Al geschreven durf ik wel te stellen. Zeker omdat in de journalistiek de winstmarges niet overhouden is zo'n productiviteitsboost zeer wenselijk.

Het kan vaak ook prima. Veel tweakers.net berichten zijn korte interpretaties van nieuws dat elders verscheen. Het lijkt me goed denkbaar dat eenbGPT op basis van drie bronnen en een standaardinstructie over de stijl van deze site steeds minder mensenwerk nodig heeft voor dat soort artikelen.

Maar ook research. Je reviewt een telefoon en vraagt wat de meningen zijn van de rest van het internet tot nu toe. Je hebt al data van andere telefoons en laat die vergelijken en in een tabelletje zetten. Dat zijn zaken die nu gewoon net iets makkelijker / sneller /beter kunnen. Daar hoeft geen prompt bij. Je geeft ook niet aan dat je Google en Excel gebruikt heb.

[GerGroeneveld]

Referenties naar gebruikte artikelen en gereedschappen zou wel moeten. Peer review wordt anders wel lastig.

[brobro]

peer review gaat over wetenschap en onder andere kwaliteit van het eindproduct en de relevante referenties naar andere publicaties. Dat lijkt me hier sowieso nog niet zo snel knellen, maar is op de meeste tekst (zeker op tweakers) niet van toepassing.

[centr1no]

Als we het toch gebruiken

In de zin van 'niet om te schrijven' maar om een voorbeeld van AI-tekst te kunnen plaatsen in bijvoorbeeld een artikel over AI-geschreven tekst waarbij het, als het van een externe bron komt, dus niet altijd mogelijk zal zijn een prompt toe te voegen.

[WillySis]

Laten we wel zijn, AI was niet nieuw. Er worden al jaren modellen gebruikt met een aantal zelf lerende componenten, inclusief (numerieke) informatie die van het internet wordt geplukt. De tekst component is ook niet nieuw, want die dat al enkele jaren in vele chatbots.

De wereld van AI zat er al een tijd tegen een doorbraak aan te hikken, maar de menselijke taal is een horde geweest die heel moeilijk was te nemen. Op het moment dat die horde eenmaal genomen was is AI in de stroomversnelling terecht gekomen die in het artikel is beschreven.

Wat nieuw is zijn eigenlijk de taalmodellen. Daarmee kan AI grote lappen tekst kan interpreteren en combineren. Daarbovenop kreeg AI ook de mogelijkheid om taalkundig correcte teksten te produceren. AI kreeg daardoor voor het eerst een algemene en goede communicatie mogelijkheid die sterk lijkt op de onze manier van communiceren. De manier van communiceren is inmiddels zo goed dat die nauwelijks van door menselijke communicatie is te onderscheiden. Dat is een hele grote stap!

Plaatjes genereren is ook niet nieuw. Grafieken worden al jaren computer gegenereerd en geïnterpreteerd. Foto's konden met "slimme" filters worden bewerkt. Landschappen konden 20 jaar geleden al volledig door een computer worden gegenereerd. Het taal model maakt echter mogelijk dat plaatjes geïnterpreteerd kunnen worden door van de begeleidende tekst gebruik te maken. De overeenkomstige elementen kunnen dan weer gebruikt worden voor het genereren van nieuwe beelden.

Je kan AI als een bedreiging zien, maar je kan ook zeggen dat de "computer" eindelijk volwassen begint te worden en de "kleutertaal" eindelijk is ontgroeid. Ik zie AI nu vooral in de pubertijd. Net als een menselijke puber moeten de grenzen en gevaren nog afgetast worden en moeten de grenzen en regels nog duidelijk worden gemaakt.

Bovenstaande is nog volledig uit een menselijk brein ontschoten en handmatig ingetikt.

[langestefan]

Plaatjes genereren is ook niet nieuw. Grafieken worden al jaren computer gegenereerd en geïnterpreteerd. Foto's konden met "slimme" filters worden bewerkt. Landschappen konden 20 jaar geleden al volledig door een computer worden gegenereerd. Het taal model maakt echter mogelijk dat plaatjes geïnterpreteerd kunnen worden door van de begeleidende tekst gebruik te maken. De overeenkomstige elementen kunnen dan weer gebruikt worden voor het genereren van nieuwe beelden.

Dat is niet echt te vergelijken met wat er nu gebeurt. Photoshop is inderdaad niet nieuw. Een generatief model is wel nieuw, die technologie bestond 5 jaar geleden gewoon niet.

Je kan AI als een bedreiging zien, maar je kan ook zeggen dat de "computer" eindelijk volwassen begint te worden en de "kleutertaal" eindelijk is ontgroeid. Ik zie AI nu vooral in de pubertijd. Net als een menselijke puber moeten de grenzen en gevaren nog afgetast worden en moeten de grenzen en regels nog duidelijk worden gemaakt.

Ik zie het toch iets pessimistischer in. Ik denk dat enkel door de groei van GPU compute AI zo hard heeft kunnen groeien de afgelopen jaren. Als je echt in de achterliggende wiskunde duikt van CNN's en transformers is het eigenlijk allemaal niet zo complex. Maar door het op te schalen creeër je nieuwe functionaliteit, en juist daarvoor heb je grote GPU clusters nodig. Ik verwacht zelf dat alle huidigie AI technieken tegen een muur aan gaan lopen en dat meer compute niet meer intelligentie oplevert. Er komt dus een nieuwe AI revolutie, maar dan met échte intelligentie.

[WillySis]

Een generatief model is wel nieuw, die technologie bestond 5 jaar geleden gewoon niet.

Het genereren van landschappen bestond zelfs al 20 jaar geleden. Ook dat was generatief. Wat nieuw is, is het genereren van plaatjes op basis van elementen uit andere plaatjes. Door het taalmodel kan men nu elementen uit andere plaatjes herkennen, waardoor veel zelfstandig naamwoorden ook een beeldvorm hebben gekregen. Veel van de gebruikte filters zijn helemaal niet nieuw, maar aangepast op het nieuwe gebruik.

AI is gebaseerd op combineren rubriceren en indexeren. Menselijke taal vraagt gewoon veel rekenkracht en het toevoegen van rekenkracht zal de AI verbeteren, maar nooit iets opleveren wat echt intelligent is, wel dingen die echt intelligent lijken, Voor een groot deel doen mensen hetzelfde, waardoor het verschil heel klein is. Echt intelligente mensen (klasse Einstein) combineren zaken die met de kennis van dat moment eigenlijk niet gecombineerd kunnen worden en vinden vervolgens de missende component.
Uitvinders hoeven ook niet bang te zijn, want ook die vinden dingen uit voor toepassingen die nog niemand kent. AI zal bijvoorbeeld ook nooit eigenschappen van stoffen ontstaan uit een nieuw ontdekte chemische reactie kunnen berekenen. De kans dat AI de chemisch reactie kan vinden is wel aanwezig, mits daar geen heel specifieke omstandigheden voor nodig zijn, maar voor het resultaat ontbreken simpelweg de referenties uit het verleden.
Als voorbeeld kan je Covid 19 gebruiken. Ook met AI kon je onmogelijk de genetische mutaties voorspellen en als je ze handmatig toevoegde, was het onmogelijk om het gevolg daarvan te "berekenen". Van een aantal stukken van het RNA was de functie bekend en daar hebben wetenschappers en vervolgens de pharmalogische industrie gebruikt van gemaakt om RNA strings te maken die voor het immuun systeem zo activeren dat die een verdediging tegen het echte virus zou maken en daarmee het echte virus zou herkennen. Kunst was echter om de ziekmakende component volledig uit te schakelen.

[langestefan]

Het genereren van landschappen bestond zelfs al 20 jaar geleden. Ook dat was generatief.

Dat is toch wel iets totaal anders dan wat er nu gedaan wordt. Met generatief bedoelen we dat het model dat de plaatjes genereert de generatieve distributie van de data benaderd. Ja je kan ook plaatjes 'generereren' op andere manieren, maar dat is niet wat ik bedoel.

Wat nieuw is, is het genereren van plaatjes op basis van elementen uit andere plaatjes. Door het taalmodel kan men nu elementen uit andere plaatjes herkennen, waardoor veel zelfstandig naamwoorden ook een beeldvorm hebben gekregen. Veel van de gebruikte filters zijn helemaal niet nieuw, maar aangepast op het nieuwe gebruik.

Tsja, transistors zijn ook niet nieuw. Maar als je ze met miljarden in een bepaalde architectuur zet krijg je toch echt nieuwe functionaliteit. Iets soortgelijks is er nu gebeurt met transformers voor LLM's en daarvoor met CNN's voor plaatjes.

AI is gebaseerd op combineren rubriceren en indexeren.

Dat is absoluut niet wat er gebeurt. Hier is een paper die uitlegt wat LLaMA doet: https://paperswithcode.com/method/llama. En om dat te begrijpen moet je eigenlijk eerst transformers kennen: https://arxiv.org/abs/1706.03762
(GPT doet ongeveer hetzelfde)

Uitvinders hoeven ook niet bang te zijn, want ook die vinden dingen uit voor toepassingen die nog niemand kent. AI zal bijvoorbeeld ook nooit eigenschappen van stoffen ontstaan uit een nieuw ontdekte chemische reactie kunnen berekenen. De kans dat AI de chemisch reactie kan vinden is wel aanwezig, mits daar geen heel specifieke omstandigheden voor nodig zijn, maar voor het resultaat ontbreken simpelweg de referenties uit het verleden.

LLM's worden al veelvuldig gebruikt in drug discovery en DNA analyse dus ik zou niet weten waarom dat niet zou kunnen. En waarom zouden die referenties nodig zijn? We zien juist dat generatieve modellen sterk zijn in het verzinnen van compleet nieuwe dingen, met helaas vaak hallucinaties tot gevolg.

Als voorbeeld kan je Covid 19 gebruiken. Ook met AI kon je onmogelijk de genetische mutaties voorspellen en als je ze handmatig toevoegde, was het onmogelijk om het gevolg daarvan te "berekenen". Van een aantal stukken van het RNA was de functie bekend en daar hebben wetenschappers en vervolgens de pharmalogische industrie gebruikt van gemaakt om RNA strings te maken die voor het immuun systeem zo activeren dat die een verdediging tegen het echte virus zou maken en daarmee het echte virus zou herkennen. Kunst was echter om de ziekmakende component volledig uit te schakelen.

Covid19 was juist een hele mooie en nuttige toepassing van AI: https://www.ncbi.nlm.nih....needs%20of%20individuals.

[WillySis]

Het genereren van landschappen gebeurde op basis van een globale beschrijving, maar omdat die maar uit een beperkt aantal woorden bestond (water, lucht, rots, zand, zon, wolken) kon dat met een aantal sliders worden gedaan. Generatief? Ja, zeker. Het is wel een heel simpel begin van generatief plaatjes maken.

Daar zijn uiteindelijk een hoop technieken aan toegevoegd. E-Dali kan bij heel veel woorden een plaatje vinden. Die kan het ook op logische manieren combineren. Uit voorbeelden kan het ook verschillende stijlen herkennen. Door (aangepaste) bestaande filters en nieuwe filters te gebruiken is er compleet nieuwe toepassing ontstaan. Voor het begrijpen van bestaande plaatjes en het leggen van verbanden tussen de plaatsing van verschillende objecten kan het nu realistische composities maken. Door daar weer wat filters overheen te gooien kan het de stijl van het uiteindelijke plaatje weer aanpassen.

De taalmodellen zijn zeer belangrijk geweest, maar die zijn juist ontstaan door ontzettend veel teksten met een nagenoeg oneindig aantal woorden te lezen en de worden te rubriceren en te indexeren. Vervolgens word die opgedane kennis (de taalmodellen) opnieuw gebruikt om teksten opnieuw volgens een andere methode te rubriceren en indexeren, waardoor er een soort begrip van de teksten lijkt te ontstaan.

Dat Covid artikel geeft voor geïnteresseerden goed weer hoe men de verschillende vaccins heeft ontwikkeld. Alle fabrikanten hebben min of meer dezelfde methode gebruikt, maar met andere eindresultaten. Allemaal RNA vaccins, die gebaseerd zijn op stukjes RNA waarvan vermoed werd dat die door het menselijk immuunsysteem herkend zouden moeten kunnen worden (zekerheid had men beslist niet). Hoe de ziekmakende component onschadelijk gemaakt kon worden was lastiger, omdat ook AI daar geen basisgegevens over had. Daar zat ook het voornaamste verschil tussen de verschillende vaccins.
Een vaccin zou werken totdat ook in dat herkenningsstukje een mutatie zou optreden.

[langestefan]

Weet je wat, als je er geen moeite voor wilt doen om het te begrijpen dan ga ik het ook niet meer doen. Fijne jaarwisseling!

[WillySis]

Ik begrijp AI heel goed. Als data-analist heb ik 25/30 jaar geleden de eerste zelf lerende algoritmes zien ontstaan en daar ook aan meegewerkt om voorspellende modellen te maken. Daar ligt de meest simpele basis van AI. Ik ben een stapje verder gegaan naar de eerste algoritmes die men echt AI is gaan noemen. Wat jij beschrijft is weer een stap verder, waarbij enorme hoeveelheden computerkracht zijn ingezet om die eerste taalkundig georiënteerde AI modellen op grote hoeveelheden teksten los te laten. Daar zijn de taalmodellen vervolgens uit ontstaan. Die taalmodellen zijn de echte omwenteling geweest. Dat die doorbraak er eens zou komen was door velen uit dat werkveld ook al voorspeld. Het grootste gebrek was immers pure verwerkingskracht. Zelf ben ik van de biologie naar verkeer en toerisme verhuist, maar maak nog steeds complexe modellen die ik ook als AI verkoop. Met mijn kennis en voldoende computercapaciteit zou ik in staat moeten zijn om een taalmodel te laten creëren. Ik kan het niet bewijzen, want ik heb niet eens een procent van de benodigde computerkracht tot mijn beschikking.

Hoewel de basale werking van AI niet veel is veranderd heeft juist die toevoeging van taalmodellen en computerkracht de wereld op zijn kop gezet omdat AI "menselijke trekjes" kreeg en voor iedereen bruikbaar werd en ook begrijpbare resultaten gaf. De taalmodellen functioneren nu als een tussenlaag (zeker niet onbelangrijk) die teksten kan interpreteren en fabriceren.

Kort gezegd heb je dus wel gelijk, maar ik heb het over een fase voor de fase die jij beschrijft. Noem het het eerste en tweede AI tijdperk. Omdat de werking van AI op de achtergrond nog altijd volgens de oude basisprincipes werkt (waar dus een aantal lagen aan zijn toegevoegd), is het resultaat nog steeds het combineren van bestaande kennis. Zeker aan de creërende kant in woord, beeld en geluid, zijn die extra lagen indrukwekkend. Het lijkt ook intelligent, maar tot nu toe zijn de modellen voor de intelligentie nog afhankelijk van de mens die de opdrachten intikt. Ik vergelijk deze fase met een puberfase. De AI laat kenmerken van zelfstandigheid zien, maar heeft op de achtergrond nog wel wat sturing nodig.

[langestefan]

Ik begrijp AI heel goed. Als data-analist heb ik 25/30 jaar geleden de eerste zelf lerende algoritmes zien ontstaan en daar ook aan meegewerkt om voorspellende modellen te maken.

Heb je ook relevante ervaring, van ongeveer de afgelopen 4 jaar?

Ik kan het niet bewijzen, want ik heb niet eens een procent van de benodigde computerkracht tot mijn beschikking.

Ik kan op de kleinere LLaMA modellen prima lokaal inference draaien met een RTX3090. Trainen is wat lastiger, maar is met offloading wel te doen.

Hoewel de basale werking van AI niet veel is veranderd heeft juist die toevoeging van taalmodellen en computerkracht de wereld op zijn kop gezet omdat AI "menselijke trekjes" kreeg en voor iedereen bruikbaar werd en ook begrijpbare resultaten gaf.

Wat bedoel je concreet met de 'basale' werking?

Omdat de werking van AI op de achtergrond nog altijd volgens de oude basisprincipes werkt (waar dus een aantal lagen aan zijn toegevoegd), is het resultaat nog steeds het combineren van bestaande kennis.

Onzin. Ten eerste moet je eerst zorgvuldig, wiskundig definiëren wat je precies met combineren bedoelt. Ten tweede is dat niet wat een generatief model doet. Zoals ik al eerder zei, een generatief model leert (via trainen) de statistische distributie die de data gegenereerd heeft. Vervolgens kun je daar van samplen om nieuwe data te genereren. Een prompt is dus ook niks minder dan een sample van de distributie die het model geleerd heeft.

[WillySis]

Jij blijft de LLaMA modellen als de basis voor AI zien. Die zijn voor de AI als ChatGPT zeer belangrijk, maar het is niet de basis van AI. Ze zijn zelf grotendeels met AI gemaakt. Voor het draaien van een LLaMA model heb je niet zo heel veel computerkracht nodig, zelfs met een Raspbery Pi 4 kan dat.
Voor het maken en trainen van een LLaMA model heb je wel heel veel computerkracht nodig. Zo'n model moet ik met mijn huidige kennis kunnen maken, maar daarvoor ontbreekt mij dus de computerkracht. Een bestaand model gebruiken is niet zo heel moeilijk.

Alle AI is per definitie gebaseerd op generatieve modellen, anders is het een simpel algoritme. De uitkomst en de waarschijnlijkheid van de waarheid daarvan wordt weer als input gebruikt en uiteindelijk wordt dat in een index gebruikt.
Ik werk nog steeds aan (numerieke) AI modellen, maar dan vooral op het verkeer gericht. Momenteel ben ik bezig voor London (Canada) een compleet nieuw verkeerssysteem te ontwikkelen waarbij het gebruik van de fiets gestimuleerd moet worden en delen van de stad autoluw moeten worden. Grootste probleem is dat aanpassingen zoveel mogelijk tijdens regulier wegonderhoud moeten gebeuren.

[langestefan]

Oh nu ineens wel? AI was toch gebaseerd op indexeren en rubriceren?

Het stelt ook allemaal geen bal meer voor he. Laagje hier, laagje daar. Kan het geen eens meer engineering noemen.

[WillySis]

AI blijft gebaseerd op indexeren en rubriceren. Antwoorden worden daarin weer meegenomen.
Dat AI niets voorstelt zal ik nooit zeggen. Het is een kunst om de juiste indexen te creëren en op de juiste manier te gebruiken. De verschillende lagen creëren en vervolgens in een volgend model te implementeren is zeker niet gemakkelijk.

[langestefan]

AI blijft gebaseerd op indexeren en rubriceren. Antwoorden worden daarin weer meegenomen.

Aangezien er geen database of expliciet geheugen beschikbaar is in een transformer, hoe werkt dat dan precies?

Dat AI niets voorstelt zal ik nooit zeggen. Het is een kunst om de juiste indexen te creëren en op de juiste manier te gebruiken. De verschillende lagen creëren en vervolgens in een volgend model te implementeren is zeker niet gemakkelijk.

Het stelt echt geen bal meer voor. Voor kleine netwerken kun je zelfs de dimensies van de architectuur zelf opnemen als hyperparameters, dan is er helemaal geen bal meer aan. Ben blij dat ik ben gaan specialiseren in optimalisatie.

[mexmen2]

Ik vind zelf de Gartner hype cycle altijd een mooie afspiegeling van hoe een technologie of trend zich ontwikkelt en door bepaalde fases gaat.

Van opkomend en alles is mogelijk naar ingeburgerd in de meest logische vorm.

Elk jaar brengen ze een nieuwe versie uit van de hype cycle.

Link naar de Gartner AI hypecycle van 2023.
https://emt.gartnerweb.co...uMTcwNDAwNTgzMi42MC4wLjA.

[Reactie gewijzigd door mexmen2 op 24 juli 2024 22:36]

[Linksquest]

Je merkt inderdaad echt dat we nu weer in de een nieuwe hype zitten, en dat is AI, zelf de dit jaar uitgekomen Mission Impossible film was in het teken van AI, ben zeer benieuwd hoe ver dit zich door gaat ontwikkelen en in hoe verre we dit straks in ons dagelijks leven gaan merken.

[jpsch]

Er is een BNR podcast 'Welkom in de AI fabriek'. Zelf heb ik twee afleveringen geluisterd, maar ga 'm zeker afluisteren.

[Wozmro]

Ik vind wel dat er even mag benadrukt worden dat AI de marketingterm is voor in essentie patroonherkenning.

Begrijp me niet verkeerd: AI/creatief toepassen van patroonherkenning past bij mij in het rijtje van uitvindingen zoals: elektriciteit, internet,... het zal op alles en iedereen invloed hebben.

Het interessante is dat een mens ook voortdurend aan patroonherkenning doet. En dat AI op sommige vlakken beter is in patroonherkenning én dat we geen idee hebben hoe AI dat voor elkaar krijgt.

[centr1no]

een mens ook voortdurend aan patroonherkenning doet. En dat AI op sommige vlakken beter is in patroonherkenning én dat we geen idee hebben hoe AI dat voor elkaar krijgt

Volgens mij is het wel bekend waarom AI er beter in is. AI doet het namelijk bewust gestructureerd.
Het is al lang geleden onderzocht en er zijn zelfs technieken die je jezelf kunt aanleren om dingen beter te kunnen onthouden, anders te associëren.
Het is een bekend gegeven dat geuren sterkere herinneringen op kunnen roepen dan beelden of geluid omdat die in een ander deel van de hersenen verwerkt worden.
Een erg tot de verbeelding sprekend en extreem voorbeeld is savant syndroom.

[Wozmro]

Ik las onlangs een (basis)boek over AI. En daarin werd het voorbeeldje gegeven van AI dat aan de hand van een foto van de oogiris kan bepalen of het een man of een vrouw is van wie het oog is. (En ook als nuttige toepassing in staat is om bepaalde ziektes in een vroeg stadium te herkennen).

Dat de AI op een gestructureerde manier tot een conclusie komt lijkt mij logisch maar we weten niet waar de AI op let om de keuze te maken.

We weten wel dat geen enkele menselijke oogarts hiertoe in staat is.

[centr1no]

maar we weten niet waar de AI op let om de keuze te maken

Het lijkt me dat dat gewoon te analyseren moet zijn. Zeker gezien AI altijd werkt met een vastgestelde set regels.

We weten wel dat geen enkele menselijke oogarts hiertoe in staat is.

Tot nu toe dan. Als we weten waar de AI naar kijkt, kan een mens het ook.
Het hele punt van AI is natuurlijk dat we het juist dingen als dit laten doen en ontdekken. Veel onderzoek wordt nu door mensen niet gedaan omdat het tijdrovend is, geld kost en het ook iets op moet leveren. En waarschijnlijk missen we een hoop omdat we simpelweg niet overal aan kunnen denken of mee bezig kunnen zijn.

[langestefan]

Generatieve AI en patroonherkenning zijn toch wel fundamenteel andere technieken. Met patroon herkenning leer je discrimineren, met generatieve AI leer je om nieuwe voorbeelden te genereren. Dat doe je door de onderliggende, data genererende distributie te leren. Met patroonherkenning leer je enkel de distributie van de data die je gezien hebt.

[centr1no]

Ik vermoed dat Wozmro bedoelt te zeggen dat sommige applicaties die nu 'AI' genoemd worden misschien wel op een slimme manier van de patronen gebruik maken om schijnbaar intelligente 'nieuwe' data te genereren, maar verder niet 'leren' van die onderliggende data en daarin geen verbanden kunnen leggen.
Zoals bijv. een plaatjesgenerator die feitelijk ook niet veel meer hoeft te doen dan aan de hand van prompts vanuit de enorme hoeveelheid data een random plaatje te genereren.

De versies van AI-chatbots zoals ChatGPT die online voor iedereen beschikbaar zijn zullen de lerende functies niet aan hebben staan, maar een kort geheugen hebben en geen persoonlijke dingen kunnen beantwoorden omdat ze de boel niet willen vergiftigen met alle rotzooi die mensen er in stoppen.
En hoewel het al indrukwekkend is wat het kan lijkt het er af en toe nog heel erg op dat het niet veel meer doet dan domweg tekst spugen vanuit een database.

[langestefan]

De versies van AI-chatbots zoals ChatGPT die online voor iedereen beschikbaar zijn zullen de lerende functies niet aan hebben staan, maar een kort geheugen hebben en geen persoonlijke dingen kunnen beantwoorden omdat ze de boel niet willen vergiftigen met alle rotzooi die mensen er in stoppen.

Zelf lerende LLM systemen bestaan niet, ook niet voor betalende gebruikers en ook niet ergens in het geheim. Je hebt een context van x tokens, wat gewoon het huidige gesprek is en daar moet je het mee doen. Dat wil ik geen geheugen noemen zoals we dat kennen bij de mens.

En hoewel het al indrukwekkend is wat het kan lijkt het er af en toe nog heel erg op dat het niet veel meer doet dan domweg tekst spugen vanuit een database.

Maar dat doet het dus expliciet niet, vandaar ook de naam 'generatieve AI'.

[centr1no]

Zelf lerende LLM systemen bestaan niet

Euh, jawel.
ChatGPT is geen LLM maar een chatbot gebaseerd op een LLM.

Maar dat doet het dus expliciet niet, vandaar ook de naam 'generatieve AI'.

We noemen een calculator ook niet 'generatieve AI'.

[langestefan]

Euh, jawel.
ChatGPT is geen LLM maar een chatbot gebaseerd op een LLM.

Dus? Het is geen zelflerend systeem.

We noemen een calculator ook niet 'generatieve AI'.

Klopt. Ik snap je punt niet?

[Jochem]

Arnoud; respect voor je kaasanalogie en dat die overeind blijft tot en met het laatst. Ik ga hem ook gebruiken tijdens de oliebollen party vandaag en morgen.

[Sebaszz]

Ik ga nu een tosti maken na al dat kaas geneuzel

[T_elic]

Dan is de hamvraag, telt het nog als tosti als je er geen kaas op zou doen