MIT: projecten met generatieve AI leveren bedrijven zelden snelle omzetgroei op

Het Amerikaanse technologie-instituut MIT concludeert op basis van eigen onderzoek dat verreweg de meeste bedrijfsinvesteringen in generatieve AI niet tot een snelle omzetgroei leiden. Slechts in vijf procent van de gevallen levert een dergelijke investering grote waarde op.

Tools als ChatGPT van OpenAI en Copilot van Microsoft zijn breed in gebruik genomen, maar dragen niet per se bij aan de winst- en verliesrekening van bedrijven, aldus MIT in een nieuw rapport, waar onder meer Fortune over schrijft. Vooralsnog zouden zulke genAI-hulpmiddelen vooral de individuele productiviteit verbeteren. Ondanks 30 tot 40 miljard dollar aan bedrijfsinvesteringen in generatieve AI zou het grootste gedeelte van de genAI-projecten mislukken.

Slechts vijf procent van de proefprojecten waarbij generatieve AI wordt geïntegreerd in bedrijfsprocessen weet miljoenen dollars aan waarde op te leveren, meldt MIT. Vijfennegentig procent van de bedrijven die met dit soort projecten bezig zijn, haalt 'nul return' op hun investeringen, aldus het rapport van MIT-initiatief NANDA, dat staat voor Networked Agents and Decentralized AI. NANDA is gericht op het ontwikkelen van de fundamentele infrastructuur voor 'het ware internet van AI-agents'.

Het techinstituut noemt het grote verschil tussen succesvolle en gefaalde investeringen de generatieve-AI-kloof. De enorm uiteenlopende verhoudingen gelden voor zowel kopers als bouwers van deze toepassingen. De kopers bestaan uit grote ondernemingen, middelgrote bedrijven en het mkb. De bouwers bestaan uit start-ups, IT-leveranciers en consultancybedrijven.

De mate van succes of mislukking lijkt niet te liggen aan de keuze voor verschillende AI-modellen, aanwezige IT-infrastructuur, talent van werknemers of beperkingen door wet- en regelgeving. MIT identificeert in het rapport als voornaamste factor de aanpak die bedrijven hebben voor hun pilots. Bedrijven moeten volgens het techinstituut doelgerichter aanpasbare AI-systemen ontwikkelen die zijn ingebed in bedrijfsprocessen. Aansluiting op kennisgebieden en integratie met workflows is belangrijker dan een flitsende gebruikersinterface, concludeert het techinstituut.

Reacties (45)

[Orangelights23]

Dat is apart. Ik heb inmiddels 17 projecten afgerond waarbij we GenAI geïmplementeerd hebben in security processen en die ROI zijn duidelijk: processen gaan (veel) sneller, de output is van een betere en consistentere kwaliteit, het koppelt met allerlei parameters en randvoorwaarden en, belangrijkste, eindgebruikers zijn tevreden. Dit gaat om investeringen van een paar ton tot een paar miljoen en die kosten zijn er binnen alle 17 projecten uit binnen 6-12 maanden. En dit krijg ik ook mee uit mijn netwerk (enterprises in Europa).

Dus mijn semi-anekdotische ervaringen staan haaks op de bevindingen in het rapport. Ik krijg wel vaak mee uit mijn netwerk dat organisatisch de technologie niet goed begrijpen en daardoor niet goed inzetten. Dit zou deels verklaren waarom de ROI zeer negatief is: als je een hamer inzet als boor, werkt het niet.

[Henk1827]

Dat is apart, wij hebben inmiddels 100+ ontwikkelaars GenAI laten gebruiken en ROI zijn duidelijk: 90% van de ontwikkelaar heeft 1 uur per week productiviteitswinst. Aldus 2,5%. Daar wordt niet bijgenomen dat de output van minder consistente en lagere kwaliteit is. Ook niet onbelangrijk, 80% van de ontwikkelaars is redelijk ontevreden of ontevreden. Ik krijg dit ook mee van mijn netwerk; minimale productiviteitsboost, onbetrouwbare resultaten.

Mijn volledig-anekdotische ervaringen staan in lijn met bevindingen in dit rapport, en met wat over het algemeen wordt waargenomen over LLMs. Je kan een Facebook in 3 dagen inelkaar vibecoden, maar wil je fatsoelijk productiewerk leveren, helpt het je weinig tot niets.

[miitjohn]

Voor degelijke productiesoftware helpt het wel degelijk mits enkele voorwaarden. De business processen moet je zelf begrijpen tenminste als je een algemeen model gebruikt. Verder kan enkel een ervaren dev er voordeel uithalen voor dergelijke software. Zie het als een beginnend autocoureur een f1 geven ipv een cart, zonder begrip van de basis principes en ervaring ga je enkel ongelukken krijgen.

[Division]

Interessant, maar waar maak je de impact echt hard? Want het is vrij gemakkelijk om dingen meer efficient of gestroomlijnd te laten lijken zonder dat het echt iets toevoegt. Ik zie dit als developer ook. Onze code reviews gaan sneller, en de tool stelt ook zelf verbeteringen voor; zo voelt het efficienter en consistenter, maar onderaan de streep hebben we ongeveer dezelfde output met hetzelfde percentage bugs/fixes vs features added.

Het is een beetje zoals een organisator bij een meeting hebben. Ja, het voelt allemaal overzichtelijker en gestructureerder, maar de inhoud en conclusies van de meeting zijn niet "beter", en we zijn niet plots een beter product aan het bouwen; ook niet sneller of goedkoper. Er is gewoon een tool die een stuk verbositeit op zich neemt.

[Orangelights23]

Het gaat om ROI, dus kwantitatief meten wat de opbrengsten zijn. Gevoel staat er dus compleet buiten.

[NoTechSupport]

We kunnen MIT-onderzoek onmogelijk met jouw claims vergelijken. Je kan 100% gelijk hebben. Wat ik vaak zien is dat managers zich rijk rekenen. De winstgevendheid van het bedrijf als geheel is vaak niet veranderd of alleen op zeer korte tijd. Maar we hebben allemaal successen nodig om onze positie te verantwoorden.

[MatigVentje]

Ik lees zelf dat het over generatieve AI gaat hier. Ik kan mij voorstellen dat het gebruik van GPT achtige modellen inderdaad niet veel oplevert gezien alles alsnog geverifieerd moet worden. Ik ben er persoonlijk van overtuigd dat de echte tijdswinst in AI agents zit. Vraag mij af hoe de poster AI inzet en wat de effecten van dergelijke agents zijn.

[aikebah]

Dus je hebt als uitkomst van de AI ondersteuning de headcount in FTEs omlaag gebracht danwel de omzet vergroot? Want 'proces kostte vroeger 1 uur handwerk, nu maar 1 kwartier' => 75% ROI is geen ROI, maar betekent dat de handwerker 3kwartier duimendraait/facebookt/whatnot.

[andries98]

Oke, je hebt het dus over geld (en hebt ook alle andere factoren die van invloed kunnen zijn zoals inflatie, personeel, beoordeling klant/gebruiker etc er al vanaf gehaald?

Om wat voor sector gaat het? Ik kan me voorstellen dat enkele sectoren voordeel hebben, zeker als het je voor nu nog uniek maakt in die sector.

Maar het gaat er dus om wat je exact meet. Meet je bij een coder bijv dat hij meer regels schrijft (de meest oude en bekende AI claim) dan zegt dat bar weinig. Een goede coder doet miss in 5 regels wat AI in 10 doet, ook zegt het weinig als de kwaliteit slecht is (en het daarna fixen/fixen bij uitbreiden nog meer tijd/geld kost).

Ander voorbeeld is klantenservice, daar lijk je snelle goede ROI te halen. Maar ik heb letterlijk nog nooit wat aan ook maar 1 zo'n chat bot gehad. Maar ook zelden de kans gehad om aan te geven dat het bagger was wat hij geeft (of gewoon niet beantwoorden wat ik vraag of verkeerde antwoorden die niet werken of niet eens bestaan) en ik er niets mee op schiet en dus afhaak. Dan lijkt het prachtig want je ROI is (tijdelijk) goed, totdat klanten je gaan verlaten ivm bagger service.

Maar zou zomaar kunnen dat het bij jou zo uitpakt, maar schijnbaar volgens dit onderzoek voor de rest van de bedrijven/sectoren niet.

[Reactie gewijzigd door andries98 op 19 augustus 2025 18:12]

[rneeft]

Kwantitatief meten zou moeten gebeuren met 2 dezelfde teams met de zelfde start informatie. Dan 1 team wel, 2 team geeft AI daarna de uitkomsten vergelijken.

[Lord Anubis]

denk aan een derde team; Gelijk aan TeamA maar met AI wat samenvattingen maakt van gesprekken/acties en resultaten beoordeeld a.d.h.v kern-punten/doelen en dan direct tijdens activiteiten analyseert en laat zien.

AI het gang laten gaan komt voorlopig in de doodlopende straat.

[GeroldM]

Is het dan niet eerder zo dat met generatieve AI je steeds sneller de volgende 'bottle-neck' in je gehele proces tegenkomt? Kan me wel voorstellen dat bij het ene bedrijf dit soort 'bottle-neck' eerder kan worden opgelost dan bij andere bedrijven.

Misschien heeft het ene bedrijf ook meer last van mogelijk legale ramificaties als AI op afdoende schaal in hun processen dan een ander bedrijf. Dan kan jouw stukje inderdaad vele malen geoptimaliseerder zijn, als geheel hoeft het dan voor het hele bedrijf nog steeds niet zo'n grote stap voorwaarts te zijn.

AI is een zeer bruikbare tool, begrijp me goed, maar ik verwacht dat het onderzoek van MIT toch ook wel gedegen is.

Daarnaast, het doel van een bedrijf is om zolang als mogelijk, zoveel mogelijk geld te verdienen. Zeker bij bedrijven die al wat ouder zijn, zullen er processen zijn ontstaan die deze doelen voor elkaar krijgt. Dan kan jij jouw deel wel optimaliseren, als dat onder aan de streep niet of nauwelijks uitmaakt, dan is AI niet het wondermiddel.

Betekent niet dat AI niet nuttig is, maar dat het allemaal of langer tijd nodig heeft, of gewoonweg minder belangrijk is dan jij denkt. Is zo'n bedrijf dan een plek waar jij zou willen werken? Vast niet.

Nu ben ik zelf bezig met lokale LLMs die me bij verschillende (kleinere) taken bijstaan, zodat ik er amper meer naar om hoef te kijken. En in mijn optiek is dat nou juist de plek waarop AI meer dan uitstekend uit de verf komt. De grote modellen zijn leuk en kundig, maar ook erg aan verandering onderhevig. Verandering die jij als eindgebruiker niet onder controle hebt.

En in dat soort gevallen, vindt ik het dan toch vervelend om mijn naam te koppelen aan iets dat ooit eens goed werkte, maar door (ingrijpende) veranderingen bij de AI-aanbieder de integriteit van mijn werk niet gewaarborgd is. Ja, lokale AI is minder kundig, maar je kan er wel zaken met langere integriteit mee opbouwen.

[murkienl]

Er wordt in het artikel een direct verband met de winst-/verliesrekening gemaakt. Om een goed vergelijk te maken met jouw projecten zou ook naar de winst-/verliesrekening gekeken moeten worden. Dat men wellicht meer tijd over houdt om meer aandacht te besteden den aan dezelfde hoeveelheid werk kan tot gevolg hebben dat dezelfde hoeveelheid werk nauwkeuriger wordt uitgevoerd, maar hoeft in dat geval niet direct te leiden tot meer winst.

[Pinkys Brain]

Voor IT beveiliging is mankracht uitsparen makkelijk te meten binnen een bedrijf. Om kwetsbaarheid voor aanvallen te meten moet je naar duizenden bedrijven.

[murkienl]

Maar is het te meten om de winst-/verliesrekening?

[Pinkys Brain]

Zitten enorme kosten aan ransomware, dus als de groep bedrijven groot genoeg is, ja.

[Maupertus]

Maar ik lees wat jij hier beschrijft niet als een tegenzegging van het rapport, maar eerder dat jullie in die processen dus wel een realistisch project hebben opgezet, waarbij (van je korte beschrijving) wel duidelijk was wat GenAI kan (en niet kan).

Bedenk dat er ook ontzettend veel (niet tech) bedrijven zijn die zonder enig idee hier geld tegen aan gooien. Dat kan een enorm vertekenend beeld geven op de statistieken.

[Sissors]

Een vraag is natuurlijk ook in hoeverre AI hiervoor nodig was: Had je simpelweg zoiets nodig om het goed te krijgen, of was het vooral dat de oude processen ruk waren, en alles was zo ongeveer een verbetering.

Eg ik wacht met smart tot we een AI krijgen die getraind is op onze Sharepoint, daar dingen kunnen vinden gaat me significant helpen. Dat gezegd hebbende, dat is natuurlijk niet iets waarvoor je een AI nodig hebt, elke fatsoenlijke zoek functie (en/of logische indeling) zou hetzelfde doen.

[blahenazo]

Wie zou geen oplossing willen voor -tig verschillende sharepoints. Keer op keer komt je juweeltjes van info op sharepoints tegen. 6 maanden later is squad of team wat verwaterd, of de person die de sharepoint onderhield is weg , dus : info is outdated. Of staat er een linkje naar een 'verbeterede' sharepoint page.

[GeroldM]

In jouw SharePoint-geval, onderzoek de mogelijkheden die de (open-source) OpenSearch software je daarbij kan helpen. OpenSearch was inbegrepen bij de Wiki software die zo'n 2 jaar terug heb opgezet (als vervanger voor mediawiki). Ik ben zeer tevreden met wat die software voor elkaar krijgt in die wiki. Misschien dat het voor jouw situatie ook nuttig kan zijn.

[PaulHelper]

Uit mijn ervaring waren de implementaties voor SharePoint beter dan erna. In veel gevallen was dit meer door de bedrijven en hun implementatie ervan, maar dan nog. Het was allemaal slechter/lastiger te vinden in SharePoint dan ervoor.

Nu hebben we AI nodig om iets in de SharePoint te vinden. Ja zo helpt AI wel.

[Olaf van der Spek]

waarbij we GenAI geïmplementeerd hebben in security processen en die ROI zijn duidelijk: processen gaan (veel) sneller, de output is van een betere en consistentere kwaliteit, het koppelt met allerlei parameters en randvoorwaarden en, belangrijkste, eindgebruikers zijn tevreden.

Heb je toevallig concrete voorbeelden? Wat doet GenAI in deze processen precies?

[Division]

Hoe lees ik dit nou? Biedt het gebruik van genAI tools zoals ChatGPT op het werk slechts in 5% van de gevallen een winst (return)? Of verdienen slechts 5% van softwarebedrijven winst door AI aan te bieden in hun software?

[DropjesLover]

Slechts 5% van de klanten weet "AI" zo te implementeren dat het daadwerkelijk (flinke) winst oplevert. Dat komt doordat het in basis al goed geimplementeerd wordt in de bedrijfsprocessen.

Bij 95% wordt het niet goed geimplementeerd waardoor het weinig tot geen toegevoegde waarde heeft bij het bedrijf als geheel. De "hier heb je een AI, doe er wat mee" [pokes it with a stick].
Als de input aan de AI niet goed is aangeleverd wordt door het bedrijfsproces kost het veel tijd om dat om te zetten. Idem dito wanneer de output van de AI niet in het bedrijfsproces / past.

[mambo5]

Precies! En zo gebeurt het, ken een pur sang ondernemer die daadwerkelijk roept: hier moeten we wat mee ga aan de bak.

Niet dat het verkeerd is, want mensen gaan er al wel mee aan de bak, leren het gebruik en ontdekken gaandeweg mogelijk nieuwe insteken. Dat is positief, maar brengt niet meteen geld in het laatje.

[Honytawk]

5% van de tijd levert het grote winstverhogingen op.
Het zal dus nog wel meer winst opleveren in andere gevallen, enkel niet "grote".
Whatever dat betekend.

[klakkie.57th]

Het staat toch in het artikel. , 0 return

Vijfennegentig procent van de bedrijven die met dit soort projecten bezig zijn, haalt 'nul return' op hun investeringen,

[Vuurvoske]

Ik denk dat het een mooie tool is (generatieve AI clients), die zeker aan de productiviteit en effenciency kan bijdragen. Maar de schaal waarop het nu word opgeschaald is meer op basis van hype dan toepasbaarheid.

[Reactie gewijzigd door Vuurvoske op 19 augustus 2025 16:44]

[Sparks.nl]

Precies dat. Ik heb echt geen AI tool in elke app nodig.

[AnonymousGerbil]

Weinig verassend als je leest hoe vaak werknemers dergelijk gereedschap zonder voorbereidende evaluatie en zonder enige vorm van begeiding door de strot geduwd wordt.

[Miglow]

En klanten van die bedrijven.

[wagmomma]

Ik denk dat het interessanter zou zijn om te weten hoeveel omzet bedrijven verliezen door Gen AI. Vooral in de dienstensector zien ze in sneltempo werk wegvallen doordat klanten zelf tools gebruiken zoals ChatGPT.

[svenk91]

Ondanks 30 tot 40 miljard dollar aan bedrijfsinvesteringen in generatieve AI zou het grootste gedeelte van de genAI-projecten mislukken. Slechts vijf procent van de proefprojecten waarbij generatieve AI wordt geïntegreerd in bedrijfsprocessen weet miljoenen dollars aan waarde op te leveren, meldt MIT. Vijfennegentig procent van de bedrijven die met dit soort projecten bezig zijn, haalt 'nul return' op hun investeringen, aldus het rapport

Wat is dat nou weer voor belachelijke conclusie? Ze onderzoeken proefprojecten, daar kijk je of het levensvatbaar is om op te schalen. Bij een proefproject al miljoenen dollars winst halen is echt ik in de doorsnee alleen reëel voor een goedlopend bedrijf dat al honderden miljoenen winst maakt voor AI geïmplementeerd wordt. De lokale door een gezin gerunde bakkerij (ze kijken misschien naar bakkers maar ze kijken in het rapport ook niet enkel naar grote multinationals) die chatGPT gebruikt voor ideeën voor innovatieve recepten kan een heel succesvolle proef draaien zelfs al wordt die daar niet in een klap multimiljonair van.

Helaas kan ik niet bij het rapport. De link hier op Tweakers verwijst naar dit artikel op Tweakers... Klik ik door via via bij de andere geleverde bronnen dan moet je eerst je persoonsgegevens delen, laat dus maar. Bekijk je echter het Forbes artikel, een van de bronnen, dan leer je iets meer dan hier op Tweakers. Zo lees je bijv. dat veel bedrijven AI inzetten voor marketing en verkoop, dat levert misschien niet de nodige extra miljoenen op maar het zou goed kunnen dat ze wel moeten om mee te komen met de concurrentie. Zonder het AI gebruik op dit gebied zou de winst misschien wel miljoenen dollars lager liggen. Dan kan de implementatie dus alsnog een succes zijn.

Deze berichtgeving doet mij zo denken aan: https://www.smbc-comics.com/index.php?db=comics&id=1623
Anekdotisch staat er in het Forbes artikel nog even wat over sensationele outliers, start-ups met 19-20 jaar oude CEO's die van 0 naar 20 miljoen dollar per jaar gaan. Ik ben benieuwd hoe het nou in het rapport zelf staat.

[Reactie gewijzigd door svenk91 op 19 augustus 2025 17:03]

[5pë©ïàál_Tèkén]

Vooralsnog zouden zulke genAI-hulpmiddelen vooral de individuele productiviteit verbeteren

Oftewel, AI is ondersteunend bij het werk wat personeel doet. Zoals computers dat ook doen, en cloud diensten en internet (oh ja en blockchain). AI stelt mensen in staat productiever te zijn, niet om mensen overbodig te maken. Voor dat laatste moet AI het werk van mensen concequent beter èn goedkoper doen om op grote schaal banen te doen verdwijnen. Zo ver zijn de taalmodelen heus niet. De mogelijkheden mèt AI zijn wonderbaarlijk, het werk van losse AI zonder menselijke invloed is veel minder spectaculair (maar niet onnoemenswaardig). Dus de gene die dachten met een paar miljard binnen te lopen - helaas, u heeft iets te veel films gekeken. Investeerders willen loonkosten drukken, minder afhankelijk zijn van personeel ('want die kunnen weglopen'). Dan is 95% zero return niet iets wat je als investeerder wil horen. Ik zie het al voor me dat een aantal investeerders dit artikel lezen en meteen de telefoon pakken om te checken of hun project bij die 95% terecht komt

[Reactie gewijzigd door 5pë©ïàál_Tèkén op 19 augustus 2025 17:07]

[geert1]

In principe zou bijvoorbeeld 5% werkversnelling door ondersteunende AI wel kunnen zorgen voor een verkleining van het personeelsbestand in de loop der tijd, als er evenveel werk is om te doen (dus het bedrijf voorziet al in de vraag). Ook moet het AI-gereedschap zelf dan niet teveel kosten. Als het management zich bewust wordt dat er een lagere werkdruk is dan kan er een bescheiden ontslagronde volgen, of het niet vervangen van personeel dat vertrekt om andere redenen. Een gehele baan overnemen is nog niet echt mogelijk, maar 5% tijd besparen voor 100 mensen betekent dat het werk nu met 95 mensen te doen zou moeten zijn. Sommige bedrijven zijn zeker zo ingesteld, vooral grote.

In andere gevallen gaat het verschil misschien op aan de menselijke factor: de kleine stukjes bespaarde tijd gaan op aan een extra bakje koffie, social media of een praatje met een collega. Of even op adem komen, als de eerdere werkdruk altijd al erg hoog was.

Een groeiend bedrijf zou de mensen aan boord houden en zou dan 5% omzetgroei moeten gaan zien uit de AI-oplossing, theoretisch, omdat iedere werker iets meer gedaan krijgt. Als dat niet het geval is, kan de AI-oplossing eruit gebudgetteerd worden in een later jaar als zijnde "niet effectief genoeg" of er kan juist meer geïnvesteerd worden in een betere implementatie.

Dus bescheiden efficiëntieverbeteringen nemen geen gehele functies weg, maar een bedrijf zou er op z'n minst een bepaald positief effect aan over moeten houden om ermee door te gaan. Zij het ROI/omzetgroei, besparing op arbeidskosten, en/of hogere kwaliteit van het geproduceerde. Volgens dit onderzoek wordt de investering blijkbaar zeer zelden terugverdiend, maar een completer beeld zal vele onderzoeken vereisen over duizenden implementaties van AI, en misschien nog iets meer tijd omdat het redelijk vroeg dag is.

[Reactie gewijzigd door geert1 op 19 augustus 2025 18:23]

[R_Zwart]

Op zich geen onverwachte conclusie. Voordat je optimaal gebruik kan maken van genAI ben je wel even bezig. Je moet uitproberen wat werkt en wat niet werkt. En terwijl je dat doet daalt de productiviteit van de mensen die het aan het uitvogelen zijn.

[Roel1966]

Tja, AI is net zo slim of dom als de maker en gebruiker dus in die zin is en blijft AI puur en alleen een tool. Het is geen zelfdenkend iets zoals de mens maar zo probeerd men het wel te 'verkopen'. Zeker zijn b.v. chatbots 'slimmer' geworden maar ook weer net zo slim, dom, sturend als de databbase.

Ergens zie ik AI eigenlijk veel meer als de doorontwikkeling van automatisering zoals dit al voor vele jaren geleden begon. Maar ook toen kwam men erachter dat de mens niet door een machine vervangbaar is net als nu AI ook de mens niet kan vervangen.

Neem alleen al een voorbeeld als de stemming van een mens bij regenweer, mensen zijn dan vaak sneller aangebrand en reageren anders dan als de zon schijnt. Dat zal AI worst wezen of nu ze zon schijnt of dat het regent, ja hooguit dat een server doorfikt als er water in komt, poef weg AI.

Maar, en dat is typisch menselijk, er zijn ook mensen die juist houden van regenweer en dan vrolijk zijn. Wat ik daarmee zeggen wil is dat elk mens op zich al uniek is, dus hoe wil je dit kunstmatig dan bewerkstelligen.

[Reactie gewijzigd door Roel1966 op 19 augustus 2025 22:16]

[themadone]

Dat is ook niet onlogisch, ze hadden beter onderzoek kunnen doen naar productiviteit of lagere kosten. Dat is waar AI goed in is, sneller repetitieve taken uitvoeren waardoor je medewerkers tijd vrij krijgen voor serieuzer werk.