Meta komt met Llama 4-taalmodellen, claimt betere prestaties dan concurrenten

Meta komt met drie nieuwe Llama 4-taalmodellen: Llama 4 Scout, Llama 4 Maverick en Llama 4 Behemoth. De taalmodellen zijn op een nieuwe 'mixture-of-experts'-architectuur gebaseerd. Meta claimt dat de nieuwe Llama 4-taalmodellen beter presteren dan concurrerende llm’s.

Uit een blogbericht van Meta blijkt dat Llama 4 Scout 109 miljard parameters heeft meegekregen en 17 miljard actieve parameters per opdracht. Dit compacte model telt zestien experts, een context window van 10 miljoen tokens en past op een enkele Nvidia H100-datacenter-gpu. Het taalmodel zou op heel wat benchmarks beter presteren dan Gemma 3, Gemini 2.0 Flash-Lite en Mistral 3.1 en is beschikbaar via Llama.com en Hugging Face.

Llama 4 Maverick telt 400 miljard parameters, 17 miljard actieve parameters per opdracht en 128 experts. Dit taalmodel heeft een context window van 1 miljoen tokens. Meta claimt dat Llama 4 Maverick in bepaalde benchmarks beter presteert dan GPT-4o en Gemini 2.0 Flash en ongeveer even goed presteert als DeepSeek v3 bij coderen en redeneren, terwijl het over ongeveer de helft minder actieve parameters beschikt. Het taalmodel is ook beschikbaar via Llama.com en Hugging Face.

Zowel Scout als Maverick zijn gebaseerd op Llama 4 Behemoth. Dit taalmodel telt 2 biljoen parameters waarvan 288 miljard actieve parameters per opdracht. Llama 4 Behemoth telt zestien experts en is het krachtigste taalmodel ooit van Meta. Het Amerikaanse techbedrijf claimt dat Behemoth in heel wat benchmarks, zoals MATH-500 en GPQA Diamond, beter presteert dan ChatGPT 4.5, Claude Sonnet 3.7 en Gemini 2.0 Pro.

Meta is Llama 4 Behemoth nog aan het ontwikkelen en heeft besloten om het daarom nog niet beschikbaar te stellen. Het Amerikaanse techbedrijf gebruikt de Llama 4-taalmodellen wel al in de MetaAI-assistent die in onder andere de Messenger-, WhatsApp- en Instagram-app is ingebouwd. Meta zal meer details over de taalmodellen delen tijdens LlamaCon. Dit evenement zal op 29 april plaatsvinden.

Meta Llama 4-taalmodellen. Bron: Meta

Reacties (69)

[Ruuddie]

Het Amerikaanse techbedrijf claimt dat Behemoth in heel wat benchmarks, zoals MATH-500 en GPQA Diamond, beter presteert van ChatGPT 4.5, Claude Sonnet 3.7 en Gemini 2.0 Pro.

Niets gezegd over Gemini 2.5 Pro dus. Die is miles ahead, in ieder geval voor coding. Dus als je daar niet in de buurt komt, loop je eigenlijk al achter met deze nieuwe release.

[lenwar]

Voor coding zeker. Daar is Gemini 2.5 volgens mij inderdaad op eenzame hoogte.

Voor role playing komt er niets in de buurt van llama3.x (met de juiste prompts/settings uiteraard ).

Enzovoorts

Het ligt er maar net aan wat je nodig hebt.
De 'beste LLM' bestaat niet als zodanig. Het ligt er echt heel erg aan wat je nodig hebt.

Wat ik persoonlijk een zwakte vind van llama3 overigens, is dat hij heel erg blijft hangen op Amerikaans-Engels en Anglo-Amerikaanse maten (inches/gallon/enz. i.p.v. cm/liter/enz.) Hij valt erg snel terug op die maten, en dat ervaar ik als erg vervelend. (ondanks het benoemen in de prompts en dergelijke.)

[gooos]

Toch maar weer eens Gemini aanslingeren dan, gebruik momenteel voornamelijk o3-mini-high voor mijn hobby gecodeer voor een website.

In welk opzicht vind je Gemini beter presteren?

[Smurf9852]

Die is miles ahead, in ieder geval voor coding.

Hebben we het dan over benchmarks of real use?

Want op de real use benchmark voor WebDevs steekt Claude Sonnet 3.7 nog écht met kop en schouders boven iedereen uit:

https://web.lmarena.ai/leaderboard

[Luchtbakker]

Erg makkelijk om te roepen dat je beter dan de concurrentie bent, zonder dat er actief getest kan worden door onafhankelijke testers. Zo kan ik ook wel roepen dat ik de snelste met iets ben, zonder bewijs.

[P1nGu1n]

De modellen zijn toch gewoon gratis publieke beschikbaar gesteld? Oftewel, iedereen kan dit onafhankelijk testen.

[RPS13]

Niet beschikbaar in de EU. (zie o.a. hier, hier en hier voor Llama 4)

Ik heb me ook aangemeld voor de Llama 4 gated repository op HF, en was instant rejected, met m'n echte gegevens. (Ik was ook rejected bij de Llama 3 series)

[Reactie gewijzigd door RPS13 op 6 april 2025 12:05]

[Noob_Saibot]

Eens klinkt in mijn oren ook als een gebakken lucht.

[gewoontelefoon]

Er zijn mensen die verwachten dat het idd de valse en gehypte belofte is. Misschien wel net als de DOT COM bubbel van eind jaren 90.

Zal een mooie reset zijn van machten en krachten.

[DrPoncho]

De dot com bubble was een tijdelijke terugval, zoals je wellicht gemerkt hebt zijn sites redelijk wijdverspreid. Maar het ging hier niet over het fenomeen AI, maar over Meta's nieuwe modellen.

[gewoontelefoon]

Ja precies.

[Cybje]

Heb je ze al uitgeprobeerd? Anders zou ik jouw reactie eerder als “gebakken lucht” bestempelen, gezien het geen enkele inhoud heeft. Maar het is natuurlijk wel interessant als je zelf al een eerste vergelijking hebt gedaan en je ervaringen kunt delen.

[GerritGekke]

Wij van Wc-eend …

[haam]

Even de link naar de blog klikken en je ziet welke verschillen er zijn.

[Quintiemero]

Dergelijke modellen worden continu onafhankelikk getest.

[svenk91]

Je kan er toch al gebruik van maken?

Het Amerikaanse techbedrijf gebruikt de Llama 4-taalmodellen wel al in de MetaAI-assistent die in onder andere in de Messenger-, WhatsApp- en Instagram-app is ingebouwd.

Je kan het alleen nog niet lokaal draaien, maar dat is niet anders dan bij OpenAI’s GPT modellen van versie 3 en hoger.

[lenwar]

Er zijn zat benchmarks/testers van LLM-modellen te vinden.

Edit: in de gelinkte blog-pagina zie je verschillende benchmarks vergeleken met andere modellen.

[Reactie gewijzigd door lenwar op 6 april 2025 12:42]

[kftnl]

Je kunt ze gewoon op openrouter gebruiken. Wat betreft zelf downloaden, dat kan vrij simpel maar draaien vereist pittige hardware. In mijn tests werkt het ok maar niet echt wat ik er van gehoopt had. Ik hoopte met name dat 'multimodal' wat meer zou zijn dan tekst en plaatjes.

[iPieter be]

Misschien belangrijk om te vermelden dat de licentie en fair use policy [0] het gebruik en de distributie beperkt voor Europese bedrijven/consumenten:

With respect to any multimodal models included in Llama 4, the rights granted under Section 1(a) of the Llama 4 Community License Agreement are not being granted to you if you are an individual domiciled in, or a company with a principal place of business in, the European Union. This restriction does not apply to end users of a product or service that incorporates any such multimodal models.

De nieuwe llama4-modellen zijn allemaal multimodaal, dus hoe ik dit interpreteer (als niet-jurist) is dat al het gebruik van de gewichten (inc finetuning bijvoorbeeld) niet mogelijk is binnen de EU.

[0] https://www.llama.com/llama4/use-policy/

[Reactie gewijzigd door iPieter be op 6 april 2025 10:22]

[ocf81]

Zie hier de resultaten van de AI Act. Europa heeft ervoor gekozen om AI effectief gezien te verbannen door onrealistische eisen te stellen. De gevolgen daarvan zullen over tijd wel merkbaar worden, en zullen ongetwijfeld overwegend negatief zijn. De AI Act zou je ook wel kunnen lezen als de Artificial Impoverishment Act, want dat is waar het op neerkomt.

[kodak]

Er worden zeer realistische eisen gesteld. Dat ai en Llama bestaan wil namelijk niet zeggen dat het in de EU bestaansrecht heeft. Zeker als een bedrijf als Meta op geen enkele manier verantwoording af legt hoe men de rechten van miljoenen anderen heeft gerespecteerd om Llama te laten bestaan en 'verbeteren'.

[ocf81]

Nee, er worden compleet onrealistische eisen gesteld. Er wordt effectief gezien gevraagd om een vorm van openheid die er op neer komt dat alles openbaar wordt gemaakt. Dat staat gelijk aan het wegpissen van je investering voor goedkeuring door de EU. Geen zinnig bedrijf gaat dat ooit doen.

[kodak]

Het is om te beginnen al geen realistische investering in bijvoorbeeld meerdere generaties van Llama door op geen enkele manier transparant te willen en kunnen zijn of de gegevens waardoor het kan bestaan rechtmatig verkregen zijn. En dan kan je het niet leuk vinden dat er na aanhoudende problemen strengere eisen gesteld worden, maar dat is wel het gevolg wat valt te verwachten als men andermans rechten op geen enkele manier aantoonbaar wenst te respecteren en maar door gaat.

[Horla]

Wel vreemd dan dat er meerdere andere bedrijven zijn die het wel doen. Of is meta het enige zinnige bedrijf?

[Llopigat]

Nee dit is gewoon pesterij van Meta, beinvloeding om juist de tegenstanders van de AI Act te bemoedigen.

Want wat staat er nou in die act? Niet zo heel veel bijzonders. Het belangrijkste is dat je de rechten moet hebben op het materiaal waar je mee traint. Dat is toch niet zo raar? We weten dat elke grote partij in Amerika dat totaal negeert en ze proberen zelfs de wetgever om te krijgen. Want ook daar is dat helemaal niet legaal. Er wordt alleen niet naar omgekeken en de wet is daar helemaal niet relevant meer (het enige dat nog telt is hoe goede vriendjes je met Trump zijn kliek bent).

Dat betekent niet dat we dat hier ook zo moeten gaan doen natuurlijk. Amerika krijgt het deksel vroeg of laat ook wel op de neus. En het is geen wedloop. Als we ons verlagen naar het niveau van de VS is er van het Europa zoals wij het kennen niks meer over.

Ik werk zelf "in de AI" en ik ben het 100% eens met deze wet. En ook de GDPR enzo waar Amerikaanse bedrijven zo'n hekel aan hebben. Als het op een onethische manier moet, dan liever niet.

[Reactie gewijzigd door Llopigat op 6 april 2025 21:13]

[ocf81]

Artikel 5.2 is toch echt wel tamelijk indringend. Het komt er op neer dat alles mag worden ingezien.

[latka]

Er is niets verbannen het is alleen geen wild westen (USA) of een staatssupervisie (China). Ik zeg niet dat die wet een goed is (zitten vast zaken in die niet goed zijn), alleen zeggen dat deze wet er voor zorgt dat we achterlopen.. We zouden de wet ook streng kunnen gaan handhaven en ook producten en diensten die gemaakt zijn met AI er aan onderwerpen. Een beetje wat Trump doet met zijn heffingen: dan komt er geen Amerikaanse AI meer de EU in en moet het hier wel ontwikkeld worden volgens de afgesproken spelregels (zo ook voor de Chinese versies uiteraard).

[ocf81]

Als je de duimschroeven zo strak aandraait dat zo ongeveer elk AI project onder je verscherpte toezicht valt, waarbij je verscherpte toezicht het openbaar maken van honderden miljoenen aan werk betekent, komt effectief gezien neer op een verbod. Niemand gaat honderden miljoenen dollars aan werk en concurrentievoordeel wegpissen om de EU tevreden te houden.
Het verwijt dat het om wildwestpraktijken gaat is iets waar nogal wat kanttekeningen bij kunnen worden geplaatst, helemaal als je de Chinese manier van werken als concurrentie hebt. Want Chinese bedrijven zijn zodanig onscrupuleus dat de rechtenschendingen van de bedrijven uit de VS relatief goedaardig zijn.
En helaas is dit geen geval van later nog eens langszij komen. De eerste die AGI weet te realiseren wint een allesbepalende voorsprong die waarschijnlijk nooit meer in te halen is. Als je dan het heilige boontje gaat uithangen kies je voor je eigen ondergang.

[Reactie gewijzigd door ocf81 op 6 april 2025 14:53]

[latka]

De eerste atoombom, de eerste auto, het eerste wiel. En toch zijn we er nog...

[ocf81]

Met AI kom je niet in een situatie waar je nog langszij kan komen. Die trein stopt nooit. Dit is dus een andere situatie dan het uitvinden van een vaststaand iets.

[Horla]

Genoeg experten die twijfels hebben dat de richting waar we momenteel in gaan (language model) geen agi kan opleveren.

[bursche]

"De eerste die AGI weet te realiseren wint een allesbepalende voorsprong die waarschijnlijk nooit meer in te halen is."

Dit is echt een broodje aap. Wanneer AGI bereikt zal worden, zal er weinig verschil te merken zijn in de praktijk. Dit zijn de inzichten uit de wetenschap, niet uit de marketingkokers van de techbedrijven.
Wanneer we het hebben over AGI, dan wordt er gedacht over een soort superintelligentie. Dat is AGI niet, het is een arbitraire stap vooruit. Voor zover bekend is een zogenaamde superintelligentie niet mogelijk en zal een AI nooit echte intelligentie zoals een mens kunnen bereiken.

[Baserk]

[...]
Het verwijt dat het om wildwestpraktijken gaat is iets waar nogal wat kanttekeningen bij kunnen worden geplaatst, helemaal als je de Chinese manier van werken als concurrentie hebt. [...]

Zo kan je ook kinderarbeid op een gegeven moment weer recht gaan lullen.

[Reactie gewijzigd door Baserk op 6 april 2025 21:01]

[Llopigat]

Wat een flauwekul. De EU stelt alleen wat kanttekeningen aan het trainen van AI en het gebruik ervan. Als het zo'n drama was dan was mistral ook allang vertrokken. En vergeet niet, de AI bedrijven krijgen ook in de VS de wind van voren met hun copyrightschendingen. Wel wat minder dan hier ja, maar het zijn dan ook cowboys.

Want Chinese bedrijven zijn zodanig onscrupuleus dat de rechtenschendingen van de bedrijven uit de VS relatief goedaardig zijn.

We moeten ons dan ook niet verlagen tot wat anderen doen. Als je iemand ziet inbreken ga je dat toch ook niet doen omdat hij daarmee misschien rijker wordt dan jij?

De eerste die AGI weet te realiseren wint een allesbepalende voorsprong die waarschijnlijk nooit meer in te halen is.

AGI zijn we nog lang niet en daar kom je ook niet met LLM modelletjes. Die zijn niet echt intelligent, die doen alsof. Daar zijn ze best goed in maar de beperkingen zijn duidelijk. En daarom heeft iedereen er ook zoveel problemen mee om het bijvoorbeeld in een assistent te verwerken.

[Reactie gewijzigd door Llopigat op 7 april 2025 22:28]

[ocf81]

Nou, er valt wel wat af te dingen op het met de handen op de rug moeten concurreren. Je wuift die bezwaren ten onrechte weg, denk ik. Hoe blij ben je als je met je ethische principes als laatste over de finish komt? Dat zal behoorlijk zuur zijn denk ik. AGI is nog een eind weg, maar de expertise is nu voor het overgrote deel niet meer in de EU, dus de verwachting dat je alsnog als eerste over de finish komt is dan ook navenant laag. Soms zijn er offers nodig.
Dat is zeker niet fraai, maar wel nagenoeg onontkomelijk.

[Reactie gewijzigd door ocf81 op 7 april 2025 23:25]

[Llopigat]

Ik denk niet dat 'als eerste over de finish komen' een doel moet zijn ten koste van alles. We kunnen sowieso niet echt concurreren met Amerika, zij geven geen fuck om gezondheidszorg, sociale voorzieningen, een eerlijke welvaartsverdeling enzovoorts. Als we het niet hierdoor afleggen dan is het daar wel door. En China geeft al helemaal nergens wat om.

Als we al onze ethische waarborgen opgeven en we zijn nog niet als eerste over de finish dan hebben we het voor niets gedaan, en bovendien hebben we onszelf dan ook hard genaaid omdat al die Amerikaanse technieken dan tegen ons gebruikt kunnen worden. Immers hebben we geen waarborgen meer.

Maar dat is ook zoiets typisch Amerikaans, alleen de winnaar telt. Zo werkt het niet bij ons. En gelukkig maar. En juist de experts willen nu uit Amerika weg omdat het land daar helemaal in de handen van de laag opgeleide meute is gevallen.

[ocf81]

Nee, dat is niet typisch "Amerikaans", dat is typisch de echte wereld. Er is in de hele wereld geen land wat het zich kan of durft te veroorloven om zo'n exorbiant luxe sociaal systeem in de lucht te houden als de landen in de EU. Alleen in tijden van exorbitante rijkdom kan je doen alsof je er niet alles aan moet doen. Vroeger was dat ook geen grootspraak, maar die tijd is al ca. 30 jaar voorbij. Helaas blijven we maar doen alsof hier het paradijs is. Dat kan niet langer. De sociale uitgaven moeten hoe dan ook omlaag. Dat moest altijd al. En hoe langer je blijft doen alsof het niet hoeft, hoe harder de val zal zijn. We koersen al een tijdlang recht af op de bestemming "EU als 3^e-wereldland" vanwege dit idiote doen alsof we de luxe hebben om het te laten.

[Llopigat]

Als we achter Amerika aanlopen dan krijgen we ook zo'n maatschappij waar sommige mensen 100.000x zoveel hebben dan anderen. Dat is gewoon te idioot. Bovendien leidt dat tot een heel gewelddadige maatschappij omdat er zoveel mensen zijn die niets te verliezen hebben. Daar komen ook al die woedende Trump stemmers uit vandaan.

En we hebben alleen maar meer verdiend de afgelopen decennia. Het moet een heel stuk inzakken voor we zo weinig hebben als bijvoorbeeld in de jaren '80. En toen waren we ook niet ongelukkig. Je kon toen niet elk jaar een nieuwe auto of TV kopen en we gingen niet op vakantie naar Bali, maar dat hoefde ook eigenlijk niet. Maar een woning was een stuk goedkoper dan nu juist door het eerlijke sociale huurstelsel en puntensysteem die allemaal in de marge zijn geraakt.

Ik heb liever wat minder te besteden dan zorgen over gezondheid, levensonderhoud enz. Ik zou niet eens Amerika willen bezoeken, en er al helemaal niet willen wonen.

[Reactie gewijzigd door Llopigat op 8 april 2025 00:52]

[ocf81]

Als we achter Amerika aanlopen dan krijgen we ook zo'n maatschappij waar sommige mensen 100.000x zoveel hebben dan anderen. Dat is gewoon te idioot.

Nee, dat is gewoon terecht.

Bovendien leidt dat tot een heel gewelddadige maatschappij omdat er zoveel mensen zijn die niets te verliezen hebben. Daar komen ook al die woedende Trump stemmers uit vandaan.

De hoeveelheid geweld in de VS is weliswaar iets hoger, maar niet evenredig veel hoger. Bangmakerij die nergens op slaat.

En we hebben alleen maar meer verdiend de afgelopen decennia. Het moet een heel stuk inzakken voor we zo weinig hebben als bijvoorbeeld in de jaren '80. En toen waren we ook niet ongelukkig. Je kon toen niet elk jaar een nieuwe auto of TV kopen en we gingen niet op vakantie naar Bali, maar dat hoefde ook eigenlijk niet. Maar een woning was een stuk goedkoper dan nu juist door het eerlijke sociale huurstelsel en puntensysteem die allemaal in de marge zijn geraakt.

We hebben sinds de jaren '70 vooral heel veel inflatie gehad door het afschaffen van de goudstandaard. En in tegenstelling tot wat er tegenwoordig wordt geroeptoetert is geldcreatie de definitie van inflatie. Het was ook wat er in de jaren '90 nog als inflatie werd onderwezen op middelbare scholen. Huizenprijzen zijn eigenlijk stabiel gebleven t.o.v. de inflatie en de rest is relatief goedkoop geworden. Dat de prijsniveaus toch enorm zijn gestegen komt vooral door de illusie van rijkdom die inflatie voorspiegelt door middel van de toegenomen prijzen. Als je dan gaat kijken naar ontwikkelingslanden, dan is de handelsbalans de reden dat alles zo goedkoop is daar, niet echt onze welvaart. Wat daar wel een rol in speelt is dat de onderontwikkelde economieën veel vraag naar producten uit meer ontwikkelde landen hebben. Goedkoop naar Bali op vakantie is dus eerder een gevolg daarvan, dan van onze echte rijkdom.
Relatief aan de VS loopt de EU al sinds de jaren '80 niet meer op gelijke pas met de VS, en de hogere belastingen zijn daar mede een factor in. Het is niet de enige factor, maar het is zeker wel een ding. Er is bij hogere belastingen minder geld over voor bedrijven om te (her)investeren en dat vertaalt zich in lagere groei. Er is nog een andere factor en dat is dat belasting ook remmend werkt op de ambitie. Je kent ongetwijfeld de val van het wegvallen van toeslagen. Dit is effectief een toename van belastingen, want toeslagen en belastingen kan je tegen elkaar wegstrepen. Deze val bestaat in Nederland maar ook in veel andere EU-landen. Al met al is de VS dus een betere plek voor je geld en ook een beter plek voor jou als persoon als je echt iets kan. Wat je nu in Nederland dus ziet is dat er meer arme mensen zijn. De zogenaamde "middenklasse" is in feite arm en wordt armer. Maar goed, in feite is iedereen die onder het satiatieninkomen zit arm, zij het in verschillende maten van ernstigheid. In dat opzicht is de VS enorm veel rijker dan de EU. (Helaas wordt mijn definitie van armoede door weinigen gedeeld)

Ik heb liever wat minder te besteden dan zorgen over gezondheid, levensonderhoud enz. Ik zou niet eens Amerika willen bezoeken, en er al helemaal niet willen wonen.

Dat mag je natuurlijk vinden, maar weet wel dat de persoon in de VS die in het 2e kwartiel van de inkomensverdeling evenveel te besteden heeft als iemand in het 3e kwartiel in NL, en dat is inclusief ziektekosten etc. En dan is NL nog een relatief welvarend deel van de EU. De voorsprong die zij hebben opgebouwd geeft concrete voordelen voor het overgrote deel van de bevolking van de VS.

[Reactie gewijzigd door ocf81 op 8 april 2025 14:48]

[GeroldM]

Hoe vaak dient dit te moeten worden uitgelegd?

De EU vindt de handelswijze van Big Tech niet stroken met de mate van privacy en databescherming die Big Tech aan hun gebruikers toekent. Wat dus amper tot niks is, al verbloemen de tech bedrijven dit met een heleboel legalees.

De EU vindt dat de gebruiker meer te zeggen moet hebben over hun eigen data in andermans systemen dan dat de Techbedrijven dat willen toestaan. Dus gooien ze het over de boeg: "De EU blijft achter, de EU wil niet innoveren, wij kunnen niet leveren in de EU, blah, blah). Dat zijn allemaal drogredenen, maar dan van bedrijven die zich als recalcitrante kinderen zijn gaan gedragen.

65% van alle traffic op WikiPedia komt van AI bots, welke Wikipedia op onnodige kosten jagen. Want de Chinese AI bedrijven jagen hun bots soms meerdere keren per uur naar Wikipedia. OpenAI, Antropic enz, doen dat meerdere keren per dag. Niet alleen Wikipedia is het slachtoffer van de AI bedrijven, zo'n beetje het gehele internet is het slachtoffer van de datahonger van de AI bedrijven.

Zij negeren daarbij compleet de wensen van de eigenaars van deze websites, negeren alle vormen van copyright op die data en zijn flink aan het lobbyen voor een wet die AI vrijstelt van compensatie voor de data die ze jatten, maar waar dus wel flink voor is betaald om het verkrijgen en nu dus ook flink voor moet worden betaald om het nog uberhaupt te kunnen tonen voor normale gebruikers, voordat de AI bots sites DDOSen.

En dan staan de techbedrijven raar te kijken als de EU met wetgeving komt die zowel de data en toegankelijkheid ervan eerlijker wil behandelen, dat rechthebbenden daadwerkelijk betaald krijgen voor hun werk enz.

Maar dat schopt dus tegen het zere been van Big Tech, dus gezeur en drogredenen. Want de hardware is al zo duur (NVidia vraagt extorbitante winsten), de AI serverparken nemen veel ruimte in datacenters in beslag (erg hoge huur), zuipen energie als een ketter op een feest dat je kan vergelijken met carnaval wat is vermenigvuldigd met St. Patrick's day. Dus is dat dan maar een reden om niet meer te willen betalen voor kostbare data? En dan ook nog eens het lef hebben om AI gebruikers de volle hoofdprijs te vragen voor hun AI dienst en dan ook nog eens kwaad worden als "hun" data door anderen wordt gebruikt.

Daarnaast zeggen AI bedrijven dat zij hun gedrag zullen aanpassen, maar doen dat dus niet. Recalcitrante kinderen, die al meerdere keren ter verantwoording zijn geroepen en zich daar niks van aantrekken. In de hoek zetten helpt er dus niet tegen. Dan maar op oldskool terugvallen en flinke draaien om de oren uitdelen (lees financiele boetes, want dat is het enige wat zulke bedrijven werkelijk treft).

Gezien de inhoud van jouw post, kan ik niet anders concluderen, dat jij met open ogen in de drogredenen trapt. De Tech bedrijven willen niet spelen in de EU "tuin", dat is het enige wat er werkelijk aan de hand is.

Maar goed, laat Trump maar vooral overal tarieven op plaatsen. In enkele bevolkingsonderzoeken geeft 73% ven hoog-opgeleiden in de VS al aan dat zij de V.S. willen verlaten voor de EU. En geloof me, er zijn al genoeg bedrijven en instellingen in de EU die daar maar al te graag meewerken aan huisvesting en banen en onderzoeksgelden voor die 'brain-drain'.

Want je ging naar de VS om geld te verdienen. Trump's tarieven zullen de hoogopgeleiden verjagen naar financieel stabielere locaties in de wereld. De EU is er 1 van.

[haam]

Zoals ik m lees: je mag niet Llama 4 gebruiken, maar wel afgeleide producten of services

[demianmonteverd]

Een toevoeging op wat Pieter hier schrijft. In de FAQ staat een en ander verder uitgewerkt in de sectie "Restriction on Llama Multimodal Models in the EU" van de FAQ.

[pvcholten]

Wat gebeurt er als ik het toch gebruik?

De reden dat ze dit erin zetten is omdat Meta geen zin heeft om zich te houden aan de vrij strenge AI act

Daar staat o.a. in dat ze hun trainingsdata moeten noemen. En dat ze copyright moeten respecteren m.b.t. die trainingsdata. Dat laatste hebben ze niet gedaan, aangezien Meta Anna's Archive heeft leegetrokken om Llama te trainen.

En er zijn extra eisen vanuit de EU als het model getraind is met meer dan 10^25 FLOPS, watcvast het geval is.

[henk717]

Model wordt slecht ontvangen in de AI hobby community omdat ze hem zo groot maken. Dit maakt het voor hobbyisten moeilijk om de ondersteuning te programmeren en te testen en het voor thuis gebruik ongeschikt. Het hele doel van lokale AI modellen dat er versies zijn die je thuis kunt draaien en goed kunt finetunen gaat hierdoor verloren. Leuk dat bedrijven met een groot budget en hosting partijen er nu een model bij hebben voor de rest van ons is dit een downgrade.

Gelukkig snapt hun concurent Mistral het wel, die hadden bijvoorbeeld voor hun 24B model de eis dat deze licht moest zijn waardoor het voor een 24B lagere geheugen vereisten heeft dan je zou verwachten. Ook Qwen en Google doen het goed door versies uit te brengen die klein zijn.

Ga zeker giga modellen uitbrengen, graag zelfs maar vergeet niet de community die uit llama is ontstaan en llama groot hebben gemaakt met innovatieve oplossingen en uitvindingen welke een kleine versie nodig hebben om hun ding te doen. Die zitten nu met iets waarbij ze video kaarten moeten huren om het te kunnen testen.

[Reactie gewijzigd door henk717 op 6 april 2025 14:45]

[Llopigat]

Klopt ik vind het ook heel jammer. Misschien komt er later nog wel een distill die kleiner is ofzo.

[henk717]

Probleem met distlls is dat het programmeurs niet helpt als het niet de architectuur behoud. Neem deepseek-r1. Ik moest deze week $80 betalen om te debuggen omdat een gebruiker een probleem melden met een template voor een cloud dienst die ik lever en er geen kleiner model is om mee te testen. Gelukkig dekt het refferal geld dat ruim, anders was de lol er meteen af. Door die slechte ervaring ben ik nu niet van plan templates te bieden voor llama4. Gebruikers mogen het zelf instellen.

[Llopigat]

Je kan ook een distill maken met behoud van de architectuur. Wat Deepseek heeft gedaan is zelfs vrij bijzonder (door het gebruik van totaal andere modellen als llama en qwen).

[ThunderBird.]

Wij van WC-Eend adviseren, WC-Eend

[jpsch]

Inmiddels zijn er meer taalmodellen dan Linux smaken.

[lenwar]

Het ligt er aan hoe je het berekend.
Als je de derivaten niet meerekent, zijn op het moment ongeveer 70 LLMs (inclusief de versies dus). Als je alle derivaten gaat meetellen, dan heb je er inderdaad 'idioot veel'.

Dat zijn er dus inderdaad meer dan Linux distro's (als je de forks niet meerekent, en op een gegeven moment wijkt een fork zover af, dat het een eigen distro genoemd zou kunnen worden, en daar is ook weer niet iedereen het over eens )

Maar het zijn er niet extreem veel.

En met de LLMs is het lastig. 'vervangt de ene LLM de andere? Of is het gewoon weer een nieuwe'. Dat is lastig. Als we kijken naar onderstaand tabelletje:

Gemini 1.0 February 2023 Google DeepMind
Gemini 1.5 February 2024 Google DeepMind
Gemini 2.0 February 2025 Google DeepMind
Gemini Ultra February 2024 Google DeepMind
Gemma February 2024 Google DeepMind

Gemini 1.5 kan 1.0 vervangen hebben, maar vervangt 2.0 dan ook Ultra en hoe zit het met Gemma? Enzovoorts

[oks]

Wordt interessant waar ga je mee aan de slag. Gaat dat ook lang geopolitieke lijnen. Met andere woorden. Gaan we beter eu llms gebruiken? Zeker als die online blijven trainen op jouw input? Vind dat wel iets om over te discussiëren?

[Llopigat]

Met een standalone model dat je zelf draait gaat er niets van jouw input naar Amerika of naar waar dan ook. Dat is juist het voordeel ervan.

[oks]

Ja dat is zo. Maar ja dan heb je wel een erg gesnoeid model omdat te kunnen draaien. Onze hardware is daar duidelijk nog niet op gemaakt. Apple heeft dan wel wat met zijn shared memory model. Maar ja. De gemiddelde pc is er niet geschikt voor...

[Llopigat]

Het valt me heel erg mee. Als vraagbaak moet je het niet gebruiken maar dat doe ik toch altijd samen met Google integratie. Dan maakt de kennis van het model niet zoveel uit en je hebt bovendien bronvermelding. En andere taken op het gebied van tekstbewerking zoals samenvattingen werken uitstekend met een klein model. Dan wel in het Engels maar ik gebruik buiten hier eigenlijk nooit Nederlands.

[Reactie gewijzigd door Llopigat op 7 april 2025 20:42]

[oks]

Ik snap niet waarom en wat je doet ? "Als vraagbaak moet je het niet gebruiken maar dat doe ik toch altijd samen met Google integratie.". Kan je dat toelichten? Een AI model gebruik je toch altijd als vraagbaak? Samen met Google integratie? Wat is dat voor werkscenario wat je bedoelt?
"Dan maakt de kennis van het model niet zoveel uit en je hebt bovendien bronvermelding." Je refereert neem ik aan naar de RAT methodologie in AI? . "RAT's methodology leverages the retrieval of information to enhance the reasoning process of LLMs. Despite the remarkable strides made in AI, traditional LLMs often grapple with hallucinations, inaccuracies and context-awareness issues." etc. Althans dat is wat je bedoeld met "je hebt bovendien bronvermelding"? Maar dan.. Hoe moet ik dat rijmen met de eerste deel van je quote?
Samenvattingen dat geloof ik wel dat dat best aardig werkt. Heb het nog niet geprobeerd.
Gaarne je toelichting, ik ben nieuwsgierig :-)

[Llopigat]

Ik snap niet waarom en wat je doet ? "Als vraagbaak moet je het niet gebruiken maar dat doe ik toch altijd samen met Google integratie.". Kan je dat toelichten? Een AI model gebruik je toch altijd als vraagbaak? Samen met Google integratie? Wat is dat voor werkscenario wat je bedoelt?

Nee als vraagbaak is een LLM juist niet bedoeld. Het is bedoeld om zich voor te doen als een mens. En taalbewerking (daarom is het dan ook een large language model). Denk aan samenvattingen.

Toen OpenAI dit op de grote massa af gooide begon die het te gebruiken als orakel. Dat kan weliswaar maar het oprakelen van trainingsmateriaal is zeker niet de bedoeling geweest. En daar is dat ook niet de juiste techniek voor, omdat het als het iets niet weet er maar op los fantaseert. Immers is het primaire doel om het taalgebruik van een mens te simuleren. En mensen op internet geven niet gauw toe dat ze iets niet weten. Zelfs presidenten verzinnen tegenwoordig totale onzin (Trump heeft gisteren nog geroepen dat Spanje in BRICS zit).

Maar wat ik dus doe is niet RAT maar meer een vorm van RAG. Ik stel een vraag, de LLM creert daar een goede google zoekterm voor (of in mijn geval twee), doet een zoekactie met die (in dit geval twee) en leest de top 8 resultaten door van beiden. En beantwoordt op basis daarvan mijn vraag. Hiermee kan hij dan ook een bronvermelding geven, namelijk het zoekresultaat waar hij het antwoord gevonden heeft. Bovendien is het hiermee niet meer gebonden aan de originele trainingsdatum, hij kan gewoon live dingen opzoeken.

Dit is eigenlijk hetzelfde als wat https://perplexity.ai doet en ik geloof dat zelfs OpenAI tegenwoordig zo'n functie heeft. Maar ik doe dit thuis met ollama, openwebui, searxng als metazoekmachine en nog wat dingen (whisper bijvoorbeeld)

RAT is meer dat je het resultaat van het model door zichzelf terug laat lezen en dan de vraag stelt of het wel kan kloppen wat die zegt. Dat kan in een soort lus waardoor je hem dwingt er langer over "na te denken". Nou zeg ik dat tussen haakjes want een LLM denkt niet echt na. Het is meer een geavanceerde copy/paste machine die de meest waarschijnlijke woorden bij je vraag bedenkt. Dit blijft echter geen geweldige techniek.

Het probleem is dat mensen zo gefascineerd zijn geraakt door LLM's. Ze klinken als een mens en daardoor schrijven mensen ze ook intelligentie toe. Dat is echter niet zo. Maar voor de marketing van AI bedrijven is het wel handig als mensen dat denken en marketing is toch bijna altijd misleiding. Daardoor slokken LLM's nu alle aandacht op.

Maar uiteindelijk verwacht ik dat "AI" een soort mengelmoes van AI modellen gaat worden. Modellen die exact kunnen werken en niet fantaseren zijn er wel degelijk namelijk. Ik denk dat in de toekomst een LLM alleen nog het communiceren met ons af gaat handelen (daar is het voor bedoeld en goed in), maar op de achtergrond de daadwerkelijke antwoorden worden berekend door een AI model dat daar echt voor bedoeld is. Een AI database met kennis, een aantal live functies voor bijv. google oproepen, een AI rekenmodel, een AI redeneringsengine enzovoorts. En een geheugenmoule (momenteel hebben AI's weinig mogelijke herinneringen en je moet alles elke keer meegeven wat een hoop context opslokt).

[ocf81]

109B voor het kleinste model, dat is geen kattenpis. Jammer dat je dit dan thuis nooit gaat kunnen draaien.

[Carnifex]

In theorie zou het op 1 gpu moeten werken. Er zijn minder dan de 109b tegelijk actief, omdat die verdeeld zijn over meerdere experts en ze nooit allemaal tegelijk actief zijn.

[ocf81]

Ik ben benieuwd hoe de prestaties zijn als je constant modellen van je schijf naar je GPU moet verplaatsen om de volgende deelvraag te beantwoorden.

[imqqmi]

Q2 zal wel lukken op een 32GB 5090. En even wachten tot de zomer dat er 128GB unified memory GB10 PC's worden verkocht. Dan kun je makkelijk een Q6 of Q8 draaien.

[Llopigat]

q2 is alleen nogal nutteloos. Lager dan q4 ga ik eigenlijk nooit (en bij voorkeur q8). Dan kan je beter een kleiner model pakken met een lagere quantificatiegraad.

Inderdaad met die unified mem PC's kan je dan wel een stuk verder gaan (vooral als die ook extra snel geheugen hebben want dat is voor LLM's wel de bottleneck) maar vergeet niet dat hoe groter het model ook hoe trager. Ik vind het jammer dat er geen klein model is dit keer want llama 3.1 8b werkt verbazend goed. (PS Ja ik weet dat er ook een 3.2 is maar die is hetzelfde met alleen vision toegevoegd).

[Reactie gewijzigd door Llopigat op 6 april 2025 20:21]

[imqqmi]

Valt mee hoor, over 't algemeen is hogere parameter count beter dan hogere quantization bij zelfde grootte in GB. Zie https://www.reddit.com/r/...antization_vs_perplexity/
Je kunt op die manier de performance min/max-en.

Bij mijn eigen tests lijkt het aardig overeen te komen (tot 10GB ongeveer, mijn GPU heeft slechts 12GB).

[Llopigat]

Hmm dat is niet echt wat ik zie, zodra ik onder de q3 ga krijg ik heel vaak halve zinnen, modellen die niet meer ophouden met praten omdat de end-tag niet goed doorkomt enz.

Ik heb diverse kaarten van 12, 16 en 24GB. Ik heb het bijvoorbeeld geprobeerd met mistral. En er wordt daar vooral vergeleken met fp16 wat inderdaad gewoon zonde van je opslag is want q8_0 werkt wel net zo goed.

En vergeet ook niet dat je veel geheugen nodig hebt als je grotere contexts wil gebruiken, dat is ook een ding. Zelfs met KV (context) quantification aan. De context is er ook gevoeliger voor dan het model zelf.

[Reactie gewijzigd door Llopigat op 6 april 2025 20:32]

[imqqmi]

Het kan verschillen wie de quant heeft gemaakt. Ik heb wel modellen gezien die inderdaad dat soort dingen vertonen. Maar als ze goed gequantificeert zijn geven ze bij mij wel goede resultaten. De IQ3 quant van mistral werkt wel goed, hoewel na verloop van tijd deze wel wat in de herhaling vervalt, maar komt ook doordat ik een kleine context gebruik en flash attention, nadat de context z'n grens heeft bereikt en de historie wordt afgekapt verslechterd de output vrij snel.
Maar gemma-3-12b-it-Q3_K_L werkt wel vrij goed moet ik zeggen.

[storchaveli]

Al die LLM namen, zie de bomen door het bos niet meer

[djwice]

CO₂ gebruik voor het trainen van llama 4
Bron: https://huggingface.co/me...raining-were-0-tons-co2eq

Samengevat
Op basis van het contract dat Meta heeft is er 0 CO₂ uitstoot geweest voor het trainen van dit model.
Op basis van de gemiddelde CO₂ uitstoot per kWh op het stroomnet waar de stroom van is geconsumeerd, kostte het trainen van llama4 : 2 kilo ton CO₂ equivalent.

Hoeveel is dat?
Als aardgas 1,78 kg CO₂ uitstoot heeft per m³ en een huishouden in Nederland gebruikt gemiddeld 1140 m³ aardgas per jaar, dan is dat ongeveer 2029kg per huishouden ~= 2 ton CO₂ equivalent.

Meta heeft alleen groene stroom gebruikt, dus heeft géén CO₂ uitstoot gehad voor deze training, maar zouden ze puur de stroommix van het stroomnetwerk (grid) gebruikt hebben waarop hun datacentrum is aangesloten dan staat het trainen van llama4 gelijk aan de CO₂ uitstoot die 1.000 Nederlandse huishoudens in 1 jaar tijd maken door hun huis met aardgas te verwarmen.

In Nederland stoken 7,6 miljoen huishoudens op aardgas.

[Reactie gewijzigd door djwice op 7 april 2025 12:39]