Amerikaanse overheid mag model achter Meta AI gebruiken

De Amerikaanse overheid mag Meta Llama-modellen gaan gebruiken. Dat heeft de verantwoordelijke organisatie van de Amerikaanse overheid gezegd. Concurrenten als ChatGPT en Google Gemini waren al goedgekeurd.

Daarmee mogen Amerikaanse overheidsinstanties AI-functies gebruiken op basis van Llama, schrijft Reuters. Het is onbekend of ze dat ook gaan doen. Llama voldoet volgens de Amerikaanse General Services Administration aan de juridische vereisten en veiligheidseisen voor gebruik binnen de overheid. Llama is een gratis tool. Llama is het AI-model dat de basis is voor Meta AI en dat zit onder meer in WhatsApp en Instagram.

Reacties (17)

[Llopigat]

Iedereen kan natuurlijk Llama gebruiken. Officieel mag je het ook niet in de EU gebruiken maar ik doe dat ook gewoon

Maar Zuckerberg kon niet wachten om een bruine neus te halen bij Trump dus dat zat er natuurlijk aan te komen.

Het is wel jammer dat er geen kleine versie is van Llama 4 trouwens. Zodat je het zelf kan draaien (zonder een halve ton uit te geven)

[Reactie gewijzigd door Llopigat op 22 september 2025 18:45]

[GeeBee]

Voor 3K kom je een eindje op weg...

YouTube: I regret building a $3000 Pi AI Cluster

[djwice]

De volgende versie van llama heeft als doel ruim 7000 talen te ondersteunen i.p.v. 200.
Doel is dat binnen een half jaar te realiseren.

Vandaag gespeeld met de vertaalmodellen van Google, die zijn echt schattig klein nog geen 50MB per stuk.

Llama4 heeft veel verschillende experts, die zijn niet elk tegelijkertijd actief. Maar als ik jouw post lees gebruikt jij llama4 ondanks dat je "een halve ton" moest uitgeven om het lokaal te draaien. Of draai je het niet lokaal?

Overigens past Llama 4 Scout (int4) op een NVIDIA RTX 6000 Pro (Blackwell), dat is zo'n €7000,- voor je data centrum of €10.500 voor je lokale PC.

[Reactie gewijzigd door djwice op 22 september 2025 20:24]

[Llopigat]

Nee ik draai nog 3.1. Vandaar (3.2 is er ook maar dat is op vision gericht en dat heb ik niet nodig, dus ik gebruik de extra ruimte liever voor meer context). En 3.3 is gericht op heel kleine modellen, kleiner dan ik kan draaien.

Maar zelfs als die experts niet tegelijk actief zijn moeten ze natuurlijk wel constant in en uit het geheugen geswapt worden. Dat maakt het er ook niet bepaald sneller op.

Maar ik heb geen halve ton uitgegeven hoor Zo gek ben ik niet. Ik heb hier 3 gewone videokaarten. 2 consumenten en een prosumer.

[Reactie gewijzigd door Llopigat op 22 september 2025 22:11]

[djwice]

Llama 3 heeft niet dezelfde restricts als 4. Versie 3 is gewoon legaal in de EU beschikbaar en bruikbaar.

Als je een moderne SSD hebt is dat swappen van een expert in een paar seconden klaar. Afhankelijk van het type vraag dat je hebt is dat wellicht niet zo heel erg.

[Reactie gewijzigd door djwice op 22 september 2025 20:28]

[Llopigat]

Oh okee, dat herinner ik me niet zo precies. Maar als er een llama 4 was die ik goed kon draaien zou ik dat wel doen. En dan heb je voor die 10.000 euro ook nog maar de minste versie, en ook nog eens zwaar gequantificeerd. Int4 doe ik trouwens niet zo graag, ik heb liever int8.

Voor die maverick heb je echt wel een halve ton nodig om het een beetje te draaien. Voor de Behemoth natuurlijk nog veel meer.

[djwice]

Waar haal jij de Behemoth vandaan?
OpenAI GPT-OSS is int4.
Google Gemma-3n is int4.
NVIDIA parakeet v3 is int4.
...

Int4 is zeg maar de nieuwe standaard voor lokale modellen als je geen NPU hebt.

Voor een NPU is int8 en voor WebGPU fl16.

Maar je kunt ook naar Qwen3-0528 kijken natuurlijk in plaats van llama3.1 of als je die RTX 6000 Pro kunt aanschaffen:
https://huggingface.co/Qwen/Qwen3-Next-80B-A3B-Instruct-FP8

Je zult verbaasd staan.

Gebruik je al https://github.com/sgl-project/sglang om je lokale modellen een OpenAI compatible interface te geven, zodat alles wat met OpenAI kan praten gewoon met je lokale model verder gaat.

[Reactie gewijzigd door djwice op 22 september 2025 21:07]

[Llopigat]

Qwen doe ik liever niet want die is Chinees. Met Qwen2.5 had ik vaak dat als hij het niet snapte hij opeens Chinees begon te brabbelen.

Voor de behemoth zie de screenshot in het artikel. En ja ik merk toch kwaliteitsverschil met int4. De reden dat ik Llama 3.1 gebruik is dat die nog goed te uncensoren is. Veel andere modellen zijn nu op synthetische data getraind (dus data vanuit een ander model) en daardoor zijn alle taboes veel harder ingebakken. De nieuwe modellen probeer ik altijd wel meteen maar ik doe ze niet 'in produktie' zolang dat niet kan.

Sowieso ben ik niet iemand die altijd per se het nieuwste model wil hebben. Zoveel beter zijn die ook weer niet. Als ik een antwoord krijg van llama waar ik niet tevreden over ben, dan gooi ik hem vaak ff uit naar OpenAI, Claude, Perplexity enz (ik heb overal API accounts) en dan krijg ik daar eigenlijk nauwelijks wat beters terug. Behalve op kennisgebied maar daar combineer ik het sowieso met een zoekactie.

GPT-OSS vind ik trouwens zwaar teleurstellend. De kleine versie uiteraard want de grote kan ik niet draaien.

[Reactie gewijzigd door Llopigat op 22 september 2025 21:07]

[djwice]

Qwen3-0528 heeft meta llama4 verslagen (28 mei 2025).
En is kleiner en zeer strict in de regels.

Je kunt bijvoorbeeld een json schema geven en eisen dat de uitvoer alleen daar aan mag voldoen, en dan blijft ie dat simpelweg doen.

Ook in het kleine model. De redenatie modus is grappig, dan lees je dat je niet gelijk hebt, maar dat ie vriendelijk moet blijven etc. en wegen aan het vinden is op je subtiel zonder verwijt te helpen naar het juiste antwoord.

Ik volg geen politiek nieuws, dus voor mij zijn vragen over politieke voorkeuren of meningen ook niet relevant om aan een model te stellen.
Dus heb eigenlijk weinig "last" van de herkomst van een model. Wel zie je dat duidelijke afspraken of verzoeken om botstructuur door Chinese modellen veel stricter worden opgevolgd. Wellicht is dat cultuur gebonden.

[Reactie gewijzigd door djwice op 22 september 2025 21:25]

[Llopigat]

Qwen3-0528 heeft meta llama4 verslagen (28 mei 2025).
En is kleiner en zeer strict in de regels.

Dat soort tests geef ik niet om. Ik ben geen minmaxer. De laatste anderhalf jaar is het vooral gerommel in de marge wat er verbeterd wordt, in mijn gebruik zie ik weinig verschil.

Je kunt bijvoorbeeld een json schema geven en eisen dat de uitvoer alleen daar aan mag voldoen, en dan blijft ie dat simpelweg doen.

Ja dat is wel een goed punt. Ik zal het dan een proberen voor de redenatie. Ik heb nu geen goed reasoning model.

Ik volg geen politiek nieuws, dus voor mij zijn vragen over politieke voorkeuren of meningen ook niet relevant om aan een model te stellen.

Voor mij is het meer het preutse van de Amerikaanse modellen. Daardoor slaan ze steeds 'dicht'. Ik weet niet hoe dat met de Chinese modellen zit, maar daar zijn ze ook niet bepaald open. Porno om maar een dwarsstraat te noemen is er bijvoorbeeld illegaal.

[Reactie gewijzigd door Llopigat op 22 september 2025 21:35]

[djwice]

Ik weet natuurlijk niet waar jij de modellen voor gebruikt. Zelf gebruik ik AI vooral voor code generatie, audio omzetten naar tekst en andersom, tekst vertalen en herschrijven naar B2, samenvatten en voor maken van audio analyses en kanaal scheiding etc.

Maar ook het maken van architectuur ontwerpen, diagrammen, documentatie etc.

[Llopigat]

Zijn er voor pro audio zulke modellen dan? Moet er ook eens naar kijken.

Code doe ik ook niet zoveel, ik heb wel GitHub Copilot op mijn werk maar ik doe gewoon niet meer zoveel aan programmeren.

Ik gebruik het vooral voor het filteren van alle informatie. Groeps chats enzo, ik heb geen energie om alles zelf bij te houden. En het meeste is op Telegram, daar kan je makkelijk mee integreren. Dus hij zegt het mij als er wat belangrijks langs komt. Daarom heb ik ook een grote context nodig en daarom wil ik het lokaal draaien (privacy). En daarom moet het ongecensureerd zijn want we bespreken veel zaken die in Amerika al gauw als 'controversieel' bestempeld worden.

[familyman]

Gaat niet om zuckerberg's bruine neus. Het was de amerikaanse overheid die het nu ok vind, hun dpia zeg maar.

De rest van je post, en het bericht zelf, gaan ook niet over trump.

[Llopigat]

Maar alles is nu politiek in Amerika. Het gaat nergens meer om inhoud.

Zelfs de mensen bij de lokale meterologische instituten worden vereist een test te doen om hun loyaliteit aan de grote leider te tonen: https://www.sfchronicle.c...loyalty-test-21017920.php

Het is nu vooral een kwestie van loyaliteit dan inhoud daar.

[familyman]

Nogmaals, heeft niks te maken met zuckerberg die een bruine neus wil halen. En dat is wat je beweerde.

Met het weer, heeft t ook niks te maken.

Als je er dan toch dit soort onzin in wilt zien, dan is het trump die doet waar zuckerberg voor betaalde.