Universiteiten en bedrijven in EU werken samen aan opensource llm's

Een aantal Europese universiteiten en bedrijven, waaronder de Technische Universiteit Eindhoven en ict-coöperatie SURF, heeft het Open Euro LLM-project gestart. Hierin werken de instellingen aan opensource large language models die aan Europese wetgeving voldoen.

Het project wordt geleid door de Karelsuniversiteit in Praag en de Finse start-up Silo AI, die tegenwoordig in handen is van AMD. De universiteiten en bedrijven gaan 'een familie van meertalige llm's voor de commerciële, industriële en openbare sector' ontwikkelen.

"Het Open Euro LLM-project is in het leven geroepen om het concurrentievermogen en de digitale soevereiniteit van Europa te verbeteren. Het is een voorbeeld van het type technologische infrastructuur dat nodig is om drempels voor de ontwikkeling en verfijning van Europese AI-producten te verlagen", schrijft het consortium.

Open Euro LLM is op 1 februari gestart. De subsidie voor het project is afkomstig uit het Digital Europe Programme van de Europese Commissie.

Reacties (64)

[ppotter10]

Rijkelijk te laat dit. Terwijl iedereen al lang en breed aan het ontwikkelen is, zijn wij na alle regels te maken voor AI en te bedenken hoe we eerst met innovatie moeten omgaan begonnen met innoveren. Dit is weer echt zo’n project wat een stille dood gaat krijgen.

[simplicidad]

Euhm een van de meest populaire - en ook beste generative AI modellen - is Flux en dat wordt in Duitsland ontwikkeld. De pro versie is zelf dat wat grok op Twitter van GA voorziet. https://blackforestlabs.ai/

Mistral blinkt uit in het ontwikkelen van compacte, gespecialiseerde modellen en heeft zojuist versie 3 uitgebracht. Hun aanpak vertoont veel overeenkomsten met die van Deepseek, dat zich richt op het optimaliseren van trainingstechnieken in plaats van simpelweg meer hardware in te zetten. Gezien de paniekerige reacties in de VS op het idee dat AI goedkoper en zonder immense energiebehoeften kan worden getraind, lijkt dit een veelbelovende strategie.

https://venturebeat.com/a...aller-faster-and-cheaper/

De AI-wereld reikt veel verder dan alleen ChatGPT. Veel van de vermeende achterstand op het gebied van AI-regulering is grotendeels FUD van bedrijven als Meta en OpenAI, die in werkelijkheid vooral worstelen met de GDPR. Als gebruiker heb je recht inzage te hebben in je data, waar ze op trainen en moet je het recht hebben om het te laten verwijderen, dat is hun issue. Privacy.

Interessant genoeg heeft Deepseek Janus, een multimodaal model, die problemen niet - opvallend, toch? Net zo opmerkelijk is dat deze modellen individueel zonder problemen uitgebracht kunnen worden, maar zodra ze gecombineerd worden, lijkt het ineens een issue te zijn.

[Luminair]

Als gebruiker heb je recht inzage te hebben in je data, waar ze op trainen en moet je het recht hebben om het te laten verwijderen, dat is hun issue. Privacy.

Interessant genoeg heeft Deepseek Janus, een multimodaal model, die problemen niet

Hier zou ik graag meer over willen lezen, want op dit moment kan ik niet echt vinden waar die modellen op getraind zijn. Van wat ik er van begrijp gebruiken praktisch alle LLMs nog steeds een vorm van opt-out omtrent privacy en intellectueel eigendom, in plaatsen van een opt-in.

Dat is voor mij eigenlijk het laatste struikelblok voordat ik het echt in ga zetten voor bredere doelen. Als ik kan weten dat het een volledig ethisch model is heb ik er geen probleem mee het in te zetten.

[hachee]

En op https://venice.ai/chat kun je met Flux, Fluently XL, Pony, Lustify(Pro), Diffusion(Pro) en llama, Deepseek(Pro),Dolphin(Pro), Qwen(Pro) spelen
Ze bieden zowaar ook wat privacy.

Your conversation history is stored only in your browser. Venice does not store or log prompt or model responses on our servers.

[magnifor]

Kijk maar naar benchmarks, op bijv livebench.ai scoort het beste Mistral model iets meer dan de helft dan de beste chinese en amerikaanse modellen. Ze begonnen aardig maar beginnen nu aardig achter le lopen. Dit gat zal alleen maar groter worden de komende jaren. Hier in de EU vinden we het belangrijker dat we via Signal met Whatsapp kunnen chatten 😂

[MacFreek]

<off topic> Met betrekking tot je laatste cynische zin: En terecht. Het is toch van de zotte dat Whatsapp niet kan samenwerken met Signal terwijl Whatsapp nota bene door Signal geschreven is. Enige beperking is dus de kunstmatige beperkingen die Whatsapp heeft aangebracht. </off topic>

[svenk91]

Zijn we nou echt zo laat dan?

Buiten dat we in Europa al best goede open source LLM modellen hebben gaan je bedrijven ook niet bijster hard achterlopen als je 1-2 jaar later aan de ontwikkeling begint. ChatGPT is immers ook maar net 2 jaar oud, en het model daarachter is al aan alle kanten ingehaald. Veel bedrijven en andere instanties zijn nog steeds aan het kijken hoe ze goed AI kunnen toepassen en zijn nog niet eens aan de keuze voor een model toe. Bedrijfsvoering verandert niet van de een op de andere dag.

Je kan beter nu aan een solide basis beginnen die duurzaam zal zijn, dan dat je gister in alle haast enorm veel rekenkracht tegen een inefficiënt model aansmeet. AI goed toepassen zal iets van de lange adem zijn.

[m-a-r-t-1]

Ik snap je punt. Maar met deze gedachtegang komt er helemaal niets meer van de grond waardoor alles blijft zoals het is.

[Baardmeester]

Ik snap niet waarom er weer iets nieuws wordt opgezet en er niet besloten wordt om in bestaande Europese AI bedrijven te investeren zoals Mistral.

[kiang]

Ik snap niet waarom die hippie Linus Torvald een stom nieuw operating system maakt, ze kunnen toch gewoon beter bij Microsoft gaan werken om Windows beter te maken? Kansloos dit! Stomme EU!

- Jij in 1991

[Reactie gewijzigd door kiang op 4 februari 2025 10:19]

[Zwarte_os]

Het ziet er ook nog eens niet uit en je moet alles zelf uitzoeken, wordt nooit wat!

[m-a-r-t-1]

Haha, heerlijke reactie.

[Baardmeester]

Er zit nog wel een verschil in dat Mistral een Europees bedrijf is en veel open source doet en dat Microsoft Amerikaans en closed sourced is. In het geval van Linux zou je ook zeggen waarom investeert de EU niet in een Europese distro zoals OpenSuse om het als het Europees OS neer te zetten en te laten concurreren tegen de Amerikaanse OSen.

[demianmonteverd]

Notabene doet Mistral al aardig veel aan open source.

[svennd]

Ik ben er in een vorige post op gewezen dat Mistral Frans is. Net zoals zoveel projecten is er een duidelijke barriere binnen Europa die voorkomt dat we met z'n allen samenwerken. (taal, cultureel, ... )

[BramVroy]

Moeilijke discussie want zo ga je belastingsgeld gebruiken om een for-profit te steunen en ontrek je mogelijk ondersteuning voor onderzoekers (in Europa zijn dit soort projecten vaan onderzoeksinfrastructuurprojecten). Anderzijds wil je misschien ook niet je geld verdelen over kleinere start-ups want dan duurt het lang voor je competitief bent met China en de VS.

Dus op zich is een project met een Europees consortium een goede zaak. Alleen loopt dat project na 3 of 4 jaar af en dan stopt de vooruitgang weer...

Erg moeilijk om op te lossen.

[t_o_c]

Zodat er weer een pot subsidie geld (belastinggeld) kan worden opengetrokken zodat een stelletje bestuurders "belangrijk" bezig kan zijn. Er zal ongetwijfeld veel papierwerk worden gegenereerd maar of er iets bruikbaars uitkomt? Waarschijnlijk niet. En als er al iets uitkomt wat werkt dan is de volgende vraag gaat iemand het ook gebruiken? Waarop het antwoord waarschijnlijk nee is want er worden geen miljarden tegenaan gegooid zoals bij de concurrent dus het werkt/integreert niet goed genoeg.

[MrMonkE]

Ik snap niet waarom er weer iets nieuws wordt opgezet en er niet besloten wordt om in bestaande Europese AI bedrijven te investeren zoals Mistral.

Omdat ze controle willen over het project.

[MadEgg]

Ik ben blij dat er hier vooruit gedacht wordt en we niet alles maar slikken want “innovatie”. Er zit een keerzijde aan en daar moet goed over nagedacht worden. Wel zou het investeringsklimaat in Europa wat gunstiger mogen zijn. Durfkapitaal in Europa is een stuk voorzichtiger in Europa dan in de VS, daardoor vertrekken ook veel mensen naar het buitenland.

[Honytawk]

Bah nee, wij kunnen juist leren van de fouten die OpenAI en zo hebben gemaakt.
Volgens mij is ook het zoeken van informatie om aan de AI te voederen het meest tijdrovend.

[GeroldM]

Het prepareren van data voor training/RAG kan anders ook een hoop tijd in beslag nemen.

[ABD]

Maak je niet druk, dat men nu een bepaald project begonnen is, betekent niet dat er tot nu stilgestaan is. Onze universiteiten en onderzoeksinstellingen zijn allang met AI bezig. Grof geschat doet zon beetje de helft PhD student in de informatica iets gerelateerd aan AI en ML.

[sebastienbo]

Rijkelijk te laat dit. Terwijl iedereen al lang en breed aan het ontwikkelen is, zijn wij na alle regels te maken voor AI en te bedenken hoe we eerst met innovatie moeten omgaan begonnen met innoveren. Dit is weer echt zo’n project wat een stille dood gaat krijgen.

Er is nooit een te laat op de schaal van de menselijke geschiedenis.
Het is niet omdat je niet aan de fundamenten meegewerkt hebt, dat je nadien niet met grote veranderingen kan afkomen. Bovendien juig ik zulk initiatief toe gewoonweg om niet afhankelijk te worden van de andere wereldmachten, je ziet wat er met onze amerikaanse bondgenoot gebeurd, waar alle bondgenoten onder vuur komen te staan, zelf hun buurlanden. Dus ja over 2 jaar weten we niet waar we staan, ik heb dan ook liever dat we zo snel mogelijk over onze eigen AI en leger beschikken dan te rekenen op de bescherming of ontdekkingen van de anderen.

[roberttttt]

Beter laat dan nooit.
Bovendien is er ook nog zo iets als de remmende voorsprong.
Als we in Europa nu ook nog eens meer tijd geld en aandacht aan ICT-opleidingen gaan geven zie ik nog een sprankje hoop.

[Auredium]

Ik denk gezien de tendens in zowel de VS alsook China het verstandig is dat de EU een veel sterkere eigen tech en softwaresector op zet. Een open source LLM is zeker wenselijk in deze tijd ondanks dat Deepseek Open Source is.

Ik zou het ook leuk vinden als de EU zijn eigen (bij voorkeur open source in mijn ogen) mobiele besturingsysteem bijvoorbeeld heeft. We zijn momenteel deels afhankelijk van bankierapps en DigiD maar veel daarvan werken enkel op Android en iOS.

[Ablaze]

Android is open source though en gebruikt de Linux kernel. Wat vervangen moet worden door iets Europees, is het Google gedeelte dat er bijna altijd bovenop draait.

[PureTryOut]

Heel Android is Google, niet alleen dat schilletje er boven op. Als Google nu zou besluiten compleet te stoppen met Android hebben al die ROMs een probleem, ook de Europese versies.
Het is alleen open-source in het feit dat je de code kunt lezen, verder heeft Google 100% de macht en is het vrijwel onmogelijk zelf iets bij te dragen aan het OS.

Dus nee we moeten compleet van Android en iOS af, niet alleen dat laagje er boven op.

[Elminster]

Dit. Android is open source op papier, en dat is zowat alles.

De code werd doorheen de jaren meer en meer uitgekleed. Er ontbreken interfaces, er ontbreken layers.
Quasi alles werd verschoven naar de services.
Want dat kan geupdated worden zonder de rest te updaten. Maar er wordt niet bij verteld dat die services wel closed source zijn. Zelfs de documentatie is onvolledig.

De code wordt niet open ontwikkeld. Alle ontwikkeling gebeurt achter de schermen, en nu en dat is er een publieke drop.

[martin-026]

Stukje leesvoer voor jou en andere geïnteresseerden: https://microg.org/

[Ablaze]

Waarschijnlijk het beste idee, maar wellicht wat te idealistisch? Ik zie niet in hoe je marktaandeel kunt krijgen als je van het begin af aan al breekt met Android compatibiliteit. Een realistisch pad is: eerst Google eraf, dan langzaam focussen op de onderliggende delen.
Vergelijkbaar met Harmony OS, wat overigens aantoont dat het uiteindelijk wel kan (hetzij in een andere politieke setting).

[PureTryOut]

Het is idealistisch ja, maar het moet gebeuren. We kunnen niet nog jaren lang Google (e.d.) alle macht geven. En er wordt aan gewerkt, projecten zoals https://postmarketos.org bestaan (spoiler: ik ben er een dev van) en met tools zoals https://waydro.id heb je nog redelijk app support ook. Het mooie is dat we geen marktaandeel hoeven te hebben om succesvol te zijn. Als ook maar één persoon het gebruikt zijn wij al blij want we zijn geen bedrijf die winst moet maken. En hey, mensen gebruiken het al, dus missie succes!

En natuurlijk is het lange termijn doel om wel veel gebruikers te krijgen, maar het is niet dat het project faalt als dat niet gebeurt zoals Windows Phone. En intussen zijn wij compleet onafhankelijk van de big tech bedrijven zoals Google en dus Amerika.

[lenwar]

Maar dat rijmt niet met het ‘not invented here’ syndrome waar zo veel overheden en bedrijven last van hebben. 😊

In de context van dit specifieke artikel:
Ik ben zelf een voorstander van het concept dat de Europese universiteiten aan LLMs werken. Niet omdat er uiteindelijk een uniek of ‘betere’ LLM uit zal komen, maar het onderzoek dat gaanderweg wordt uitgevoerd kan zeer veel bijdragen aan de kennis er omheen. Kennis die ook voor andere doeleinden gebruikt kan worden.

[Jerie]

AOSP = FOSS
Android (tm) = AOSP + Google Play Services

Dat laatste is zo proprietary als het maar zijn kan (al is er een FOSS implementatie voor de client-side: microG). En dat gedeelte is alleen maar omvangrijker geworden.

[m-a-r-t-1]

Er is het Finse Sailfish gemaakt door Jolla. Bank apps werken hier prima op. Helaas wel via een Android emulatie laag. Maar je bent wel vrij van Amerikaanse troepop die manier. Hoe meer mensen hierop overstappen, hoe beter.

[lenwar]

Maar dat schiet toch niet op dan? Juist met een bankier-app moet je willen dat de betreffende bank het besturingssysteem goed ondersteund. Niet vanwege functionaliteit, maar vanwege veiligheid.

[latka]

Kip-ei: bank gaat pas app maken als ze of een zak geld krijgen of het platform superpopulair is. Banken gaan zeker geen app ontwikkelen voor een niche OS dus wil men het niche OS niet en blijven we zitten met de huidige zooi. Beetje dezelfde reden waarom Windows nog bestaat.

[lenwar]

Uiteraard. En geef de banken is ongelijk.
Dan neemt niet weg, dat het in de basis geen slim idee is, om met wat hack en slash werk iets gevoeligs als je bankzaken op te regelen. (voor vrijwel alle andere zaken is het natuurlijk prima, maar voor bankzaken en dingen als DigiD heb je net wat meer nodig)

Google en Apple hebben met hun respectievelijke systemen, relatief veilige platformen gebouwd, met diepgaande integraties waar apps gebruik van kunnen maken. Die integraties zijn een onderdeel van beveiligingsketen van die bank-apps.

[Ablaze]

Ik denk niet dat dat hier van toepassing is, Sailfish is een commercieel OS dat gewoon support biedt.

[m-a-r-t-1]

Je moet ergens beginnen. Als Sailfish het overheersende besturingssysteem in de EU zou worden gaat het vanzelf gebeuren.

[blorf]

Die emulatie-laag zorgt waarvoor?
Er is helemaal geen probleem zonder Android. Gewoon via een webpagina werkt ook alles bij de meeste banken, Het besturingssysteem gaat daar niet over. Je provider en bank bepalen of je client aan de eisen voldoet.

[Elminster]

Het probleem is niet een "eigen" os te maken.

Het probleem zijn de apps. Je moet devs overtuigen om een app te maken voor "ons" os.
Als dat niet lukt, dan heeft het os geen kans op slagen.

Microsoft heeft dat mogen ondervinden met hun mobile os.

Ze hadden dat voor .NET wel ingezien.
YouTube: Steve Ballmer at NET Conference going crazy about Developers! | 1999

[Reactie gewijzigd door Elminster op 4 februari 2025 10:05]

[Frame164]

Een belangrijke voorwaarde is dat we in Europa minder bang worden om te investeren in onzekere initiatieven. Het is hier gebruikelijk dat je eerst een heel solide businessplan hebt voor een aantal jaren voordat iemand durft te investeren. Maar voor veel innovaties is dat zo goed als onmogelijk. Accepteer dat 1 op de 10 succesvol kan worden en de rest mislukt.

[Jittikmieger]

Yup. Het nagenoeg ontbreken van durfkapitaal is idd 1 van de problemen.

Even wat generaliserend… Daar komt bij dat met name Duitsland, doch ook Frankrijk, niet echt voorop lopen met het omarmen en investeren in nieuwe (IT) technologie, juist eerder terughoudend zijn. Zij maken wel min of meer de dienst uit in de EU.

Maar dit soort nieuwsberichten zijn wel hoopgevend.

[Reactie gewijzigd door Jittikmieger op 4 februari 2025 09:36]

[controvi]

Europa zal nooit een silicon valley-ish situatie kunnen krijgen.

Tech bedrijven zijn alleen maar zo groot geworden door gebrek aan regelgevingen in de US en europa.
Kijk alleen al naar hoeveel de groot tech gasten moeten indammen in hun producten in de EU.

Europa heeft heel veel reguleringen die voorkomen dat bedrijven te groot worden en er is geen pionier gek genoeg om in de EU een bedrijf te starten die met een google of facebook moet gaan concurreren.

Basically komt het er op neer dat binnen de EU het altijd minder krachtig zal blijven dan de US of China.
Het enige wat wij kunnen proberen is het gezegde "wie niet sterk is, moet slim zijn".

[Pim_t]

Ik heb het even opgezocht maar misschien is het handig om in een artikel over een afkorting ook te noteren wat die afkorting betekent?

[LFranxWind]

Heb het nu in het intro voluit geschreven .

[lenwar]

EU staat voor Europese Unie. 🤭

Uiteindelijk boven dat lastige keuzes wat je wel en niet moet uitkauwen in een artikel. Ik snap dat de Tweakers-redactie niet steeds bij ieder artikel Large Language Model gaat uitschrijven. Voornamelijk omdat die drie woorden uiteindelijk nog steeds niets concreets zeggen over wat het inhoudt.
Daarnaast is er tegenwoordig minimaal een paar keer per week een artikel over het ene LLM of het andere.

Persoonlijk mis ik de aandacht voor SLMs die in de dagelijkse praktijk al veelvuldig gebruikt worden in heel veel processen. Maar dat is weer een andere discussie.

[jc1982]

Precies dat.

[Baardmeester]

Het staat een keer uitgeschreven:

Hierin werken de instellingen aan opensource large language models die aan Europese wetgeving voldoen.

[djwice]

Wellicht bedoelde @Pim_t de afkortingen llm's, LLM-project, SURF, AI of ict-coöperatie.

[Reactie gewijzigd door djwice op 4 februari 2025 08:47]

[m-a-r-t-1]

Ik zeg het hier ook nog maar eens. Probeer voor zover mogelijk en in kleine stapjes van alles dat Amerikaans is af te stappen. Geen Ford of Tesla, ook tweede hands niet. Koop je volgende laptop met Linux Mint en gebruik Libre Office. Stop met Netflix en Disney+. Neem een telefoon met Sailfish van Jolla. Stop met ieder social media platform dat Amerikaans is, ook whatsapp en vraag familie en vrienden op Telegram, Signal en Mastodon over te stappen, enz, enz. Het kan allemaal prima, spreek desnoods een datum of om dit te doen.

[sworpie]

En wat heb je dan bereikt? Wat maakt het nu weer uit als een Europese consument Netflix kijkt op zijn of haar iPad?

[Honytawk]

Het pushen van Europese content.
Maar of dat zo nodig is weet ik ook niet. Er zijn belangrijkere dingen waar we eerst onafhankelijk mee zouden moeten worden.

[moonlander]

Ik ben zeker voor alternatieven in de EU en niet afhankelijk te zijn van america, china, rusland oid.. Maar dat zie je wel aan het Gronings gas. We hebben daar onze eigen grondstof, maar we gebruiken het niet meer. Waarom niet, ook in de noordzee hebben we gasvelden genoeg, maar kunnen daar geen gas pompen ivm stel je voor dat er een vissoort uitsterft.. Dat het vervolgens uit rusland of america komt, boeit dat hele verhaal ineens niet meer.

Maar je geeft aan geen Netflix etc. meer te gebruiken, moet je dan ook alleen films/series die in de Europa gemaakt zijn kijken Ipv al die Americaanse?

[Crysania]

Signal is nog steeds Amerikaans. Wel een non profit maar nog steeds Amerikaans dus moet aan Amerikaanse regelgeving voldoen.

[tedades]

Er is nogal wat discussie geweest in de comments wat Open-source zou moeten zijn voor een LLM.
In dit geval lijkt het erop dat de code voor de training en de training-dataset openbaar zijn.
Ze werken samen met: https://laion.ai/ en
https://openml.org/

[lenwar]

Het blijft in de praktijk ook lastig, wat je er allemaal onder moet verstaan. Goede kans dat menig Linux-distro ook niet de Illustrator/Indesign-bestanden meelevert, maar alleen de geëxporteerde JPGs/PNGs.

De meegeleverde Linux-kernels bevatten ook ‘blobs’ van bepaalde zaken.

Ofwel. De term Open Source is redelijk breed en niet zo absoluut als dat hij lijkt.

[BramVroy]

Ongelukkige naam, EuroLLM bestaat namelijk al en heeft al open-source modellen

https://huggingface.co/blog/eurollm-team/eurollm-9b

Er wordt vaak gedacht dat er geen Europese initiatieven zijn, maar er zijn er best veel. (HPLT, trustllm, elm, occiglot, eurollm, open eurollm, opengptx, Tower LLM.) Elk project vertrekt van z'n eigen "netwerk". Dat is typisch aan dat soort projecten waar je met je uitgebreide netwerk een projectaanvraag doet, maar daardoor ook wel beperkt bent in welke andere relevante expertise je bij je project betrekt. Dus in die zin is het eigenlijk net jammer dat er meerdere projecten zijn: in Europa zijn we al beperkt in de financiën die we voor dit soort projecten kunnen gebruiken, dus in plaats van geld en kracht te bundelen, doet ieder project heel gelijkaardige dingen en wordt er best inefficiënt met de resources omgegaan.

[Eksit]

Het zou mijn voorkeur hebben als het niet open source is of alleen deels open source. Het zou mooi zijn dat we een grote Europese techgigant er bij hebben als pressie middel voor internationale belangen en inkomsten. En met open source is die kans er niet lijkt mij.

[yevgeny]

"Het Open Euro LLM-project is in het leven geroepen om het concurrentievermogen en de digitale soevereiniteit van Europa te verbeteren. Het is een voorbeeld van het type technologische infrastructuur dat nodig is om drempels voor de ontwikkeling en verfijning van Europese AI-producten te verlagen", schrijft het consortium.

Prachtige zin, precies de juiste woorden waar de subsidie verleners gevoelig voor zijn, accademici blij want ze krijgen een zak met geld.

Nu gaat de strijd beginnen tussen de deelnemers om ieder voor zich een zo groot mogelijk deel van de subsidie binnen te harken.

[DavidZnay]

Belangrijk dat Europa dit doet. Al is het alleen maar zodat niet iedereen denkt dat we jaren op de VS achterlopen. Uiteindelijk is een groot deel van deze wapenwedloop gewoon PR. Ik zou met het oog daarop ook zo snel mogelijk met commerciële spin-offs de beurs opgaan.