Meta brengt Llama 3.1 uit, heeft geen ondersteuning voor Nederlands

Meta, het voormalige Facebook, heeft Llama 3.1 uitgebracht. De nieuwste versie van zijn grote taalmodel heeft maximaal 405 miljard parameters, hoewel er ook kleinere varianten zijn. Er is ondersteuning voor acht talen, maar Nederlands zit daar niet bij.

Llama 3.1 ondersteunt naast Engels ook Frans, Duits, Spaans, Italiaans, Portugees, Thais en Hindi, zo blijkt op de pagina op HuggingFace. Het gaat om een opensource-model dat voor iedereen vrijelijk te downloaden en te gebruiken is. Wel moeten gebruikers wat data delen via HuggingFace voor ze het model kunnen downloaden, zoals username en mailadres.

Het model kan maximaal 128.000 tokens verwerken, tegenover 8.000 van Llama 3. Het model met 405 miljard parameters is nieuw, maar er zijn ook updates voor de modellen met 70 en 8 miljard parameters, zegt Meta. Llama 3 kwam enkele maanden geleden uit.

Llama 3.1 moet ongeveer hetzelfde presteren als GPT-4 en 4o en Claude 3.5 Sonnet, zo claimt Meta op basis van benchmarks en beoordelingen door mensen. Het bedrijf zegt verder te werken aan kleinere modellen om op een apparaat makkelijker te kunnen draaien. Bovendien heeft Llama 3.1 vooralsnog alleen tekst en bestanden als input en output, maar daar moeten andere vormen bijkomen, zoals afbeeldingen. Of en wanneer Meta ondersteuning toevoegt voor Nederlands, is onbekend.

Reacties (23)

[Gustaaf437]

Voor mensen die denken: leuk om zelf eens een model uit te proberen dat net zo capabel is als ChatGPT, let wel dat je waarschijnlijk zo’n 500GB (als het niet meer is) aan geheugen nodig hebt om de versie met 408 miljard parameters te draaien. De 8 miljard parameter-versie is overigens best capabel en draait al vanaf 16GB geheugen.

[Reactie gewijzigd door Gustaaf437 op 24 juli 2024 00:16]

[Ruphin]

De modellen zijn quantized naar 4 bits, wat wil zeggen dat iedere parameter maar 4 bits groot is in plaats van een hele byte. Hierdoor werken de modellen prima met minder geheugen. Het kleinste model met 8 miljard parameters gebruikt minder dan 4GB geheugen en werkt op praktisch iedere computer.

[Balance]

Er is ondersteuning voor acht talen, maar Nederlands zit daar niet bij.

Mocht je hier voor (andere) open-source modellen verandering in willen brengen: De non-profit Mozilla Foundation werkt aan een open-source spaakdatabase om spraak te kunnen herkennen, genaamd Common Voice. In tegenstelling tot de grote giganten (Google, Facebook, etc.) is deze dataset en bijbehorend vertaalmodel voor iedereen toegankelijk, waardoor hij gratis in (open-source) applicaties kan worden gebruikt.

De Nederlandse dataset is echter nog veel te klein om bruikbaar te zijn en biased naar jonge mannen.

Het mooie is echter dat iedereen teksten in kan spreken en ingesproken teksten kan verifiëren:

• commonvoice.mozilla.org/nl

Eerst een account aan maken is aan te raden, Mozilla kan dan corrigeren voor demografische verschillen. (leeftijd, geslacht, etc.)

Mozilla Common Voice is een initiatief om machines te helpen leren hoe echte mensen spreken.

Spraak is natuurlijk, spraak is menselijk. Daarom zijn we enthousiast over het maken van een bruikbare spraaktechnologie voor onze machines. Maar voor het maken van spraaksystemen hebben ontwikkelaars een extreem grote hoeveelheid spraakgegevens nodig.

De meeste gegevens die door grote bedrijven worden gebruikt, zijn voor de meeste mensen niet beschikbaar. We denken dat dat innovatie belemmert. Daarom hebben we Common Voice gestart, een project dat helpt spraakherkenning voor iedereen open en toegankelijk te maken.

Meer informatie over Hoe, Wat en Waarom: commonvoice.mozilla.org/nl/about

Voor de echte Tweakers:

• Broncode: github.com/common-voice/common-voice
• Datasets: huggingface.co/datasets/mozilla-foundation/common_voice_17_0
• Paper: arxiv.org/abs/1912.06670

[Reactie gewijzigd door Balance op 23 juli 2024 22:47]

[DvanRaai89]

Ik begrijp niet waarom je hier naar linkt? En waarom dit een +2 krijgt is mij ook een raadsel...

Die Mozilla database is enkel relevant voor projecten die iets met spraak doen, zoals TTS, SST en mogelijk stemverandering e.d.
Large Language Models hebben enorme datasets aan informatie nodig, de Commen Voice dataset bevat enkel stemmen, geen boeken, artikelen, threads op internet fora, transcripties van video's.

Totaal niet relevant, op het feit dat het allebei datasets zijn die mogelijk als trainingsmateriaal voor neurale netwerken gebruikt kunnen worden.

Dan kun je net zo goed naar een database met beschreven/gelabelde
afbeeldingen van Laion linken. Evenmin relevant, want is enkel nuttig als je iets doet wat met afbeeldingen te maken heeft, zoals afbeeldinggeneratie en -herkenning.

[...] en biased naar jonge mannen.

Dat is een wel érg onbarmhartige interpretatie/beschijving. Het klopt dat 't niet representatief is van de bredere bevolking, maar je zou dan net zo goed kunnen stellen dat meiden lui zijn, en niet de tijd/moeite willen nemen om bij te dragen aan dit project. Er zijn 0 (nul!) barrières om mee te doen, dus ja, groepen fie minder data bijdragen aan de dataset... worden dus minder vertegenwoordigd dan de groepen die dat wel doen.
Wie zou dat gedacht hebben?

[Reactie gewijzigd door DvanRaai89 op 24 juli 2024 17:46]

[invic]

idd een mooie initiatief. Niet helemaal duidelijk wat ze precies gaan aanbieden.Is het "STT =speech to text" "TTS=text to speech" en speech vertaling van taal x naar taal y?
Het is jammer dat Meta hun MMS project met ondersteuning van ruim 1100 talen (nog) niet open source maakt. Wellicht gebruiken ze dit om llama multimodal te ontwikkelen...
Er zijn al open source libraries voor TTS en STT...

[Ludewig]

Zuckerberg heeft hier een interview gegeven over het model:

YouTube: Mark Zuckerberg on Llama 3.1, Open Source, AI Agents, Safety, and more

En zo te zien heeft hij het erg naar z'n zin op het strand, want hij lijkt zo op een surfer dude robot.

[Llopigat]

Vreemd, llama3 kon wel Nederlands. Weet niet of het officieel ondersteund was, maar het werkte wel (enigszins, vaak gaf hij wel antwoord in het Engels).

[unglaublich]

Zal met 3.1 niet anders zijn. Modellen kennen geen duidelijk onderscheid tussen wat ze wel en niet kunnen, het is een glijdende schaal van goede tot slechte prestaties.

[MennoE]

Ik dacht dat OpenAI ver voor lag op concurrenten door jarenlange ontwikkeling. Hoe kan Meta dan al op hetzelfde niveau zitten?

[barbarbar]

De techniek/algoritmen zijn vrijwel hetzelfde bij de concurrent. Het gaat er dan uiteindelijk om wie het snelst een model kan trainen op de grootste/beste dataset. Dus met domweg veel geld aan processors, servers en data uit te geven kun je een heel eind komen.

[MennoE]

Maar die algoritmen zijn toch mega complex? Die programmeer je niet zomaar lijkt mij.

[bzzzt]

Ligt aan je definitie van mega: het originele 'Attention Is All You Need' paper waarop vrijwel alle LLM ontwikkeling sinds 2017 is gebaseerd past op 15 kantjes.
Natuurlijk is dat beroerd te lezen zonder wiskunde / data science achtergrond maar de principes zijn eenvoudiger dan je zou verwachten.

[Mosterd]

Het type model (GPT, Generative pre-trained transformer) is niet eigendom van OpenAI, zij hebben het als eerste op de markt gebracht maar het onderzoek is volgens mij gewoon openbaar. Kwestie van tijd en inderdaad resources voor een firma er zelf een de lucht in brengt.

[martijnvanegdom]

Ja en nee.. Ze zijn mega complex omdat de de algoritmes op heel veel data zijn getraind en omdat de matrixen die ze gebruiken heel groot zijn. Dat maak dat je een hoge complexiteit hebt in benodigde resources (opslag / geheugen / tijd om te trainen)

Maar conceptueel valt het aan zich best mee.. En als een groep goede engineers hebt die goed in het veld zitten is het zeker goed te doen.

Maar dit is veel vaker zo natuurlijk bij algoritmes. Een schoolvoorbeeld is het kortste-pad algoritme van Dijkstra.. Met een kleine graaf is het met de hand prima te doen. Maar pas je dit toe op het hele wegennet van Nederland dan word dit veel moeilijker om te doen... (en moet je andere oplossingen verzinnen)

[unglaublich]

Door er óók X miljard tegenaan te gooien voor meer data, meer training, meer technologie.

[kamerplant]

Ze lagen ook ver voor qua beschikbare modellen. Maar nu niet meer.

[Stukfruit]

Omdat OpenAI vooral heel goed is in marketing.

Net zoals hun nieuwe Strawberry / Q*. Ze pompen er veel reclame voor uit, maar hebben voorlopig niets om te tonen.

[Luchtbakker]

Omdat OpenAI vooral heel goed is in marketing.

Nou heel eerlijk, OpenAI maakt een heel stuk minder fouten en komt een heel stuk menselijker over dan alle andere taalmodellen dat ik tot nu toe getest heb.

[Stukfruit]

Op zich geef ik je gelijk, maar dat sluit niet uit dat ze ook heel goed zijn in luchtfietsen

Sinds de nieuwere toevoegingen vind ik het trouwens juist wel achteruit gegaan. Er wordt te veel aan oversharing gedaan. Als ik met een LLM praat dan vind ik het geen voordeel dat deze tante Betje emuleert.

[Danny]

Claude 3.5 al geprobeerd? Die vind ik echt stukken beter.

[Stitch!]

405B parameters, geen 450. Ollama support is net up: https://ollama.com/library/llama3.1
Mijn eerste bevindingen: Gemma2 (27b vs 3.1 70b) lijkt nog wat slimmer te zijn. zeker bij voldoende context, blijf nog even testen.

[Slashdotter]

Nu nog audio input en output en ik koop speciaal voor talen leren (Frans, Duits, Spaans, etc) een Ryzen 9 ervoor. Dan kan ik offline zonder berichten limiet tegen de AI aan praten en bijvoorbeeld m'n Frans oefenen.

[Ludewig]

Hij lijkt aardig goed te presteren:

YouTube: LLaMA 405b Fully Tested - Open-Source WINS!