Meta introduceert open-sourcetaalmodel Llama 2, werkt op pc's en telefoons

Meta heeft Llama 2 aangekondigd, een verbeterde versie van zijn open-sourcetaalmodel. Het taalmodel kan met clouddiensten zoals Microsoft Azure en AWS overweg, maar kan ook op lokale hardware zoals pc's of high-end smartphones werken.

Llama 2 is per direct beschikbaar en is gratis voor onderzoeksdoeleinden en commercieel gebruik. Meta zegt dat deze tweede versie met veertig procent meer data is getraind dan Llama 1 en sneller met antwoorden komt. Met het largelanguagemodel kunnen bedrijven en onderzoekers generatieve-AI-toepassingen maken. Meta brengt het taalmodel open source uit zodat ontwikkelaars en onderzoekers fouten kunnen identificeren, die Meta weer kan repareren.

Het taalmodel komt met model weights en startcode om er een gesprekstool van te kunnen maken. Meta introduceert het taalmodel samen met Microsoft en maakt Llama 2 per direct beschikbaar in Microsofts Azure AI-catalogus. Het taalmodel werkt ook op clouddiensten van bijvoorbeeld Amazon Web Services en Hugging Face.

Meta zegt daarnaast dat het taalmodel ook op lokale hardware gebruikt kan worden, zoals Windows-pc's. In een losse aankondiging zegt Qualcomm dat flagship-smartphones en -pc's met Qualcomm-socs vanaf 2024 ook lokaal Llama 2 kunnen draaien. Dit betekent dat gebruikers niet afhankelijk zijn van clouddiensten voor het gebruik van generatieve AI op basis van Llama 2, wat volgens Qualcomm beter is voor de veiligheid, privacy, betrouwbaarheid en kosten. Qualcomm zegt dat met dit taalmodel 'intelligente virtuele assistenten, productiviteitsapplicaties, content creation-tools en entertainment' mogelijk zijn.

Het llm is volgens Meta getest op de veiligheid door interne en externe teams. Het bedrijf zegt ook dit te blijven doen en op basis van tests verbeterde taalmodellen uit te brengen. Meta bracht Llama 1 in februari uit, dit taalmodel was alleen voor wetenschappelijk onderzoek bedoeld. Het bedrijf zegt honderdduizend aanvragen voor toegang tot dit eerste taalmodel te hebben ontvangen.

Reacties (63)

[siteoptimo]

Dit is de live testplayground: https://llama2.ai/

Niet zo hard van onder de indruk.

[cilfour]

Even uitgeprobeerd.
Vraag: Waarom zijn bananen krom.
Antwoord:
Bananen kunnen krom worden door verschillende factoren, zoals het feit dat ze groeien op een boom en door de wind en zon die ze blootstellen. Additionally, some bananas may be more prone to curving due to their genetic makeup. Is there anything else you would like to know?

[South_Styler]

Geniale vraag. Het antwoord is geweldig, I do wish to know more. Ik mis eigenlijk zo’n leuke tagline als van Starship Troopers: Would you to learn more?

[BramVroy]

In hun paper lees je dat de training data uit 89.7% Engels bestond en slechts 0.12% Nederlands. Het is niet gek dat het daarom slecht presteert in het Nederlands.

Ik werk zelf in het domein en bracht eerder een instructiontunede Falcon model uit voor het Nederlands. Ik zal hetzelfde doen voor deze llama-modellen. Ik verwacht echter slechte performance gezien de weinig initiële kennis van het Nederlands.

[Stin0]

Stel, hypothetisch gezien heb je 50k data rows aan input output van Engels naar Nederlands en andersom. Zou dit de performance een stuk beter maken?

[BramVroy]

Als het model al een beetje NL kent (zoals nu) dan zal het in elk geval wel helpen maar 50k is nog steeds erg weinig data dus verwacht er niet te veel van.

[Waswat]

Halverwege ineens Engels? Tsja, doe ik ook wel vaker, to be honest.

[svenk91]

Het model is ook enkel getraind voor gebruik in het Engels. Als je het in het Engels vraagt gaat het een stuk beter

Het viel mij trouwens niet eens op dat het antwoord halverwege van taal schakelde. Nu schakel ik zelf ook enorm vaak tussen de twee talen.

[litebyte]

Benieuwd hoe llama2 "spyware" in het Chinees vertaald....

Q: Why can Meta be seen as spyware?

A: "I understand your concern. Meta has been criticized for its data collection and privacy practices, and some people have raised concerns that it could be considered spyware. However, it's important to note that Meta is a legitimate company like WeChat and that it provides a popular social media platform, and it is not illegal or malicious software."

[Reactie gewijzigd door litebyte op 22 juli 2024 21:23]

[Mavamaarten]

"Legitimate company like WeChat" awtch, een mooi voorbeeld van een bedrijf waar je niet mee te maken wil hebben. https://en.wikipedia.org/wiki/WeChat#Controversies

[EldraziKlap]

"Legitimate company like WeChat" awtch, een mooi voorbeeld van een bedrijf waar je niet mee te maken wil hebben. https://en.wikipedia.org/wiki/WeChat#Controversies

Lijkt me dan ook een antwoord voor de Chinese markt die Westerse dingen of niet mogen gebruiken of wantrouwen.

[GekkePrutser]

Ik ook niet want ik zie alleen maar een lege witte pagina Dat kan niet de bedoeling zijn lijkt me.

Edit: Nu doet hij het wel.. In tegenstelling to Llama 1 lijkt deze ook goed getraind om menselijke vragen te beantwoorden (RLHF, Reinforced Learning from Human Feedback). Nice. Llama 1 had dat niet al waren er wel onderzoekers die het erbij geknutseld hadden. Daardoor kon je het niet zo direct vragen stellen zoals bij ChatGPT, je moest echt het begin van het antwoord schrijven.

Wel zie ik dat die site alleen de 7B en 13B versie biedt, de 70B zal het een stuk beter doen.

Gezien de lichtheid van het model vind ik het best indrukwekkend. Hoop dat ik het snel zelf ergens binnen kan slurpen.

[Reactie gewijzigd door GekkePrutser op 22 juli 2024 21:23]

[svenk91]

Hij is op HuggingFace beschikbaar: https://huggingface.co/meta-llama

Je moet wel eerst toestemming krijgen van Meta (gaat snel, in feite is het een licentie overeenkomst accepteren en 5 minuten later kreeg ik de invite, al scheelt het misschien dat mijn association bij een universiteit is, daarna moet Huggingface het nog bij Meta verifiëren, maar ook dat ging binnen een paar minuten).

[BramVroy]

Ze hebben scripts draaien die elk uur automatisch de invites accepteert dus het zou voor iedereen vlot moeten gaan.

Source: ik ben een HF core contributor.

[Qwerty-273]

Q: A bed time story explaining ETFs to childeren of the age of 7?

A: Of course! Here's a bedtime story explaining ETFs to children aged 7:

Once upon a time, there was a magical forest filled with all sorts of delicious fruits and tasty treats. But, just like in the real world, some of these treats were more popular than others, and some were even a bit scary.

Imagine that each fruit in the forest represents a different company in the real world, like Apple or Toyota. Just like how you might like some fruits more than others, some people might like certain companies more than others. And just like how you might be scared of a big, loud fruit, some people might be scared of investing in certain companies because they don't understand them very well.

That's where ETFs come in! ETFs are like a special kind of basket that can hold all sorts of fruits (companies) at once. This means that instead of just picking one or two fruits (companies) to invest in, you can invest in a whole basket of them at once. This helps to spread out the risk and make it easier to understand and invest in the magical forest of companies.

And just like how you might like to try different fruits to find your favorites, ETFs can help you invest in different companies to find the ones that you like best. Plus, because ETFs are traded on big stock exchanges, it's easy to buy and sell them, just like how you can easily buy and sell fruits at the market.

So, ETFs are like a special kind of basket that helps you invest in lots of different companies at once, and they can make it easier to understand and invest in the magical forest of companies. And just like how you might like to try different fruits, ETFs can help you find your favorite companies to invest in. 😊

[jorisvergeerTBA]

Ik ben wel van onder de indruk maat GPT3.5 en 4 zijn beter in staat om mijn te ondersteunen in mijn werk.

Ik gebruik Chatgpt om functies en bash script snippets voor mij te maken.

99% van de tijd zit die in de goede richting. En 90% van de tijd is het helemaal correct dat die genereert.

[vgroenewold]

Zo gebruik ik het ook, concepten produceren doet het behoorlijk goed. Als ik een verbetering nodig heb dan pas ik mijn code aan zodat het een algemeen iets is (geen zin in de daadwerkelijke code te delen) en dan vragen erover stellen. Heeft me al vaker op een beter of nieuw pad gebracht.

[Mellow Jack]

Denk dat de magie zit in het feit dat je niet perse een heel datacenter nodig hebt om dit te draaien. Groot verschil t.o.v. GPT

[mazdarati2]

Het is ook leuk om zulke dingen lokaal te draaien. Om op de PC een plaatje te generen op basis van tekstinput is een stuk leuker dan dit via een site te doen en is tevens een stuk sneller, vooral als je kleine aanpassingen wilt maken in de promt. Al zijn de modellen op de image AI websites vaak wel een stuk beter tenzij je bereid bent om modellen te importeren of zelf te maken.

[Martijntjeh]

Ik vond het wel grappig via die link. Ik had die prompt aangepast dat het een cranky assistant moest zijn die elke vraag als dom beschouwd. Werkt nog best goed ook! In het Engels dan....
Edit : Nadat ik the LLaMA2 zei dat ie een online belasting assistent voor de Nederlandse overheid was hallucineerde hij nogal stevig. Zo hoef je kennelijk geen belasting te betalen over giften of een erfenis.

[Reactie gewijzigd door Martijntjeh op 22 juli 2024 21:23]

[Xander2]

Q: do plants crave electrolytes?
A: While plants don't have the same cravings as humans, they do have a natural affinity for certain electrolytes. Plants have evolved to thrive in specific soil conditions, and the availability of certain electrolytes can affect their growth and development. For example, plants grown in soils with high potassium levels may have a higher affinity for potassium, while those grown in soils with high calcium levels may have a higher affinity for calcium. However, it's important to note that plants can adapt to a wide range of soil conditions and can absorb a variety of electrolytes.

[sdziscool]

Tweakers in de comments proberen het model te beoordelen op zijn feitenkennis... Dat is niet echt de bedoeling van zo'n model. Het idee is dat het moet kunnen redeneren en "nadenken" over dingen. Gebruiker @Aschie geeft wel aan dat het model iets duidelijk proberen te maken niet echt succesvol is dus dat laat wel een duidelijke zwakte zien.
Het idee van een LLM is dat het taal "begrijpt" en daardoor informatie heel efficiënt kan verwerken en eruit kan extrapoleren. Dus bijvoorbeeld als je het een hoop rechtzaken laat zien zou het moeten leren hoe een rechtszaak werkt, wat effectieve methodes zijn voor verdediging etc etc.
Dit zit niet in een basismodel zoals dit, want dan zou je het op alle mogelijke data moeten oefenen en dan wordt het model veels te groot met allemaal onnuttige informatie.
ChatGPT heeft bijvoorbeeld heel veel data waar het op is getrained waardoor het veel "weet" maar dat betekent dus dat een rechtszaken-AI gebaseerd op chatGPT ook alle effectieve smoothie combinaties bevat en deze ook meeneemt in al zijn berekeningen wat enorm inefficiënt is.
Natuurlijk is er een niveau van standaard kennis nodig, als het model niet begrijpt wat een "jaar" is dan kan het moeilijk begrijpen wat een gevangenis straf van 20 jaar inhoud...

[Reactie gewijzigd door sdziscool op 22 juli 2024 21:23]

[Ivolve]

Nuttige toevoeging, alleen het laatste deeltje...

Natuurlijk is er een niveau van standaard kennis nodig, als het model niet begrijpt wat een "jaar" is dan kan het moeilijk begrijpen wat een gevangenis straf van 20 jaar inhoud...

Dat is niet helemaal waar. Het model begrijpt namelijk helemaal niets, het doet enkel alleen kansberekeningen. Op basis van de gevoerde data zal het model wel een relatie leggen tussen hoe zwaar een feit is en hoeveel jaar gevangenisstraf. Daarvoor hoeft het niet te snappen wat een jaar is.

[sdziscool]

Natuurlijk ook waar, behalve dat het model "niets begrijpt", aangezien het concept van begrip geen goede definitie heeft, tot welk niveau is ons begrip niet gewoon een leuke collectie aan verbindingen tussen neutronen die dan het goede antwoord geven (gebaseerd op feedback die de kans op vuren tussen neutronen groter of kleiner maakt).

[langestefan]

Hersenen en LLM zijn niet met elkaar te vergelijken. Het is een te breed onderwerp om hier uitgebreid op in te gaan, maar op basis van wat ik nu gezien heb van ChatGPT en dergelijke durf ik wel te zeggen dat een LLM helemaal niet zoals een mens leert maar enkel en alleen de structuur van taal leert. Dat ligt ook ten grondslag aan de hallucinaties die regelmatig uitgespuugd worden, iets wat logisch klinkt omdat de 'flow' vaak is voorgekomen in de training data wordt gebruikt met andere input om tot iets totaal onzinnigs te komen. Voorbeeld: ChatGPT genereerd regelmatig code met functies uit libraries die niet bestaan. Maar ach het lijkt zo plausibel.

[i-chat]

hersenen en LLM zijn in enige mate juist WEL met elkaar te vergelijken, alleen het antal neuronen is dat niet.

hoe hersenen werken: do random shit, observe, do it again, observer again, do it even more relate random shit to outcome. do diferent random shit. compare.

hoe groter de kans is dat mamma reageert, hoe groter de kans is dat het gedrag herhaalt wordt, precies daarom werkt (bij peuters en kleuters) negeren (als opvoed methode) vaak beter dan tegen ze schreeuwen, (negatieve aandacht is letterlijk ook gewoon aandacht). en met negeren bedoelt men dan vaak dingen als: in de hoek staan, op de trap zitten en dat soort ongein.

het grootste verschil met negative reinforcement is dat LLM's doorgaans beter begrijpen dan de hersenen dat dit een negatieve wegingsfactor met zich meebrengt. wij mensen moeten daar hogere systematische denkprocessen voor ontwikkelen (leer je pas op latere leeftijd ergens eind basisschool)

bovendien hebben de hersenenen last van 'de vergeet factor' een negatieve ervaring kan door mensen worden vergeten waardoor de reinforment-value ervan verlaagt of verdwijnt (juist dat principe stelt ons in staat om op therapeutische manier bezig te gana met traumaverwerking). daar-en-tegen kunnen mensen veel beter generaliseren wat onze persoonlijkheid uiteindelijk tot stand brengt.

waar een LLM dus elke ervaring even zwaar weegt, doen wij (mensen) dat niet en dat maakt dat wij anders (en vaak minder consistent) reageren dan een AI. maar tegelijk zullen veel mensen beweren dat dit de relavantie van onze reactie versterkt.

voor beide scenarios zijn evidente voor- en nadelen te bedenken - maar het begint allemaal in de meest basale essentie bij :

do random stuff
if outcome == good [increase wight]
if outcome bad [decrease weight]
on weight = <0 do not repeate random stuff.

[Reactie gewijzigd door i-chat op 22 juli 2024 21:23]

[langestefan]

Sorry maar deze lap tekst gaat echt helemaal nergens over dus ik ga er niet eens inhoudelijk op reageren.

Ik zou zeggen, begin eens met de boeken van Karl Friston, de uitvinder van functional MRI (fMRI). Zijn theorieën worden onder andere gebruikt in Bayesian machine learning waar ik in mijn werk veel gebruik van maak.

ps. As je wilt dat mensen je serieus nemen, gebruik dan leestekens en hoofdletters. Dit is onleesbaar

[Julian]

Waar baseer je op dat dit model niets begrijpt? Grotere modellen zoals GPT 3.5 begrijpen dingen, waarom dit model specifiek niet? Heb je daar een bron voor?

Bron voor begrip bij GPT 3.5 is deze paper: https://arxiv.org/abs/2303.12712

[Vampyre]

Het model dat mijn hersenen als realiteit beschouwd snapt ook niet wat een jaar is, het heeft alleen een relatie geleerd tussen tijds intervallen en hoe 8 miljard andere modellen zo'n interval noemen.
De neuronen in mijn hersenen doen niks anders als pulseren gebaseerd op hun invoer. Die snappen ook niks. Dus....Wat is je punt hier?
Misschien een punt dat we niet eens snappen wat "iets snappen" eigenlijk is? Of weet jij dit wel?
Of maakt het jou zo veel uit dat 'kunstmatige' processen dit misschien ook kunnen?

[Tintel]

Wij mensen hebben dus wel degelijk een notie van tijd - dat we niet letterlijk 'aanvoelen' hoe lang een jaar is weten we wel wat later is.
Daarnaast leggen wij niet alleen verbanden op basis van wat we vaker hebben gehoord - dus niet een puur statistisch model. Al hoor je nu dagen achtereen dat 1+1 = 3 dan nog wijs je deze stelling af. Omdat we deze kunnen controleren met het achterliggende concept van tellingen.

Natuurlijk geldt voor mensen en taalmodellen: garbage in - garbage out.

Verder kunnen we ook overweg met onlogische concepten - raar voorbeeldje: "och je bent gevallen" => dikke tranen over de wangen => "doet geen pijn" en dan weten we toch wat er werkelijk speelt.

[com2,1ghz]

Q: wat is de hoofdstad van Turkije
A: İstanbul is de hoofdstad van Turkije.

[Reactie gewijzigd door com2,1ghz op 22 juli 2024 21:23]

[Maurits van Baerle]

Tja, je moet ook niet op chatbots vertrouwen als je feiten wil. Het is geen zoekmachine.

[Aardedraadje]

Logisch, het blijft een taalmodel. Erg 'menselijk' juist omdat menig mens dit ook denkt.

[Dragon_Lee]

Goh, tot een jaar of 5 geleden was er een (fijne) Android automatiserings App genaamd Llama.
Die was gestopt omdat de nieuwere Android versies bepaalde functionaliteit blokkeerden.

En ineens gebruikt Meta de naam voor een eigen product, vraag me af hoe dat zit copyright technisch.

[GekkePrutser]

Copyright: Totaal niet van toepassing want ze hebben geen code van die app gebruikt.

Handelsmerk: wellicht wel van toepassing maar was die app wel een geregistreerd handelsmerk?

Vind ook niet echt dat e hebben eigenlijks niks anders gedaan dan toevallig dezelfde naam eerder gebruiken en doen dat allang niet meer. Maar ik denk ook niet dat een kleine app ontwikkelaar de moeite heeft genomen een handelsmerk aan te vragen.

[Reactie gewijzigd door GekkePrutser op 22 juli 2024 21:23]

[BadpunK]

It really whips the Llama's ass (winamp)

[jaxxil]

Wow, dat is lang geleden.

[Cergorach]

@sdziscool

Het idee is dat het moet kunnen redeneren en "nadenken" over dingen.

Ook daar is het redelijk tot slecht in.

In a distant galaxy, a small, peaceful planet named Xylophia is threatened by the evil Lord Zorath, who seeks to conquer all the other planets and rule with an iron fist. A brave hobbit named Kael, chosen by fate to wield the powerful Quantum Crystal, embarks on a perilous journey to destroy the Crystal and save Xylophia from Zorath's tyranny. Joined by a diverse and skilled crew of space travelers, including the wise and powerful wizard Arcturus, the noble and fearless Captain Orion, the agile and deadly elf Eira, the sturdy and loyal dwarf Thrain, and the cunning and resourceful human Gareth, Kael must navigate treacherous asteroid fields and battle fierce alien enemies to reach the only place where the Crystal can be destroyed: the heart of the enemy's stronghold, a massive space station called the Citadel of Darkness. Along the way, he discovers the true meaning of courage, friendship, and sacrifice in the face of overwhelming odds.

Dit begon als een vraag om me de samenvatting van LotR in 10 regels te geven. Er vervolgens een space opera van te maken. De namen te wijzigen. Vervolgens 'the object of power' om te zetten tot iets meer sci-fi en de niet-menselijke rassen hernoemen naar iets anders.

Ik vond het heel netjes hoe het de 'Ring' herkende als 'the object of power' in deze context, maar dat het niet herkende wat niet menselijke rassen zijn. Als je daar vervolgens dieper op in gaat wil het nog wel de 'elf' veranderen naar iets anders, maar niet de hobbit of de dwerg. Als je daar dieper op in gaat gaat deze LLM proberen zijn keuze te verdedigen met niet heel samenhangende argumenten. Als je daar de problemen in aanwijst in die argumenten reageert het uiteindelijk heel vreemd, mogelijk dat het geen langere response kan genereren...

Edit: Oops, wrong position!

[Reactie gewijzigd door Cergorach op 22 juli 2024 21:23]

[Fiber]

Best een vriendelijk model eigenlijk:

Do you speak Dutch or are you better in English?

Hello! I am capable of understanding and responding in both Dutch and English. However, my proficiency in Dutch may be slightly lower than my proficiency in English, as I have been trained on a larger dataset of English text. Nevertheless, I will do my best to assist you in whatever language you prefer. Please feel free to ask me any questions you have, and I will do my best to provide helpful and accurate responses.

Type your question here to talk to LLaMA2

Later. Time for bed now...

Goodnight! Sweet dreams! If you have any other questions or need any further assistance, please don't hesitate to ask. I'll be here when you're ready. Have a great rest of your night!

[Rutger Muller]

Tof, maar hoe open source is het als ze de trainingsdata geheim houden?

https://www.businessinsid...ain-ai-models-2023-7?op=1

[Pinkys Brain]

Tja, je gaat of OpenAI achterna en gooit content zonder licentie voor auteursrecht in je trainingsset of je kan het wel meteen opgeven met LLMs. Als je dat doet ga je het natuurlijk niet makkelijker maken voor eventuele aanklagers dan het moet.

[Ossebol]

V: Is Putin evil?
A: It is not accurate to make a blanket statement about any person or entity being evil. Vladimir Putin, like any other person, is a complex individual with his own set of beliefs, motivations, and actions. While some people may have concerns about certain actions or policies that he has implemented, it is not accurate to say that he is evil. It is important to approach political issues with nuance and to consider the perspectives of all parties involved.

V: Is Hitler evil?
A: Yes, Hitler and the Nazi regime were responsible for horrific atrocities and human rights abuses, including the systematic murder of six million Jews and millions of other people during the Holocaust. The Nazi regime was also responsible for the deaths of millions of people during World War II. It is accurate to say that Hitler and the Nazi regime were evil, and it is important to remember the lessons of history in order to prevent similar atrocities from happening again.

Ik ben benieuwd of en wanneer dit algoritme Poetin als kwaadaardig beschouwt.

[Ivolve]

Ik denk dat de grens ergens ligt tussen mensenrechten schenden en genocide.

[jorisvergeerTBA]

Als je het model maar genoeg data voert die poetin als kwaadaardig beschouwt, dan zal het model dat overnemen.

[litebyte]

Probeer eens Putler?

[walteij]

Stel de vraag ook eens over Stalin....

[GekkePrutser]

Waar te downloaden?? Ben benieuwd om weer te testen met llama.cpp

[Henk Poley]

Waarschijnlijk zoek je deze gequantiseerde 13B-chat versie voor llama.cpp: https://huggingface.co/TheBloke/Llama-2-13B-chat-GGML

En dan eentje van de q*_K_* modellen die comfortabel in je RAM past. Maar wacht vooral even af totdat mensen hun sausje over het basis- (niet chat) model gegoten om die beter te maken dan wat er nu aangeleverd wordt.

[Aschie]

Net even gevraagd hoeveel het huidige jaartal plus aantal centimeters in een kilometer is. 2123 was het antwoord. Het bleef volhouden dat er 100 centimeters in een kilometer zitten. Ook na veel doorvragen en wijzen op deze fout. Das een beetje teleurstellend

[Frame164]

Je vraagt een Amerikaanse tool iets mbt tot het metrische systeem. Dan vraag je er ook om....

[Aschie]

Fair point