Apple brengt kleinschalig taalmodel OpenELM uit om lokale AI te draaien

Apple heeft een eigen taalmodel uitgebracht dat lokaal kan draaien op eigen apparaten. OpenELM is een openbaar model waarmee ontwikkelaars generatieve AI kunnen maken. Het gaat om een klein model, wat nodig is voor lokale werking.

OpenELM, of Open-source Efficient Language Models, is een small language model dat voornamelijk geschikt is voor het genereren van teksten door kunstmatige intelligentie. Apple zegt niet expliciet waar het de tool voor wil gebruiken, maar het is aannemelijk dat het bedrijf AI-applicaties wil laten bouwen die lokaal op iPhones of Macbooks kunnen draaien. Apple heeft eerder gezegd zich ook in de strijd rondom generatieve AI te werpen, maar was daar altijd vaag over.

Het OpenELM-model bestaat uit vier varianten. Die hebben allemaal een andere maat. De groottes van de modellen lopen uiteen van 270 miljoen, 450 miljoen, 1,1 miljard en 3 miljard parameters. Ter vergelijking: het recente large language model dat Meta in WhatsApp wil stoppen, krijgt tussen 8 miljard en 400 miljard parameters. Dat is mogelijk als de modellen cloudbased werken, maar voor lokale verwerking zijn kleinere modellen nodig. Steeds meer bedrijven richten zich niet alleen meer op grote modellen, maar ook op kleinere modellen. Microsoft deed dat bijvoorbeeld eerder deze week nog.

Apple heeft een paper geschreven over de werking van het model en het zegt dat het model open source beschikbaar komt. OpenELM is onder andere getraind op de RefinedWeb-dataset en op een deel van RedPajama, een verzameling van grotendeels Engelstalige artikelen, boeken en informatie van platformen als GitHub, Wikipedia en StackExchange. Daarnaast is het model getraind op data van Reddit en het Project Gutenberg.

Reacties (35)

[k995]

Dan vraag ik mij af wat de invloed op de batterij zal zijn als er zoiets draait op een iphone.

[SgtElPotato]

Niet veel, heel veel processen op de iPhone gebruiken al een soort van AI op de Neural Engine.

[k995]

Heel heel beperkt dit is wel een factor zwaarder, zeker wls je naar die hogere gaat

[SgtElPotato]

ALs ze het goed optimaliseren voor de Neural Engine (die hiervoor gemaakt is) zal dat denk ik reuze meevallen.

[k995]

Appel kennende idd maar hopelijk dat het wat beter werkt dan siri ed

[iAR]

hopelijk dat het wat beter werkt dan siri ed

Siri is echt ruk, het moet echt een stuk beter gaan werken.

[Ro-Maniak2]

Het blijft mij verbazen hoe rudimentair en daarbinnen ook nog slecht Siri (nog steeds) is. Lijkt volledig stil te staan.

Alleen de meest directe, simpele prompts worden begrepen. Maar het kan weinig uitvoeren en bomen wat het kan, snapt het niet vaak wat je wil tenzij je het echt simpel houdt.

[iAR]

Yep. Maar dit ;ijkt wel modern Apple te zijn: er wordt iets gelanceerd as is. En dan raakt het in verval omdat er niet voldoende wordt geüpdatet.

En super slecht is het niet, maar als 1 op de 10 keer fout gaat, bijvoorbeeld met agenda of herinnering items, dan is het onbetrouwbaar en dus doe je het wel zelf.
De keren dat Siri ‘wekker’ hoort in plaats van ‘airco’ is echt pijnlijk.

[michelb76]

Siri kon/kan niet geupdate in de huidige architectuur daarom wordt het compleet vervangen.

[King4589]

Het is een langue model, die zal niet actief zijn als je er niet een vraag aan stelt. Of het moet mee gaan kijken met je toetsenbord om betere voorspellingen te doen. Maar dat lijkt me een relatief lichte actie

[Snowfall]

Mwa ligt er net aan hoe dit geoptimaliseerd is. Neural Engine zal al dit werk doen en de Neural engine in bijvoorbeeld de M1 verbruikt maximaal 45 mW. Dus 0.045 watt.

https://eclecticlight.co/...he%20ANE%20is%20available.

Kon geen cijfers vinden voor bijvoorbeeld de A17 of A17 Pro maar de invloed zal minimaal zijn als de Neural Engine idd alle operations van deze LLM zal uitvoeren. Het enige dat misschien meer zal verbruiken is RAM en eventueel storage.

O misschien leuk als extra info over Apple Neural Engine. Dit zijn alle TOPS (Operations per second) van alle Apple Silicon chips
https://github.com/hollan...docs/supported-devices.md

[EdwinHamers]

Precies mijn vraag

[EdwinHamers]

Omdat het hier gaat om toepassing op mobiele apparaten ben ik benieuwd naar de ratio "parameters vs batterijverbruik". Je hoort, nog veel te weinig, het stroomverbruik bij het trainen van modellen. Maar hoe zit het met het gebruik van deze kleine, en ook cloud based modellen?

[Slashdotter]

Er was vandaag een topic op Reddit dat het een bizar lage score van 25 op een bepaalde test haalt waar Claude Opus 86 doet en Microsoft Phi 3 zo'n 68 haalt.

[xxtremexx]

Dit kan best heel mooi worden zeker als Apple dit integreert met Safari, Spotlight en iCloud. Een private RAG maar dan van Apple met volledige integratie binnen het ecosysteem.

[manuarmata]

Opvallend laag aantal parameters, anderzijds vreten LLM's RAM en daar zijn de M-macs niet echt goed van voorzien. Draai lokaal llama2 13 miljard parameters op ollama. Gaat bijzonder vlotjes en de resultaten zijn behoorlijk straf. Ben wel benieuwd wat ze uit een 270 miljoen model weten te persen. Lichte LLM's vind ik veel fasinerender dan de hele zware. Het idee een ai systeem te hebben dat op een raspberry of een oude laptop kan draaien en dat je kan aansturen vanop je home assistant spreekt tot de verbeelding.

[Anoniem: 80910]

Draai je het op de gpu of cpu?

[manuarmata]

GPU

[Zoijar]

Hoezo komt apple hiermee? Dat bestaat al tijden open source, ik draai ook mn eigen llm. Weinig geloof in dat de apple variant ook uncensored is.

[GertMenkel]

Het lijkt erop dat OpenELM, een efficient LLM van Apple om lokaal te draaien, niet gebaseerd is op OpenELM, een reeds publiekelijk beschikbaar efficient LLM om lokaal te draaien.

Het model van Apple is weer net iets anders ingericht, als je de verschillen wilt lezen, kun je het paper gratis downloaden.

[analog_]

reactie getypt door openelem?

[AchtungYall]

Natuurlijk is die niet uncensored, wat een onzin opmerking weer

[Zoijar]

Wat een vriendelijkheid weer

[Lord Nelson]

Kan voor van allerlei queries handig zijn.

Intressant onderwerpen btw, wat is het kleinste zelflerende model voor een doel.

[HerrPino]

De toekomst zit in modellen die lokaal, on-premise kunnen draaien. Hoe groot ze gaan kunnen zijn hangt af van de stand van de technologische ontwikkelingen. Een kleine efficiënte LM hoeft ook niet onder te doen voor een grote LLM voor algemeen gebruik. Lokaal hoeft een LM minder rekening te houden met privacy, kan het blijven leren van de eigenaar en een betere assistent worden. ChatGPT weet na ieder gesprek niet meer wie ik ben en dat is soms best frustrerend.

[renecl]

Nog steeds heel blij met JAN.AI :-)

https://jan.ai/

[Reactie gewijzigd door renecl op 22 juli 2024 13:28]

[Minimise]

Ik heb Jan.ai gelijk weer verwijderd toen ik zag dat er geen ondersteuning voor LLaMA3 was, en gelijk LM Studio geïnstalleerd die wel LLaMA3 ondersteunt.

[WhatsappHack]

Maar is LLaMA3 opgewassen tegen WinAmp…?

[Minimise]

Voor taken die betrekking hebben op taalmodellering, machine learning en AI-toepassingen, is LLaMA3 duidelijk geavanceerder. Voor het afspelen van muziek en media is WinAmp echter de gespecialiseerde tool. Ze dienen dus heel verschillende doeleinden.

[Monzo]

reden van de bovenstaande opmerking:

“WinAmp: it really whips the llama's ass!”

[DonDaaf]

Hmm, zegt het feit dat ik de referentie meteen begreep iets over m'n leeftijd?

[k995]

Ik heb die ook geprobeerd met een 4090 maar de modellen die ik probeer komt enkel onzin uit, welke gebruik jij daarvoor?

[Alpha0]

Ik gebeuik persoonlijk veel Dolphin-mixtral
Daarnaast is llama-3 ook wel redelijk.

Gebruik je de modellen wel in het Engels?

[renecl]

Openhermes Neural 7B Q4 is heel klein en verassend goed (voor mijn toepassing) , Mixtral 8x7B Instruct Q4 ook, maar erg groot zonder videokaart te gebruiken.