MediaTeks volgende high-end soc kan Meta Llama 2-model lokaal draaien

MediaTek heeft aangekondigd dat zijn volgende high-end soc de mogelijkheid heeft om het grote taalmodel Llama 2 van Facebook-moederbedrijf Meta lokaal te draaien. Daarvoor is de software aangepast.

De soc heeft 'Transformer backbone acceleration', zo zegt MediaTek. Ook krijgen chips voor AI-functies toegang tot meer dram-bandbreedte om Llama 2 en andere toepassingen voor generatieve AI te kunnen draaien. Tot nu toe werkt veel generatieve AI op smartphones met cloud-toepassingen.

MediaTek zegt niets over de prestaties van het taalmodel op de soc of de benodigde ruimte voor het taalmodel op de opslag. De processorontwerper verwacht dat applicaties op basis van Llama 2 voor het einde van het jaar verschijnen. Dat geldt ook voor de soc, vermoedelijk de Dimensity 9300. Daarover gaan al maanden geruchten. MediaTek volgt daarmee concurrent Qualcomm, dat al eerder zei dat flagship-smartphones en -pc's met Qualcomm-socs vanaf 2024 ook lokaal Llama 2 kunnen draaien.

Reacties (18)

[AJediIAm]

Dit zou interessant kunnen zijn voor smart home toepassingen om menselijke responses lokaal te kunnen genereren.
De Text to Speech en Speech to Text van bijvoorbeeld home assistant is al best goed. Met een online taal model worden de responses een stuk krachtiger en natuurlijker. Als dit lokaal kan op low power commodity hardware is de droom compleet.

[sjongenelen]

Ja, hoewel deze modellen mij veel te zwaar trained lijken voor iot commandos. Dat zou zomaar op korte termijn heel snel kunnen draaien

[sebastienbo]

Ik Kan me ook veel eenvoudigere llama inbeelden , voor spelling correction, translations, of keyboard next word predictions (momenteel nog een ramp)
Dus puur tekst gerelateerde zaken lokaal te laten gebeuren. Geen Google Translate meer nodig

[maartenyh]

Precies! Op dit moment is zo'n LLM breed ingeleerd, maar ikzelf zou erg veel waarde hechten aan een LLM voor taal en code.

Als ik dat zelf zou kunnen hosten met een leuke chip dan zou ik een erg gelukkige tweaker zijn

[Yzord]

Llama2 draait hier perfect op mijn Synology DS920+. Ok, beetje traag vanwege de 4 cores, maar goed te doen. Wel het 7B model.

Ik ben benieuwd waar Mediatek mee komt en welke modellen er gedraaid kunnen worden. Anders is Orca een mooie om mobiel te draaien.

[WeiserMaster]

Met wat geluk kan je een openvino versie voor llama2 vinden. zo uit mijn hoofd meen ik dat ook de j4125 iGPU openvino ondersteund.

[sebastienbo]

Zou dat ook bestaan voor qnap? En bestaat het als container? Dat zou zoveel gemakkelijker zijn.

[kftnl]

Als dit een 7B model is klinkt dat als vrij lege claim. Lijkt me dat elke moderne 8GB RAM chip dat kan

[sebastienbo]

Het gaat niet gewoon over kunnen, maar eerder over dedicated gpu instructions zo dat je je batterij niet opvreet

[cappie]

Laat MediaTek eerst maar eens hun SOC's stabiel krijgen of er betere drivers voor uitbrengen.. een stuk of 5 mensen bij mij in de sociale sfeer hebben deze SOCs in hun telefoons (van high-end tot mid-range), maar nergens hoor ik zoveel random issues als bij hen.. apps die ineens wegvallen, camera's die niet reageren, rare overheating issues, random vastlopers, vage performance issues (random ineens supertraag), Snapdragons zijn voor mij toe tot nu toe de meest stabiele gebleken.

[amigob2]

Ik heb een MI Civi 3 ( 8200 ) en tot dus ver, geen reboots gehad die niet verklaarbaar zijn. Dat was wel anders met mijn MI A3 ( met Snapdragon )

[cappie]

Soms is het ook gewoon slechte drivers aangeleverd door de parterbedrijven van de telefoon fabrikanten.. ik heb dit ook zien gebeuren bij Dell laptops met webcam modules met privacy switches.. falende hardware door brakke drivers.. gewoon jammer. Waarschijnlijk is dat ook met die MediaTek SOCs aan de hand.. beetje zoals hoe AMD GPU's jaren geleden waren.. super hardware, maar gewoon *** drivers.. (gelukkig is dat tegenwoordig een stuk verbeterd, als ik vrienden moet geloven)

[henk717]

Sommige van onze Koboldcpp gebruikers doen dit al op hun teletoons, al is dat vaak wel met kleinere modellen. Koboldcpp ondersteund momenteel OpenCL maar kan zonder GPU draaien dus het belangrijkste is ram en daarbij is 8GB beschikbaar geheugen prima voor het 7B model.

Zonder benchmarks is dit dan ook een vrij beperkt bericht, leuk dat je het kunt draaien, maar hoe veel sneller is dit tenopzichte van de huidige software die via traditionele technieken de soc benaderd.

En hoe snel is dit tenopzichte van de Vulkan implenentatie van MLC?

Zonder die statistieken is dit een leuke hype van de fabrikant maar niet nieuw.

[invic]

idd, meta is heel goed bezig door Llma maar ook andere modellen open source te maken

[Emiel L]

LLama2 draait al prima op moderne iPhones. Loopt de rest van de wereld echt zo ver achter?

[holoduke51]

Facebook heeft met llama juist enorme goodwill geleverd bij de dev communities. Zeker de grote modellen. zijn bijna instaat om chatgpt te evenaren. Optimizen van modellen is zelfs beter, al is er nog wel werk nodig aan de finetune kant.

[AJediIAm]

Ssst...
Misschien zit er wel een mediatek chip in je telefoon of in 1 van de computers van Tweakers en kunnen ze nu mee lezen. Het beste is om je blacklist in het grootste geheim bij te houden en ze niet te laten merken dat we ze doorhebben.