'Apple praat met start-up over tech die groot AI-model op iPhone laat draaien'

Apple voert gesprekken met PrismML over het gebruik van de technologie van de start-up, meldt The Information. PrismML claimt dat het Qwen 3.6, een zeer groot opensource-AI-model van Alibaba, draaiend heeft gekregen op een iPhone 17 Pro.

The Information schrijft niet hoe vergevorderd de gesprekken tussen Apple en PrismML precies zijn. Het medium schreef eerder dat de iPhone-fabrikant overnamekandidaten onderzoekt die kunnen helpen om AI-modellen te verkleinen. Op die manier kunnen de modellen op apparaten draaien in plaats van in de cloud.

PrismML verkleint taalmodellen door de gewichten terug te brengen tot 1bit of 1,58bit. Het bedrijf claimt op die manier Qwen 3.6, een model met 27 miljard actieve parameters, zo te hebben verkleind dat het op een iPhone 17 Pro kan draaien. Apples AFM 3 Core Advanced-model heeft 20 miljard parameters, maar gebruikt een 'sparse' architectuur. Daardoor zijn slechts 1 tot 4 miljard parameters tegelijk actief.

PrismML introduceerde eind maart de Bonsai-modellen. Dat zijn native 1bit-modellen die vanaf het begin zijn getraind met 1bit-gewichten, in plaats van 16bit- of 32bit-modellen die later zijn gecomprimeerd. Het Bonsai-model met 8 miljard parameters past in 1,15GB geheugen.

Siri. Bron: Apple

Door Imre Himmelbauer

Redacteur

10-07-2026 • 09:17

61

Submitter: protected22

Reacties (61)

Sorteer op:

Weergave:

uiteindelijk gaan dit soort initiatieven de geheugen markt waarschijnlijk meer helpen.

kleiner, minimale stroom, gaan belangrijk worden om niet alleen AI, maar zo'n beetje iedere bedrijfstak te laten overleven. Want nu veroorzaken geheugen problemen domweg veel te veel disruptie.

Gaat ook helpen met het kostenplaatje van AI, wat nog veel te hoog is om rendabel te zijn.
Volgens mij gaat dit eerder het probleem verleggen. Immers lokaal draaien betekend lokaal opslag en geheugen nodig voor elk apparaat.

Hiermee haal je dat werk/geheugen weg uit de datacenters (minder geheugen en opslag aldaar nodig), maar stop je dat in elke telefoon (meer geheugen en opslag aldaar nodig).

Overigens ben ik groot voorstander van lokaal draaien zonder internet nodig te hebben of data te hoeven delen met iemand anders.
Correct. De reden waarom geheugen en compute nu zo duur zijn is dat datacenters 24/7 draaien en dus ook 24/7 geld verdienen. Jouw lokale AI draait misschien maar 5% van de tijd, dan is de kostprijs per token dus 20x zo hoog.
Ja, maar die telefoon koop je zowiezo. Als deze dan een locaal model kan draaien die in 99% van de gevallen voldoende is, dan neemt deze werk weg van datacenters zonder de vraag naar hardware te verhogen.

Als ik zie wat kleine modellen op bescheiden hardware kunnen tegenwoordig. Ze doen voor veel gebruik praktisch niet onder voor SOTA.
Zoals ik het zie (en ik werk vrijwel dagelijks met (voornamelijk) Claude en ChatGPT, en af en toe met een zelf gehoste Qwen in mijn lokale netwerk),zijn we nu echt bezig met een race. Anthropic en OpenAI proberen elkaar elke dag af te troeven, en de concurrenten volgen op een (in mijn ogen) aanzienlijke afstand, maar doen het ook niet onverdienstelijk.

De huidige situatie is denk ik niet heel lang meer houdbaar, en men is op een gegeven moment ook wel klaar met verbeteren van de modellen (al denk ik niet dat dat eind al in zicht is). Er zal snel een optimalisatieslag moeten komen waarbij we meer met minder kunnen doen. Af en toe hoor je al dat soort berichten langskomen - tegelijkertijd softwarematig en hardwarematig.
Hopelijk betekent dat dan ook dat de prijzen van hardware langzaam zullen gaan dalen.
De top-end modellen kosten inderdaad steeds meer, maar zowel Anthropic als OpenAI heeft ook kleinere modellen die minder kosten.

De kosten van Claude Code en Codex zijn inmiddels zo hoog, zelfs voor de zakelijke markt, dat ze nu echt op prijs beginnen te concurreren. Dat zie je terug in de prijs van de nieuwe GPT 5.6 modellen. Het basismodel kost de helft van GPT 5.5.
Claude is afgezien van Fable 5 nog gewoon op subscription bases.
Afgezien van de kosten voor jou als gebruiker, schijnen de daadwerkelijke kosten nog veel hoger te zijn. Voor zover ik heb gelezen draaien al die grote AI providers flink verlies.
Maar dat is meestal niet op het 'draaien' van een al 'gebakken' model. Daar word wel iets aan marge gemaakt, dat het weer meteen word uitgegeven aan onderzoeken en nieuwe modellen en nieuwe hardware, hosting en hyperscale dc's is een ander verhaal.
uiteindelijk gaan dit soort initiatieven de geheugen markt waarschijnlijk meer helpen.

kleiner, minimale stroom, gaan belangrijk worden om niet alleen AI, maar zo'n beetje iedere bedrijfstak te laten overleven. Want nu veroorzaken geheugen problemen domweg veel te veel disruptie.

Gaat ook helpen met het kostenplaatje van AI, wat nog veel te hoog is om rendabel te zijn.
De tokens limitaties zijn goed, want dat zet bedrijven aan het nadenken om niet voor elke domme feature maar AI te gaan introduceren. Naast dat er natuurlijk nog een hoop randvoorwaarden zijn om AI effectief te draaien voor je processen... m.a.w. nog genoeg werk!
Volgens mij is het nog maar de vraag of dit zoveel beter is om geheugen/hardware, denk het niet.

Er zijn intiatieven om een model, als het ware, 1:1 om te zetten in een chip design.
Dat kan statisch zijn maar ook a la FPGA, dus (her)programmeerbaar.
Ook kan dit lokaal door CPU/GPU uitgevoerd worden.
In elk geval heb je dus voor x hoeveelheid devices opslag/hardware nodig, capaciteit die er in principe altijd is/moet zijn.
En dat dus bovenop de capaciteit die er nodig is om een werkbaar device, zonder deze overhead, te hebben.

Bij een hosted oplossing kun je capaciteit schalen. Dat is nagenoeg per definitie efficienter dan de capaciteit continue beschikbaar hebben, in de vorm van een eigen device.
Waarom zou je in godsnaam een FPGA gebruiken om een model in vast te leggen? Daar is een FPGA veel te flexibel voor.

Wat je voor AI nodig hebt zijn tensor cores voor de activatie-berekeningen en lokaal (HBM) geheugen voor de gewichten.
Klopt, maar waarom zou je je limiteren tot één versie, één model.
Wilde enkel aangeven dat er een aantal mogelijkheden zijn, omdat ze interessant zijn, maar allen zijn een toevoeging wat hardware aangaat, geen besparing.

[Reactie gewijzigd door lariekoek op 10 juli 2026 12:53]

"Er zijn intiatieven om een model, als het ware, 1:1 om te zetten in een chip design."

Voor zover ik begrijp zijn dit niet 'intiatieven', dit is de route waarop volop is ingezet. Logisch, GPU's zijn zeer flexibel en kunnen goed voor het trainen van LLM's gebruikt worden. Maar zodra een LLM gereed is, is een GPU hopeloos inefficient. Voor standaard AI gebruik is de geoptimaliseerde CPU de toekomst.

Bij hosted oplossingen kun je capaciteit schalen. Maar lokaal gebruik van AI, zonder afhankelijk te zijn hosted oplossingen is extreem belangrijk. Denk bijv. aan zelfrijdende auto's. AI moet daarvoor direct beschikbaar zijn, zonder latency die standaard komt met hosted oplossingen. En dan hebben we het nog niet eens over 'uitval' van een internetverbinding.
Als je een robot een bal wil laten vangen of een auto een object wil laten ontwijken... dan wil je geen latency...

En die markt voor 'lokale' AI (robots, zelfrijdende auto's, etc) is extreem groot....
Ook om privacy. Het is zorgwekkend hoeveel persoonlijke informatie, maar ook bedrijfsinformatie men over zo'n API stampt.
Neemt allemaal de vraag om hardware niet weg.
De enige kracht die AI bedrijven momenteel hebben is dat zij de hardware bezitten die andere niet hebben. Ze hebben 0 baat bij AI modellen efficienter maken want alleen hun die het kunnen draaien is de enige manier om controle erop te houden en al het geld kunnen blijven graaien. Ik hoop dat deze bedrijven zoals Apple die voornamelijk bestaan uit hardware aan consumenten verkopen terug vechten en deze hele idioterij weten te stoppen! Anders zie ik het somber in voor deze wereld

[Reactie gewijzigd door ro8in op 10 juli 2026 09:31]

Die grote AI bedrijven geven vele miljarden uit aan hardware, en jij verwacht dat die niet willen dat hun eigen model op hun eigen hardware niet efficiënter draait? Natuurlijk is efficiëntie essentieel voor hun. Itt de gemiddelde software leverancier wiens software bij de klant draait, en ze geen drol uitmaakt wat de systeemvereisten zijn.
De indruk die ik momenteel vooral van die AI clubs krijg is dat efficiëntie totaal niet op het lijstje staat. Winnen, ten koste van alles, is het enige punt wat relevant is. Nummer 2 worden is geen optie.

Dus nee, ik denk niet dat ze dat willen. Zeker niet nu. En misschien wel niet de komende 2 jaar.
En dat doe je dus ook met efficiëntie. Ze kunnen meer draaien op hun servers als ze efficiënter zijn, en daardoor kunnen ze voorsprong nemen tov de concurrentie.
En dat doe je dus ook met efficiëntie. Ze kunnen meer draaien op hun servers als ze efficiënter zijn, en daardoor kunnen ze voorsprong nemen tov de concurrentie.
Ik ben het helemaal met je eens, maar ik zie ze dat niet doen momenteel. Efficiëntie is domweg geen onderdeel van de besluitvorming, lijkt het.
"Ik ben het helemaal met je eens, maar ik zie ze dat niet doen momenteel. Efficiëntie is domweg geen onderdeel van de besluitvorming, lijkt het."

Misschien kijk je niet goed....
Efficiëntie interesseert ze helemaal niet. Voor hun energieopwekking gebruiken ze 50-60MW gasturbines single cycle.

Dat betekent dat ze door rond te draaien een generator aandrijven die energie opwekt, maar de verbrandingsgassen van 400+ graden blazen ze de atmosfeer in.
"De indruk die ik momenteel vooral van die AI clubs krijg is dat efficiëntie totaal niet op het lijstje staat. Winnen, ten koste van alles, is het enige punt wat relevant is."

Maar hoe - in vredesnaam - denk je dat je kunt winnen zonder efficency niet als prioriteit te zien?

Hoe werkt jouw logica?
Ik hoop dat deze bedrijven zoals Apple die voornamelijk bestaan uit hardware aan consumenten verkopen terug vechten
En waarom niet gewoon het letterlijke voorbeeld uit het artikel? PrismML dus!

Ik heb liever 10 startups die dat mogelijk maken dan dat het weer bij big-tech ligt...
Veel startups hebben maar 1 strategie: overgenomen door big tech.

Dus je hebt 2 kansen in dit verhaal:
- de startup wordt opgeslokt door een van de big-techs
- de startup groeit door tot het big-tech is.
Ja dat is de realiteit, maar er werd toch HOOP uitgesproken, ik HOOP het dus niet...

En zelf doorgroeien is prima, lang niet alles wordt daar meteen big-tech van natuurlijk, maar dat is een kans, en dan heb je een extra big-tech ten koste van de andere dus iets minder big-tech dan :)

[Reactie gewijzigd door watercoolertje op 10 juli 2026 10:22]

Dit mechanisme werkt nu nog zo maar is niet houdbaar op langere termijn.

Uiteindelijk zullen ook deze bedrijven op efficiëntie en kosten moeten gaan sturen. Klanten zullen kiezen voor beste deal en dat zullen partijen zijn die een efficiënte dienstverlening aanbieden.
Dan zit je toch echt fout. Bedrijven die AI hardware maken zijn constant op zoek naar het efficienter maken, juist omdat power een grote uitdaging is. Één server grade AI chip kan wel 1-2kW verstoken. Dit soort chips zitten in een schaalbaar systeem, betekent dus dat je er, laten we zeggen, 30 stuks in een server rack zet. Dan heb je het over enorm veel energie, dat ook nog eens nodig is in koel capaciteit.

Momenteel is er nog veel gaande in R&D om AI uit te breiden, maar ook efficienter te maken, gezien de schaalbaarheid juist lastig wordt met veeleisende hardware. Je komt tegen limieten aan die alleen opgelost worden door optimalisering.
Wat is er precies zo speciaal aan deze StartUp? Een groot model draaiend krijgen door het aantal bits terug te brengen is toch niks bijzonders?
1.58bits is wel héél laag, daar kun je niet eenvoudig “afronden”. Om voldoende granulariteit te hebben kun je eigenlijk alleen hopen om zo iets te bereiken door te kijken naar het benaderen van het volledige netwerk in plaats van het benaderen van de individuele parameters. Dat is een stuk lastiger.
Spot on. Je hebt helemaal gelijk: 1.58 bit log2(3) kan fysiek niet per losse parameter. Het staat puur voor 3 toestanden: -1, 0, 1.

De oplossing is inderdaad groter kijken, via een slimme encoding-truc:
  • Pak 5 parameters samen.
  • Dat geeft 3^5 = 243 combinaties.
  • Dit past perfect in 8 bits (1 byte).
  • Effectief: 8 / 5 = 1.6 bit per parameter.
Je hoeft dus niet het hele netwerk in één keer te benaderen; je stouwt ze gewoon in groepjes in een byte. Scherpe observatie!
haha die AI antwoorden ... :+
Dat verhaal "afronden kan niet zomaar" kennen we al veel langer. En ik heb de eerste 1 bit modellen al in 2018 gezien, precies om jouw punt onderuit te halen.

Wat er nieuw is, staat er niet. Maar de methode hoe je zoiets traint maakt wel uit voor de kwaliteit.
Snap ik ook niet helemaal. Je kan 2 bit quants gewoon zo downloaden. Snap ook niet waarom ze de 27B dense nemen als je ook de 35B mixture of experts kan nemen die veel sneller is. Iha zie je een scherpe drop-off in kwaliteit na Q4, dus dat is ook een beetje dubieus. Verder is het wat efficiente code schrijven specifiek voor apple chips, maar ook dat is allemaal wel bekend uit llama.cpp
Mooie ontwikkeling, al vraag ik me wel af wat het lokaal draaien van de modellen doet met de batterijduur.

iPhones staan niet bekend om hun ruime accu capaciteit. Vaak wordt die via OS optimalisaties gecompenseerd, maar hoe dat met LLM modellen moet gaan werken, heb ik mijn vraagtekens bij.
De truuk is natuurlijk dat apple altijd haar hardware afstemt op wat er draait. Een hele efficiënte NPU (of ANE, zoals apple 't noemt in M processoren) die heel erg fijn is getuned met het model waar er draait, maakt 't best zuinig. De grootste energievreter zit dan in de training van het model, en dat doen ze niet on device.
Maar.... Ik heb op mijn Galaxy S26 Ultra al een lokaal AI model draaien, Gemma 4. Dat gaat via de Google Edge Gallery. Ik dacht dat dit de reden was dat Apple ook met Google in zee is gegaan. Wat is dan het verschil met het AI model van deze nieuwe startup?
Wat is dan het verschil met het AI model van deze nieuwe startup?
Ik denk meer/groter model, met minder geheugen.
Ik heb het even aan Gemini gevraagd, haha. Heel erg in het kort: het verschilt niet zo heel veel. De architectuur is compleet anders, maar deze versie van Gemma 4 (26B) heeft 26 miljard parameters tegenover 27 miljard van Qwen 3.6.

Grootte van beide modellen gecomprimeerd is zo'n 16-18 GB.

Het zal dus vooral om de centen gaan denk ik.

Maar he, hoe meer AI modellen lokaal kunnen draaien hoe beter. Hoeven die AI datacenters niet al het geheugen van de markt te hoarden : )
Grootte van beide modellen gecomprimeerd is zo'n 16-18 GB.
Het geheugen-gebruik (RAM) is volgens PrismML veel lager dan gebruikelijk en daar gaat het dus ook om. Jij vergelijkt nu 2 reguliere modellen, en dat gaat dus niet het antwoord geven wat we zoeken.

Als die van Google 5GB nodig heeft (gewoon random gekozen) en die van PrismML maar 2GB (ook random gekozen) en de achterliggende modellen zijn vergelijkbaar (en dus even 'slim') dan heeft die 2de toch de voorkeur?

[Reactie gewijzigd door watercoolertje op 10 juli 2026 10:09]

Weer even opgezocht, daar zit het hem inderdaad in.

Gemma 4 26B (A4B) is een Mixture of Experts (MoE) model met 128 "experts". Hoewel hij erg snel is (omdat hij per token maar 4 miljard parameters gebruikt), moet de computer wel alle 128 experts tegelijkertijd in het RAM-geheugen houden.

Wanneer een model tekst genereert, moet hij de eerdere woorden onthouden. Dit wordt opgeslagen in de KV-Cache. Dit is de hoofdreden waarom Qwen 3.6 als de absolute "geheugenkampioen" wordt gezien in vergelijking met Gemma 4.

Google maakt bij Gemma 4 gebruik van een traditionele, relatief zware attention-structuur. Alibaba heeft bij Qwen 3.6 grote stappen gezet met een hybride/lineair attention-mechanisme.

Conclusie: Waar Gemma 4 gigantische happen extra RAM opeist naarmate je meer tekst invoert, blijft Qwen 3.6 extreem vlak en zuinig.

Het zit hem dus niet in de eerste vraag die je stelt, maar in het doorlopend voeren van een dialoog met de AI. Dan blijft het geheugengebruik bij Qwen 3.6 laag, terwijl het bij Gemma 4 steeds verder oploopt.
Het zit hem dus niet in de eerste vraag die je stelt, maar in het doorlopend voeren van een dialoog met de AI. Dan blijft het geheugengebruik bij Qwen 3.6 laag, terwijl het bij Gemma 4 steeds verder oploopt.
Dus kan je een groter model gebruiken met minder verbruik ;) Wat neerkomt op mijn eerste vraag/opmerking. En dat zonder AI te gebruiken maar gewoon het artikel te lezen :+
Ik ben tegen AI. Het draait elke markt de nek om. Verslechterd de relatie tussen medemens door t overal op support te gooien.nee ik bedank.
Dat kan en je bezorgdheden snap ik, tot op zekere hoogte heb je ook gewoon gelijk. maar de realiteit is dat het hier nu is en dat het niet meer weg gaat. De kloof is reeds aan het ontstaan en wordt enkel groter. Je kan maar beter zorgen dat je weet wat er leeft en hoe het leeft, dan achteraf vast te stellen dat je niet meer mee kan. een beetje zoals het internet, alleen nu 100 keer sneller...
Waarom ben je tegen AI? Ik ben wel nieuwsgierig, omdat de meeste beargumentatie voor dit standpunt veelal gebaseerd is op hele slechte argumenten, vooral ingegeven door een groot gebrek aan kennis. OF de argumenten gaan over het gebruik van AI, maar dat doen we zelf en zegt niks over AI.

AI is niet veel meer dan een taal model, dat gekoppeld is aan een grote database (platgeslagen). Het kan niet denken en doet verder niks, maar is eigenlijk een veredelde zoekmachine, die tevens in staat is statistiek en wat andere data mee te nemen in afweging van welk resultaat het beste bij je vraag past (nogmaals platgeslagen). Daarmee maakt AI het doorzeven van grote sets data op zoek naar bruikbare informatie een heel stuk makkelijker. De creatieve kant en interpretatie en beleving van de terugkoppeling blijven afhangen van bewuste levensvormen. Als je dat in acht houdt en AI gebruikt zoals het gebruikt zou moeten worden (hamer om te hameren, schroevendraaier om te schroeven en dus niet om te hameren) dan is er toch niks mis mee?
En toch heb je er al mee te maken in het dagelijkse leven.

Als we zo blijven denken komen we op het 'hutje op de hei' principe en levensstijl.
Je kan ergens tegen zijn en toch soms (moeten) gebruiken? Ik haat de trein, en toch gebruik ik die soms.

Dus nee meteen zulke enorme gevolgen (op een hutje op de hei gaan wonen) slaat natuurlijk nergens op als je ergens niet blij mee bent of niet achter staat...

[Reactie gewijzigd door watercoolertje op 10 juli 2026 10:11]

Ik ben tegen AI. Het draait elke markt de nek om. Verslechterd de relatie tussen medemens door t overal op support te gooien.nee ik bedank.
“Een mobiele telefoon, nee hoor als ze mij willen bellen kan dat gewoon thuis, en als ik er niet ben hebben ze pech”
waarom heb ik models nodig op mijn telefoon? Ik bel, whatsapp, internet en gebruik wat apps.

Waarom heb ik dan in hemelsnaam resource vretende "AI" nodig? Wat ga ik daardoor beter of sneller kunnen doen?
Los van dat jouw argument natuurlijk hetzelfde is wat we altijd over nieuwe techniek horen... Het interessante hier is nou net dat het niet resource verslindend is, of in ieder geval niet in dezelfde mate. Als je met AI kunt doen wat je wil met een lokaal op je telefoon draaiend model, dan heb je daar dus geen groot datacenter voor nodig.
Sneller informatie vinden op je telefoon, sneller teksten schrijven, eenvoudiger foto’s bewerken en maken etc.
Automatische vertaling van gesprekken. Ondertiteling van filmpjes. .... etc.etc.

Ik denk dat veel mensen AI verwarren met een chat-machine...
Rewind 20 jaar: waarom heb ik internet op mijn telefoon nodig? Rewind nog eens 15 jaar: waarom heb ik een mobiele telefoon nodig? Rewind naar de 80s: wat moet ik nou met een computer thuis?
Rewind naar de 80s: wat moet ik nou met een computer thuis?
Een werkstuk maken voor de basisschool met Fontasy natuurlijk, geprint op een vette 9-naalds matrixprinter ipv handgeschreven of getypt.
Wanneer de aanbieders van AI online een prijs gaan vragen die hun kosten dekt en een winstmarge er bovenop, dan wordt on premise, een lokaal draaiende AI plots de investering waard van de computer (en geheugen) die je er voor nodig hebt. Ik ben benieuwd hoe snel de AI zeepbel klapt.
Het zou ook gewoon een langzaam leeglopende ballon kunnen worden. Zelf denk ik dat AI bedrijven eerder hun aanbod gaan rationaliseren, of zich gaan specialiseren op 1 vorm van AI. Iedereen biedt nu LLM's, maar iets als LWM's zou best wel eens een interessante niche kunnen worden.
Ik denk dat AI veel toepassingen heeft, van videoedit ondersteuning tot ticketing tools, ingebouwd in applicaties.
Qwen3.6 is een 35B met 3B actieve 16bits parameters model. Het verandert dus steeds welke parameters actief zijn. In principe zou je steeds 'heel snel' die 3 miljard actieve parameters in en uit het geheugen kunnen swappen. Maar ik denk dat zie hier gebruik maken van hun trinaire (-1,0,1) quantisatie.

Dat betekent dat ze in plaats van 2 bytes keer 35 = 70 GB RAM, maar 1,56/8 keer 35 = 6,8 GB RAM nodig hebben om het volledige model in te laden. Het model wordt hier wel een stuk dommer door. Tenzij ze een hele goede method hebben gevonden om de afwijkingen door het model heen uit te smeren, richting het verwachtte antwoord van het originele model. Microsoft heeft ooit al eens 'bewezen' dat dit theoretisch mogelijk is.

[Reactie gewijzigd door Henk Poley op 10 juli 2026 10:34]

Ik draai het zelf al een tijdje naar volle tevredenheid op een mini PC, in combinatie met Silly Tavern kan je er leuke dingen mee doen. Hoe meer er lokaal kan draaien des te beter dat is voor zowel de veiligheid als de privacy

Om te kunnen reageren moet je ingelogd zijn