'Nieuwe Intel Core Ultra-cpu's voor desktop kunnen geen Copilot+ draaien'

De nieuwe Intel Core Ultra-cpu's voor desktops krijgen toch geen npu die krachtig genoeg is om Copilot+ te draaien, meldt de bekende Intel-leaker Jaykihn. Eerder werd gemeld dat de nieuwe processors een krachtigere npu zouden krijgen, maar dat is volgens Jaykihn onjuist.

ZDNet Korea schreef twee weken geleden nog dat de Arrow Lake Refresh-processors in de tweede helft van dit jaar zouden verschijnen. De processors zouden onder meer een hogere kloksnelheid hebben en een nieuwe npu krijgen om te kunnen voldoen aan de vraag naar processors die gebruikt kunnen worden voor AI-toepassingen. Intel zou de huidige npu naar verluidt vervangen door de npu die het bedrijf ook gebruikt in de Core Ultra 200V-serie. Die biedt met 48Tops genoeg rekenkracht om Copilot+ van Microsoft te draaien.

Leaker Jaykihn schrijft nu echter dat Intel de npu voor de Arrow Lake Refresh-cpu's niet verandert. Dat betekent dat ook de npu in de Arrow Lake-S-serie een rekenkracht van maximaal 13Tops kan leveren. Dat geldt ook voor een eventuele Refresh van de HX-laptop-cpu's, die op dezelfde chips gebaseerd zijn. Om Copilot+ te draaien, is minimaal 40Tops aan rekenkracht vereist. De nieuwe cpu's zullen alleen een wat hogere kloksnelheid hebben ten opzichte van de eerdere Arrow Lake-processors.

De nieuwe serie Intel-processors, die mogelijk de Intel Core Ultra 300 zal heten, is naar verluidt de laatste processorgeneratie die gebruikmaakt van Intels LGA 1851-socket. De Nova Lake-S-serie draait hoogstwaarschijnlijk op de LGA 1954-socket.

Reacties (99)

[DJanmaat]

Intel’s bewuste marktsegmentatie: desktop krijgt opzettelijk zwakke NPU om laptop-sales te beschermen.

Ze willen je naar RTX sturen voor AI (130+ TOPS) terwijl laptop exclusief NPU4 houdt. Slimme business: geen interne concurrentie + NVIDIA partnership intact.

Resultaat: desktop Copilot+ alleen via discrete GPU. Intel verkoopt de ‘incomplete’ ervaring als feature.

[ferdinand]

Intel’s bewuste marktsegmentatie: desktop krijgt opzettelijk zwakke NPU om laptop-sales te beschermen.

Een NPU en een GPU en een GPU met tensor/matrix cores kunnen alle drie dezelfde berekeningen doen met voldoende performance. Een NPU gebruikt daarbij minder Vermogen. Ideaal voor een laptop dus. Een desktop is eerder temperatuur gelimiteerd dan Vermogen gelimiteerd. Een desktop zal dus extra weinig voordeel halen uit een NPU.

Als bonus: hoe vaak heb je gezien dat Windows de 2060, 3060, 4060, 5060 gebruikt voor AI berekeningen heeft gebruikt sinds 2018?

[Henkieschmenkie]

Ideaal voor een laptop dus. Een desktop is eerder temperatuur gelimiteerd dan Vermogen gelimiteerd. Een desktop zal dus extra weinig voordeel halen uit een NPU.

Want niemand gebruikt op desktop de CPU-geïntegreerde GPU? Lijkt me het zelfde verhaal, toch zijn ze er en worden ze door mensen gebruikt.

[Guru Evi]

Je kunt inderdaad de iGPU gebruiken als een AI accelerator als je dat wilt of geen dGPU hebt. De NPU op de laptop is echt enkel als optimalisatie voor stroomverbruik, Apple doet het allemaal binnen een ARM CPU met 10W, daar is de concurrentie, eenmaal je 2-300W verstookt maakt het niet veel uit dat je inferencing op de CPU doet.

[Sando]

Vroeger vond ik het moeilijk te begrijpen dat een alleskunner als een CPU toch een beetje een master of none is en dat we ook een GPU nodig hebben om duizenden "pixel pipelines" tegelijk te kunnen hanteren. Maar nu hebben we dus een CPU, GPU, DSP, ISP, NPU en nog ASICs voor elke hardwarematig ondersteunde videocodec in onze laptops.

[ferdinand]

Vroeger vond ik het moeilijk te begrijpen dat een alleskunner als een CPU toch een beetje een master of none is en dat we ook een GPU nodig hebben om duizenden "pixel pipelines" tegelijk te kunnen hanteren. Maar nu hebben we dus een CPU, GPU, DSP, ISP, NPU en nog ASICs voor elke hardwarematig ondersteunde videocodec in onze laptops.

Bij de CPU gaat het om latency. CPU kan met behulp van AVX1/2/512 aardig wat parallelle taken uitvoeren die je op een GPU zou verwachten. Maar als het langer duurt om te sturen naar de GPU en weer terug te krijgen naar de CPU, dan is het beter om het op de CPU te draaien. Bonus is dat de CPU veel makkelijker aan te sturen is dan de GPU. Dus veel programmeurs gaan niet eens kijken naar de GPU als het op de CPU goed genoeg draait.
Een NPU en DSP zou ik onder dezelfde noemer gooien.
Een ISP is een ASIC, net zoals de versneller voor H264.

[rene_fb]

Leek hier.
Zou je extra npu in je kast kunnen steken, net als een gpu/videokaart?

[RobVI]

Zeker https://www.reddit.com/r/LocalLLaMA/comments/1cx5jvc/overview_of_m2_pcie_npus/

[PuzzleSolver]

Nog niet echt interresant helaas. Er zijn meerdere dingen nodig, veel geheugen, veel bandbreedte naar dat geheugen en genoeg TOPS. Die kaarten missen op al die vlakken nog teveel t.o.v. een videokaart die je ook nog eens voor andere doeleinden kan gebruiken.

Ik heb nu een 4090 en die kan modellen draaien die net een beetje kunnen coderen maar het is niets vergeleken met de online cloud modellen. Ik denk dat we over een jaar of twee veel meer aanbod zullen zien aangezien het aantal locale AI modellen met redelijke video, foto en 3D toepassingen aardig aan het groeien is. Maar ik denk ook dat richting de 96GB memory en 5090 nivo TOPS nodig is om het een beetje leuk te kunnen gebruiken en dat is me nu nog iets te duur.

uitvoering: Nvidia RTX PRO 6000 Blackwell Workstation Edition

Nog steeds geen prijs hier, dat ding is zelfs voor de 10.000 euro die hij moet kosten niet aan te slepen blijkbaar.

[Llopigat]

Ik heb nu een 4090 en die kan modellen draaien die net een beetje kunnen coderen maar het is niets vergeleken met de online cloud modellen.

Ik vind dat heel erg meevallen eigenlijk. Als je een model pakt dat specifiek ingericht is op je doel (zoals coding, of samenvatten enz) dan vind ik de prestaties behoorlijk goed.

Ik heb zelf ook een AI server draaien (maar dan met Radeon Pro) en soms heb ik iets waarbij het antwoord me tegenvalt. Als ik die dan in GPT-4o trap, komt er eigenlijk maar heel zelden een veel beter antwoord uit. Ik ben echt onder de indruk van de kleine modellen.

[PuzzleSolver]

Ze worden idd exponentieel beter, ik wil de nieuwe voxtral van mistral ook nog testen. Die schijnt erg goed te zijn in speech en function calling, dat zou leuk zijn voor home-automation.

Maar voor coding is een locaal model wel een heel stuk slechter dan claude Opus of Gemini 2.5 pro. Dat is ook wel logisch want er zit wel een behoorlijk factor verschil in de grote van die modellen. De grote modellen zijn ook duur om te gebruiken, maar ik heb een abbonement via mijn werk.

[Pinkys Brain]

Moderne dGPU schut 40 TOPS uit de mouw, dan heeft een specifieke NPU niet zoveel nut meer (als hij al nut heeft).

[Reactie gewijzigd door Pinkys Brain op 18 juli 2025 14:26]

[PuzzleSolver]

NPU zal wat zuiniger zijn, maar inderdaad. Een 5090 doet iets van 3000 TOPS op FP4 precisie. Ik denk dat AI hardware pas interesant wordt als geheugen en layer logica op 1 chip gebakken worden. Er wordt al aan gewerkt. Als je kijkt naar b.v. QLC nand chips die 16 waardes vasthouden, dan zouden die b.v. ook een wieght van een LLM kunnen vasthouden. Als aan elk van die cellen een mutilply add stap kan hangen (het liefst misschien zelfs op de analoge waarde van de cell) dan zou locale LLM's draaien mogelijk kunnen worden. Denk b.v. maar aan huidige microSD's van 2TB. Als je die 10 keer groter maakt en dan zou kunnen voorzien van deze logical dan zou je een grote LLM daar efficient op kunnen draaien.

Dat is nu nog toekomstmuziek, maar er wordt al aan gewerkt. Ik wacht het nog wel even af. AI hardware is nog maar net begonnen. Het lijkt me wel leuk om een digitale butler in mijn nieuwe home-automation op te nemen die locaal kan werken.

[Pinkys Brain]

Het voegt niet zo heel veel toe aan High Bandwidth Flash.

Alles word MoE en met MoE wil je de compute altijd gedeeltelijk centraliseren. Dan kan je dus net zo goed HBF gebruiken met compute op een aparte chip eronder.

[PuzzleSolver]

Het grootste probleem met AI draaien op een centrale plek is om al die data er heen te rkijgen. Als al die data direct de compute kan doen naar nieuwe data dan maakt dat alles een heel stuk efficienter. Bij een mixture of experts zal er alleen een groot deel van de compute ombenut blijven, maar is dat erg als de compute veel kleiner gemaakt kan worden door bv analoog op een flash cell te werken.

Ons eigen brein heeft ook de "compute" in memory en is een heel stuk efficienter. En in ons brein is ook niet altijd alles actief. Ik ben benieuwd waar het heen gaat, maar er gaat nog genoeg veranderen in de komende 10 jaar. Eerlijk gezegd kijk ik daar ook wel naar uit. Want na de computer race van de jaren 80 to ergens begin deze eeuw leek alles te stagneren. AI brengt de tech weer in beweging. Apple doet het momenteel wel goed voor locale LLM's een M3 max ultra is efficient en redelijk snel. een MoE zal daar ook heel goed op performen dankzij het unified memory. Misshien kun je al een Kimi K2 op een Mac Ultra 512GB draaien als deze gequantized is naar FP4.

Leuke nickname btw. Narf.

[MSalters]

Ik denk dat AI hardware pas interesant wordt als geheugen en layer logica op 1 chip gebakken worden.

Gaat niet gebeuren. Het idee is antiek (~1980) maar de fabricageprocessen van geheugen en logica zijn fundamenteel anders. Intel heeft met Haswell nog 128 MB eDRAM bij de logica (GT3e iGPU) geplakt maar daar zie je al dat ze geen normaal DRAM geheugen kunnen meebakken. Flash is nog erger dan DRAM.

Daarom is er dus HBM: een aparte die met geheugen, gemaakt op een DRAM proces in plaats van een logica proces.

Flash is bovendien compleet onbruikbaar voor je "1 weight per cell" idee. Flash is block-oriented, met block-level ECC codes.

[PuzzleSolver]

Het idee van geheugen en logica op een chip komt weer terug omdat bij LLM's en andere AI veel operaties over heel veel geheuegen moeten worden gedaan. Maar het wijkt inderdaad enorm af van onze huidige manier van fabriceren dus het is wordt moeilijk om het op schaal te doen.

Maar er is ook een hoop veranderd en chip fabricatie is ook een stuk flexibeler geworden. Geheugen en logica zouden ook op een andere layer gebakken kunnen worden, maar ook dat wordt een flink stuk complexer en het is ook al zo complex dat er nu al AI gebruikt wordt binnen de fabricatie om chips te ontwerpen.

Flash had ik ook meer in gedachte vooor het basis model met de grote hoeveelheid vaste gewichten. Flash kan per block gewist worden maar per cell geschreven worden. Alles zou dan parralel per layer kunnen gebeuren.

Ik had hier al eens met Claude over gechat en besef me nu ook weer hoe die modellen vooral met je mee gaan en vergeten al de praktische problemen aan te kaarten. Maar wel leuk hoe je technisch diep kan gaan met die modellen en op die manier ook weer een hoop kan leren. Al moet je het vaak nog wel verifieren.

[Guru Evi]

Zeg dat vooral niet tegen Apple of IBM. Je gemiddelde 8-bit microcontroller zoals de PIC heeft al bijna half een eeuw lang een flash, RAM en CPU op dezelfde chip. Intel heeft er ook mee geëxperimenteerd, maar het probleem met je gemiddelde PC is dat de meeste fabrikanten (inclusief Intel) geen computerboeren zijn en de computerboeren willen flexibiliteit. Mensen klagen nu al dat je je MacBook niet met geheugen kan uitbreiden omdat het in de CPU gebakken zit en je hebt maar 5 opties. Stel dat Intel komt met een chip met 8, 16, 24, 32, 64, 128, 256, 512 en 1TB RAM komt en dan een combinatie voor alle SSD die je in een PC kan vinden, dit gaat nog steeds te weinig SKU zijn voor veel mensen, daarnaast is er naast Linux geen ondersteuning in de meeste OS voor tiered geheugen.

[Reactie gewijzigd door Guru Evi op 20 juli 2025 22:54]

[MSalters]

Bij een PIC telt veel meer packaging eenvoud (weinig pinnen, simpel PCB) en boeit de performance niet. Dus dan maak je die paar transistoren in een "verkeerd" proces.

Intel? Die zitten niet in die niche.

[sebastienbo]

Het zou jij niet verwonderen dat NVIDIA met beide op één kaart zal komen

[aadje93]

Even een leek, waarom moet je minimaal X rekenkracht hebben om het model te draaien? Het duurt toch gewoon 4x zo lang nu?

[Venator]

Het gaat bij deze lage TOPS cijfers eerder om een basis grens voor een goede gebruikerservaring met Copilot+ features, zoals de Studio Effects voor webcams. Een discrete GPU levert vele malen meer performance.

[nzall]

Kan CoPilot+ ook de GPU gebruiken? Of is die software dusdanig slecht geschreven dat die een echte NPU nodig heeft?

[rubenvb]

Aangezien DirectML ook gewoon op GPUs werkt, lijkt me dat wel.

Of ze het doen en zo hun eigen "koop beter een nieuwe Copilot+ PC"-marketing ondergraven, is een andere vraag.

[sebastienbo]

Copilot is meer dan enkel de nou, bijvoorbeeld snel laden etc.

Trouwens niets houd NVIDIA tegen om ook copilot certificering aan te vragen.

[Guru Evi]

NVIDIA heeft CUDA, vele malen beter dan DirectML of wat AMD nog moet uitkramen. CoPilot is gebouwd voor een specifiek reeks modellen, Microsoft wilt het wel doorduwen vanwege hun investering in OpenAI, maar er zit veel concurrentie in de markt.

[djwice]

De GPU is typisch minder energie efficiënt voor dezelfde berekeningen. Dus je stroomgebruik is hoger.

Maar zelfs een 5060TI/16GB draait rondjes om de CoPilot+ eisen (factor 7 krachtiger).

Dus elke PC met een moderne NVIDIA GPU is CoPilot+ rekenkracht of meer.

[Reactie gewijzigd door djwice op 18 juli 2025 16:49]

[SG]

Copilot+ doel is de npu gebruiken, gpu uitsluiten voor batterij duur. Npu doet 40tops efficient.

DirectML weet niet of NPU enforced wordt. Maar directml is niet zozeer copilot+ dat is AI inference implementatie die OS en software gebruiken. Mischien dat directml vrij bent om compute target te kiezen of te verdelen. Maar ja er zijn ook andere sdk die nv of amd of intel gpu ondersteunen. Of Vulkan.


Zelf

LM studio 42GB locaal model 64GB M4-max mac studio

[IlIlIllII]

Precies dit. Copilot+ heeft enkele real-time features die een basisgrens vereisen. Dingen zoals real-time studio effects en live captions zijn zinloos als de hardware niet genoeg rekenkracht heeft om dit bij te houden.

Moderne videospellen kun je bijvoorbeeld ook niet fatsoenlijk spelen op een GTX 460 uit 2010. Animaties en video's renderen dan weer wel, omdat deze handeling niet tijdsgebonden is.

[Burgertrut]

Ook even een noob vraag hoor. Maar er stonden op black Friday allemaal i3 processors in laptops onder de 600 euro te koop, die volgens Amazon ook CoPilot+ compatible waren? Dat kan toch niet? Niet voor niets een 288V processor met 32 GB aangeschaft 6 maanden geleden.

[DvanRaai89]

Je koop een 288V (ik zou 258V genomen hebben, maar goed) natuurlijk niet voor de NPU. Dedicated ASIC BS heeft vrij weinig met algemene performance te maken. Verder moet je niet veel waarde hechten aan of er ix or Rx opstaat.

[Burgertrut]

Ach, wij wilden een nieuwe laptop. En ik vond het belangrijk dat hij ook CoPilot+ kon, omdat mijn man ermee wilde programmeren. En bij een 288V met 32 GB en ook nog 1TB harde schijf kwamen we uit op een HP flipbook 14. Was ‘ie ook nog met een OLED scherm, en touchscreen.

Kunnen we er weer 4 jaar tegenaan.

[uiltje]

Hmm, ik weet redelijk zeker dat de LLM niet lokaal in de NPU draait voor programmeer taken. Maar goed, better safe than sorry.

Ik heb een vergelijkbare laptop met AMD processor van Lenovo (14" Yoga). Was wel veel goedkoper, maar ik heb nog 16 GiB, minder cores, oudere processor en 500 GB SSD, dus. Erg fijn scherm maar waarschijnlijk wel glanzend net als de mijne.

Voor langere tijd programmeren zou ik er een mat scherm aan hangen. Ik heb daarvoor een 27" scherm met USB-C PD gekocht voor 170 euro in de aanbieding. bagger beeldkwaliteit en veel bleeding vergeleken met het OLED scherm, maar veel groter en beter om langere tijd achter te werken (en stiekum toch 90Hz in mijn geval). En met een dongeltje hang je er zo een echt toetsenbord en muis aan. Twee kabeltjes totaal, power & USB-C.

[Reactie gewijzigd door uiltje op 20 juli 2025 16:51]

[Burgertrut]

Nee, kan geen, of nauwelijks een, lokale LLM draaien, al gaat dat meer om het geheugen. Een heel erg mini model misschien nog wel. Maar je hebt gewoon een NPU van minimaal 48tops nodig voor ms copilot+ ondersteuning. En voor zover ik kon overzien is dat erg handig voor bijvoorbeeld GitHub copilot en zo.

Verder hebben we gewoon een mat 27 inch LG 4K scherm met USB-C power en USB-A hub op de werkkamer. Daar zit het toetsenbord en de muis standaard aan. Daar werkt mijn man met zijn werk laptop, hobby’t hij met onze eigen nieuwe laptop, en de oude MacBook koppel je ook zo aan. Erg makkelijk. Alleen een USB-C draadje erin

Maar deze nieuwe laptop is ook erg handig voor beneden op schoot. Je kunt hem zelfs als tablet gebruiken. Al is het dan wel raar dat de onderkant het toetsenbord is.

[Reactie gewijzigd door Burgertrut op 21 juli 2025 11:02]

[uiltje]

Ah, jullie hebben al de minimale kantoor setup

Mja, ikzelf gebruik 'm bijna niet als tablet, dat vind ik toch te onhandig. Ik heb ook goedkoop een tabletje op de kop getikt dat ik eventueel op reis ook als 2e scherm kan gebruiken (vanwege USB-3), ik heb er een stukje software voor gekocht genaamd SuperDisplay - erg simpel maar werkt goed (veel slappe oplossingen te verkrijgen hiervoor, die van Lenovo werkt gewoon niet).

Nou denk ik wel dat de HP van jullie wat lichter is en dat maakt het al wat makkelijker. Maar goed, in ieder geval zijn dit laptops met erg sterke hinges, en als iemand veel laptops heeft gezien is de sterkte hiervan erg belangrijk. En bij video kijken gebruik ik de tent-stand graag, hoewel de vorige Yoga een rubber randje rondom had en die mis ik wel een beetje.

[21jaaj]

Nee, er zijn volgens mij nog helemaal geen 3-klasse processors die copilot+ compatible zijn. Behalve dan misschien die 4-core Ryzen AI 5 die AMD gisteren aankondigde

[Blokker_1999]

En dan zet je die functies aan, kijk je in je Task Manager en zie je dat de NPU amper gebruikt wordt, nog geen 10% belasting.

[sebastienbo]

Bij mij begint dat al aardig naar de 50% te gaan, ik heb ook recall feature,noise cancelling en studio effects aanstaan. En binnenkort komt daar ook nog spelling/grammatica nog bij (Gemma 3n)

[uiltje]

Ah, interessant om te weten. Ik ben wel heel benieuwd hoe die NPU's met meerdere LLM's omgaan, omdat je met schakelen ook het model moet omgooien. Klaarblijkelijk zit dat state met wat caching gewoon in het DRAM. Wel logisch ook ze vragen niet voor niets 16 GiB aan geheugen. Dus dat maakt deze NPU's wel minder performant dan wat je in een datacenter zal vinden qua geheugen gebruik (buiten de algemene verschillen qua rekenkracht natuurlijk).

[sebastienbo]

Ik zag net dat de build-in llm Phi-Silica noemt en 3.3b paramaters. https://www.reddit.com/r/LocalLLaMA/comments/1cxi08i/microsoft_introduces_phisilica_a_33b_parameter/

Het viel me op omdat ik deze middag via windows updates een update kreeg met die naam en niet wist wat dit was. Maar zoals je ziet er draait ook een LLM op die NPU's, en dat houd de gpu en cpu met rust voor andere taken, zo kan de AI nog beslissingen maken zonder dat dit de cpu of gpu beinvloed. Dat kan handig zijn om een crash of overload te herkennen :-)
Want deze LLM kan ook MCP taken uitvoeren

[!mark]

Alleen zelfs de meest betaalbare onder RTX gelabelde videokaart haalt makkelijk die vereiste TOPs, met de wat meer gangbare desktopmodellen van nu welke een factor 10-25x hoger zitten. Toch kunnen deze geen Copilot+ features gebruiken vanwege geen of een te zwakke dedicated NPU.

Waarom eigenlijk als er een GPU aanwezig is welke ruimschoots aan die 40 TOPs komt.

[Xbeek]

Waarom eigenlijk

Een NPU doet bepaalde taken zoals: achtergrond in Teams meeting of slimme spelling veel efficiënter dan een GPU.

Dus minder stroomverbruik en beter gebruik van computer resources.

[Llopigat]

Ja who cares. Je betaalt al een bak geld voor zo'n GPU. Zelfs mijn 1800-euro RTX 4090 zal nooit zelfs maar de helft kosten in energiegebruik.

Je moet als gebruiker zelf kunnen kiezen wat voor hardware je wil gebruiken. Dit NPU gebeuren riekt naar betaalde "Copilot+ gecertificeerd" licenties waarbij de CPU fabrikanten microsoft betalen. Of dat zo is weet ik niet, maar als er een beslissing in het nadeel van de klant is genomen, dan is de reden vrijwel altijd geld natuurlijk.

Ik draai alles gewoon in eigen beheer met twee AI servers hier (eentje voor LLM, de ander voor Whisper en image generation). Alles open source, dan ben ik niet afhankelijk van wat de Microsoft sales pakken willen dat ik gebruik.

[Reactie gewijzigd door Llopigat op 18 juli 2025 16:32]

[_Pussycat_]

Ik vind bepaalde minimumeisen eigenlijk best goed. Voor de live-effecten heb je idd bepaalde performance nodig, en taken als tekeningen genereren zijn ook niet meer leuk als het te lang duurt.

Een 8068 is Turing-complete dus die "kan alles". Toch zal iemand die hem vandaag loopt eerder zeggen dat je er niets mee kunt. Als je als MS wilt zeggen dat deze NPU AI kan verwacht de klant een bepaald niveau.

[Reactie gewijzigd door _Pussycat_ op 19 juli 2025 11:20]

[Llopigat]

Ja maar het punt is dat een GPU ver boven die minimum eisen uitkomt maar toch niet geaccepteerd wordt.

[_Pussycat_]

De NPU in deze nieuwe Core Ultra zou te zwak zijn volgens het bericht omdat het niet de NPU van de 200 Ultra heeft.

[Llopigat]

Ja maar we hadden het erover dat zelfs een 4090/5090 niet geaccepteerd wordt voor Copilot+ terwijl het veel meer TOPS heeft dan welke geintegreerde NPU dan ook.

[_Pussycat_]

Aah ok, dat had ik fout gevolgd.

Hm ja dan is dit op zijn allerminst opvallend te noemen, en behoorlijk storend.

[!mark]

Dat een dedicated NPU het effcienter kan geloof ik wel. Maar zolang de GPU ruimschoots het vereiste aantal TOPs haalt om een goede ervaring te bieden maakt dat op wat extra stroomverbruik na toch niet in de context van desktop?

Vindt dat zelfs een beetje betutteld als eindgebruiker: what's next games werken alleen op de nieuwste generatie videokaarten puur omdat de vorige generatie minder efficient is? Of het afspelen van video weigeren als er geen hardware decoder is terwijl de CPU het in zon situatie best zelf kan?

[djwice]

Draai het om; door de NPU extra in je systeem blijft de GPU rekenkracht beschikbaar voor je CAD , gaming taken of gen-ai taken.

[SG]

Npu had als doel batterij efficientie. Surface tablets en laptops.

Maar ja is voor desktop ook npu vereist. Daar zou geen probleem zijn om Gpu te gebruiken.

Al blijft het energie verspilling

[djwice]

Al blijft het energie verspilling

? Die snap ik niet.

Met AI doe ik werk wat normaal 8 maanden kost zonder AI in een dag ofzo.

Het bespaart dus juist veel energie.

[SG]

Copilot+ is lokaal en npu is pure dedicated AI hardware voor lokaal modeletje.

Hetzelfde op gpu houd in dat kleine lokale model gebruikt gpu. Wat ook AI kan maar hoop logic is daar niet voor bedoeld maar staat wel aan vreet energie.

Voor resultaat maakt niet uit maar het is een 1 tot 10watt vs 50 tot 400watt.

Mits copilot+ kan off loaden naar gpu.

Mijn macstudio is dan weer zuiniger dan pc met g-kaart. Een RTXPro6000 is krachtiger maar ook 3x de prijs en PC erbij.

In mijn geval is hobby en lokaal houd in geen AI abbo’s.

Maar als je het professioneel gebruikt en ook intensief is het ander verhaal ook als kwaliteit goed moet zijn. Zoals niet lokaal en in cloud chatgpt etc. En dan hebben we het niet alleen over copilot+ waar mijn punt juist overgaat.

[MSalters]

Al die AI taken zijn matrix vermenigvuldigingen, net zoals GPU's al 30 jaar doen. Dat is ook waarom AI opkwam nadat GPU's ook bruikbaar werden voor rekenwerk. "Slimme spelling" is dus ook gewoon vermenigvuldigen, en je GPU kan dat prima.


Een NPU heeft potentieel een paar microseconde minder latency als je een resultaat terug wil zenden naar een CPU core, maar dat maakt voor spellingscontrole niets uit.

[sebastienbo]

Omdat het dedicated is, het zal tijdens een zwaar spel, gewoon blijven zijn werk kunnen doen, en een nou doet dat efficiënter

[DLSS]

Ja precies, het is echt verspilling om zo’n NPU aan elk CPU model toe te voegen imho. Het zou gewoon op GPUs moeten draaien. En dan wellicht een paar CPUs met een NPU aanbieden in het lagere segment voor desktops systemen die geen dedicated GPU hebben.

Ik vraag me eigenlijk af, zouden ze niet net zo goed de iGPU kunnen upgraden in het scenario waar copilot op GPUs draait? Zo’n iGPU is veel breder inzetbaar.

[freaq]

Dit, zelfde idee met onboard gpu’s welke 2-3x meer silicon verbruiken dan de cpu cores zelf, maar practisch nooit gebruikt worden.

ik wil best een igp prima maar maak dat gewoon een echt basis ding voor als me gpu kapot gaat, anders gewoon zand verspilling en onnodige kosten voor mij.

[djwice]

In de praktijk zie je dat de NPU niet maximaal wordt uitgenut door de huidige taal modellen, 11 tot 13 TOPS zie je typisch als uitputting, andere elementen zijn de beperking.

[Audione0]

Intel is denk ik bang dat de cpu in de fik vliegt

[lenwar]

En daarmee wordt het dan onbruikbaar voor het beoogde doel. Ik weet niet of je de assistenten van Google of Apple gebruikte de afgelopen jaren, maar moet je voorstellen dat de reactietijd 4x zo lang is.

Als je AI-technologie wilt inzetten op je lokale computer voor assistentie van taken, dan moet het wel vlot gaan, anders is het zo irriterend dat niemand het gebruikt of dat je het net zo goed met de hand kunt doen (afhankelijk van de taak)

[ro8in]

Kan een NPU nog iets wat een GPU niet kan? Ik heb er ook een in mijn laptop, maar volgens mij heb ik die nog nooit ook maar iets zien doen in de task manager.

[Amayii]

De NSA kan effectiever afluisteren met een NPU aan boord

[Llopigat]

Je hebt een 0 momenteel maar je hebt wel een punt vind ik. Als je al aan het afluisteren gaat dan kan je in plaats van alle audio exfiltreren veel beter omzetten naar tekst en zoeken naar keywords die je interessant vindt. Veel minder data te exfiltreren en dat valt veel minder op, en aan de ontvangende kant ben je ook nog eens veel minder opslag kwijt.

Onze CPU's draaien ook allemaal geheime ondoorzichtige software zoals Intel ME en de Amerikanen hebben al vaker bewezen achterdeurtjes in routers e.d. in te bouwen dus ik vind het niet zo vergezocht.

En buiten de NSA heb je natuurlijk ook het tracken voor puur commerciele doeleinden zoals google doet.

[Reactie gewijzigd door Llopigat op 18 juli 2025 16:36]

[Amayii]

Helemaal eens! Ik zei het gekscherend, maar bedoelde het wel serieus. Als je AI developer van de duivel speelt dan ligt het vanuit efficientie oogpunt zeker voor de hand om lokaal een ai tooltje te draaien dat meekijkt. Het is dan in feite een soort gpu voor Intel ME. Zeker als iedere burger toch bij voorbaat verdacht is en je niks geeft om burgerrechten, dan is zoiets een top plan.

[Llopigat]

Ja, zo verkoopt Microsoft Copilot Recall natuurlijk ook. "Het is goed voor de gebruiker dat de AI veel van je weet want dan kan die je beter helpen". Dat punt is op zich ook prima hard te maken. Een assistent is juist goed omdat die weet wat je voorkeuren zijn en je dat niet elke keer uit hoeft te leggen. Als ik op het werk een vlucht boek dan weet de receptioniste dat ik liever met een lowcost airline vlieg als dat sneller is maar dat ik dan wel de priority en alles erbij wil. Dus dat doet ze er elke keer automatisch bij

Als zo'n AI dan ook nog eens van je leert door mee te kijken hoef je het de eerste keer niet eens meer uit te leggen ook. Ook een prima punt, in isolatie. Alleen hier beginnen de voordelen/nadelen een beetje scheef te gaan vind ik. Ik wil niet dat een collega constant over mijn schouder zit mee te kijken en luisteren. Een AI die wordt gebouwd door iemand anders (in dit geval een heel bedrijf) ook niet. Vertrouwen komt te voet en gaat te paard zeggen ze altijd en vertrouw ik Microsoft? Na decennia van "per ongeluk" vinkjes weer aanzetten die ik had uitgezet, nee.

Een AI die ik helemaal zelf draai via bijvoorbeeld llama, die zou ik eventueel wel toegang geven tot zoiets. Maar dan weet ik zelf waar alle data staat en waar het heen gaat en wat er mee gedaan wordt.

[Reactie gewijzigd door Llopigat op 19 juli 2025 10:29]

[lenwar]

Wat ik er van begrijp, is dat NPU’s (energie)-efficiënter zijn met zeer veel parallelle kleine berekeningen (wat vooral bij generatieve AI van belang is).

[angerfist-yentl]

Ik hoop wel dat Intel nu serieus bezig gaat zijn en niet meer dingen doen waar blijkbaar mensen niet op zitten te wachten of die verkeerd uitpakken voor ze want wij als concumenten zijn gebaat bij concurentie niet bij één die domineert, AMD heeft nu met de nieuwe verkoop 88.83% verkoop aandeel. (en ik gun het ze) zag ik laatste bij een grote retailer in Duitsland. Zelfs AM4 verkocht nog beter dan socket 1700, 1200, 1151 bij elkaar van intel.

https://x.com/TechEpiphanyYT/status/1736061471333687676 2023 was dit al het geval

en in 2025 is het niet veel beter > https://wccftech.com/amd-crushes-intel-in-cpu-sales-in-germany-leaves-less-than-7-revenue-for-its-rival/

[XenoniaN]

Mooi, klinkt mij als een pluspunt.

[beerse]

Helemaal waar, een cpu naar mijn specificaties.
Aan de andere kant, vergelijk het met de gemiddelde game-pc, die heeft een cpu zonder ingbeouwde gpu, daar komt gewoon een andere (zwaardere) gpu bij.
Oftewel, de kans is groot dat als een operating systeem eisen gaat stellen, er externe npu-s komen. Of dat de npu bij de (ook niet cpu gebonden) gpu bij in komt.

Even ter vergelijk: Er zijn genoeg operating systemen die geen grafische kaart nodig hebben. Het schijnt dat msWindows niet zonder kan.

[Reactie gewijzigd door beerse op 18 juli 2025 14:43]

[sebastienbo]

Ik ben nu al een tijdje bezig met copilot features zoals recall, en ben er redelijk afhankelijk van geworden

[SilentDecode]

Het schijnt dat msWindows niet zonder kan.

Niet dat dat boeiend is als je geen Windows draait.

[iqcgubon]

Exact. "Oh, geen AI meuk. Jammer zeg".

[DukeBox]

Mijn 40tops NPU in mijn laptop heb ik echt nog nooit gebruikt. Ik ben wel eens naar toepassingen op zoek gegaan maar zefs de Intel AI playground suite doet er niets mee en kan eigenlijk alleen maar de ARC iGPU gebruiken naast de CPU.

Er zullen vast apps zijn die er gebruik van kunnen maken maar voordat het mainstream wordt ben waarschijnlijk ik al 2 generaties verder en is een NPU met 48 tops ook niet meer voldoende.. oftewel, je moet het niet groter maken dan dat het is, eerst maar eens kijken of de refresh het voor gamers weer interessant maakt t.o.v. AMD.

[sebastienbo]

Zet recall eens aan, of Gemma 4n

[Frankyfreeze]

Dit is zeker wel belangrijk voor zakelijke klanten, als ze copilot+ willen draaien is Intel dus geen optie.

En vergis je niet veel bedrijven gaan dit gebruiken want zelf het AI wiel uitvinden is niet voor iedereen weggelegd en MS levert een mooi simpel pakketje met een leuke korting volledig geïntegreerd in office.

wbt gaming: CPU is zo ondergeschikt aan je GPU dat die 3 frames winst door een betere cpu zelden interresanter zijn dan gewoon een betere gpu kopen. Als ja al op een 5090 zit congrats, dan is het natuurlijk wel bijzonder belangrijk dat je op 1080 van 1500 naar 1505 frames p/s gaat ;)

[DukeBox]

Toch merk je dat de PCIe lanes bij de huidige core ultra niet optimaal zijn, als via de CPU 16 PCIe gen 5 lanes zijn toegewezen aan je GPU loopt de rest niet via de on-die en is haal je niet de volledige bandbreedte. Bij direct storage merk je bij hoge resoluties wel degelijk verschil al speelt de CPU zelf daar maar een kleine rol in.

[Mizgala28]

'Nieuwe Intel Core Ultra-cpu's voor desktop kunnen geen Copilot+ draaien'

Nothing of value has been lost (doelend op CoPilot+)

Maar dan ben ik wel naar benieuwd waarom ze deze beslissing maken, genoeg mensen die dit alsnog als een reden zien om Intel te bashen (genoeg AI alternatieven op CoPilot+ hoor).

In algemene zin wel zonde dat het er niet bij zit, ik neem aan dat op CoPilot+ na (die Microsoft met alle liefde pusht) die NPU's voor meer taken handig kunnen zijn.

Vraag is dan of dat op een desktop veel uithaalt tegenover een moderne losse GPU.

[Bossie]

Ik denk dat intel zich liever focussed op features/verbetering die meer toevoegen dan een vinkje voor de copilot/ai marketing hype.

[DLSS]

Eerlijk gezegd vind ik dit prima, zonde van het geld zo’n NPU in mijn ogen. Ik heb liever dat ze de gaming performance weer concurrerend maken. Het zou me niet verbazen als gaming de meest voorkomende performance eisende task is die consumenten gebruiken

[devilkin]

Het niet kunnen draaien van copilot+ lijkt me nu net een voordeel ipv een nadeel...