Benchmarks AMD Ryzen AI Max Pro 385 lekken uit, 10 procent trager dan Pro 390

Er zijn Geekbench-resultaten van de AMD Ryzen AI Max Pro 385 opgedoken. De Strix Halo-apu heeft acht rekenkernen, zestien threads en haalt een singlecorescore van minstens 2489 punten. De multicorescore ligt op minstens 14.136 punten.

Techwebsite VideoCardz merkt op dat de apu in een HP ZBook Ultra G1a-laptop werd getest. De testers maakten gebruik van de HP Optimized-energiemodus. Het valt uit de resultaten niet af te leiden in welke mate deze instellingen de prestaties van de apu hebben beïnvloed.

In de Geekbench-databank zijn ook testresultaten van de AMD Ryzen AI Max Pro 390 terug te vinden, in combinatie met een HP ZBook Ultra Mini G1a-workstation. Deze apu haalt in de singlecoretest 2759 punten. De multicorescore ligt dan weer op 15.779 punten. Dat wil zeggen dat de Pro 385 ongeveer tien procent minder hoog scoort in beide tests dan de Pro 390.

AMD heeft de Ryzen AI Max Pro 385 begin 2025 geïntroduceerd. De basiskloksnelheid van de acht Zen5-rekenkernen ligt op 3,60GHz. De boostclockfrequentie ligt dan weer op 5.0 GHz. De Zen5-apu beschikt over een geïntegreerde Radeon 8050S-gpu met 32CU’s. AMD heeft de apu ook met een npu uitgerust die 50Tops aan rekenkracht heeft.

Reacties (21)

[NoTechSupport]

Zijn er op Windows volledig lokale modellen die een NPU met 50 tops kunnen gebruiken, buiten via CoPilot? Ik gebruik AI regelmatig, maar heb wel interesse om iets lokaal te draaien zodat ik grote techbedrijven niet op de hoogte moet houden van alles wat ik me afvraag 😃.

[Reactie gewijzigd door NoTechSupport op 1 juni 2025 13:49]

[Darkstriker]

Je kunt altijd een oudere GPU met wat meer geheugen kopen en daarop modellen draaien. Denk bijvoorbeeld aan een Tesla P40 met 24GB die je voor een klein bedrag (relatief dan) tweedehands kunt krijgen.

Bij mijn weten maakt praktisch nog niks gebruik van die NPUs die de fabrikanten met alle macht door onze strot proberen te rammen. Je moet ook bedenken dat LLMs naast veel geheugen ook snel geheugen willen. En hoewel DDR5 natuurlijk wel snel is voor werkgeheugen, is het wel mijlver van al de geheugenbandbreedte van GPUs verwijdert. Bij Strix Halo is dat dankzijn quad-channel DDR5 iets beter. Maar met grofweg 200GB/s is dat geheugen nog altijd veel langzamer dan moderne GPUs als een 5090 met 1800GB/s (oftewel bijna 10x sneller). Zelfs die P40 hierboven (nb uit 2016) komt met 345GB/s nog steeds op een flink grotere bandbreedte dan Strix Halo.

Ik run thuis Microsoft's Phi 4 Reasoning Plus op mijn RTX 3090 (nog altijd bijna 1TB/s aan geheugenbandbreedte) en complexere vragen hebben al gauw een minuut nodig.

[Reactie gewijzigd door Darkstriker op 1 juni 2025 14:32]

[Emielio]

NPU's worden op dit moment nog maar beperkt ondersteund door lokale LLM programa's. Dus ik zou, als het over dit moment gaat, vooral naar de GPU power kijken in combinatie met de hoeveelheid RAM.

Voor flinke desktop's zou je naar videokaarten kunnen kijken zoals @Darkstriker voorstelt. Die hebben veel GPU power en een grote geheugen bandbreedte. Maar ze zijn wel beperkt in llm grootte, omdat die videkaarten allemaal (relatief) weinig geheugen hebben. Als je richting minicomputers en laptops kijkt, is de Strix Halo-apu absoluut een fantastische optie, vooral de 395 versie die de sterkste iGPU ooit heeft. Het komt qua GPU power, en zeker ook geheugen bandbreedte niet in de buurt van de laatste Nvidia kaarten, maar maakt dit weer goed in hoeveelheid geheugen die het kan gebruiken. (tot 128GiB ram, waarbij tot 96GiB voor GPU)

Je moet het zo zien: AMD Ryzen™ AI Max+ PRO 395 kan ontzettend grote modellen langzamer draaien. Een Nvidia kaart kan bescheidenere-grootte modellen retesnel draaien.

Dan komt de vraag wat use use-case is. Ik weet dat best veel coders nut hebben bij een klein model. Want zelfs kleinere modellen schijnen best goed te kunnen helpen met coden. In mijn persoonlijke use-case is Nederlandse taalvaardigheid best belangrijk, en dan is een klein model vaak nutteloos. Dus ik prefereer een zo sterk mogelijke iGPU met een zoveel ram als mogelijk. (Ik heb nu een Mac Mini M4 Pro 64GiB, en heb een Framework Desktop besteld met AI Max+ PRO 395 en 128GiB RAM ter vervanging.)

Even ter illustratie qua snelheid:
Ik haal nu op de Mac mini met modellen van rond tussen de 32b en 64b snelheden van 5 tot 15 tokens per seconden.

Iemand met een sterke Nvidia kaart, zal veel hogere snelheden (tientallen tokens) halen maar is beperkt in modelgrootte. Je moet dan vooral naar het RAM op je kaart kijken. Het aantal parameters kan iets groter zijn dan de hoeveelheid Vram. Dus 32b draait nog wel op 24GiB.

Nog even terug komend op de NPU. Ik heb een laptop met Qualcomm APU, waarbij het mij nog niet gelukt is om een LLM op de NPU te draaien. Daar draait ie dus nog op de CPU (iGPU is waardeloos in dat ding), en dat is retetraag.

[sebastienbo]

De blackwell pc's komen uit deze maand. Wacht hier even op. Beter voor LLM's dan de geforce kaarten.Want nvram is belangrijker dan de tops

[Reactie gewijzigd door sebastienbo op 2 juni 2025 13:00]

[SkyStreaker]

En hier is een leuke benchmark review van de AI 395 voor mensen met interesse hiervoor

[joco]

Deze in zo'n klein mogelijke 17 of 18 inch laptop, met een goed scherm, met alleen deze soc en geen dedicated gpu en ik koop hem

[TrafalgarLaw]

Ik hoop dat de Strix Halo in meerdere producten gaan verschijnen want Intel is troep tegenwoordig (zie 13000 en 14000 CPU's die spontaan kapot gaan).

[kujinshi]

Intel is al tijden gefixed via BIOS update, ze gaan niet meer stuk.

[TrafalgarLaw]

Patches voor [Intel] CPUs die al redelijk slechte performance tov. AMD's midrange hebben, nóg verder handicappen? Ja daar zit de gemiddelde tech-enthousiast op te wachten, op slechtere performance tegen duurdere prijzen om ze vervolgens op een langzamer tempo te laten degraden. Gaat van een levenspanne van een jaar naar misschien 2 jaar. Whoopdedoo.

[Reactie gewijzigd door TrafalgarLaw op 1 juni 2025 21:49]

[kujinshi]

Midrange van Intel is prima toch, een 13600K en 14600K zijn supersnel met alles, en gaan door de meerdere cores AMD makkelijk voorbij.

review: AMD Ryzen 5 9600X en Ryzen 7 9700X - Zen 5 in desktops

Tevens hebben de 13600K en 14600K vrijwel geen last van die degradatie omdat dat vooral bovenkwam bij voltages boven 1.40v en 6ghz. Dat halen deze processors nooit.

Ik denk dat je wat spookverhalen door blijft laten jammeren. Up to date blijven met nieuws is wel belangrijk.

[Alxndr]

" een geïntegreerde Radeon 8050S-gpu met 32CU’s."

... wat ik me afvraag, is er ook iets te zeggen over het aantal monitoren wat met een iGPU aangestuurd kan worden, of ligt dat puur aan het moederboard waar je 'm op prikt?

Ik ben op zoek naar een mini-PC voor mijn nieuwe kantoor setup, maar die moet wel 3 schermen aankunnen.

[Emielio]

Bij framework zie ik dat hij tot 4 monitoren ondersteund: https://frame.work/nl/en/desktop?tab=specs

[Alxndr]

Top thanks. Ik had compleet gemist dat Framework desktops heeft/gaat hebben. Helaas wel weer veel te duur € 1620 (de goedkoopste configuratie) daar bouw ik een complete game PC voor.

[Emielio]

Het is maar net hoe je het bekijkt. Ik heb er 1 besteld van 2360 euro, en als ik even grote LLM's lokaal zou willen draaien op dedicated videkaarten, ben ik minstens 10.000 euro aan videkaarten kwijt. Dus dan is het weer best goedkoop. De iGPU die hier in zit krijgt 96 GiB vram.

[Alxndr]

Ga je hier een LLM op draaien, welke en waarvoor dan?

Ik bedoel, 96 GiB geheugen klinkt leuk, maar is DDR5 niet ongeveer 20x zo langzaam als GDDR7? En qua rekenkracht doet een RTX5090 volgens mij ook meer dan 50x zoveel als de 50 TOPS van deze NPU?

Anyway, wat ik voor werk nodig heb zijn drie schermen vol met Google docs en wat andere tabs. Meer dan 32 GiB (waarvan 4 of 8 voor de iGPU) heb ik niet nodig de komende 5 jaar

[Emielio]

Ik wil zoveel mogelijk ruimte hebben voor de wat grotere LLM's. (Die draai ik nu ook op een MAC Mini M4 Pro met 64GiB) Ik heb geleerd dat voor de use-cases die ik heb, de grootte van een LLM veel uit maakt. Dus ik heb liever een groot LLM dat op 10t/s draait, dan een ontzettend snelle LLM die uitput heeft die in mijn use-case weinig nut heeft.

Je hebt gelijk dat de geheugenbandbreedte het vooral een stuk langzamer maakt dan de Nvidia kaarten. Maar wat je zegt over de NPU is niet zo relevant, omdat LLM's nog niet op NPU's draaien, maar vooral op de GPU, en daar is de Al Max+ 395 ongeveer zo snel als een GeForce RTX 5060. En straks als de NPU ondersteund wordt komt die er ook nog bij.

Je hebt dus gelijk dat het echt niet zo vlot gaat draaien als een dedicated videokaart, maar ik heb wel nuttigere output. En 10t/s is best oké te doen. Ik stap over van de Mac mini naar de framework omdat ik Marcos best vindt tegenvallen.

[tedades]

Dat is goed nieuws. Hopelijk hebben dit soort laptops geen premium prijs dan de snellere PRO variant.

[base_]

Het dit nou een desktop of laptop cpu?? Volgens amd kan allebei.

HP ZBook Ultra G1a-laptop werd getest, ...

Je kan toch niet dezelfde prestaties verwachten in een laptop? Natuurlijk komen ze in de buurt, maar er een keihard percentage aan hangen vind ik wat vreemd.

[Emielio]

Van de 395 is bekend dat die in een laptop ongeveer de helft mag verbruiken als in de desktop. Prestaties schalen helaas niet lineair met het vermogen, maar met +- 60W vs 120W, zal het prestatie verschil niet misselijk zijn.

[Orky Rulez]

Heb je daar een bron voor?

Deze chips zijn net ontworpen voor mobiel gebruik, ik zie geen reden waarom deze zich daar niet in thuis zou voelen. Er zijn genoeg laptops die 300W trekken.

[Emielio]

Ik denk dat ik wellicht voorbarig was met het woord "mag".
Ik baseerde me o.a. op berichten zoals deze: review: ASUS ROG Flow Z13 - Een 'Surface Pro' waar je op kunt gamen

Hier verbruikt hij wel maar max. de helft van zijn totale 120W. Maar je hebt gelijk, als er een fabrikant komt met een andere laptop, met zwaardere koeling, zou het best kunnen dat hij wel tot 120W gaat.

Ik zie trouwens ook dat hij in de HP ZBook Ultra 14 op 75W is gezet.