AMD marketing reageert op Aberdeen rapport

De marketing afdeling van AMD heeft een PDF document gepubliceerd waarin het gebruik van de kloksnelheid als maatstaf voor de performance van pc processors wordt bekritiseerd. Het document is ongetwijfeld een reactie op het rapport van de Aberdeen Group over het QuantiSpeed model rating systeem van AMD. De conclusies van dit rapport waren bepaald niet positief voor AMD en veroorzaakten nogal wat opschudding. Er was kritiek op de argumentatie en verder bleek het onderzoek door Intel gefinancierd te zijn. De essentie van het AMD document, getiteld 'The Truth Behind Processor Performance', concentreert zich rond drie punten:

• Performance kan niet gemeten worden door kloksnelheid alleen
  
• Processor architectuur en kloksnelheid zijn de factoren die de performance bepalen, oftewel processor performance = (hoeveel gedane arbeid per klokcyclus) x (kloksnelheid)
  
• Objectieve door de industrie gestandaardiseerde performance benchmarks zijn de enige manier om processor performance accuraat te meten

Om te bewijzen dat kloksnelheid niet gelijk staat aan performance worden de SPECfp2000 prestaties van een 1,8GHz Pentium 4 en een 800MHz Itanium tegen elkaar afgewogen. De Itanium presteert ondanks zijn lagere kloksnelheid beter dan de Pentium 4. De marketingbunnies zijn verstandig genoeg om niet de Athlon XP als vergelijkingsmateriaal te gebruiken. De Pentium 4 heeft dankzij SSE2 optimalisaties een veel betere (absolute) SPECfp performance dan de Athlon XP. Het document is doorspekt met bekende misleidende trucjes uit de wetenschap van de statistiek, zoals het gebruik van grafieken met een schaal die niet op het nulpunt begint.

Het probleem waar AMD op dit moment mee kampt is niet onbekend voor Intel. In het verleden gebruikte het bedrijf de zelf samengestelde iCOMP index om de consument bekend te maken met het verschil in prestaties tussen de opeenvolgende processorgeneraties. De iCOMP index was een combinatie van een aantal onafhankelijke benchmark suites. Op deze pagina vind je een tabel met iCOMP resultaten van bijna alle Intel processors, beginnend bij de 386SX-16 en eindigend bij de Pentium III 1000.

Reacties (22)

[Verwijderd]

"De Pentium 4 heeft dankzij SSE2 optimalisaties een veel betere (absolute) SPECfp performance dan de Athlon XP"

Voor SPEC zijn geen SSE2 optimalisaties gebruikt. Intel schat dat SSE de score een procentje of 5 verder zouden doen stijgen. De P4 is gewoon veel beter in SPEC dan de AThlon. Als moderne applicaties ook gecompileerd zouden zijn met moderne compilers (bijvoorbeeld de intel-compilers of VC6-compilers in plaats van VC5), dan zou de P4 het veel beter dan dan nu. De Athlon maakt dan ook wel winst, maar duidelijk minder. Vaak zou alleen maar het aanzetten van optimalisaties voor moderne processsoren (vanaf P3) al enorm helpen!

Bij SPEC-inzendingen krijgt de inzender niet een benchmark, maar de sourcecode van een benchmark. Hij mag daar zelf een compiler overheen gooien om de benchmark te optimaliseren voor de processor. Hij mag alleen niet aan de source-code knutselen.

[Verwijderd]

En dit geeft geen vertekenend beeld?

Toen intel de Pentium IV introduceerden wisten ze al dat de grote performance zou gaan zitten in het compilen van programma's met optimalisaties. Dit betekend concreet dat alle ontwikkelaars van programma's voor deze architectuur een compiler moeten aanschaffen die de code optimaliseren met gebruik van SSE2 instructies.

Echter ten tijde van introductie waren er nog nauwelijks compilers die dit supporten. En zelfs nu is het maar een handje vol (gokje). Maar dit betekend wel dat omdat intel graag ziet dat programma code is geoptimaliseerd voor de Pentium IV, dat de hele wereld van software ontwikkelaars plotseling een nieuwe compiler moet gaan aanschaffen. Aangezien er geen discount is hiervoor kost zo'n compiler gewoon veel geld. Kortom het is niet iets wat elk klein software ontwikkelings bedrijfje zo even snel zal doen. En dus is vrij veel software gewoon nog niet geoptimaliseerd. En dus geeft een dergelijke benchmark ook schijnresultaten want de performance is helemaal niet constant voor de Pentium IV; alleen als toevallig al je applicaties geoptimaliseerd zijn.

Kortom wishful thinking over performance die de Pentium IV zou hebben als nu alles geoptimaliseerd zou zijn is hier denk ik niet op zijn plaats. Benchmarks horen een representatief resultaat te leveren voor de werkelijkheid (dat is dus nu) en niet ergens voor de toekomst, wanneer het gras toch veel groener is.

[RobT]

Uit je laatste zin maak ik op dat als Intel een compiler gebruikt die SSE2 aware is, die instructies dan gebruikt kunnen worden.

Kijk naar benchmarks van programma's die hevig van fp-operaties afhangen, maar niet gehercompileerd zijn voor de P4, en je ziet dat de Athlon het er beter afbrengt, als je de XP xxxx vergelijkt met een P4 op xxxxMHz. (Dus nog veel beter kwa IPC...)

Mag ik dan niet concluderen dat voor SPEC-FP Intel voor de P4 gebruikt maakt van code die voor de P4 gecompileerd is?

Overigens, niet dat het oneerlijk zou zijn, de P4 heeft nou eenmaal een erg goede performance als je SSE2 gebruikt, en de XP heeft die instructies nou eenmaal niet...

[Verwijderd]

Ik moet AMD hierin toch gelijk geven,
valt er op het QuantiSpeed model rating systeem het een en ander aan te merken, het gebruik van de kloksnelheid als maatstaf voor de performance van pc processors geeft al helemaal een scheef beeld.

Vanuit het standpunt van de doorsnee consument bekeken is AMD's model rating prima.
Beide partijen zouden ipv op deze manier te bekvechten de centen beter in de ontwikkeling van een standaard kunnen stoppen.

[apa]

Beide partijen zouden ipv op deze manier te bekvechten de centen beter in de ontwikkeling van een standaard kunnen stoppen.

AMD heeft eerder reeds gezegd dat ze hun huidige P-rating niet goed genoeg vinden. Voor AMD is het een noodzakelijke tussenstap naar een industrie-standaard om de performance te meten. De P-rating is, volgens AMD, noodzakelijk omdat de concurrentie de gebruikers misleidt door in te spelen op het geloof dat de frequentie ook de performance weerspiegelt.

Persoonlijk vraag ik mij al lang af waarom niet terug wordt overgeschakeld naar de MIPS (Million Instructions Per Second). Deze combineert zowel IPC als frequentie en zou een veel duidelijker beeld moeten kunnen geven lijkt me...

[Ortep]

Persoonlijk vraag ik mij al lang af waarom niet terug wordt overgeschakeld naar de MIPS (Million Instructions Per Second).

Omdat je dat niet kan. Het hangt ook af van wat je met die instructies kan doen. Het kan wel zo zijn dat de ene processor 50% instructies per seconde meer kan doen dan de andere. Maar als hij 60% meer instructies nodig heeft om een bepaalde taak uit te voeren, schiet je er niet echt mee op

[Cookie]

De P-rating is, volgens AMD, noodzakelijk omdat de concurrentie de gebruikers misleidt door in te spelen op het geloof dat de frequentie ook de performance weerspiegelt.

Aan dat geloof heeft AMD zelf een grote bijdrage geleverd, door alsmaar te hameren in hun PR en reclame op de hoge kloksnelheden van hun cpu's.

[Beaves]

het gebruik van de kloksnelheid als maatstaf voor de performance van pc processors geeft al helemaal een scheef beeld.

Totdat de P4 kwam gaf een vergelijk van het aantal MHz'en helemaal geen krom beeld, want de P3 en de Athlon waren toen aardig aan elkaar gewaagd als het op IPC aankwam.

Pas met de komst van de P4 is het niet meer mogelijk, want dat is de eerste CPU die een mindere IPC heeft dan zijn voorganger.

Daardoor moest AMD wel met iets komen om de consument duidelijk te maken dat de Athlon's ondanks de veel lagere kloksnelheid, niet langzamer zijn.

Beide partijen zouden ipv op deze manier te bekvechten de centen beter in de ontwikkeling van een standaard kunnen stoppen.

Intel zou wel gek zijn om daaraan mee te werken, want ze hebben de P4 juist zo ontwikkeld dat die hoog schaald, maar een wat lagere IPC heeft. En aangezien de gemiddelde consument naar het aantal MHz'en kijkt, heeft Intel een voordeel. Dat voordeel zouden ze kwijt raken als ze een benchmark samen met AMD zouden ontwikkelen, want dan ziet de consument ineens dat de XP, ondanks de lagere snelheid, helemaal niet langzamer hoeft te zijn.

Intel gaat daar dus niet aan mee werken denk ik.

[Femme]

Totdat de P4 kwam gaf een vergelijk van het aantal MHz'en helemaal geen krom beeld, want de P3 en de Athlon waren toen aardig aan elkaar gewaagd als het op IPC aankwam.

Intel is het verschijnsel natuurlijk al veel vaker tegengekomen bij de overgang van de 8088/86 naar de 286, 286 naar de 386, verschil tussen 386SX en 386DX / PII en Celeron enz. Omdat de nieuwe processors meestal ook een hogere kloksnelheid hadden, was het marketing probleem voor Intel niet zo groot. Voor de consument was het vanzelfsprekend dat meer kloksnelheid gelijk stond aan meer performance.

[Semyon]

Op deze pagina vind je een tabel met iCOMP resultaten van bijna alle Intel processors, beginnend bij de 386SX-16 en eindigend bij de Pentium III 1000.

Waarom doet intel deze iCOMP test maar tot de Pentium III? Omdat ze met de Pentium IV nu voorlopen qua kloksnelheid en graag nu wel willen dat de mensen daar naar kijken? Of ben ik te achterdochtig en is intel er gewoon nog niet "aan toe" gekomen?

[Freakertje]

Ik krijg nou plotseling een heel goed idee voor een goede benchmark. We assimileren een tiental van die chippies voor de DPC en zetten er een koetje op, die laten we een jaartje 24/7 draaien en dan zien we wel welke proc de beste output heeft! MOOOH!

[Verwijderd]

Dit test alleen de integer performance van programma's die binnen de cache passen. Is nauwelijks een goede benchmark, tenzij je alleen in geinteresseerd bent.

[Skull_One]

En daarmee snij je dan de kern van het probleem aan. Door de verschillende architecturen en dus ook verschillende sterke en zwakke punten van een CPU bestaat er dus geen 'beste'. Ter vergelijking; een formule-1 auto is heel snel, maar als je bijvoorbeeld cross-country wilt rijden lijkt me een terreinauto een heel wat betere keus. Dat is in principe ook het geval bij CPU's, de ene presteerd beter in de ene app dan de andere en vice-versa. De kritiek over SSE2 optimalisaties zou eigenlijk niet moeten boeien want sneller is sneller, en de manier waarop lijkt me voor de normale gebruiker vreselijk oninteressant. Al zou een P4 5GHz moeten draaien om 10% 'sneller' te moeten zijn dan een AMD XP dan mag dat in principe niet uitmaken. Uiteindelijk gaat het er om dat hij voor een bepaalde (voor jou belangrijke) applicatie sneller is. Het blijft natuurlijk een probleem om dit aan de leek duidelijk te maken...

[Se7enth_son]

Ik weet dat het overbodig is, maar toch moet ik het even kwijt: Scull_one slaat de spijker op z'n kop. Dit is precies waar het tegenwoordig om gaat...

[Verwijderd]

Ik zie dat wel zitten hoor van die onafhankelijke tests die precies vertellen hoe wat zit en zonder marketing trukjes. Of AMD en Intel daar nou echt op zitten te wachten is een 2e.

Dat scheelt in ieder geval weer heel wat flamewars op t.net.

[boesOne]

Dat scheelt in ieder geval weer heel wat flamewars op t.net.

en niet alleen op t.net.. ook op de rest van de compu-nieuws sites.. Maar ik zie het niet zo snel gebeuren. INTeL en AMD zullen blijven proberen de snelheid van hun cpu's uit te drukken in 1 getal.. en dat kan niet met de huidige truukjes en extraatjes die ze in hun procjes stoppen. Je kan wel een hele trits benches gaan draaien en dan een gewogen gemiddelde nemen, maar dan krijg je bonje over de gewichten en de manier waarop de benches geprogammeerd zijn.
Misschien zou je een bench moeten maken die jouw pjoeter gedrag een tijdje observeert en aan de hand daarvan gewichten toekent aan de sub-benchmarks. als je veel gamed dan krijgt fps in Quake3 meer gewicht, fpu performance voor als je vaak DVD's ript. Zo krijg je een individuele bench die voor jou hout snijdt. De benchmark fabrikant moet dan wel alle mogelijke verdelingen van gewichten gedraaid hebben en in een database hebben zitten..

[e] typo's [/e]

[Se7enth_son]

Zou het een idee zijn om een processor uit te drukken in meer dan één getal? Bijv een Pentuim4 120/180 waarbij de getallen op verschillende onderdelen/berekeningen van de CPU slaan (MIPS/FLOPS ofzo)? Natuurlijk moet je niet teveel getallen nemen, maar 2 of drie moet toch te doen zijn?

Dus zoiets:
Pentuim4 120/180 E499,-
Pentium4 130/200 E599,-
Athlon XP 160/130 E429,-

't is maar een idee om mensen van het idee af te krijgen dat een CPU van één getal af MOET hangen. Het moet gewoon anders kunnen denk ik...

[Atmosphere]

Helaas blijft er ook dan nog voldoen ruimte voor fabrikanten om hun processor er gunstiger uit te laten komen. MIPS en FLOPS zijn eingenlijk ook maar nietszeggende termen want in de meeste berekeningen worden slechts simpele (uitgesplitst/ontleed) of uiterst complexe berekeningen uitgevoerd.

Hier is de ene architectuur beter in maar in real-life zegt dat hogere getal niet veel, misschien dat je toch nog langer moet wachten op andere onderdelen ...
CPU is niet alleen maar rekenen, het is de toegang tot de compelete PC, en er zal dus een alternatieve benchmark moeten gemaakt worden ...

(liefst niet gesponsord door Intel of AMD .. mag natuurlijk wel, .. heren bijdrages )

[Verwijderd]

Rapporten die CPU's vergelijken die gefinancieerd zijn door een fabrikant zijn natuurlijk altijd lichtelijk overdreven en gebiassed richting de sponsor. Zowel het Aberdeen rapport (gesponsort door Intel) als dit verhaal an AMD zijn hierdoor erg speculatief. De waarheid zit ongeveer in het midden. Wel typerend dat AMD als 1 van hun conclusies heeft:

Objectieve door de industrie gestandaardiseerde performance benchmarks zijn de enige manier om processor performance accuraat te meten

terwijl ze zelf ooit met de iCOMP standaard zijn gekomen die duidelijk gemaakt was om hun eigen platform te promoten. Let wel, ik zeg niet dat de standaard compleet waardeloos is, maar de test is wel zodanig in elkaar gezet dat AMD CPUs er heel goed vanaf komen, dit in tegenstelling tot Intel.

[Verwijderd]

Kind

[shades]

ben inderdaad benieuwd hoe oud hij is....