Intel vraagt hulp bij ontwikkeling multithreadbenchmarks

Justin Rattner, Chief Technology Officer bij Intel, heeft tijdens de Hot Chips-conferentie bedrijven, universiteiten en andere organisaties opgeroepen om een goede benchmarkset te ontwikkelen die gebruikt kan worden om de performance van multicorechips te meten. Volgens Intel is dit nodig omdat de huidige benchmarks onvoldoende overeenkomen met de workloads 'van morgen'. Rattner geeft snel toe dat het niet mogelijk is om exact na te gaan welke applicaties voor welke doeleinden gebruikt zullen worden over vijf of tien jaar. Daarom meent hij dat er geïnvesteerd moet worden in onderzoek naar welke applicaties in de toekomst gebruikt zullen worden en naar de mogelijkheid om daar een representatieve benchmark voor te ontwikkelen, iets waar Intel zelf al mee is begonnen.

Die suite bestaat uit applicaties voor high performance computing en verschillende business- en consumentensoftware. Verder omvat de testsuite enkele 'futuristische' programma's, zoals software die gebruikt kan worden voor complexe berekeningen op het gebied van bio-informatica, een programma dat high-end grafische beelden rendert, en een applicatie die complexe financiële data analyseert. Intel kan deze applicaties echter niet allemaal afstaan aan het grote publiek, onder meer omdat er intellectueel eigendom van andere bedrijven in is verwerkt. In plaats daarvan heeft het bedrijf er twee beschikbaar gesteld en hoopt Intel dat andere bedrijven en organisaties de publieke benchmarksuite verder gaan uitwerken. Enkele universiteiten hebben al aangegeven mee te zullen werken.

Reacties (32)

[Kain_niaK]

Ik vroeg mij al af of er wel genoeg aandacht word besteed aan het tweaken van software in plaats van altijd snellere hardware met nieuwe technologie zonder dat de software mee is. Behalve in 3D games, daar gaat het eerder anders om. Nieuwe 3D technologie in games loopt redelijk gelijk met de ontwikkeling van de hardware ervoor. .
64bit, multicore en hyperthreating is leuk maar kan veel betere performance geven als de software ook mee is.
Het zou leuk zijn als AMD ook met zoiets begint en als het verschil tussen Intel en AMD niet te groot word. Anders moeter er steeds verschillende software versies ontwikkeld worden.
Offtopic:
Ook hoop ik dat als Vista eenmaal XP heeft vervangen dat Vista niet onnodig system resources gebruikt. Hoe lager de systeem eisen van een besturingsysteem hoe beter IMHO. Het verschil tussen XP 64bit en somige linux distru's in performance is toch opvallend soms.

[LosserNL]

Ik vind dat je jezelf tegen spreekt. Je wilt hardware die veel meer aan kan, maar software die die kracht gebruikt moet zo simpel mogelijk in elkaar zitten en zo min mogelijk verbruiken?

Ik denk dat Vista prima aansluit met de systemen die bij de introductie in de winkel te krijgen zijn. Wat heb je aan al die GB's geheugen, 512MB GPU's en dual/quad cores als ze niet gebruikt worden?

[BikkelZ]

Er is niets prettiger dan een systeem wat je een 'real-time' gevoel geeft als je het gebruikt. Het vreemde is dat je dat onder de GUI van een Amiga meer hebt dan onder Windows XP op dit moment. Deels heeft dit te maken met ingebouwde vertragingen (met diverse tweakproggies wel aan te passen) om notoire misklikkers nog enigszins de kans te geven om binnen vijf minuten van start->programma's te gaan, maar vaak is er ook een merkbare delay bij muiskliks.

Ik zit persoonlijk niet te wachten op de dingen die Microsoft na ik denk zo rond Windows 2000, Windows 98 aan de GUI heeft toegevoegd. Het maakt me niet sneller, terwijl ik wel steeds snellere hardware koop. Ik wil dat 10GHz als 10GHz voelt bij alledaagse taken die ik tien jaar geleden ook al deed op 100MHz, niet een klein tandje sneller.

[Verwijderd]

Ik geef je niet 100% ongelijk in de GUI van windows. Je hebt er veel te weinig controle over. In linux kan je bv heel wat handige panels toevoegen aan je taskbar, bv data traffic, CPU load, ... In meerdere desktops tegelijk kunnen werken is ook enorm handig.

Maar ik betwijfel dat een snellere processor je GUI zoveel sneller zal maken. Momenteel zit de bottleneck in de harddisks. Je kan de reactiesnelheid van GUI en programmas *drastisch* verhogen door je huidige harde schijven te vervangen door bv 1GB/s (flash/m-ram) harddisks. Je pc zal vliegen, start plots op op een paar seconden en idem dito met afsluiten. En dat met de bestaande hardware.

[_WgV_]

Meerdere desktops tegelijk kan windows ook prima met behulp van een Powertoy:

Virtual Desktop Manager

Manage up to four desktops from the Windows taskbar with this PowerToy.

Linkje: http://download.microsoft.../DeskmanPowertoySetup.exe

[Verwijderd]

Werkt (nog) niet onder winxp x64. De meeste powertoys zijn nog steeds voor de 32 bit versie.

Ik vind dat microsoft wel de moeite mocht doen om deze standaard te integreren in windows.

[Verwijderd]

De harddisk is alleen een bottle-neck bij het laden van een programma of als het programma veel data van/naar de harde schijf leest/schrijft.
Bij een menu openen wordt het menu niet nog van de harde schijf gevist, die staat al in het geheugen.

[Kain_niaK]

Ja, daar heb je wel een punt. Maar ik hou graag nog wat computerpower extra over. Wat ik bedoel is dat je bv bij een game als Far Cry twee versies hebt. Een 64 bit en een 32 bit. En zo zijn er veel technologien die alleen te gebruiken zijn als het word geprogrammeerd. Lijkt me lastig als software ontwikkelaar om me daar allemaal mee bezig te houden naast een degelijk programma te schrijven. Net zoals er Direct X is zouden ze zoiets moeten ontwikkelingen voor de cpu. Verbeter me maar als ik iets verkeerd zeg, ik ben niet zo'n specialist

[Kama]

Net zoals er Direct X is zouden ze zoiets moeten ontwikkelingen voor de cpu.

Je bedoelt een operating system?

[Kain_niaK]

Nee, ik bedoel dat ze een API moeten schrijven voor SSE
en SSE2 en 3Dnow bij amd en zo. Een deel zit volgens mij al in DX maar nog niet alles. Hypertreathing moet toch applicatie per applicatie worden ondersteund?

[KompjoeFriek]

Voor ondersteuning van SSE/2/3 (en andere instructie sets) moet je toch echt de compiler aankijken voor ondersteuning.
En wat Hyperthreading betreft, dat "ondersteund" je applicatie al als het meerdere processen gebruikt.

De ondersteuning is er dus vollop!

[masteriiz]

Hierin maak je een beetje een denkfout. Vroegah waren cpu cycles, bits opslag en geheugen heel erg duur en daarom werd er heel veel tijd aan het tweaken en optimaliseren van software besteed. Nu CPU kracht echter ruimschoots aanwezig is besteden we die ontwikkeltijd liever aan het bedenken van meer features, vooral omdat de grootste kosten nu in de uurlonen van ontwikkelaars gaan zitten. Daarom werken we met gemakkelijke suites om software te maken, in plaats van bijvoorbeeld met assembler. Dit betekend weliswaar dat er nogal slordig omgesprongen wordt met systeembronnen maar levert jou wel software met veel meer features dan je ooit nodig zult hebben voor een schappelijke prijs.

[Galactic]

"Dit betekend weliswaar dat er nogal slordig omgesprongen wordt met systeembronnen maar levert jou wel software met veel meer features dan je ooit nodig zult hebben voor een schappelijke prijs."

Hier sla je de spijker op zijn kop. Features die je nooit nodig zal hebben, en die het dus allemaal maar ingewikkelder maken om het programma gewoon te gebruiken waar het in de 1ste plaats voor moet dienen.

Aan die snelheid kan je echter wel iets merken. Ik zou liever hebben dat acrobat er 2 seconden over deed om op te starten dan 15 seconden hoor om maar een voorbeeld te geven.

[Zanthr]

Daarom heb ik bij oldversion.com een oude acrobat gedownload die in 2 seconden opstart

[Verwijderd]

features die je nooit nodig zal hebben

Dat wordt altijd heel makkelijk gezegd. Maar als ik bijvoorbeeld eens naar een tekstverwerker als Word of Wordperfect ga kijken, dan heb ik wel degelijk bijna alle features die erin zitten gebruikt.

Idem voor Photoshop e.d. (nouja, misschien niet alle filters, maar die kosten dan ook nauwelijks programmeer werk).

[motormuis]

Qua software is er genoeg te tweaken. Waarom worden programma's steeds zwaarder? Waarom verbruikt een nieuwe office meer resources dan de oude versie? Hetzelfde geldt voor de OS.
Software optimalisatie kost tijd en dus geld. Met de huidige krachtpatsers is er rekenkracht en geheugen voldoende.
Ik doe nu effectief hetzelfde als 5 jaar geleden op mijn AMD 350 Mhz en dat zal voor de meesten gelden (gamers daargelaten). Ondanks mijn veel snellere PC is de snelheidswinst voor de dingen die ik doe beperkt.
CPU's worden steeds sneller en programmeurs steeds luier zo lijkt het.

[mjtdevries]

Qua software is er genoeg te tweaken. Waarom worden programma's steeds zwaarder?

Omdat ze steeds meer features hebben

Waarom verbruikt een nieuwe office meer resources dan de oude versie? Hetzelfde geldt voor de OS.

omdat het veel meer kan dan de oude versie.

Software optimalisatie kost tijd en dus geld.

Office XP is echt niet beter geoptimaliseerd dan Office2003. Maar Bv outlook gebruikt nu cached mode, zodat gebruikers geen last meer hebben van brakke netwerkverbindingen.
Word heeft een mooie integratie met Sharepoint etc etc.

Met de huidige krachtpatsers is er rekenkracht en geheugen voldoende.
Ik doe nu effectief hetzelfde als 5 jaar geleden op mijn AMD 350 Mhz en dat zal voor de meesten gelden

Dat kon je wel eens vies tegenvallen als je weer op diezelfde AMD gaat zitten werken met die oude software.
Dan merk je ineens dat je best wel veel gebruik maakt van allerhande kleine features die je toen niet had.
Maar je raakt er zo snel aan gewend dat je je niet realiseert dat ze niet zo vanzelfsprekend zijn.

[Kain_niaK]

Ik ben nog niet zo lang bezig met linux. Maar ik vind het zalig om te werken met een stabiele oudere versie van Gentoo linux op een snelle pc. Ik heb een AMD 2600+ met Gentoo op en het draait zo veel leuker als XP op een AMD 3800 x2. Alles is realtime. Niks blijft hangen. Niks crashed. Nooit blijft een bewerking hangen. Op windows ben ik soms te snel voor het operating system. Commando's worden met vertraging uitgevoerd. Op Gentoo heb ik altijd processor kracht over. Eigenlijk is het belachelijk dat je elke jaar een nieuwe computer moet kopen om bij te blijven. Het zou zo moeten zijn dat de software gewoon elk jaar beter en beter wordt.

[Verwijderd]

Ja leuk he Stond een jaar geleden of zo ook met mijn ogen te knipperen.

En het mooie is dat naast dat je sneller kan werken je het OS met alle progs erom heen ook nog eens sneller kan instaleren.

[mjtdevries]

Goh zeg. Je kan het OS sneller installeren?

Tja, dat doe ik zo eens in de drie jaar. Dus ik kan het niet echt een belangrijk argument vinden.

Maar ik begrijp van je dat dat voor Linux mensen wel een belangrijk punt is?
Waarom...?

[Verwijderd]

Misschien omdat er bij sommige distro's om de paar maanden een nieuwe versie uitkomt?!

[Verwijderd]

Das updaten..
Updaten is iets heel anders dan herinstalleren

[Verwijderd]

off-topic:

Volgens mij is niet bij iedereen de term real-time bekend. Real-time is niks anders dan het binnen een vooraf opgestelde tijd reageren van een programma op een event. Dus, als je bewust een vertraging inbouwd van 10 sec. kan dit nog steeds real-time zijn.

wiki:

In computer science, real-time computing (RTC) is the study of hardware and software systems which are subject to a "real-time constraint" —ie. operational deadlines from event to system response.

[Verwijderd]

Maar voor ons tweakers is het toch helemaal niet erg jaarlijks de pc te vervangen?

[Kain_niaK]

Nee, niet erg maar wel duur
Soms erug duur

[Verwijderd]

Ja, maar je moet wel eerst alles compileren en dat duurt wel ff een stukje langer

ps. ik draai zelf ook gentoo op mijn server

[masteriiz]

Gentoo, alles zelf compileren omdat je toch niets anders te doen hebt Of use flags verkeerd of neit gebruiken? Wist je dat die use flags in 99% helemaal niets doen? Welcome to gentoo is rice. http://funroll-loops.org/

[Verwijderd]

Ik heb een maand of twee geleden een demo gezien van QNX (TOS, real time operating system) op een Core 2 Duo van Intel.
Zij lieten zien dat men dmv van bepaalde algorithms vanuit de RTOS de applicaties kan verdelen over de diverse processoren.
Ik ben zelf geen SW ontwikkelaar maar als ik het artikel hierboven goed interpreteer dan gaat het er inderdaad naar uitzien dat het nu ook een race gaat worden wie er zo rendabel mogelijk gebruik maakt van de multi core.

Je kan dit zowel op verbruik, rekenkracht of een combinatie van beiden doen lijkt me.

[Kain_niaK]

Dat is wat ik bedoel. Een tijdje geleden toen wetenschapper zeiden dat we dicht bij de grens van de kleinste transistors zitten. (en bij hardeschijven kreeg je steeds meer last van het magnetisch effect ofzoiets) Toen kwamen er ook berichten dat software in de toekomst belangrijker word als hardware. Dus dat de race voor de beste hardware gaat vervangen worden door het ontwikkelen van steeds rendabelere software. Natuurlijk hebben we nu weer nieuwe mogelijkheden zoals multicore etc etc en kan de Wet van Moore het nog wel een tijdje volhouden

[truttebak]

Zoals gebruikelijk wordt er nogal afgedwaald van het oorspronkelijke onderwerp.
Vertrouw nooit een benchmark suite die uitgebracht wordt door een belanghebbende partij zoals Intel. Het gros van de beschikbare benchmarks is puur synthetisch en zegt niets over real life performance van een systeem, zijn ook al te vaak geoptimaliseerd voor een bepaald soort CPU.
De nieuwe CPU's van Intel worden her en der de hemel in geprezen (zie bijvoorbeeld de benchmark vergelijkingen op de Intel website, Anandtech etc). Als je die benchmarks goed gaat bekijken, worden er continu appels met peren vergeleken, resultaten worden verdraaid om het eigen product te promoten.
Ik begrijp best dat Intel op zoek is naar multithreadbenchmarks, dat is namelijk een gebied waar ze in het verleden niet zo goed naar voren kwamen, Hyperthreading was met name onder Windows voor veel applicaties een ramp (performance reducties met meer dan 50 %). Het nog steeds brakke ontwerp van de multicore CPU's cq multi CPU systemen in vergelijking met het goed doordachte concept van AMD systemen, zal het voor Intel, ondanks een hogere performance per core, moeilijk maken om zich echt te bewijzen in de HPC wereld waar mulithreaded applicaties veel gangbaarder zijn dan in desktop applicaties. Ook memory latencies blijven voor de nieuwe CPU's hoger dan bij AMD systemen met geintegreerde memory controller, zeker bij geheugenintensieve toepassingen heeft dat een duidelijke invloed op de systeemperformance wanneer meerdere threads of onafhankelijke processen een forse aanspraak doen op geheugen. Snap nog steeds niet dat Intel steeds maar weer cache verder opvoert als een snelheidsverhogende factor, het gros van de hedendaagse software is zo sloppy in elkaar gezet dat je het effect van CPU cache pas echt gaat zien als dat in de orde van 1GB of meer zou zijn.

[Verwijderd]

humor jij beticht Intel ervan dat ze de resultaten van anandtech verdraaien om hun product (core 2 duo) te promoten.

dan beticht ik jou er nu van dat je een verhaaltje typt om AMD te promoten...

Het nog steeds brakke ontwerp van de multicore CPU's cq multi CPU systemen in vergelijking met het goed doordachte concept van AMD systemen, zal het voor Intel, ondanks een hogere performance per core, moeilijk maken om zich echt te bewijzen in de HPC wereld waar mulithreaded applicaties veel gangbaarder zijn dan in desktop applicaties. Ook memory latencies blijven voor de nieuwe CPU's hoger dan bij AMD systemen met geintegreerde memory controller, zeker bij geheugenintensieve toepassingen heeft dat een duidelijke invloed op de systeemperformance wanneer meerdere threads of onafhankelijke processen een forse aanspraak doen op geheugen. Snap nog steeds niet dat Intel steeds maar weer cache verder opvoert als een snelheidsverhogende factor, het gros van de hedendaagse software is zo sloppy in elkaar gezet dat je het effect van CPU cache pas echt gaat zien als dat in de orde van 1GB of meer zou zijn.

leuk hoor die geintegreerde memmory controller en ja ze halen er veel bandtbreedte uit, probleem is ze kunnen het niet benutten, want ze leggen het toch echt af op elke benchmark in REAL LIFE... tuurlijk ik kan ook een benchmark noemen waar AMD eruit springt tests die hangen op bandtbreedte ipv CPU kracht leuk hoor maar het is een CPU als primair doel en daar doet de core 2 duo het gewoon veel beter!

ik daag je uit laat mij 3 nuttige benchmarks zien in het voordeel van AMD en ik geef jou er 12 terug van Intel

ik wens je een fijne wedstrijd

[truttebak]

Dacht dat we het over HPC hadden, daar zie ik de core 2 duo echt niet gebruikt gaan worden. Intel's oplossing (Woodcrest) moet het daar opnemen tegen de AMD Opteron in multi CPU (en multi core) configuraties. Daar blijkt memory bandbreedte wel degelijk belangrijk te zijn (RAM tussen 8 en 64 GB, 64 bits OS). Woodcrest gebruikt fully buffered geheugen, ongeveer 2x zo duur als registered ECC geheugen voor de Opteron en zelfs dan blijf je zitten met veel hogere latencies. Meerdere threads die elk ongeveer 1 GB geheugen vragen verlagen op de Woodcrest de performance per thread met zo'n 50 %, bij de Opteron merk je daar niks van (NB dat was dus een REAL LIFE benchmark).
Wel heel goed van Intel dat ze het energieverbruik van de CPU zover terug hebben weten te brengen (hoewel de energiezuinige uitvoering wel significant duurder is dan de standaard uitvoering), met name voor clusters toch wel erg belangrijk. Daarnaast heeft Intel toch wel een toegevoegde waarde in de vorm van hun compilers, kan echt een groot verschil opleveren in performance (om even duidelijk te maken dat ik geen rabiate fan van AMD ben).