Cookies op Tweakers

Tweakers maakt gebruik van cookies, onder andere om de website te analyseren, het gebruiksgemak te vergroten en advertenties te tonen. Door gebruik te maken van deze website, of door op 'Ga verder' te klikken, geef je toestemming voor het gebruik van cookies. Wil je meer informatie over cookies en hoe ze worden gebruikt, bekijk dan ons cookiebeleid.

Meer informatie

Nederlandse wetenschappers bouwen minisupercomputer van 0,2 petaflops

Door , 75 reacties

Nederlandse onderzoekers van verschillende disciplines hebben de handen ineengeslagen bij de ontwikkeling van een compacte supercomputer die slechts vier 2U-rackservers inneemt, maar een rekenkracht heeft van 0,2 petaflops. Het systeem bevat Power8-chips en Nvidia P100-accelerators.

De wetenschappers hebben het systeem Little Green Machine II genoemd en stellen het beschikbaar voor onderzoekers in de oceanografie, informatica, kunstmatige intelligentie, algoritmiek, financiële modellering en sterrenkunde. Deze laatste groep zal de voornaamste gebruiker zijn, verwacht Simon Portegies Zwart van de Universiteit Leiden, waar Little Green Machine II staat. "Wij hebben de meeste ervaring met het gebruik van dit soort systemen."

Portegies Zwart benadrukt wel dat de machine voor veel onderzoekers toegankelijk wordt en hoopt onderzoekers die minder ervaring hebben met het omgaan met veel rekenkracht, juist enthousiast te maken. De Little Green Machine II is ook tot stand gekomen omdat meerdere onderzoeksgroepen de behoefte hadden aan de makkelijke beschikbaarheid van veel rekenkracht.

Het systeem beslaat vier 2U-rackservers met elk twee Power8-processors van IBM en vier P100-accelerators van Nvidia, die opgetrokken zijn rond Pascal-gpu's. De processors en accelerators communiceren onderling via Nvidia's NVLink-interconnect, waardoor rekenwerk met een bandbreedte van 80GB/s verdeeld kan worden en ook geheugen gedeeld kan worden. De servers zijn met Infiniband-interconnects verbonden en een vijfde server zorgt voor onder andere de verbinding met het systeem voor dataopslag.

De keuze voor de hardware maakt dat het systeem niet alleen compact is, maar ook zuinig. IBM heeft geholpen met de bouw van het systeem, wat de keuze voor de Power Architecture verklaart. De eerste versie van Little Green Machine, eveneens in Leiden, was met Intel Xeon E5-2600-cpu's uitgerust en dus op de x86-architectuur gebaseerd. Dit betekent dat onderzoekers hun software moeten herschrijven, maar volgens Portegies Zwart is de prestatiewinst dit waard.

De nieuwe kleine supercomputer is ongeveer tien keer zo snel als zijn voorganger. Het systeem zal geen records neerzetten, maar daar is het de onderzoekers ook niet om te doen. De rekenkracht van ongeveer 200 teraflops is minder dan de uitbreiding die de Nationale Supercomputer Cartesius bijvoorbeeld vorig jaar kreeg. Dat clusteronderdeel biedt een rekenkracht van 284 teraflops met x86-onderdelen.

De bedoeling is dat het systeem zo flexibel mogelijk ingezet wordt. "We hanteren geen quotum. Wie rekenkracht nodig heeft, komt gewoon en kan de systeembeheerder vragen een node over te laten of te wachten tot er een beschikbaar is. Als iedereen tegelijk komt, kunnen we nadenken over een nieuwe machine of afspraken maken. De vorige stond 24 uur per dag volgeboekt en dat ging ook altijd goed", aldus Portegies Zwart.

De eerste tests zijn inmiddels uitgevoerd. Hierbij simuleerden de onderzoekers de botsing tussen de Melkweg en de Andromedanevel, die over ongeveer vier miljard jaar plaatsvindt. De bouw van Little Green Machine II kostte 200.000 euro, waar de Nederlandse Organisatie voor Wetenschappelijk Onderzoek een deel van verstrekt heeft. Het bedrijf ClusterVision werd in de arm genomen voor de bouw. Naast IBM hebben ook medewerkers van het CWI en de universiteiten van Leiden, Delft en Utrecht meegeholpen met de ontwikkeling.

Reacties (75)

Wijzig sortering
0.2 petaflops is leuk maar bij welke precision? staat ook niet in het bron artikel.
Heel erg interessant dat de daadwerkelijke systeembouwer niet genoemd wordt. De machine is gebouwd door ClusterVision met mij als architect. De machine bestaat uit een masternode met vier 2U-servers. De servers zijn IBM SL822LC OpenPower-systemen met processoren van 8 kernen. De rekenkracht wordt geleverd door vier Nvidia P100 GPU's per machine. Totaal zijn er 16 GPU's en die leveren redelijk wat rekenkracht. In alle machines zit een ConnectIB infiniband-kaart met 2 poorten, wat een bandbreedte van 102 gigabps tussen de nodes geeft:

Wat betreft de rekenkracht leveren 16 P100-kaarten op :
* Dubbele precesie: 5,3 Tlfops * 16 = 84,8 Tflops
* Enkele precesie: 10,6 Tlfops * 16 = 169,6 Tflops
* Halve precesie: 21,2 Tlfops * 16 = 339,2 Tflops

Voor clusters (bijv. Top500) wordt normaal naar dubbele precisie gekeken voor de rekenkracht. Zo bekeken is de 0,2 petaflops onjuist. Ik denk dat Simon naar enkele precisie kijkt en op 1 cijfer achter de komma heeft afgerond.

Edit: Dank aan Tweakers voor aanpassen van het artikel.

[Reactie gewijzigd door dmantione op 5 april 2017 15:32]

De vraag is deels al hieronder gesteld, en ook in ons eigen bedrijf krijg ik van managers wel vragen: waarom een (veel duurdere) power 8 t.o.v. een Xeon?

Hieronder leg je uit dat de interne bandbreedte beter is, maar zijn er niet meer redenen om voor een Power8 te kiezen? Interne bandbreedte is w.s. beter dan bij een Xeon en daardoor w.s. ook infiniband connects? Schaalbaarheid (aantal CPUs) is ook beter, maar dat speelt geen rol bij een SL822 (die heeft maar 2 sockets).

En OpenPower betekent dat je Linux draait. Waarom geen AIX variant? W.s. omdat er geen drivers zijn voor de Nvidia spullen?

Blijft zo dat een snelle IBM vaak ook synoniem is met dure IBM.

Ik zie zelf in de praktijk alleen maar de keuze voor non-Intel als er echt schaalbaarheid nodig is, bijv. 1000-den users of 1000-den LPARs (in geval van AIX). HP-itanium is ongeveer dood. Oracle Solaris/SPARC zou nog kunnen, maar ook daar is de lijn (lijkt het) afgaand (Solaris 12 is gecanceled). Hou je dus eigenlijk IBM en Oracle over. De spoeling wordt wel dun.
Er zijn meer redenen om voor Power te kunnen kiezen:
  • De bandbreedte tussen processor en geheugen is hoger, een brede groep applicaties heeft hier baat bij
  • Een Power8 heeft meer hardwarethreads dan een Xeon, wat voor transactionele applicaties als databases en webservers nuttig is
Dit heeft hier geen rol gespeeld, de NVLInk is de enige reden dat voor Power gekozen is.

AIX is nooit ter sprake geweest. Het biedt voor HPC simpelweg geen voordeel, iedereen gaat van Linux uit bij HPC, dus geen reden om naar AIX te kijken.
Dank voor je antwoord. Als developer hebben wij - omdat onze klanten er gebruik van maken - altijd entry-level-spul van de grote UNIX vendors in huis. Toevallig ook recent een S822, de AIX tegenhanger dus (maar met alleen interne storage). Alleen zijn de prijzen toch al snel factor 3 a 4 voor vergelijkbare Xeon hardware (voor Windows of Linux). Linux voor de powerPC is voor ons totaal geen markt. Enterprise klanten nemen dan liever AIX. Zo zie je maar: motieven verschillen.

Voor AIX is (of misschien inmiddels was) er - maf genoeg is dat bij Intel leveranciers veel beter geregeld - geen fatsoenlijke disk controller met cache (voor een redelijke, lees < 1K) prijs. Ons systeem is daarmee voor builds (C/C++) zeker niet de snelste machine. Er zijn wel snelle AIX machines (op het gebied van disk I/O), maar niet voor voor 5-cijferige bedragen. Daarvoor is ook AIX te defensief (Linux doet de IO op een heel andere manier). Voorbeeld: een rm -rf duurt op AIX lichtjaren langer dan op Linux. En dat voor 1/4 van de prijs.
Cool dat je ook je werk eens terug ziet in het nieuwes

Vraagje: wat is de verhouding qua stroom verbruik ? Waar moeten we aan denken om het te draaien ?

Gezien de quote van Jeroen Bédorf dat ze dit cluster thuis zouden kunnen draaien.
Die is erg goed, want zo'n Nvidia P100 heeft een TDP van 300W. Je zit op ongeveer 1500W per node, grofweg 6,5kW voor het totaal. Als je het thuis draait hebt je wel twee groepen nodig, maar het zou kunnen.

Dus de flops/watt zijn met een architectuur als dit erg goed. Bij dit soort systemen wordt er vaak op gewezen hoe inefficiënt clusters met gewone processoren wel niet zijn. Dat is echter te kort door de bocht, want lang niet iedere code, beter gezegd de meeste codes draaien niet of niet goed op een GPU. Toch toont het wel aan welke kant het op moet met supercomputers en in het verlengde, computers in het algemeen. Nu de Wet van Moore hapert moeten programmeurs weer aan de bak om software te optimaliseren, maar optimaliseren voor GPU's loont wel.
Ah, dan weet ik waar ik met m'n vraag terecht moet.

Waarom is dat ding zo duur? Ik had zelf al eens lopen kijken naar een Xeon-gebaseerde machine. Via NVidia was ik bij een Duits bedrijf terecht gekomen, die een 8xP100 machine voor 70K verkopen. Dat is dus de helft van deze machine, voor 35% van het geld. Oftewel, zo'n 30% goedkoper per TFlops.

Nu gaat dit artikel natuurlijk een Power8 architectuur en geen Xeon, maar moet het dan meteen 60K meer kosten? Dat is wel erg prijzig.
Het sleutelwoord is hier NVLink: De GPU's zijn in dit systeem via NVLink verbonden met de processor en ook met elkaar. Daar door kunnen gegevens veel sneller tussen hoofdgeheugen en GPU en GPU's onderling overgedragen worden dan in een Xeon-systeem. Die NVLink maakt zowel de server als de GPU flink duurder en het is de primaire reden waarom hier Power8 gebruikt wordt. Verder zit er nog budget in het dubbele infinibandnetwerk.

Zowel de NVLink als het infinibandnetwerk zorgen ervoor dat de machine beter als een grote computer kan werken, in plaats van als afzonderlijke computers.
NVLink is inderdaad relevant, maar waarom is dat een reden om voor de dure Power8 te kiezen?

Het reference ontwerp van NVIdia is de DGX-1 en dat is een dual-Xeon E5-2698 met 40 cores, maar ook met NVLink.

Toegegeven, als je bij ons morgen ook zo'n Power-8 systeem aflevert, dan stuur ik 'm alsnog niet terug ;)
Het verschil is dat een Power8 met NVlink met de GPU kan communiceren, terwijl een Xeon alleen PCI-E ondersteunt. De DGX-1 heeft wel NVlink, maar alleen tussen de GPU's en niet tussen de GPU's en CPU.

De DGX-1 is dan ook voornamelijk nuttig als je je gegevens eenmalig naar de GPU kunt uploaden en er dan aan rekenen. Voor codes waarbij vaak gegevens tussen processor en GPU worden uitgewisseld is de Power8 met NVLink een betere keus.

Een DGX-1 is per GPU overigens iets duurder dan een Power8-systeem. Beiden zijn heel wat duurder dan een GPU-server van Supermicro of ASUS met Tesla P100 PCI-E-kaarten erin.

[Reactie gewijzigd door dmantione op 5 april 2017 15:50]

Interessante aanvulling.

Ik had eens mijn amateuristische visie gegeven dat 2017 een interessant jaar zou kunnen worden met wat nieuws voor kleine HPC-doeleinden met AMD Naples&Vega (met Infinity Fabric), IBM Power9 (met NVLink 2.0 en nvidia Volta) en Intels Purley-update.

Vooral de softwarematige kant is voor NVidia's concurrenten lastig denk ik, of zie je dat anders?
Dat is het lastig is, is gewoon waar, maar de concurrenten zijn er wel mee bezig. AMD heeft nu bijvoorbeeld een CUDA naar C++ converter:

http://www.amd.com/Documents/HIP-Datasheet.pdf

...daarmee begint langzaamaan de concurrentie wel vat te krijgen.

Vega kan op HPC-gebied wel eens interessant worden, omdat die via Infinity Fabric verbonden kan worden met de Zen-processoren, waarbij AMD dan een concurrent voor NVLink heeft, waarbij het van zijn Heteogenious System Architecture van cachecoherentie kan profiteren, iets wat bij NVLink niet mogelijk is.
Hoe zie jij de transitie van Fujitsu van hun Sparc naar ARM processoren voor hun HPC-producten?
Ah, de vruchten van het Open Power consortium, leuk om te zien. Heb sinds de introductie van Power 8 veel presentaties, cursussen en trainingen gehad van IBM en het aantal aangesloten partners bleef elke keer fors groeien.

Leuk om te zien dat er nu een Nederlandse builder effectief gebruik van die mooie architectuur weet te maken! :) Binnenkort Power 9, benieuwd wat dat gaat brengen.
Ooeh dat is wel 'toevallig'... :)
Die heb ik inderdaad nog niet gezien, dus vertel...
Als je meer GPU's in minder ruimte wilt, laat maar weten, verkoop ik met plezier. De vraag is of zo'n machine in sterrenkundige applicaties sneller is. Het bijzondere hier van dit systeem is de NVlink tussen alle componenten in de server, niet de hoeveelheid GPU's in een kleine ruimte.
waarschijnlijk enkele-precisie
De tekst is misleidend/foutief. Als er gesproken wordt over serverracks dan verwacht ik 4x 44u hoge kasten met daarin servers. De foto toont 4x een 2u behuizing. En dat komt in mijn beleving beter overeen met mini-supercomputer. Als je de links volgt wordt ook gesproken over 4x pizzadozen. Dat laatste is overigens ook niet correct. Als je over een pizzadoos server praat dan gaat het toch eigenlijk alleen over 1u hoge servers.
Als je over een pizzadoos server praat dan gaat het toch eigenlijk alleen over 1u hoge servers.
Calzone's dan maar ? :9
Inmiddels is dit gecorrigeerd in het artikel; het blijkt te gaan om vier 2U-rackservers (+controller) wat het ineens nog een heel stuk indrukwekkender maakt.
Er wordt vermeld dat dit een "mini-supercomputer" is, maar hoe groot is een gemiddelde supercomputer dan? En hoeveel teraflops kan een gemiddelde supercomputer aan?
De meeste supercomputers zijn verdiepingen van gebouwen. De huidige snelste computer bevat 40.960 processoren met in totaal 10.649.600 cores en ziet er zo uit: http://images.china.cn/at...03fd5566a1d18d2ecb223.jpg
http://images.china.cn/at...03fd5566a1d18d2ecb224.jpg
Supercomputer? Lijkt meer op een retro computer, dat was ook een kamer vol :)
Ja en dit is nog de taihu light :)
Ik dacht altijd dat 1 zo'n ding een supercomputer was en dat dit dus kamers waren die vol stonden met kleinere supercomputers! Dan snap ik inderdaad wel dat ze dit mini noemen :)
Leuke links, dus wat we nu op zitten is dat een supercomputer uit 2005
IBm Blue Gene nu in het klein kan worden neergezet.

https://computing.llnl.go...bgl/images/config_exp.jpg
Dat plaatje van jou is ook leuk, dat hele systeem doet dus 0.6 petaflops met 104 racks.

104 grote kasten (server racks) met 44U ruimte erin per rack die tot de nok toe vol zitten.
Deze mini-supercomputer doet 0.2 petaflops met 8U (4*2U) aan ingenomen ruimte.
De lijst uit 2016 laat geen gemiddelde zien, maar geeft je misschien wel een idee :)
Op de laatste plaats in top 500 van supercomputers staat een systeem dat 286 TFlops aan kan, dus voor zo'n klein apparaat lijkt de performance niet slecht.
Google is your friend ;)

Maar zo snel even gevonden.
https://en.wikipedia.org/wiki/Tianhe-2
De Tianhe-2 supercomputer heeft 33,86 Petaflops en zou idealiter 720 m2 in beslag nemen (naar ik begrijp is de behuizing nu iets kleiner waardoor het ding niet optimaal werkt ofzo... Verder ook geen idee - enkel even snel opgezocht! Het geeft een idee.)
Ik zat ook even aan raspberry pi formaat te denken, maar helaas.
Zal wel weer Linux draaien, al wordt dit niet vermeld.

95% van alle supercomputers draaien overigens Linux. Microsoft heeft nog een tijdje geprobeerd om Windows HPC op de markt te brengen maar volgens mij hebben ze het opgegeven.
Omdat het zo algemeen is dat een cluster Linux draait, is het niet nodig meer dat te vermelden. Als je HPC op Windows wilt draaien loop je tegen allerlei gaten in de infrastructuur aan. Specifiek voor dit cluster geldt bijvoorbeeld dat Mellanox GPU Direct niet ondersteund wordt op Windows:

http://www.mellanox.com/page/products_dyn?product_family=116

Met GPU Direct kunnen GPU's direct met de infinibandkaart communiceren om gegevens uit te wisselen, de gegevens hoeven niet eerst naar het hoofdgegeheugen van de server gekopieerd te worden. Communicatie bepaald bij HPC vaak de snelheid van de applicatie.
Ik heb ook nog nooit gehoord van een Windows versie die met IBM power8 architecture overweg kan
In de jaren 90 draaide Windows NT ook op PowerPC, hoor.
Ik ben benieuwd naar waarom er gekozen is voor een eigen minisupercomputer in plaats van gebruik te maken van de nationale supercomputers.

Het artikel suggereert een beetje dat de reden is dat iedereen er dan zomaar gebruik van kan maken zonder planning of coördinatie. Dat werkt natuurlijk alleen als dat ding het grootste deel van de tijd niks doet. Als er permanent gebruik van wordt gemaakt dan zal je alsnog moeten zorgen dat mensen elkaar niet in de weg zitten.

Het kan een kwestie van geld zijn, maar ik kan me haast niet voorstellen dat zo'n systeem zelf bouwen goedkoper is dan capaciteit op de supercomputers huren.

Dan zou het nog controle kunnen zijn, op de nationale supercomputers kun je niet zomaar even wat software installeren. Dat is een stuk makkelijker als je het spul zelf in beheer hebt.

Ten slotte zou het nog kunnen zijn dat de gebruikers eigenlijk geen mini-supercomputer willen, maar een mega-desktop. Een supercomputer heeft namelijk een heel eigen werkwijze en de meeste wetenschappers zijn daar niet bekend mee. Die willen hun desktopsoftware gebruiken, maar dan sneller. De Power8-processoren spreken dat echter tegen omdat die niet x86-compatible zijn; je kan er dus geen windows desktop applicaties op draaien.

In mijn werk proberen we juist van de zelfbouwrekenclusters af te komen; je hebt veel meer schaalvoordeel als je het één keer goed doet dan wanneer je 5 kleine supercomputertjes bouwt.
Ik ben benieuwd naar waarom er gekozen is voor een eigen minisupercomputer in plaats van gebruik te maken van de nationale supercomputers.
Het is niet of/of, maar en/en. Simon Portegies Zwart is een grootgebruiker van de nationale supercomputer. De architectuur van de Cartesius verschilt sterk van de LGMII, wat beiden voor andere taken geschikt maak en bovendien is de toegang tot de Cartesius met goede reden niet laagdrempelig. Een kleinere machine met laagdrempelige toegang is een zeer nuttige HPC-faciliteit voor wetenschappers.

Internationaal wordt dit onderscheid vaak gemaakt:
Tier-0: De zwaarste supercomputers van Europa
Tier-1: Nationale supercomputers
Tier-2: Centrale supercomputers aan instituten als universiteiten
Tier-3: Gespecialiseerde supercomputers bij vakgroepen

Een goede HPC-infrastructuur voorziet wetenschappers van machines in alle vier de categoriën. In Nederland is in vergelijking met onze buurlanden vooral de Tier-2 redelijk onderbedeeld.
Ik ben benieuwd naar waarom er gekozen is voor een eigen minisupercomputer in plaats van gebruik te maken van de nationale supercomputers.
Gebrek aan capaciteit? Gezien de snelle prijsdalingen worden supercomputers niet erg op de groei gekocht.
in het persbericht wordt niet gesproken over vier serverracks, maar "vier pizza dozen", en de foto bij dit artikel suggereert weer iets anders. rara ??
Het systeem bestaat uit 4 2U-servers, één 1U-server en twee switchen, totaal 9U. Vier rekken is dus heel erg ruim.
Waar zit hier het aspect "bouwen"... die dingen kan je gewoon in de "winkel" kopen, bv. http://www.e4sc16.com/
E4 is een Italiaanse concurrent van ClusterVision. Ze zijn net als wij zeer kundig, maar een computerwinkel zou ik ze niet noemen. Wat betreft in de winkel kopen, Power8-servers kan je inderdaad bij IBM bestellen. Losse servers zijn echter nog geen cluster.

Bij clusters gaat het om grote bedragen is het daarom van belang de architectuur van het systeem goed te laten aansluiten bij de berekeningen die erop gedraaid worden. Als het systeem 30% trager is dan mogelijk, dan is dat weggegooid geld.

Verder wil een klant vaak ook geen dozen losse servers op de stoep hebben, maar een geïntegreerd systeem waar hij zijn parallele software direct op kan installeren. Het integreren van de componenten tot een supercomputer is het tweede aspect waarbij een clusterbouwer zijn expertise levert, waarbij je zowel aan de hardwarematige als softwarematige integratie kunt denken.
Klopt - NVidia Partner Network (NPN) heeft 22 bedrijven in de EU. Het enige ongebruikelijke is de Power8, de meesten gebruiken de P100 in combinatie met Xeon's.
Gaat het hier nu om 4 serverracks of 4 rackservers? Nogal een groot verschil qua afmetingen imo.

Edit: het is al aangepast zie ik :D

[Reactie gewijzigd door _-SaVaGe-_ op 5 april 2017 14:20]

Volgens de foto het laatste. Volgens de tekst het eerste. Ik denk een fout in de tekst.
Ze hebben het over 4 pizzadozen in het originele bericht. Dus zal eerder 4U bedoelt worden dan 4 racks vol met servers.

Beetje een slordige fout voor T.Net.

Verder wel een knappe prestatie om zo een 'kleine' machine te bouwen met zoveel rekenkracht. Ik vraag me af als je die eerder genoemde 4 racks vol zou bouwen waar je dan op uit komt :)
In de eerste versie van het bericht stond het toch echt fout. Ze hebben het nu aangepast en duidelijker neergezet. :)
In het oorspronkelijke artikel spreken ze over vier pizzadozen.
Mij lijkt rackservers. Verwarde mij in eerste instantie ook. Vond 4 serverracks vol niet zo heel erg klein :P
Ze mogen het dan wel een zuinige green machine noemen, ik zie nergens het vermogen c.q. het verbruik van de supercomputer. Het lijkt mij wel interessant om juist de Tflops per kW te weten en te vergelijken met andere supercomputers uit de Top500.

Jammer dat Tweakers dit niet even heeft nagevraagd.

Edit: typo.

[Reactie gewijzigd door MeltedForest op 5 april 2017 14:14]

Dit is inderdaad later in een reactie door een van de designers aangegeven. Ik zal het niet copy pasten, maar je moet even wat naar boven zoeken :)
Nou, ik zie ze anders niet staan in de "winkel". Bouwen na acquisitie zit mijns inziens op dezelfde lijn als zelf assembleren.

Wel leuk om te weten dat er ook SSD's in zitten en dat hij ongeveer 264.00 zou kosten volgens de aanvraag hier. Prijs valt me best mee als hij ongeveer 10.000x zo snel als een PC is.
De P100 is langzamer dan een 1080Ti. (P100: 10.6 TFlops FP32, 1080Ti: 11.3 TFlops FP32). Nu heeft de P100 meer geheugen (16/24GB) en heeft deze machine natuurlijk 16 P100's, maar je moet dus denken aan 20x een game PC en niet 10.000x. Qua TFlops/euro is dit absoluut niet indrukwekkend, nee.

[Reactie gewijzigd door MSalters op 5 april 2017 15:37]

Op dit item kan niet meer gereageerd worden.


Nintendo Switch Google Pixel XL 2 LG W7 Samsung Galaxy S8 Google Pixel 2 Sony Bravia A1 OLED Microsoft Xbox One X Apple iPhone 8

© 1998 - 2017 de Persgroep Online Services B.V. Tweakers vormt samen met o.a. Autotrack en Hardware.Info de Persgroep Online Services B.V. Hosting door True

*