Datavloedgolf LHC op komst

Nikhef bereidt zich voor met rappe opslag

Datavloedgolf LHC op komst - Nikhef bereidt zich voor met snel opslagsysteem

De kamer van Tristan Suerink bij Nikhef in Amsterdam heeft wel wat weg van de Tweakers-redactie. Bureaus zijn bezaaid met hardwareonderdelen, aan de muur hangen posters met geeky humor en in de hoek ligt een Nintendo Gamecube. Hier bereidt de afdeling Computer Technologie van Nikhef zich voor op de uitstoot van een datamonster dat zich duizend kilometer verderop bevindt en dat volgend jaar weer tot leven wordt gewekt: de Large Hadron Collider. "We krijgen zulke grote datastromen dat je die niet over het internet kunt pompen."

Nikhef is het Nationaal instituut voor subatomaire fysica, gevestigd op het Science Park in Amsterdam. Een belangrijke doelstelling van het instituut is het ontdekken van de bouwstenen van de natuur. In het verleden had het instituut hiervoor zijn eigen deeltjesversnellers, maar in de jaren negentig werd bij CERN besloten de zaken Europees en vooral veel grootser aan te pakken. Na jarenlange bouw werd in 2008 de LHC in de ondergrondse, ringvormige tunnel met een omtrek van 27km, op de Frans-Zwitserse grens, in gebruik genomen.

Zoals veel wetenschappelijke disciplines heeft subatomaire fysica een nauwe band met tech, maar bij Nikhef en CERN is de link met computertechnologie en internet nog net wat sterker. Niet voor niets is bij CERN eind jaren tachtig het wereldwijde web bedacht, door de Belg Robert Cailliau en de Brit Tim Berners-Lee. Nikhef was in die tijd al met het netwerk van CERN verbonden en zette in 1992 de derde website ter wereld online. In vitrinekasten bij het instituut staan computeronderdelen, zoals harde schijven uit de jaren zestig, die aantonen dat de geschiedenis met computertechnologie nog veel verder terug in de tijd gaat. Tegenwoordig heeft Nikhef een flinke eigen serverruimte met krachtige, moderne computerclusters en opslagsystemen en flinke datapijplijnen.

De botsingen van deeltjes in de LHC leveren namelijk veel data op. Tristan Suerink: "Je kent vast wel de filmpjes van tegen muren botsende auto’s. Effectief doen wij hetzelfde, maar in plaats van filmen met een camera, moesten we een apparaat bouwen dat zo groot is als het paleis op de Dam. Dat moesten we honderd meter in de grond stoppen om botsingen met een relatief hoog energieniveau op minuscule schaal mogelijk te maken, gemeten in tera-elektronvolts. Net als bij botsende auto’s zien we onderdelen, zoals het stuur, de motor enzovoorts, alle kanten opvliegen."

Proton-protonbotsing gergistreerd door Atlas op 21 mei 2015. De groene delen geven detectie van twee muonen aan door de muonspectrometer. Bron: CERN

Het registreren van de gevolgen van de botsingen gebeurt met zeven grote detectoren. Nikhef is betrokken bij drie daarvan: Alice, Atlas en LHCb. In elke detector zitten honderdduizenden sensoren en elke sensor heeft weer een andere functie. "We hebben bijvoorbeeld muonkamers om muonen, verzwaarde elektronen, te detecteren. Hoe vluchtiger het deeltje, hoe dichter je op de bundel moet zitten. Als je de Atlas-detector als voorbeeld pakt, zou je die als een ui kunnen pellen", vertelt Suerink.

Tijdens experimenten vinden honderden miljoenen botsingen per seconde plaats, maar 'slechts' zo'n honderdduizend daarvan hebben potentiële waarde, de rest wordt dus weggefilterd. Algoritmes brengen het aantal vervolgens verder terug tot honderd à tweehonderd events of interest per seconde. Volgens Suerink is er speciale elektronica ontwikkeld om de momenten te bepalen waarop de detectoren een 'foto' moeten maken. "Rauw komen er terabytes per seconde aan data uit. Dat valt niet te verwerken en niet op te slaan. Effectief gooien we meer dan 99 procent weg. Wat overblijft, is de data die we verwerken, die we correleren en analyseren."

Naast elke LHC-detector zit een eigen computingcluster om de output aan een verwerkingsslag te onderwerpen. Suerink: "Daar zitten heel veel fpga-kaarten in. We kijken of we bij volgende generaties gpu’s kunnen gebruiken. Dat is nog onduidelijk. Dat cluster doet ook werk voor het verpakken van de data." Vervolgens wordt de data samengevoegd en naar het datacenter bij CERN zelf getransporteerd. In dit datacenter worden kopieën van alle gegevens gemaakt, die op tape worden opgeslagen.

Het datacentrum van CERN is de zogenoemde tier 0 in het Worldwide LHC Computing Grid. Dit is een in 2005 ontworpen infrastructuur die bedoeld is om de destijds verwachte 50 tot 70 petabyte per jaar aan data van de LHC te verdelen en te verwerken. Het grid omvat inmiddels 170 computinglocaties in 42 landen wereldwijd. In totaal heeft het grid zo meer dan een miljoen cores en een exabyte aan opslag tot zijn beschikking. Wetenschappers van over de hele wereld kunnen inloggen op het grid en jobs voor rekenwerk op de data inschieten. Ze kunnen daarmee aangeven welke datasets ze willen en dan wordt gekeken wat de dichtstbijzijnde locatie is waar die data staat. De gegevens kunnen hen helpen bij hun werk om te achterhalen hoe de werkelijkheid op een fundamenteel niveau in elkaar steekt. En dat kan uiteindelijk weer tal van praktische toepassingen opleveren.

Datacenter bij CERN. Bron: CERN

De kern van het grid is het Large Hadron Collider Optical Private Network. Dit netwerk bestaat uit de tier 0-locatie van CERN en dertien tier 1-locaties, in onder andere Duitsland, Italië en Frankrijk, maar ook in de VS, Zuid-Korea en Taiwan. En dus ook in Nederland, bij Nikhef en SURFsara. Elke tier 1-locatie krijgt zo'n 10 procent van de data van de deeltjesversneller te verstouwen voor analyse en opslag. Om die data van de LHC te kunnen ontvangen, hebben Nikhef, SURFsara en SURFnet een directe glasvezelverbinding met CERN in Zwitserland. Over dezelfde glasvezel gaan ook andere directe verbindingen vanuit CERN naar andere tier1-locaties, via SURF's optische exchange Netherlight. Als de verbinding via het reguliere internet zou lopen, zou dat onherroepelijk tot opstoppingen leiden. Tot 2015 was Nikhef met een 10Gbit/s-lijn met CERN verbonden, maar sindsdien is er een 100Gbit/s-verbinding.

De datastroom van de grote deeltjesversneller komt in golven. De experimenten van de LHC gebeuren namelijk in runs. De eerste run duurde van 2009 tot 2013. Daarna volgde de Long Shutdown, die twee jaar duurde, een periode waarin wetenschappers reparaties en upgrades uitvoerden. Door de upgrades verdubbelde het energieniveau van de botsingen bij LHC Run 2, die van 2014 tot en met 2018 duurde, naar 13TeV. Mede hierdoor ging ook de hoeveelheid data flink omhoog. Tijdens Run 1 ontving CERN data met zo'n 1Gbit/s en met pieken van 6Gbit/s. Tijdens Run 2 was 8Gbit/s het gemiddelde, met pieken tot boven de 10Gbit/s. In 2018 sloeg CERN zo meer dan 115 petabyte weg naar zijn tapeopslag, waarvan 88PB pure LHC-data. In de maand november 2018 ging het om een piek van 15,8PB, meer dan in een heel jaar tijdens de eerste run.

Data opgeslagen op tape door CERN van maand tot maand, in terabyte. Bron: CERN

Een nieuwe tsunami dient zich aan. Momenteel is Long Shutdown 2 bezig, maar CERN maakt zich op voor Run 3, die in 2021 van start gaat en tot en met 2023 duurt. De verwachting hierbij is dat de datahoeveelheid door de upgrades zal verdubbelen. In 2026 begint vervolgens de vierde Run van de High Luminosity LHC, zoals de versneller na de upgrades zal heten. Er komen dan veel meer botsingen, waardoor Run 4 ten opzichte van Run 3 nog eens een vervijfvoudiging zal opleveren. De verwachting is dat CERN tegen die tijd 500PB per jaar zal moeten wegschrijven. En daarmee ziet ook Nikhef een vloedgolf op zich afkomen.

Een eerste stap is het aanleggen van een bredere snelweg; Nikhef gaat volgend jaar een 400Gbit/s-verbinding met CERN testen. Maar al die data moet ook worden opgeslagen. "Tussen nu en pakweg vijf tot zes jaar komt er tien keer zoveel data uit, maar mijn budgetten blijven hetzelfde", verzucht Suerink. "Dus ik moet slimmer inkopen of ik moet tot magische methodes komen om de data efficiënter te verwerken. Als je kijkt hoe de processorontwikkeling in de laatste paar jaren is geweest, zie ik daar niet zo heel veel profijt van." De it-architect hanteert een soort ticktockmodel, waarbij hij het ene jaar een compute- en het andere jaar het storagedeel een upgrade geeft.

Al in 2016 constateerde Suerink dat hij tegen een bottleneck aanliep. "Wij kochten vrij lang Dell PowerVault-systemen. Waar we mee zaten, is dat er tussen twee controllers een maximale snelheid van 2GB/s voor cachemirroring zit. Wij willen die cachemirroring hebben. Op het moment dat er een controller uitklapt, wil je geen dataverlies. Dan raak je alles kwijt wat in de cache staat. Als we een PowerVault vulden met 4TB-schijven, hadden we een performance van 1,8GB/s tussen die twee caches nodig. Dat betekent dat als we naar 6 of 8TB zouden gaan, de cachesnelheid gewoon te laag was."

Bron: Data To Network: building balanced throughput storage in a world of increasing disk sizes, Tristan Suerink, HEPiX Srping 2019

Tijdens de Supercomputing-conferentie van 2016 ging Suerink met zijn eisen langs de verschillende storagefabrikanten. "Ik vertelde dat ik een doos wilde waarin ik harde schijven kon duwen, liefst hardwarematige raid achterin en gewoon met sas eruit, en ik wilde dat de cachemirroring zo snel mogelijk gaat." De storageproducten van de meeste fabrikanten waren niet erg geschikt voor de manier waarop ze bij Nikhef met data omgaan. "Wij hebben heel veel bestanden en heel veel jobs die heel veel bestanden lezen. De hoeveelheid berekeningen per terabyte die we doen, is heel klein. We streamen veel data waar we vluchtig doorheen kijken. Het is niet alsof we heel lang moeten kauwen om te weten wat erin staat. Als je dat met een shared filesystem doet, gaat het stuk." Ondanks die specifieke eisen stelt Suerink dat de opslagsystemen bij Nikhef in feite een eenvoudige ftp-daemon draaien met nog wat tools voor een minimalistische catalogus.

Suerink kwam uiteindelijk bij Seagate terecht. Dat had in 2015 storagespecialist Dot Hill overgenomen en leverde daarom enclosures met zelf ontworpen hardwareraidchips. "Die konden tot een maximale cachemiroring van 6GB/s. Hee, dacht ik, dan kan ik doorgroeien naar 12TB-hdd's. Dat is handig." Nikhef schafte een Fujitsu RX2530M4 aan met twee Intel Xeon 4110-processors in combinatie met een Seagate AssuredSAN 4004 met 56 8TB-hdd's. Met het oog op de toekomst besloot hij een test te houden om de prestaties van dat Intel Skylake-systeem te vergelijken met die van een Dell R7415 met een AMD Epyc 7451-cpu en een IBM S822L met een Power8-processor uit 2014. Bij de test werden de drie systemen gekoppeld aan twee AssuredSAN 4004-opslagsystemen. Suerink gebruikte dezelfde schijven en dezelfde kabels, alleen de cpu was anders. Hij zette vervolgens Ubuntu erop en draaide zijn eigen testtool om de prestaties te bepalen. Tot zijn verbazing presteerde de IBM-processor aanzienlijk beter dan de Intel en de AMD. "En ik had de Intel en AMD meer getuned dan de Power8. De uitkomst was interessant voor mij; de IBM presteerde drie keer zo goed voor twee keer zoveel geld."

In aanloop naar het moment waarop voor dit jaar het opslagsysteem moest worden aangeschaft om de komende LHC-Run aan te kunnen, had storagefabrikant Netapp een nieuwe enclosure aangekondigd met controllers die ondersteuning bieden voor hdd's tot 16TB. En IBM had ondertussen de Power9 op de markt gebracht. Suerink: "Het is gelukt om op basis daarvan voor een strakke prijs een heel opslagsysteem neer te zetten."

Tristan Suerink:

"We draaien met 4x raid6 met 15 schijven per raidset, aangesloten met 4x sas3 aan het IBM-systeem in een kruisopstelling. Hierdoor heeft elke hba een directe connectie met elke controller. De luns zijn gelijk verspreid over de controllers. Tussen de IBM en de Netapp draaien we multipath plus alua. Dit doen we om zo elk lun z’n eigen pad te geven en hierdoor de maximale bandbreedte te kunnen gebruiken, maar toch ook nog redundantie te behouden bij uitval van een pad, controller of hba. Elk opslagblok heeft netto 556TiB bruikbare opslag en de vier blokken bieden samen een throughput van 300Gbit/s vanaf de schijven. Als switch gebruiken we een Mellanox SN2100 met daarop Mellanox Onyx als besturingssysteem."

Nikhefs nieuwe storagecluster, vier opslagblokken met elk:
1x IBM LC922 - 9006-22P	1x Netapp E5760
2x IBM SMT-4 Power9-cpu, 16 cores, draait standaard op 2,9GHz	60x HGST Helium 12TB-schijven
128GB ram	Dubbele sas3-controllers
1x Mellanox Connect-X4 als netwerkkaart, aangesloten met 100Gbit/s twin-ax aan het netwerk
2x LSI 9305-16e sas-hba’s.
2TB hardware raid1 voor het besturingssysteem
CentOS7-ppc64le als besturingssysteem

Dat systeem is inmiddels aan het zoemen in het tier 1-datacentre op het Amsterdam Science Park. Is Suerink niet bang dat er alweer betere systemen zijn als de komende LHC-runs in volle gang zijn? "Omdat we verschillende subclusters hebben, kunnen we snel nieuwe technieken implementeren. Bij een komende upgrade zitten we niet vast aan IBM, we kijken dan weer met een schone lei. We hebben dit opslagsysteem nu alvast gekocht om er productie-ervaring mee op te doen. We hadden de opslagruimte hoe dan ook nodig voor de verdere verwerking van de data die bij de vorige run is verzameld. En er waren systemen waarvan de support eindigde, dus dit dient als vervanging daarvoor. Daarnaast is het een soort statement: dit is ook een manier om het te doen."

Binnenkort verschijnt een artikel dat dieper ingaat op de LHC en de upgrades.

Wat vind je van dit artikel?

Geef je mening in het Geachte Redactie-forum.

Reacties (118)

Net als bij botsende auto’s zien we onderdelen, zoals het stuur, de motor enzovoorts, alle kanten opvliegen.

Jammer dat er voor deze analogie gekozen is, want er zit nogal een belangrijk nuanceverschil in - de deeltjes die in de botsing ontstaan zijn niet per se kleinere onderdelen van de deeltjes die ze op elkaar laten botsen. Het zijn deeltjes die spontaan kunnen ontstaan uit de energieniveaus die in de botsing worden gestopt.

Zo is de Higgs bijvoorbeeld gevonden. Het Higgsdeeltje is geen onderdeel van een proton, het deeltje dat ze op elkaar laten botsen. Die bestaat louter uit up- & downquarks en gluonen. Door het energieniveau op te voeren is er steeds meer ruimte voor bepaalde deeltjes om te ontstaan, al vervallen ze ook weer heel snel in andere deeltjes.

Precies! Dat miste ik ook.
De botsing is alleen maar om energie beschikbaar maken waaruit nieuwe deeltjes (kunnen) ontstaan.
(Je zegt hetzelfde, maar ik denk dat bondiger hier iets duidelijker is.)

Verder heb ik het altijd opvallend gevonden dat (zoals beschreven) de data automatisch wordt beoordeeld en dat 99% ongezien wordt weggegooid.
Stel je voor dat de algoritmes net de interessante dingen niet herkennen !?
Dus er wordt inderdaad regelmatig een sample genomen van ongefilterde data om nader beoordeeld te worden.

Ik ben er onlangs geweest en de analogie die ik van de gids kreeg was 'We smijten heel hard fietsen tegen elkaar en hopen een vliegtuig te krijgen'

Sterker nog, Higgs is nooit direct waargenomen. Het bestaan ervan is afgeleid uit waarnemingen van botsingen en statistisch bewezen.

Mocht je zelf mee willen rekenen, dan kan dat. Via deze site: https://lhcathome.cern.ch/lhcathome/ kun je je registreren. Stel wat zaken in (maximaal CPU verbruik bijvoorbeeld) onder "project - preferences en vervolgens even het programma BOINC installeren: https://boinc.berkeley.edu/ en je project toevoegen.

In BOINC krijg je vervolgens CPU work-units, die je dus op je CPU berekening laat uitvoeren. Het zijn zeer kleine datapacks, onderdeel van een veel grotere rekensom. Let wel op dat niet alle "soorten" units zomaar op een Windows bak gedraaid kunnen worden, soms is er ook wat virtualisatie nodig maar dat gaat voor mij dan weer te ver

Welke troep heb je het over? Het project dat ik link of BOINC in het algemeen?
Met BOINC kan je veel meer doen, zoals onderzoek naar kanker, aids en andere ziektes via o.a. https://www.worldcommunitygrid.org/ en https://www.gpugrid.net/. Hiernaast zijn er nog tientallen projecten die lopen.

Dat SETI op Boinc draait maakt het programma zelf zeker niet waardeloos, ik ga er gemakshalve maar even vanuit dat je niet weet wat er allemaal mogelijk is op dat platform.

Is er informatie bekend wat bijvoorbeeld het SETI-project feitelijk heeft opgeleverd? Ik heb beide sites bekeken, maar kan zo snel niet vinden wat ze met de hulp concreet al bereikt hebben.

Marctraider stelt eigenlijk gewoon dat het allemaal voor niets is geweest, en wordt wellicht door zijn toon, daarvoor omlaag gewaardeerd, maar de vraag wat zoiets concreet heeft opgeleverd, kan/is een goede motivatie voor anderen om hun computer daarvoor beschikbaar te stellen.

Tja met zo instelling gebeurd er natuurlijk niets. Seti@home is een project met een hele lange adem het kan goed zijn dat we nog 20 jaar zoeken maar als we iets vinden dan zijn de gevolgen heel groot. Voor de mensheid kan dat echt de game changer worden en aangezien we helaas elkaar liever afmaken is dat misschien de enige game changer die we nodig hebben.

Edit:

Het is gewoon jammer dat we als mensheid nog zo weinig dromen en groter denken dan onze eigen instragram feed. We hebben zo veel technologie en wat doen we er mee? 4k vlogjes maken en kijken hoeveel likes we hebben. Als we dat zouden steken in de grote vragen waar zouden dan hebben gestaan ?

[Reactie gewijzigd door Spacekonijn op 17 november 2019 13:47]

Spijker > kop. Helaas (off-topic, mod maar weg, I don’t care) is dat de instelling van de mens: we steken liever miljarden in wapentuig dan het oplossen van honger, ziektes en degelijke huisvesting voor iedereen.

Volgens mij is het probleem daarbij dat wapenhandel en oorlog nog steeds de meest lucratieve handel zijn. Ik ben het helemaal met je eens maar helaas leveren oorlog en wapens te veel geld op.

Over energieverspilling gesproken ja.

Jij bepaalt nu even voor de rest van de wereld wat de juiste dromen zijn. Realiseer je even dat Seti@home ook alleen maar wishful thinking is die tot nu toe alleen maar tonnen aan energie, uitstoot en allerlei soorten verspilling heeft bijgedragen.

Ik bepaal helemaal niet wat de juiste dromen zijn ik zeg alleen dat we over het algemeen niet meer groter denken dan onze eigen kleine bubbel. Waarom is Seti@home wishful thinking ? omdat het 15 jaar duurt en niets is gevonden op een komisch tijd schaal is dat niets. Of ben je bang dat er daadwerkelijk buitenaards leven mogelijk is ?.
Er zit echt een correcte wetenschappelijke gedachten achter. En als je iets hebt van nee seti@home daar doe ik niet aan mee zet jij toch mooi je pc in voor rosetta@home ?

Mensen tegenwoordig willen instant gratification als iets niet binnen een bepaalde tijd is uitgezocht dan worden we ongeduldig en verliezen we interesse is het dan een verspilling ? de mensen die mee doen aan dat soort projecten kopen de hardware en dat geld word gebruik om nieuwe generatie processoren te ontwikkelen is het dan ook verspilling ?

Het is vreselijk ironisch dat je het hebt over een kleine bubbel. Waarom Seti@home wishful thinking is, is omdat alles op kosmische schaal zo achterlijk groot is, dat je effectief een superkleine bubbel in het universum bekijkt. Overigens denk ik dat het universum zo groot is, dat het nogal naïef zou zijn om ervan uit te gaan dat wij alleen zijn. Er is haast gegarandeerd intelligent leven buiten de aarde. Maar niet binnen redelijke afstand. Een beschaving moet lang genoeg bestaan en lang genoeg een signaal uitzenden dat herkenbaar is voor andere beschavingen, en dat binnen een bubbel van laten we zeggen een paar miljoen lichtjaar.

Ik ben het eens met lange-termijnstrategie, in de vorm van projecten als de LHC, LIGO, LISA, JWST, omdat daar ook echt wel een bepaalde yield uit komt. Ik vind Seti@home ongeveer het slechtste voorbeeld dat je had kunnen noemen.

50 jaar geleden hebben ze volk op de maan gezet. Kostte miljoenen. En gesteld dat energie = energie, wow. wat een energieverspilling volgens je eigen redenering. Want wat hebben we er nou aan 50 jaar later?

Oh wacht...

[Reactie gewijzigd door Tokkes op 17 november 2019 14:18]

Heel veel. Zonder Apollo geen Space Shuttle. Zonder Shuttle geen ISS. Zonder deze drie zouden heel veel uitvindingen nooit of later gedaan zijn. Dingen als velcro en memory foam, maar ook led etc.

https://www.jpl.nasa.gov/...graphic.view.php?id=11358

Het is jammer dat we nooit meer op de maan zijn geweest en er niet gebleven zijn. Het is zoveel haalbaarder dan Mars op de hele korte termijn. Gelukkig is de nieuwe private space race in volle gang tussen Boeing, SpaceX en Blue Origin.

[Reactie gewijzigd door Odie op 18 november 2019 20:31]

die gaan allemaal naar mars en dat is ook logisch omdat er op mars veel meer natural resources zijn dan op de maan, als je Mars (de half docu, haaft sifi-serie op netflix mag geloven is teraforming op mars eventueel mogelijk maar zal dat op de maan nooit kunnen die heeft daar simpelweg niet genoeg resources en niet genoeg zwaartekracht voor.

De maan wordt pas interessant zodra we interstellair willen gaan rijzen. ik ga er dan even vanuit dat ruimte-vaartuigen dan dusdanig groot zijn dat ze niet meer vanaf aarde kunnen opstijgen.

Vandaar dat SpaceX “binnenkort” al een rondje om de maan wil doen met hun nieuwste speeltje, Starship:

https://dearmoon.earth/
https://en.m.wikipedia.org/wiki/DearMoon_project

Blue Origin wil ook “binnenkort” met de Blue Moon:

https://www.blueorigin.com/blue-moon
https://en.m.wikipedia.org/wiki/Blue_Moon_(spacecraft)

NASA ziet de Lunar Gateway zelfs als essentieel voor de stap naar Mars:

https://www.nasa.gov/topics/moon-to-mars/lunar-gateway

Dus: eerst de maan, dan Mars.

Velcro (klittenband) komt uit 1941, ver voor de ruimtevaart.

Neemt niet weg dat de ruimtevaart voor veel innovaties heeft gezorgd.

https://nl.wikipedia.org/wiki/Klittenband

Oepsie, you’re right.

NASA heeft het blijkbaar wel populair gemaakt.

https://www.rtlnieuws.nl/...ruimeldief-zonnebril-nasa

mensen zullen altijd andere plekken gaan bevolken ik dacht dat ze ook een project hebben voor op mars te gaan wonen.Het kost idd miljarden, en dat komt gewoon door de nieuwsgierigheid van de mens.Het heet vooruitgang.Met die wapens wat julie zeggen en de miljarden industrie is idd waar er worden door die wapens mensen dood geschoten terwijl zo een wapen handelaar er grof geld mee verdient.Dit is net zo een project waar een bodemloze put inzit maar word gefinancierd door het rijke westen.sommige dingen blijven krom

boic bestaat uit meerdere projecten. Wellicht heb jij slechtere ervaringen met seti maar er zijn wel degelijk doorbraken geweest in andere projecten. Je bent ook vrij om zelf onderzoek te doen naar de projecten en te helpen bij de "juiste" voor jouw persoonlijke voorkeur.
Seti is dan wellicht een project met het minste rendement.

Om het gelijk als troep te bestempelen is echt onzin.

https://boinc.berkeley.ed...cations_by_BOINC_projects

BOINC, leeft nog steeds, nice. Vroeger wel eens wat racks dingen laten berekenen voor BOINC projecten. Hebben ze er ondertussen al een crypto aangehangen voor rewards of iets dergelijks of is het nog steeds Liefdewerk oud papier (niet dat daar wat mis mee is, maar rewards zijn leuk)

Ja BOINC leeft nog steeds en je ziet nu wat de core race die gestart door AMD werd. Bijdraagt aan de computing power. Waar ik vroeger 20 pentium 4 systemen voor nodig had heb ik nu 1 ryzen 2700 65 watt machine draaien met meer power. Zeker als straks met eventueel ryzen 4xxx de 3900x en 3950x goedkoper worden zul je weer mooie boost zien in performance

Voor boinc projecten zeker als ze CPU geoptimaliseerd zijn is core / thread aantal belangrijker dan hoge clock snelheid aangezien deze systemen toch 24/7 draaien en je de stroomrekening ook in bedwang wilt houden dus je kijkt naar working units per hoeveelheid watt.

[Reactie gewijzigd door Spacekonijn op 17 november 2019 13:26]

Shout out naar de Dutch power cows, die kan je vinden op het forum hier. Dpc doet heel veel van dit soort projecten dus als je interesse gewekt is kan je als vrijwilliger meedoen!

Zie hier:
reviews: Dutch Power Cows
Er zijn tal van projecten, er zit vast iets tussen waar je zelf het belang van in ziet (wiskunde, geneeskunde, natuurkunde... you name it)

[Reactie gewijzigd door belastingdizzle op 17 november 2019 16:03]

Vinden al die dertien tier 1-locaties dit wiel zelf uit of wordt er samengewerkt?
Gebeurt inkoop gezamenlijk of onderhandelt ieder voor zich?
Heeft elke van die tier 1-locaties een 100Gbit/s-verbinding?

Zomaar een paar vragen, die hopelijk in een vervolg behandeld zullen worden.

Ik reageer even in omgekeerde volgorde op je vragen:

> Heeft elke van die tier 1-locaties een 100Gbit/s-verbinding?

@Olaf: de link naar http://wlcg.web.cern.ch/ leid naar een Access denied pagina. Op https://twiki.cern.ch/twiki/bin/view/LHCOPN/WebHome staan meer publieke details.

Het antwoord kan je vinden op https://twiki.cern.ch/twi...LHCOPN/OverallNetworkMaps. Nee, er zijn niet overal 100G links. Naar NL-T1 (de Nederlandse Tier 1, een samenwerking tussen NIKHEF en SURF(sara)) wel. Overigens is er nog een tweede netwerk, vooral bedoeld van T1 naar T2 sites, genaamd het LHCONE netwerk, omdat ook daar de datastromen te groot bleken voor het reguliere Internet.

> Gebeurt inkoop gezamenlijk of onderhandelt ieder voor zich?

Organisatorisch is elk instituut zelfstandig, en dat meestal betekent dat ook de de inkoop afzonderlijk gedaan wordt. Wat je wel ziet is dat informatie over fabrikanten onderling wordt uitgewisseld, en dat fabrikanten vaak diep willen zakken, omdat ze weten dat als je iets aan deze onderzoeksgemeenschap iets goeds verkoopt voor een lage prijs, dat snel andere partijen volgen, en -belangrijker- dat ze gratis publiciteit krijgen zoals in dit Tweakers artikel. Er worden wel eens in Europees verband gezamenlijke aanbestedingen uitgeschreven. Zo heeft CERN geëxperimenteerd of het mogelijk was een deel van hun rekenwerk in een commerciële cloud te doen (antwoord bleek: vooralsnog niet). Over het algemeen worden er voor de aankoop aanbestedingen uitgeschreven waar meerdere fabrikanten op kunnen inschrijven, maar zoals je uit het verhaal kan lezen is niet alleen de vraag wie het zo goedkoop mogelijk kan leveren, maar is het vaak de vraag of het überhaupt wel te leveren is.

Ik geloof niet dat ik een NDA schendt door te melden dat Tristan erg goed is in het uitknijpen van fabrikanten. Hij schept er in elk geval graag over op en ik heb bewondering voor hoe hij dat doet.

> Vinden al die dertien tier 1-locaties dit wiel zelf uit of wordt er samengewerkt?

Er wordt zeer intensief samengewerkt. Niet alleen wetenschappelijk, maar zeker ook op IT gebied. Met name op gebied van netwerken wordt veel van elkaars infrastructuur gebruik gemaakt. De grote uitdaging is niet zozeer hoe de verschillende Tier 1 en Tier 2 instituten kunnen samenwerken, maar in hoeverre het mogelijk is dezelfde infrastructuur ook geschikt te maken door gebruik van andere wetenschappelijke disciplines. NIKHEF en LOFAR weten elkaar wel te vinden, maar met name voor biomedisch onderzoek zijn de workflows en de eisen die aan datacuratie worden gesteld echt fundamenteel anders. Fysiek staan bijvoorbeeld de gegevens van CERN, LOFAR en project MINE (ALS onderzoek, bekend van de bucket challenge) op dezelfde infrastructuur, maar zo'n laatste project heeft echt een andere workflow voor het doen van berekeningen en voor data transport.

Full disclaimer: ik werk bij SURF en werk meerdere keren met Tristan samen.

[edits: dubbele zin weggehaald; linkje naar LHCONE toegevoegd]

[Reactie gewijzigd door MacFreek op 18 november 2019 13:10]

Ik zal je vragen doorzetten naar Tristan maar volgend mij is het zo dat elk instituut dit zelfstandig uitzoekt en besluit, omdat elke locatie te maken heeft met zijn eigen budgetten, omstandigheden en wensen. Volgens mij heeft elke tier-1 ook zo zijn eigen projecten naast LHC waar dataverwerking een rol speelt. Bij Nikhef is dat bijvoorbeeld (het ook erg interessante) KM3NeT. Ik vermoed dat zelf uitzoeken ook gestimuleerd wordt omdat dan interessante uitkomsten uit de bus kunnen komen. Natuurlijk wordt er onderling wel informatie gedeeld over de it-ontwikkelingen. Dit gebeurt bij de HEPiX-bijeenkomsten. Hier is bijvoorbeeld de presentatie van Tristan over het onderwerp van dit artikel.

Cern draait zelf naar ik meen een Ceph cluster voor storage. Ik ben zelf wel benieuwd waarom dat niet werkt voor Nikhef.

https://ceph.com/community/new-luminous-scalability/
https://louwrentius.com/u...rce-scalable-storage.html

CERN heeft meerdere storage systemen. Voor een overzicht van de verschillende systemen heb je hier een presentatie uit 2017: https://indico.cern.ch/ev...ussea-storage-at-CERN.pdf

Ceph wordt bij CERN meer gebruikt voor HPC, user data en opslag backend voor een hoop van de services. Voor meer informatie kan je deze presentatie uit 2018 bekijken:
https://indico.mathrice.f...n/1/material/slides/0.pdf

Het uiteindelijk opslagbeest voor CERN is EOS: https://eos.web.cern.ch/. Dit systeem wordt voornamelijk gebruikt voor de dataverwerking. Maar zoals je op de website ziet is het uiteindelijk voornamelijk de software voor je systeem. Het geeft geen antwoord op je hardwarematige problemen, iets wat IMO toch wel de het probleem is wat de auteur in dit artikel beschrijft.

Bedankt ik had EOS gemist.

Mooi artikel!

Kijken ze in Amsterdam eigenlijk ook naar hun collega's van Astron in Drenthe /Groningen, die mogelijk dezelfde uitdagingen hebben (wegens overgang van LOFAR naar SKA)?

https://www.skatelescope....operation-agreement-cern/

ASTRON en Nikhef zijn allebei onderdeel van NWO-I. Overleg is er zeker.

Ook SURFsara neemt deel aan de eerste SKA experimenten.

Misschien een domme vraag. Maar wat hebben we er mee bereikt om te weten wat zon knal doet. En dan niet hoe de aarde is ontstaan maar wat het ons oplevert in de toekomst. Uitgezonderd van alle mooie techniek die er voor gebouwd is en het internet.

Deeltjesfysica is best een abstract terrein. Voor mensen die er alleen soms een artikel over lezen kan ik mij dat best voorstellen. Zelfs wanneer je als technicus bij een van de instituten betrokken bent geweest blijft de theorie van die botsingsdeeltjes lastig the interpreteren. Zelf zie ik het onderzoek in de deeltjesversnellers als een katalysator voor andere ontwikkelingen. NikHef moest in dit artikel de grenzen van opslagbuffering opzoeken. De markt heeft het nauwelijks beschikbaar, of NikHef grist het uit hun handen weg.

Op zich is de omvang van de oplossing in combinatie met het budget van de deal voor hardware bouwers vaak nog niet eens zo interessant. Dat NikHef met zijn toepassing een voorhoede vormt, en een kraamkamer voor toekomstig gebruik van de markt, maakt het voor hardware partijen juist interessant om mee te denken aan een werkende oplossing.

Draaien we even weg bij de wetenschap en computertechniek en kijken we naar de techniek dan wil ik je vragen even stil te staan bij de versnellerring van 27 kilometer in omtrek die in zijn geheel onder hoogvacuüm wordt gehouden en waarbij de temperatuur in de ring tot minder dan 2 Kelvin (-271 Celcius) wordt verlaagd. Alleen op die manier is het medium van de bundel (~plasma is geloof ik de juiste omschrijving) in een supergeleidende toestand te krijgen wat de energieniveau's mogelijk maakt die LHC vereist.

In deze omstandigheden moet LHC een magnetisch veld zodanig focussen dat die bundel, het plasma, in een zo klein mogelijke bundeldoorsnede gefocusseerd blijft. Het meten van deze bundeldoorsnede in de ring, en de resultaten hiervan terugkoppelen naar de aansturing van die magneten is weer een kunstje op zich. Interferometrie tenslotte is nodig om de bouw van de ring met idioot hoge nauwkeurigheid uit te kunnen uitvoeren.

Dit LHC instrument vergt dus een gecombineerde grensverleggende inspanning op het vlak van vacuümtechniek, cryo(koude)techniek, magneettechniek, dataverwerking en energiedistributie (op energie- en datavlak is LHC rupsje nooitgenoeg). Genoemde technieken zijn in de nabije toekomst te verwachten in onze transport systemen en energiedistributienetwerken. Die toepassingen haken met hun ontwikkeling aan op de grenzen die LHC nu al verlegt.

De informatie die LHC verschaft kan een weg vinden naar een toepassing bij een ander instituut dat zich op de Amsterdamse campus bevindt, Amolf, dat met fundamenteel onderzoek naar materiaaleigenschappen en -toepassingen internationaal hoge ogen gooit.

Ik heb het nu eigenlijk alleen nog maar over de bundelpijp gehad, en nog niet eens over de technologie verwerkt in de wetenschappelijke instrumenten/testopstellingen. De (imaging)sensortechniek uit deze opstellingen wordt bijvoorbeeld in satellieten toegepast. De techniek van het bouwen van wetenschappelijke instrumenten zorgt dus ook voor een soort kruisbestuiving, om de werkers met kennis van dit soort instrumentenbouw zo goed mogelijk in te zetten. Zo heeft Nikhef meegewerkt aan Virgo, een instrument om microgravitatiegolven in de ruimte te kunnen meten. Het kunnen detecteren van deze golven rust ons eigenlijk uit met nieuwe zintuigen waarmee we nog verder terug kunnen kijken in het verleden van het ontstaan van de ruimte, zodat de oerknal theorie kan worden getoetst. Shell heeft bijvoorbeeld een toepassing gevonden voor Ligo, de voorganger van Virgo.

edit: typo's

[Reactie gewijzigd door teacup op 18 november 2019 13:43]

De vraag is 'uitgezonderd van alle mooie techniek die er voor gebouwd is'.
Naast kruisbestuiving van techniek kom ik dus inderdaad ook niet verder wat er mee bereikt kan worden in de toekomst.
Geen domme vraag, want hoe mooi en interessant ik het allemaal wel vind zou ik dus ook niet kunnen zeggen wat voor nut dit in de toekomst heeft buiten de technische kennis.

Geen domme vraag, nee, om die reden ook mijn inspanning haar van een antwoord te voorzien. Tweakers mag van mij als gemeenschap wat best wat vergevensgezinder zijn tegenover vragen die uit onbevangenheid worden gesteld. Van een kant kunnen we aanmoedigen om zelf onderzoek te plegen. Heel lang is dit het DNA van tweakers geweest. Van de andere kant moeten ook vragen gesteld kunnen blijven worden.

Maar ja, wat je vraagt is om in een kristallen bol te kunnen kijken en te kijken waar we uiteindelijk op uit komen. Ik heb in mij reactie hierboven aangegeven wat concrete baten onze samenleving kunnen zijn. Dicht bij huis blijvend door het oprekken van de bestaande grenzen van onze huidige technologie en het oprekken van toepasbaarheid ervan. Baten die wij in ons leven nog moeten gaan meemaken. Een andere reden om deze lijn te kiezen is omdat ik een technicus ben, en geen wetenschapper. Voor een vergezicht ben ik dus overvraagd.

Mijzelf die vraag stellende kom ik op een pagina van het CERN terecht die het standaard model beschrijft. Een toegankelijke Nederlandse beschrijving van het standaardmodel is te vinden in quantumuniverse. De beschrijving van CERN beaamt dat, ofschoon het standaard model de best beschikbare beschrijving is, het niet alles afdekt. De precieze rol en werking van de zwaartekracht op materie beschrijft het niet. Het standaard model stelt zich ook de aanwezigheid van een deeltje/veld, het Higgs Boson voor, dat LHC in 2012 lijkt te hebben kunnen vaststellen. Maar wat ik vermoedde, het standaard model wijst dat Higgs boson aan als een entiteit, maar latere theorieën suggereren een differentiatie in verschillende Higgs Bosonen. Het houdt dus vermoedelijk niet op bij Higgs.

Fysici zullen het volgende vast beter kunnen formuleren: Die LHC versneller faciliteert ons bij onze incrementele zoektocht naar het kunnen beantwoorden van vragen als waarom is die zwaartekracht relatief zo zwak? Lekt ze weg naar een dimensie die wij niet kunnen zien? Ook het beter begrijpen van donkere materie in de ruimte kan hiermee samenhangen. Donkere materie maakt zich kenbaar aan haar omgeving via die zwaartekracht effecten.

Het precies begrijpen van zwaartekracht en donkere materie kan essentieel zijn in het voortbestaan van de mensheid. Dit is ook meteen de schaal waarop we de inspanningen moeten waarderen die in een machine als LHC gestopt worden. Hoe wordt ik, of hoe worden wij er beter van, is denk ik de verkeerde vraag. Mogelijk levert onze inspanning pas over een paar honderd jaar een revolutionair inzicht op. En mogelijk is dat een onbedoeld bijeffect van dit huidige onderzoek. Denk als analogie eens aan Marie Curie, die in haar onderzoek naar magnetisme op radioactiviteit stuitte. Wij plukken uiteindelijk de vruchten van een onbedoeld zij effect van haar onderzoek naar magnetisme. Misschien moeten we ook met onze jacht op het Higgs Bozon tot het inzicht komen dat we zelfs iets anders moeten onderzoeken. Maar hoe kunnen we anders op dat punt belanden als we niet eerst dit proces van determineren doorlopen en kijken waar het ons brengt.

[Reactie gewijzigd door teacup op 19 november 2019 06:18]

Particle physics heeft nou niet echt direct iets met de geschiedenis van de aarde te maken.
Deeltjes onderzoek levert ons een begrip van de meest fundamentele werking van de natuur. De applicaties van de opgedane kennis en ontwikkelde technologiën om dit te doen hebben dan ook een enorm brede invloed op allerlei zaken, van betere materialen, cpu/gpu's bakken tot kanker behandeling.

bv:
https://physicsworld.com/...erators-ever-done-for-us/

http://theconversation.co...iggs-boson-in-sight-54187
Daarnaast hebben we ze nodig om bepaalde voorspellingen van theoriën te testen en daarmee de correctheid van onze kennis. Het is handig om te weten dat je theorie waarop je je b(r)ouwsels baseert ook klopt. Een theorie valt of staat met haar voorspellende waarde (lees praktische toepasbaarheid).
Sommige voorspellingen, zoals 't Higgs deeltje van 't standaard deeltjes model waren niet te toetsen vóór de komst van een deeltjesversneller van 't kaliber van 't LHC.

maar wat het ons oplevert in de toekomst.

Toen mensen zoals Faraday, Maxwell en Einstein hun vindingen deden (oa elektromagnetisme en Relativiteit), wisten zij noch iemand anders wat het in de toekomst zou opleveren (oa radio/wireless, micro-elektronica, GPS, smartphone).

Het algemene idee achter fundamenteel wetenschappelijk onderzoek is dat het hoogst waarschijnlijk nuttig zal zijn om te weten 'hoe de realiteit werkt'.

Hoezo kijken ze in de volgende versie naar gpu oplossingen. Fpgas zijn toch tietallen keren sneller.

Of willen ze cores die meer dynamische zijn en verschillende soorten data kunnen verwerken.

FPGA's zijn over het algemeen inderdaad veel efficiënter in één taak maar ook bij de huidige FPGA's zit er een limiet op hoeveel data je kan verwerken. GPU technologie gaat erg hard en is relatief goed te schalen. Het zou zomaar kunnen dat als ze maar genoeg GPU geweld inzetten, er meer data verwerkt kan worden voor dezelfde prijs.

Bij FPGA's gaan de ontwikkelingen ook heel hard... en de nieuwe generatie FPGAs (bijv. Versal van Xilinx) kan je ook in runtime gewoon aanpassen.. en die hebben ook meerdere 100gbit bitpijpen. Ik zie niet direct een meerwaarde van een GPU tegenover een FPGA (en andersom), ik denk dat het heel dicht bij elkaar ligt. Misschien dat het de prijs is, want die nieuwe FPGAs zijn heel heel duur.

ASICS zoals GPU's zijn altijd sneller dan FPGA's als je naar de schakelsnelheden kijk.
Wel zijn FPGA's voor een taak te optimaliseren waardoor ze sneller kunnen zijn.

Interessant stuk om te lezen!

Ik kan mij voorstellen dat het handig is om techniek en inkoop beleid van de andere locaties op elkaar af te stemmen. Jullie zullen ongetwijfeld wel samenwerken en dingen bespreken, maar ik kan mij ook voorstellen dat er veel betere deals te behalen zijn als je het inkoopt voor 15 locaties versus 1.

Zou je kunnen toelichten of dat al eens geprobeerd is?

[Reactie gewijzigd door Ircghost op 17 november 2019 07:17]

Kan helemaal met ACM meegaan. Werk zelf bij een bedrijf dat deel uitmaakt van een internationale cluster vergelijkbare zusterbedrijven. Synergie zoeken op inkoopvlak lijkt aantrekkelijk laaghangend fruit en borrelt ook regelmatig op als voorstel bij het clustermanagement.

Die synergie op inkoopvlak gaat vaak wel voorbij aan de behoeftes van die bedrijven/organisaties op het moment van zo'n transactie. Dit kan tot gevolg hebben dat nog niet verouderde hardware en software wordt afgeschreven omdat die "geharmoniseerd" moet worden vervangen. Ook hebben ieder van die organisaties zo hun eigen ontwikkeldoelstellingen en bevinden ze zich in verschillende ontwikkelingsfases. Hierop een gemeenschappelijk inkoopbeleid loslaten is gedoemd om te gaan wringen.

Is harmonisatie dan niet mogelijk? Van een andere bedrijvencluster weet ik dat die zich midden in zo'n harmonisatieproces bevindt. Voor dit proces is een drijfveer nodig. In dit geval de harmonisatie van het Product Data Management. Komen tot een gemeenschappelijke database voor productiedata, zodat uit een gemeenschappelijke vijver van maak- en koopdelen kan worden geput. Merk hierbij op dat de harmonisatie van de IT niet eens het doel is, maar meer een gevolg, of nog indirecter, een bijkomende kans. Een dergelijk proces kan echter langer dan 10 jaar duren. Geen laaghangend fruit dus, en als project heel kwetsbaar.

Op zich is je vraag heel terecht, het zou alleen vereisen dat al die verschillende (vaak nationaal aangestuurde) wetenschappelijke instituten gemeenschappelijke ontwikkeldoelstellingen formuleren die dan gemeenschappelijke keuzes op IT vlak tot gevolg hebben. Die ontwikkeldoelstellingen moeten bovendien niet op projectniveau (LHC) gebeuren, maar op instituutniveau (inkoopbeleid). Ik vrees dat al die instituten daarvoor niet (voldoende) centraal georganiseerd zijn [....].

Op zich heeft het ook zijn charme om vanuit de diversiteit te vertrekken en specificaties terug te brengen tot de essentie: het verzenden, ontvangen en verwerken van data. De winst hiervan kan zijn dat verschillende oplossingen voor vergelijkbare problemen kunnen worden getoetst.

[Reactie gewijzigd door teacup op 17 november 2019 12:08]

Je stelt de vraag alsof de gene die het antwoord kan geven dit artikel heeft geschreven?
Wellicht kan @Olaf die vraag nog doorzetten naar het NIKHEF, maar hij zal zelf wellicht het antwoord niet weten.

Maar ik kan me voorstellen dat als ze zelfs binnen het NIKHEF al ieder jaar naar verschillende leveranciers kijken voor verschillende 'subclusters', dat zoiets coordineren op niveau van 15 locaties in verschillende landen en met verschillende doelen mbt de data en verwerking ervan niet heel praktisch zal zijn.

Mooi artikel, dat zie ik graag op de zondagochtend. Toch best wel netjes dat wij als Nederland participeren in dit soort mega-projecten.

Niet alleen participeren, maar een groot aandeel leveren! Ik ben er wel erg trots op. Wat ik begrijp hebben ‘wij’ dus twee tier 1 locaties, en verwerkt het kleine Nederland dus 20% van de data van het CERN. (10% per locatie)
En een groot deel van de optische infrastructuur leveren we ook in de vorm van SURFnet.

Er is af en toe genoeg reden om wat minder trots te zijn op je land, maar soms gloei ik van trots *denkt ook aan SolarChallenge en GLARE en ASML*

Er is 1 Nederlandse T1 site in het Worldwide LHC Computing Grid, namelijk NL-T1, een samenwerking van NIKHEF en SURF(sara).

De verbinding tussen Amsterdam en Genévè via Brussel en Parijs is inderdaad in handen van SURFnet.
(NB: Er werd voorheen ook gebruik gemaakt van backup verbindingen via Hamburg of via Karlsruhe, die in handen zijn van NORDUnet en PIONEER, zie https://www.glif.is/publications/maps/ voor mooie plaatjes -- geeft ook een goed beeld van de samenwerking), maar tegenwoordig wordt het LHCONE veelal gebruik voor backup verbindingen binnen de WLCG.

Overigens is de hoeveelheid data van LOFAR in Amsterdam groter dan de hoeveelheid data van CERN. Maar dat komt omdat LOFAR "maar" op 3 plaatsen opslaat, Amsterdam, Jülich en Groningen, terwijl CERN maar liefst 11 T1 sites heeft, dus CERN is wereldwijd koploper. Maar vergis je niet in de groei van medische datasets, met name DNA data. Ondanks de HL LHC zou het me niet verbazen als over 5 jaar de hoeveelheid data daarvan nog groter blijkt dan de kern- of astrofysische datasets.

Soms wil ik graag dat mijn werkgever ook zo iets bouwt.
Maar helaas, ik heb wel een paar vragen:

Is het ook bekend van voor OS hier op draait?
Een eigen gemaakt OS? Een GNU/Linux distro?
Of misschien een windows?

[Reactie gewijzigd door Mad-Djek op 17 november 2019 06:19]

Netapp: eigen OS (Ontap heet het geloof ik)
Power8: zeker geen windows, IBM heeft AIX (=Unix) Ook verschillende linux flavours worden op power ondersteund
Bij de vergelijkende testen tussen Intel / ibm werd Ubuntu gebruikt

Netapp E series draaien SANtricity

https://www.netapp.com/us...id-flash-array/e5700.aspx

Netapp AFF en FAS systemen draaien cDOT (clustered data ontap)

Toevallig de NetApp E serie niet. Dat is een aparte hardware lijn van een overgenomen partij met het OS SANtricity en is block based (SAN)
https://www.netapp.com/us/media/ds-3894.pdf

Gezien de enome hoeveelheden data zoek je hier voornamelijk performance.
Een NAS (NFS/Cifs) all-flash systeem (alleen SSD's) is bloedsnel, maar als 2GB/sec al beperkend is, dan heb je domme kracht nodig en 2GB wat als beperkend word gezien is 16Gbit. Zelfs met 25Gbit netwerk interfaces loop je dan tegen een grens per interface aan.

SInds kort hebben ze ook een hybride oplossing die intel optane (geheugen-performance) combineert met All Flash als "trage" tier voor functionaliteit en redundantie:
https://www.netapp.com/us/media/ds-3953.pdf

Het artikel meldt dat de IBM Power systemen bij Nikhef draaien op CentOS7

Dit lezen na een nachtdienst is misschien niet zo slim van me geweest. Maar zou het voor LHC slimmer zijn als ze alles op 1 zelfde OS draaien?

Waarom, ieder OS heeft zo zijn sterke en zwakke punten en bevatten niet dezelfde bugs. Lijkt me voor een project als de LHC verstandig om niet al hun eieren in 1 mandje te stoppen. Ik neem ook aan dat als het slimmer was geweest ze dat ook wel gedaan hadden ... het is niet alsof die gasten daar niet weten wat ze doen (of althans mag hopen van niet)

nee, de systemen zijn compleet verschillend en uiteindelijk moet voor elk systeem de beste oplossing gezocht worden. Het merendeel is gewoon data overpompen en dat is redelijk OS-onafhankelijk

Of misschien een windows?

CentOS7-ppc64le als besturingssysteem

Staat in de tabel met de specs.


Ik gok dat Windows er bij een instituut als CERN niet in komt voor kritische infrastructuur.

Vendor lock-in is geen optie, closed source is geen optie (want geen support mogelijk, ook niet zelf, nadat de support van de fabrikant eindigt), instabiliteit is geen optie, het feit dat de meeste CERN tools van oudsher geschreven zijn voor Linux maakt het ook dat Windows denk ik geen optie is.

Op een of andere manier heeft Java (Oracle) haar weg wel gevonden binnen CERN, maar dat zal ermee te maken hebben dat het ooit van Sun was. Wellicht krijgen ze daar nog spijt van.

Disclaimer; dit zijn mijn inschattingen. Wellicht zit ik er helemaal naast.

[Reactie gewijzigd door GeoBeo op 17 november 2019 08:58]

Sinds CERN moet betalen voor Windows (https://tweakers.net/nieu...r-opensourcesoftware.html, zijn ze hard bezig om Windows geheel uit te faseren omdat ze er simpelweg geen geld voor hebben. CentOS is de vervanger. Letterlijk alles bij CERN draait op CentOS. De keuze bij Nikhef lijkt me uit dat oogpunt dan niet zo gek.

Ahh misschien gaan ze nog naar de openJDK wat betreft java, zal echter ook geen klein klusje zijn en ongetwijfeld wat haken en ogen hebben die ikzelf niet zie.

"Suerink gebruikte dezelfde schijven en dezelfde kabels, alleen de cpu was anders. Hij zette vervolgens Ubuntu erop en draaide zijn eigen testtool om de prestaties te bepalen."

Aah, dank voor de reactie. Dit lezen na een nachtdienst is misschien niet zo slim van me geweest.

Er staat onderaan de specs van dat power9-systeem dat het CentOS 7 draait

CentOS7

Heel interessant. Hopelijk komt men hierdoor voorbij de Quantum Mechanica om een scherpere kijk op ons universum te bieden en kan men 70 jaar na Bohr's Kopenhagen interpretatie diens ongelijk aantonen. Uiteindelijk heeft Einstein toch gelijk; "God does not play dice." Ben benieuwd tot welke wetenschap men komt als men uiteindelijk de vier natuurkrachten tot één theorie weet te smeden.

De Bell inequalities hebben al lang aangetoond dat Einstein wat dat betreft ongelijk had helaas.

Let wel; eigen visie, geen standaard wetenschap:
Agree, maar niet met Bell. De premise dat er in de klassieke wereld (niet QM) geen instantane overdracht kan plaatsvinden is eigenlijk niet waar. Het waargenomen fenomeen van 'entanglement' kan net zo goed 'Einsteiniaans door krommingen worden veroorzaakt. Krommingen werken instantaan en een op de éne plek beínvloedt deeltje kan dus per direct (op basis van ruimtekromming) een ander deeltje op afstand beinvloeden.

Entanglement is vaak misbegrepen. Het is alsof je twee identieke dozen maakt alleen zit in de ene een rode bal en in de andere een blauwe bal, dat weet je zelf niet wanneer je één van de pakjes naar de maan stuurt. Wanneer het pakje daar is en je opent je eigen pakje weet je ook ineens wat er in het pakje op de maan zit en niet pas 2,5 seconden (afstand in lichtsnelheid) later. Of vice versa, wie het pakje op de maan opent weet onmiddellijk wat er in het pakje op aarde zit. Hoe dan ook moet het pakje eerst verzonden worden en dat kan niet sneller dan het licht. Entanglement is daardoor niet bruikbaar voor ftl communicatie.

Belangrijk te realiseren is wel dat superpositie niet gewoon iets is waarvan we de uitkomst gewoon niet weten (zoals in je voorbeeld), maar dat het echt de realiteit is dat deeltjes zich in verschillende staten tegelijk bevinden, wat weer leidt tot bijvoorbeeld de bekende interferentiepatronen in het bekende double slit experiment.

Lees Something Deeply Hidden van Sean Carroll eens, daarna kan je waarschijnlijk niets anders dan je visie aanpassen

Everett ("Many Worlds") is imho de simpelste en enige juiste interpretatie. Maar sowieso zijn er nog maar weinig wetenschappers die de Kopenhagen interpretatie aanhouden.

Krommingen werken instantaan en een op de éne plek beínvloedt deeltje kan dus per direct (op basis van ruimtekromming) een ander deeltje op afstand beinvloeden.

Rare stelling. Het begrip "instantaan" bestaat namelijk helemaal niet in de relativiteitstheorie. De volgorde van timelike separated events (en dus ook of dingen tegelijk gebeuren of niet) is nogal afhankelijk van je referentiekader.

[Reactie gewijzigd door .oisyn op 17 november 2019 12:10]

entanglement gaat niet over informatieoverdracht. Dat wordt vaak met elkaar verward en het lijkt erop dat jij dit ook doet.

Hoe tonen die aan dat bepaalde processen écht random zijn? Kun je uitsluiten dat die processen eigenlijk worden gestuurd door een verborgen pseudo random generator? Dat wil zeggen een sterke pseudo random generator waar wij het algoritme en de variabelen niet van kennen (en het daarom niet kunnen onderscheiden van echt random) maar die de boel wel degelijk deterministisch aanstuurt.

Hoe tonen die aan dat bepaalde processen écht random zijn? Kun je uitsluiten dat die processen eigenlijk worden gestuurd door een verborgen pseudo random generator?

Is dat relevant? Statistisch gezien lijkt het gewoon random met een uniforme verdeling. De notie dat het stiekem misschien toch niet random is is net zo zinloos als de notie dat er een schepper bestaat die de aarde enkele duizenden jaren geleden heeft geschapen en alles op alles gezet heeft om het zo te laten lijken dat wij voortkomen uit evolutie en het universum uit de oerknal. Maar het is een ontestbare verklaring die niet nodig is om de werking van het universum te beschrijven.

[Reactie gewijzigd door .oisyn op 20 november 2019 12:53]

Ik denk inderdaad niet dat het relevant is. Hooguit leuk vermaak om over na te denken voor wie van filosoferen houdt.
Alleen de stelling dat het écht fundamenteel random is (c.q. dat Einstein ongelijk had) lijkt me te kort door de bocht.

God does no play dice with the universe? Heisenberg heeft nochtans aangetoond van wel met zijn chaostheorie. Licht gedraagt zich als een golf en een deeltje maar wanneer je gaat meten gedraagt het zich enkel als deeltje. Dwz dat er een random factor zit in de natuur en we zelfs als we alles zouden kunnen meten we niet kunnen terugrekenen naar het beginpunt.

Dat is een misvatting. Er is chaos c.q. randomness voor ons aangezien wij zelf onderdeel zijn van het universum dat we proberen te meten of voorspellen.

Echter dat geldt niet noodzakelijkerwijs voor God, of voor een observer die buiten het universum en de natuurwetten valt. Er kunnen best verborgen variabelen zijn, of liever gezegd verborgen constantes, die alles nog steeds deterministisch bepalen. Dat bedoelde Einstein ook met God doesn't play dice.

Maar met 'verborgen' wordt bedoeld dat ze per definitie buiten ons bereik liggen, dus voor ons is het niet te onderscheiden van random.

https://www.businessinsid...ice-quote-meaning-2015-11

Wat is je punt?

Voor de goede orde: Einstein's uitspraak is niet in tegenstrijd met Heisenberg's onzekerheidsprincipe. Het gaat om het perspectief: voor ons (of voor iedere waarnemer die zelf onderdeel uitmaakt van het universum) is er een bepaalde fundamentele onzekerheid of randomness. Maar of die onzekerheid er écht is, of dat onder de oppervlakte nog steeds een deterministisch principe achter schuilgaat (dat wij niet kunnen kennen) is absoluut niet bewezen.

In ons universum is er onzekerheid zeg je zelf ook. Dat volstaat voor mij hoor. Er goden/scheppers bij halen die op een hoger niveau zouden staan is wetenschappelijk gezien nonsens. Indien het tegendeel ooit bewezen wordt trek ik mijn woorden terug.

Dan heb je het artikel dat je zelf linkte niet helemaal goed begrepen. Uiteraard haalt niemand er echt goden of scheppers bij, dat was helemaal niet wat Einstein bedoelde.

Er is in ons universum zekerheid voor ons omdat wij zelf onderdeel zijn van hetgeen we proberen te observeren. Waardoor een 100% objectieve, niet-interactieve waarneming niet mogelijk is. Wij kunnen niets in het universum objectief waarnemen, en we kunnen niets waarnemen zonder het te beïnvloeden. Onder de streep resulteert dat er in dat er in onze kennis over het universum (en daarmee ook over onszelf) altijd een mate van onzekerheid zit.

Dat wil helemaal niet zeggen dat die onzekerheid er ook fundamenteel is.

Klakkeloos aannemen dat er écht randomness is, is wetenschappelijk gezien net zulke nonsens. En ik beweer ook niet dat er geen randomness kan bestaan, ik zeg dat we het niet kunnen weten.

Misschien een vergelijking ter illustratie. Stel dat je een geavanceerde kunstmatig intelligente versie van The Sims hebt. Waarbij die Sims voldoende intelligent en bewust zijn om onderzoek te kunnen doen naar de aard van hun realiteit en universum.

Nou heeft de programmeur van dat spel een pseudo random generator verwerkt in de natuurwetten die in dat Sims-universum van kracht zijn. Stel dat die Sims wetenschappelijk zo ver vorderen dat ze hun hele physica, alle algoritmische regels en wetten die de programmeur er in heeft gebouwd, kunnen doorgronden. Zij hebben dan een soort Theory of Everything. For argument's sake gebruikt die pseudo random generator een bron van buitenaf, een 'noise generator', een extern apparaat in de USB port of zo. Die Sims kunnen daar niet bij. Wat er aan die random input ten grondslag ligt zijn voor hen verborgen variabelen.

De programmeur weet of dat gewoon een andere computer is met een 100% deterministisch pseudo random algoritme, of een 'echte' hardwarematige random generator die op basis van kwantum ruis werkt of radioactief verval o.i.d.
Maar de Sims zullen dat onderscheid nooit kunnen maken. Zij kunnen onmogelijk bepalen of hun realiteit écht random is, of dat het wel degelijk fundamenteel deterministisch is. Dus als een Sim beweert "het universum is random" of "het universum is deterministisch" is dat wetenschappelijk allebei nonsens.

Dat geldt ook voor ons. Wij kunnen onmogelijk weten of bepaalde processen die voor ons random lijken, ook echt random zijn of toch een deterministische grondslag hebben.
In beide gevallen hebben we trouwens ook geen vrije wil maar goed dat raakt wel erg offtopic hier

Ik vind je redenering hetzelfde als in de grap van de wiskundige die het zinloos vind om ergens naartoe te gaan indien hij telkens de helft van de afstand mag afleggen want hij zegt (en heeft theoretisch gelijk) dat hij zijn doel nooit zal bereiken. De natuurkundige zal wel aanvaarden dat hij “for all practical purposes” dicht genoeg bij zijn doel zal komen.

For all practical purposes is er een factor randomness in ons universum.

Ik vind je redenering hetzelfde als in de grap van de wiskundige die het zinloos vind om ergens naartoe te gaan indien hij telkens de helft van de afstand mag afleggen want hij zegt (en heeft theoretisch gelijk) dat hij zijn doel nooit zal bereiken. De natuurkundige zal wel aanvaarden dat hij “for all practical purposes” dicht genoeg bij zijn doel zal komen.

Die vergelijking slaat kant noch wal. Hij heeft theoretisch helemaal geen gelijk, die paradox van Zeno is al heel lang geleden glashelder ontkracht.

Zeggen dat hij zijn doel nooit zal bereiken is objectief en bewijsbaar onjuist, het moet zijn: er zijn oneindig veel momenten (of er zullen oneindig veel momenten voorbij gaan) voordat hij zijn doel bereikt. Maar die momenten liggen ook oneindig dicht na elkaar, dus het duurt bij elkaar nog steeds gewoon een eindige hoeveelheid tijd.

Zowel een natuurkundige als wiskundige zal weten dat hij niet slechts 'dicht genoeg' bij zijn doel zal komen maar het doel op tijdstip t exact zal bereiken.

For all practical purposes is er een factor randomness in ons universum.

Er is een fundamentele onzekerheid in onze waarneming en kennis van het universum. Maar beweren dat er daadwerkelijk een factor randomness in ons universum zit, is wetenschappelijk nonsens.

Als we geen vrije wil hebben zijn we slechts npc's en niet verantwoordelijk voor onze daden. Sims inderdaad. In dat geval kijk ik uit naar nieuwe content

Heisenberg heeft nochtans aangetoond van wel met zijn chaostheorie

Heisenberg's uncertainty principle heeft niets met chaostheorie te maken. Chaostheorie zegt: dingen zijn wellicht deterministisch, maar het is praktisch onmogelijk om alle details te kennen. Heisenberg zegt: dingen zijn ondeterministisch, en het is fundamenteel onmogelijk om bijvoorbeeld zowel de plek als de snelheid van een deeltje te bepalen omdat die niet als zodanig tegelijk kunnen bestaan.

Juist, ze ontkrachten beiden Laplace's demon. Dus toch een connectie.

Dat er uiteindelijk een theorie komt is wel duidelijk, maar Einstein had helaas ongelijk. "God does play dice".
Dat hebben we inmiddels vaak genoeg aangetoond en kun je inmiddels zelf ook thuis doen met eenvoudige experimenten.

Wat voor experimenten bijvoorbeeld?

Interferentie patroon in lasers kun je met het blote oog zien.

https://www.google.com/se...gQIFBAs&biw=2094&bih=1299

is it a wave or a particle!!

Maar dat toont toch helemaal niet aan dat God plays dice?

Het toont aan dat licht zich (ook) gedraagt als golf in plaats van (alleen) als deeltje.

Precies dit zou het voor mij een extra uitdaging maken om aan dit soort technologie te werken. Een paar jaar geleden had New Scientist een special over Nikhef; leuk om te lezen over de Nederlandse bijdrage aan deze tak van de wetenschap.

"God does not play dice."
Heerlijk dit soort filosofische oneliners!
"God ain't a factory." waar eenheidsworsten of iPhone hoesjes worden uitgeperst.

Mooi verhaal over mooie hardware. Zou leuk zijn geweest om ook te lezen hoe zich dit verhoudt tot andere tier-1 locaties.

Als je heel erg geïnteresseerd bent, veel info kun je met wat puzzelen bij elkaar krijgen door de statistieken erbij te pakken: https://gstat-wlcg.cern.ch/apps/topology/

Op zich is het al niet heel eerlijk om direct te vergelijken omdat niet elke Tier 1 locatie zich met elk experiment bezighoudt. NL-T1 doet niks met CMS bijvoorbeeld.