Channels
Powered by True

Hogeschool Inholland gebruikt bittorrent voor verspreiding software-updates

Door Robin Vreuls, zaterdag 8 maart 2008 11:42
Submitter: VerySmart, views: 26.577

Hogeschool Inholland heeft een nieuwe netwerktool in gebruik genomen voor de verspreiding van software binnen het schoolnetwerk. De tool is gebaseerd op het bittorrent-protocol en verspreidt een update binnen 4 uur over 6500 computers.

Hogeschool InhollandInholland had voorheen 20 servers in gebruik, die 4 dagen nodig hadden om een update uit te rollen, zo meldt Torrentfreak. In de nieuwe opzet maakt de hogeschool gebruik van 2 servers die Microsoft Systems Management Server 2003 draaien. Via een speciaal gebruikersaccount, dat niet toegankelijk is voor studenten, kan een update binnen 4 uur over de 6500 schoolcomputers uitgerold worden, waarbij de schoolcomputers ingezet worden om de update verder te verspreiden.

Hogeschool Inholland heeft voor de ontwikkeling van de bittorrent-netwerktool de hulp ingeroepen van een extern bedrijf. De tool is gebaseerd op Bittorrent DNA waardoor een update of migratie niet meer vanuit een centrale server verspreid hoeft te worden, maar alle computers in het netwerk gebruikt worden om de update of migratie over het hele netwerk uit te rollen. Deze manier van systeembeheer zou niet alleen geld besparen omdat er minder hardware nodig is, ook zou het veel minder tijd kosten om een groot aantal computers te migreren.

Volgende: Logitech: overname door Microsoft 'onlogisch' 16:25
Volgende in Life: Bedrijf start opensourceproject voor het bouwen van robots 13:32
Vorige in Core: Algoritme vergroot capaciteit en snelheid van optische media 09:23
Vorige: Wetenschappers gebruiken mri-scan om 'gedachten te lezen' 17:46

Reacties

«  1  2  3  »

Er zijn wel veel baten genoemd.

Maar vergeet niet dat er enorme belasting optreedt op het netwerk.

daar heb je gelijk in...

maar het is wel een goeie oplossing voor geld besparen ja!
en binnen 4 uur 6500 computers geupdate is zeker niet slecht :)

[Reactie gewijzigd door Iceman1991]


Als het goed is zitten niet alle 6500 computers aan één kabeltje!

Ieder lokaal, iedere vleugel, ieder gebouw, iedere plaats hebben allemaal een eigen knooppunt. De bandbreedte wordt geleidelijk aan verdeeld over het héle netwerk.

Moet je voorstellen wat voor een bandbreedte er gevreten wordt als alle computers tegelijkertijd worden geupdate... De verbinding bij de bron slibt dan helemaal dicht.

Dat probleem is op deze wijze verholpen en daarom gemiddeld een lichtere "load". :)

Persoonlijk vind ik het een geniaal systeem _/-\o_

Maar is die belasting slecht dan? Ik snap niet waarom er door sommigen altijd zo'n probleem van gemaakt wordt. Want het is helemaal geen probleem. Heb jij ooit gehoord dat er iets mis is gegaan door een te hoge belasting van het internet?

Als de belasting te hoog dreigt te worden moet de capaciteit van het netwerk uitgebreid worden. Is technisch prima realiseerbaar en zorgt alleen maar voor vooruitgang.

Wat maakt het uit voor de belasting? een netwerk dat 24u per dag voor 2% belast is, lijkt mij een desinvestering. Er ligt dan gewoon verloren kapitaal.

Daarbij in deze situatie zou je de updates heel goed snachts over het netwerk kunnen blazen hebben de gebruikers er geen last van.

Op een school? Gewoon vrijdagochtend beginnen, en maandag eindigen (de meeste studenten toch thuis). Nauwelijks last van.

Een bedrijf zal dan wel wat limieten opzetten om tijdens kantooruren de belasting binnen de perken te houden, maar na werktijd maakt netwerkbelasting echt helemaal niks uit.

Je hebt capaciteit toch juist zodat je het kan benutten? Beter dan dat al due netwerkapparatuur staat te idlen ;)

Op een intern netwerk van bijvoorbeeld een hogeschool, waar de meeste verbindingen (van de desktop PC's naar de switches) normaal gesproken voor minder dan 1% oid gebruikt worden maakt de extra belasting nauwelijks uit. In princiepe is het versturen van bitjes van client A naar client B over het netwerk even 'duur' als vanaf server A naar client B, er even van uitgaande dat alle PC's op 1 fysieke locatie staan. Een p2p oplossing kan dan ook wel degelijk een besparingen opleveren.

Op internet is dit echter niet het geval. Bittorrent is dan ook bedoelt om het downloaden goedkoper te maken voor de aanbieder. Per saldo kost het internetgebruikers in het algemeen echter alleen maar meer. Een bittorrent client in de US zal een stukje uploaden naar een client in de EU, en die upload het weer naar een andere client in de US. Uiteindelijk is het twee keer over een trans-Atlantische kabel geweest, terwijl er waarschijnlijk wel een andere client in de EU was die dat stukje torrent ook heeft.

Geografisch gespreide servers hebben dit probleem niet. De data wordt een maal verstuurd over een dure(in aanleg en onderhoud) trans-Atlantische verbinding. De eindgebruikers downloaden het dan weer van een lokale server. Met een beetje geluk is deze lokale server via een lokale, en goedkope, internet exchange beschikbaar.

Daarbij komt nog dat een gigabit verbinding in een datacentrum vele malen goedkoper is(per mbit) dan een gemiddelde consumentenverbinding. Het transporteren van bitjes naar Piet Pietersen in een of ander plattelandsdorpje is vanwege de schaalgrote nu eenmaal duurder dan naar een datacentrum, waar toch al apperatuur aanwezig is om vele tientallen terra bits doorheen te pompen.

Samengevat zijn we door p2p met zijn alle meer gaan betalen voor onze internetverbinding. Niet alleen omdat er uberhoubt meer gedownload wordt nu, maar ook omdat p2p netwerk technisch gezien enorm inefficiënt is. Dat wil overigens niet zeggen dat p2p geen nut heeft. Het aanleggen van een geografisch gespreid netwerk cluster is nu eenmaal niet voor iedereen betaalbaar</understatement>.

PS. Ik wil hiermee enkel uitleggen dat netwerk belasting door p2p daadwerkelijk een probleem is. Ik heb niet uitgerekend of de kosten van de extra servers opwegen tegen de extra kosten in netwerkapparatuur.

P2P binnen een bedrijfsnetwerk is geen enkel probleem. Het grote verschil is uiteraard dat alle data gemanaged aangeboden wordt. Met andere woorden De afdeling IT bepaald wat er rond gaat. Bovendien is de client gedurende productie ' geknepen' zodat eindgebruikers altijd ongestoord kunnen blijven werken.

P2P op het internet moet niet vergeleken worden met P2P voor bedrijfsmatige toepassingen. Appels met Peren vergelijken toch??

P2P op het internet moet niet vergeleken worden met P2P voor bedrijfsmatige toepassingen. Appels met Peren vergelijken toch??
Dat klopt tot op zekere hoogte. De meeste grotere bedrijven hebben meerdere vestigingen met daar tussen een relatief trage WAN verbinding. Men dient te zorgen dat juist deze tragere WAN verbinding niet compleet vol loopt waardoor replicatie / inter site verkeer hinder ondervind. De meeste torrent oplossingen bieden echter geen mogelijkheid om het netwerk in zones onder te verdelen. Een oplossing zou kunnen zijn het tegenhouden van inter site torrent verkeer door een firewall of router en dan de torrents op elke lokatie te verspreiden.

het schooltje waar ik werk heeft tussen alle vestigingen glas liggen...

Het lijkt me dan vrij logisch dat ze dan alleen updates zullen doorvoeren in het begin van de avond of 's nachts.

Daar heb je wel een punt, maar vergeet niet dat het in de oude situatie niet veel anders is. Voor het uitrollen van een update op deze schaal is nou eenmaal veel bandbreedte nodig.

Daarbij zou men nog door slimme cache en distributie methoden, voor wanneer het systeem minder belast wordt, het netwerk kunnen ontzien. Want zeg nou eerlijk, wie is er nou 's avonds laat nog op school. ;)

Minder belasting als voorheen,

Server -> switch 1 -> switch 2 -> pc1 (100mbit 100% bezet, heel de weg)
Server -> switch 1 -> switch 2 -> pc2 (idem.)

Server -> switch 1 -> switch 2 -> pc1 (100mbit heel de weg)
pc1 -> switch 2 -> pc2 ( alleen switch 2 gaat nog voor 100mbit in het touw)

Niet helemaal, er is meer trafiek, maar deze is verspreid, het voordeel aan deze techniek is dat er geen stress punten ontstaan, als je daarnaast nog eens je QoS goed instelt dan ga je normaal weinig problemen ondervinden van de extra belasting.

Met BT kun je ook het upload / download gebruik van de clients instellen, als dit een groot probleem is kunnen ze de max totale download wel instellen.

Dat heet optimaal gebruik maken van je resources.

Hoge Netwerk Belasting??

Is deze niet gelijk aan het oude systeem. Deze zal dan wel versprijd zijn.
Daarnaast wordt er geen gebruik gemaakt van servers. maar van de clients zelf die versturen. Servers worden hierdoor totaal niet belast. Alleen de clients.

De belasting bij de switches zullen ook wel mee vallen. door gebruik te maken van restricties op het Protocol. (QoS)
Je kan het protocol een fixed belasting per client opgeven. zodat b.v elke client maar 100kb/s verstuurt. uitgaande dat ze 48 poorts switches hebben 4800kb/s dat is niets voor zo'n switch.

Verder kunnen we natuurlijk alleen maar gissen. want wij weten allemaal niet hoe netwerk is geconfigureerd. Wel kan er gesugereerd worden dat elke switch zijn eigen boontjes dopt. en de servers alleen zijn updates versturten naar enkele clients per switch.

Dat scheelt wel weer 18 servers en 92 uur om die updates uit te rollen.
Scheelt dus in stroom onderhoud etc.
Alleen worden de update's die verspreid word ook weer verwijderd ? (bedoel dus het instalatie paketje :P)
Anders loopt binnen no time je HD vol en dan kan je dus niks meer.
Verder vind ik het wel heel erg goed gevonden om zo gebruik te maken van p2p.

Dat verwijderen zal wel gebeuren nadat de file voor de update gebruikt is. Wellicht gebeurt dit laatste pas (op commando) een tijdje na het downloaden van de file. Tot dat moment wordt de file geshared.

Wat ook kan is dat bittorrent op een lager niveau gebruikt wordt. M.a.w. de computer (Windows) wil een update ophalen en doet dit uit zichzelf via Bittorrent. In dat scenario is dus geen "externe" download procedure nodig en zal de file alleen geshared worden als de download plaatsvindt. Direct na het binnenhalen wordt de file door windows gebruikt en verwijderd.

[Reactie gewijzigd door grizzlybeer]


Hoezo moeten de update-pakketjes weer verwijderd worden? Geen idee of jij Windows-gebruiker bent en uberhaupt een servicepack ooit hebt geinstalleerd maar die staat mooi ergens in je windows-dir uitgepakt en wel. Is namelijk handig voor toekomstige updates om bepaalde files te checken etc.

Daarbij zie ikzelf geen noodzaak om de update-pakketjes te verwijderen; geen idee hoe groot de schijven zijn op de Hogeschool maar aangenomen dat de studenten-data ergens anders staat, moet je met een ouderwetse schijf van 20GB toch aardig uit de voeten kunnen in de lifecycle van een Windows-OS, zelfs als je alle updates erop laat staan.

Denk niet dat je de pakketen op je machine wilt houden. je gaat anders je bestanden in je download dir houden en in je windows dir. of andere programatuur directory. Niet alleen Microsoft updates zullen dmv deze oplossing worden aangeboden.

Je hebt namelijk het gedownloade bestand en de instalatie inc eventeul repair files. Gedownloade bestand kan na het uplaoden verwijderd worden.

Zelfs al zouden ze een 40 GB HD hebben, dan nog kan je die niet vol krijgen met software updates, of je moet wel extreem veel te updaten hebben.

Ik hoop dat ze heel goed nagedacht hebben over de beveiliging, dit is namelijk voor de helft al een virus, om het distributiegedeelte hoef je je dan geen zorgen te maken.

@Silver7:
Het bittorrent protocol levert uiteindelijk juist een veel lagere belasting van het netwerk op, vergeleken met de standaard centrale methode.

Hoe kom je er in godsnaam bij dat dit een virus is? Een virus is bij mij nog altijd iets dat ongevraagd verspreid word en dat probeerd zonder de toestemming van de eigenaar van de PC data te manipuleren of te versturen.

Wat smokalot waarschijnlijk bedoeld is dat de beveiliging wel heel goed op orde moet zijn want anders kan iemand met minder goede bedoelingen heel snel malware verspreiden over 6.500 PC's.

Microsoft is op een omgekeerde manier bezig. Ze onderzoeken het gedrag van worms en dergelijke om er een verbeterde versie van te maken, en zo sneller patches te kunnen verspreiden ^^

http://technology.newscie...pread-software-fixes.html

@1

Als je dit snacht's doet, maakt dit niet uit en maak je ook nog eens goed gebruik van nacht tarrief op energie verbruik ;).

maar hoe leg je dan 's nacht's alle pc's aan? WOL (wake on lan) wordt niet in iedere pc toegepast en om via het netwerk stopcontacten aan of uit te zetten lijkt me ook een dure aangelegenheid ;)

Lijkt mij dat ze gewoon gaan downloaden als de PC aan staat en gaan installeren bij een volgende reboot of iets dergelijks.

Instellen in de bios dat ze zichzelf opstarten op een bepaalde dag op een bepaald uur kan ook.

Kan ook via iAMT (Intel Active Management Technology, onderdeel van het vPro platform). Zit tegenwoordig op redelijk veel (business) PC's. Is zeg maar IPMI, maar dan min of meer gratis (mobo's zijn niet merkbaar duurder met dit feature).

Heb jij de tarieven van Essent van de afgelopen tijd wel eens bekeken? Als je Piek-/daltarief hebt is de prijs van piek zo hoog dat dat het goedkoper dal-tarief dat qua kosten niet meer compenseerd.

Piek/Dal of Hoog/Laag tarief is voor bedrijven sowieso geen goed idee. Afhankelijk van je woonplaats gaat het in om 9 of 11 uur 's avonds en eindigt het om 7 uur 's ochtends. Laten de doorsnee bedrijven dan net niet meer open zijn. Voor consumenten daarentegen kan het wel goedkoper zijn, maar met steeds meer mensen die hun computer dag en nacht aan laten staan houdt dat ook voor veel mensen snel op.

Maar in het tv-programma Kassa lieten ze zien dat je behoorlijk je best moet doen om er voordeel bij te hebben, je moet immers meer dan de helft van je energieverbruik in de lage tariefzone plaatsen voordat je überhaupt minder kosten hebt.

Ter info: INHolland gebruikte volgens mij al veel langer dit principe: op alle machines draaide al sinds februari vorig jaar een uTorrent client onder een domain admin account.
Navraag leerde toen al dat deze werd gebruikt voor het verspreiden van de (ghost)-images.


Bij welke afdeling heb je gewerkt dan? Voor zover ik weet waren de plannen in 2006 al zo goed als rond en is er zomer 2007 begonnem met de uitrol van dit principe. tegelijk met de migratie naar het nieuwe office pakket en als 'voorbereiding' op vista.

Er werden toen ik er werkte geen images gebruikt maar RIS, bij Ichthus gebruikten we nog wel ghost images.

Ik heb gewerkt voor de afdeling Projects & Innovations (Schiphol-Rijk later verhuisd naar Hoofddorp) Kamer B1.28 project P1167b - Upgrade Standard Desktop. In januari 2007 is pas voorgesteld om het BitTorrent protocol te gaan gebruiken .........zeker weten. ;)

[Reactie gewijzigd door VerySmart]


uTorrent draait als service op de machines. Ik heb toevallig afgelopen week de documentatie van dit systeem zitten doorlezen :P

En zit het een beetje begrijpelijk in elkaar?

Ik vind dat getal een beetje raar. Er wordt gesuggereerd dat er 20 servers nodig zijn om in 4 dagen 6500 pc's van een update te voorzien. Volgens mij is er dan iets mis met hoe zij hun omgeving hebben ingericht want dit lijkt me een beetje veel.

[Reactie gewijzigd door Prozaq]


hier een quote uit bericht van Torrentfreak
Before they decided to use BitTorrent, more than 20 servers were needed to distribute 25.6 TBs of data to the desktops
Maar ik weet niet of op deze servers ook bestanden staan van leerlingen... want dan zou het overige netwerkverkeer hoogstwaarschijnlijk voorang krijgen op de updates

hier nog een klein interessant stukje:
The OS-Deployment solution is based on BitTorrent technology. All 6500 desktops can be reinstalled (or refreshed with a new image) within two hours!

25.6 TB voor 6500 desktops?
Is dat een update van 3,8GB per desktop?
Wat voor update is dat.....3Dmax? 8)7

:9 Elke maandagochtend beginnen met een verse install ivm loslopende script kiddies??

'Gewoon' een ghost-image?

Erg slim bedacht.. Microsoft zou dit van mij best mogen overnemen en standaard in WSUS/Software Deployment inbouwen :)

[Reactie gewijzigd door Radiant]


Waarom niet multicasten? Dan hoef je de update er maar 1 keer uit te sturen, en binnen een lan is multicast prima mogelijk.

wat denk je dat multicast fysiek doet?
Het stuurt de data alsnog naar alle stations en zelfs naar stations die niet gesubscribed zijn aan de multicast group. Met andere woorden je maakt zelfs onnodig veel dataverkeer met multicast.
Hetzelfde verhaal met broadcast.

Ligt er aan hoe jij je multicast traffic geconfigureerd hebt.
Indien jij het als spare mode configureerd wordt het multicast verkeer alleen naar de gebruikers gestuurd die zich hebben aangemeld op de multicast group

Natuurlijk moet elk bitje nog fysiek bij de clients aankomen. Daar gaat het toch ook helemaal niet om.

Het voordeel van multicast dat de server het maar 1 maal hoeft te versturen. Op elke tussenliggende verbinding van router naar router en van switch naar switch hoeft het maar 1 maal getransporteerd te worden, onafhankelijk van hoeveel clients er achter hangen. Het updaten van 1 client duurt net zo lang als het updaten van 10000 clients.

Het is niet waar dat bij multicast het verkeer altijd verstuurd wordt naar elke client. Als in een netwerksegment(achter een multicast ondersteunende router) niemand gesubscribed is dan wordt de data niet verstuurd. Het probleem is dat als er wel iemand, als is dit maar 1 client, de data wil ontvangen deze op ethernet niveau gebroadcast wordt. Dit is echter niet echt een probleem. Verspreid de update op bijvoorbeeld 50mbits, dan heb je nog 50mbits over voor andere dingen. Met QoS moet dat wel te regelen zijn. 50mbit is nog steeds meer dan voldoende voor gemiddeld kantoor/school gebruik, bovendien is het maar tijdelijk.

Het probleem met multicast is wat je moet doen als het niet helemaal lekker gaat. Wat doe je als door netwerkproblemen een paar pakketjes niet aankomen bij een client? Het hele bestand opnieuw versturen net zolang tot iedereen het heeft? Redundante data versturen zodat de clients de missende gedeelten kunnen reconstrueren?

Ik vind het een prachtig elegante oplossing eigenlijk, en qua netwerkbelasting:

Elke pc zal de update echt maar 1x krijgen (+ een klein beetje extra voor wat error control etc).

Dus qua download zal het gelijk blijven. Upload wordt natuurlijk ook niet hoger, want elke pc zal 1 download ontvangen, dus 1 download verstuurd krijgen. Enige andere is, is dat de update nu niet van 20 centrale servers komt, maar van 6669 andere computers (seeders).

Duz dat argument snap ik niet helemaal.

Het is meer hoe het netwerk gebruikt wordt. Bij een centrale server gaat alles 6500 keer over het (vaak duurdere) netwerk tussen de locaties. Als je op elke locatie een server hebt die eerste geupdate wordt en dan alle computers op die locatie update gaat alles maar een paar keer over het tussenliggende netwerk. BitTorrent is qua belasting vergelijkbaar met de centrale server aangezien slechts een klein deel van de blocks van het lokale netwerk zal komen en de meeste van netwerken op andere locaties. Verder is er een heel praktisch verschil: BitTorrent is in 4 uur klaar en de servers in 4 dagen. Dat betekent dat BitTorrent het netwerk 10x zo intensief gebruikt.

Overigens kan de tracker ook de voorkeur geven aan dichtbijzijnde peers, maar daar doe ik nog onderzoek naar.

[Reactie gewijzigd door tybris]



Waarom is Usenet veel sneller? Sowieso ben je toch gelimiteerd aan de bandbreedte die in het gebouw heerst (oftewel; het netwerk) en ik denk dat de grootste bottleneck de NIC en HDD van de distribuerende servers is. Oftewel; ongeacht welk protocol je gebruikt; het dichttrekken van het netwerk is geen ondenkbare situatie.
«  1  2  3  »

Op dit item kan niet meer gereageerd worden.

Volgende: Logitech: overname door Microsoft 'onlogisch' 16:25
Volgende in Life: Bedrijf start opensourceproject voor het bouwen van robots 13:32
Vorige in Core: Algoritme vergroot capaciteit en snelheid van optische media 09:23
Vorige: Wetenschappers gebruiken mri-scan om 'gedachten te lezen' 17:46

Powered by True
RSS VNU Media logo
© 1998 - 2008 Tweakers.net - Alle rechten voorbehouden
Uitgever van: