Cookies op Tweakers

Tweakers maakt gebruik van cookies, onder andere om de website te analyseren, het gebruiksgemak te vergroten en advertenties te tonen. Door gebruik te maken van deze website, of door op 'Ga verder' te klikken, geef je toestemming voor het gebruik van cookies. Wil je meer informatie over cookies en hoe ze worden gebruikt, bekijk dan ons cookiebeleid.

Meer informatie

Door , , 101 reacties

Samen met het technologie-instituut van Tokyo hebben onderzoekers van Hitachi Maxell de opslagcapaciteit van tapes vergroot. Dankzij een nieuwe productietechniek kunnen tape-cartridges nu ruim 50TB data bevatten.

De capaciteit van tapes wordt met de nieuwe techniek van de samenwerkende instellingen meer dan dertig maal zo groot als die van de huidige tapes, zo stelt Hitachi Maxell. De tapes worden niet langer van een magnetische coating voorzien, maar de hoge-capaciteitstapes worden geproduceerd door sputteren, een techniek uit de halfgeleiderindustrie. Een prototype dat op deze manier werd geproduceerd, had een opslagdichtheid van 45 gigabit per vierkante inch, wat voor een complete cartridge op ruim 50TB zou neerkomen.

De sputtertechniek maakt het mogelijk om kleinere magneetdeeltjes op de tape aan te brengen dan met poedercoating mogelijk is; deeltjes van minder dan 10nm groot konden zo worden aangebracht. De onderzoekers maakten gebruik van een speciale vorm van sputteren, die door het technologie-instituut van Tokyo werd ontwikkeld. De tape-ondergrond werd eerst voorzien van een 10nm dikke magnetische onderlaag, waarop een tweede magnetische laag werd aangebracht. Daar bovenop werden de nano-magneetkristallen gesputterd, die in hun 10nm-doorsnede een magneetkern met niet-magnetische randen herbergen. Een beschermend laagje dekt het geheel af.

De totale dikte van de tapes, zonder de plastic ondergrond, bedraagt slechts 100nm en kan bij kamertemperatuur worden geproduceerd. De tape wordt, net als harde schijven met een hoge opslagdichtheid, perpendiculair beschreven. Hitachi Maxell maakte nog niet bekend wanneer de techniek klaar is voor de massaproductie van opslagtapes.

Hitachi Maxell-tapes
Moderatie-faq Wijzig weergave

Reacties (101)

Tapes zijn nog steeds cruciaal als het niet alleen gaat om de data van gisteren, maar ook de historische data van maanden of jaren geleden.
Op mijn project heb ik nu 3 lagen backup :
- Elke nacht een disk-backup, voor het geval een gebruiker iets doms gedaan heeft, zodat hij/zij snel zijn/haar data van de vorige dag kan terughalen.
- Elke nacht een tape-backup, voor het geval het storage-array onherstelbaar beschadigd raakt, dan verliezen we maximaal 1 dag werk.
- Elke weekeinde een tape-backup die offsite wordt bewaard, de eerste tape van de maand wordt tenminste 2 jaar bewaard. Dan kunnen we ook historische gegevens terughalen, en als het gebouw affikt hebben we maximaal 1 week werk verloren (we zitten hier op loop-afstand van Bouwkunde in Delft ...).

Op werk hebben we een LTO-3 robot, in mijn thuis-systeem heb ik trouwens een LTO-3 single-drive. Die hebben een (uncompressed) capaciteit van 400 GByte, daar moet je toch heel wat DVD-tjes voor branden.
Infrastructuur die je beschrijft gebruiken wij in de organisatie ook.
Alles naar Disk en een duplicate van disk weer naar Tape en de tape van de dag ervoor wordt mee naar huis genomen, ivm brand.

Overigens is dit alleen de Data en de fysieke servers.
de Vm's worden met vranger gebackupped, en 1 keer per week op tape weggeschreven, en alle vms worden elke 6 uur gesnapshot naar een Equallogic die deze tot 2 dagen vast houd, en deze wordt weer gedupliceerd naar een andere equallogic die ergens anders is het gebouw staat in geval van brand.
Bovendien moeten bedrijven van de Belastingdienst bepaalde financiŽle data voor flink wat jaar bewaren. Ik meen 7 jaar ofzo maar dat weet ik niet zeker. Ik werk bij een bedrijf die over de hele wereld opereerd en binnen Europa hebben we toch flink wat TB aan data wat uit SAP komt. Leuk als je dat op een SAN wilt gaan bewaren ofzo, niet echt rendabel. Tape is verreweg de beste oplossing daarvoor.
Hmm... snelheid? Wij gebruiken net zoals de meeste serieuze (lees grote) omgevingen een tape library, deze in combinatie met B2D. Er zitten zitten LTO4 drives in en wij halen een praktijksnelheid van ~3GB/min per drive (oftewel 50MB/s of 180GB/h). De drives kunnen wel sneller maar de source is de bottleneck.

En tapes obsolete? Tsja... hou er rekening mee dat vaak naast de dag en week tapes de maandtapes minimaal een jaar maar ook vaak "eeuwig" bewaard worden. In de financiele maar ook de zorg sector heb al gauw met bewaarplicht van 5 of 7 jaar te maken.

Veel succes met dat allemaal op disk te bewaren.
Ok... get the facts straight.

LTO4 maakt Full of Half Height niet meer uit. Dat was bij LTO3 ook al zo.
HP en IBM is tegenwoordig met LTO3 en LTO4 even snel.

LTO3 = 80MB/sec native
LTO4 = 120MB/sec native
LTO5 = 140MB/sec native

compressie 2:1 haal je in de prakijk niet, rekenen met 1,5:1 compressie.

LTO3 = 120MB/sec
LTO4 = 180MB/sec
LTO5 = 210MB/sec

Dan hebben de drives nog een minimale stepdown waardes

LTO3 = 27MB/sec native (compressed ~40MB/sec)
LTO4 = 40MB/sec native (compressed ~60MB/sec)
LTO5 = 50MB/sec native (compressed ~80MB/sec)

Al deze waardes zijn in de praktijk prima haalbaar mits fatsoenlijk geschaald en ingericht. 1 client tegelijk naar een tapedrive backuppen is waanzin en niet meer van deze tijd.

Hiervoor word in het algemeen multiplexing gebruikt wat het mogelijk maakt met memory buffers (zeg 8GB per drive) enkele clients tegelijk te backuppe en dit in het geheugen tot 1 stream naar de tape drive te sturen.

Mits al je andere zaken op orde zijn (LAN, SAN, etc.) kan dit een zeer hoge backup snelheid opleveren.

Tapedrives zijn zelden de bottleneck. Helaas is het vaker de inrichting.

Een andere manier om de traagheid (of een pakket wat niet kan multiplexen) op te lossen is een Disk - to - Disk - to - Tape oplossing. Dit bied enkele voordelen (restores als tapes offsite zijn) maar ook wat nadelen (uiteindelijk backup op tape duurt langer).

Helaas merk ik bij veel klanten dat wat ze hebben staan op zich prima is (hoewel er ook veel trage rommel is) maar dat het vooral in de inrichting van de aanwezige zaken schort. Sommige bedrijven snappen echt niet hoe ze iets moeten implementeren of configureren.

Wij zelf voeren Symantec Netbackup en Symantec Backup Exec en vooral met de eerste is het absoluut geen probleem bovenstaande snelheden te halen. Mits de rest van de omgeving dit kan leveren uiteraard.

ps.
Voor de mensen welke D2D2T gebruiken en bovenstaande snelheden niet halen. Controleer eens de fragmentatie op je volumes. Daar zit je eerste clue! ;) Mochten mensen tips nodig hebben (of echt advies). Let me know. :)

[Reactie gewijzigd door Quindor op 17 mei 2010 23:35]

Klopt over die fragmentatie !

Zou kwam ik ook ooit eens ergens te werken waar het niet zo snel ging. Met niet zo snel bedoel ik een full backup van 1,2 terrabyte in 18 uur met een lto-4 drive.

Hier was zware fragmentatie ook de boosdoener. Ongelofelijk dat Microsoft nog steeds een file system heeft wat zou zwaar fragmenteert.
waarom worden tapes nu nog gebruikt??? is dat nog steeds veiliger dan hd-storage?
waarom worden tapes nu nog gebruikt??? is dat nog steeds veiliger dan hd-storage?
Ja, voor enterprise level archivering van bijvoorbeeld financieele data is er volgens mij niets wat een langere levensduur heeft (gegarandeerd) dan tapes.

Het is een behoorlijk dure vorm van opslag, maar qua betrouwbaarheid is het 'proven technology'
Tape een dure vorm van opslag?
Het is per GB het goedkoopste wat er is voor bedrijven die hun backup serieus nemen.
Een tape in een library slot gebruikt geen stroom.

Een beetje serieuze tapedrive doet al snel 150MB/s, maar dat schaalt wel door met elke drive, heb je 10 drives in je library kan je met 1500MB/s backups maken...maar heb je er 20 zit je op 3000MB/s..ga dat maar eens met disken doen..continue..met compressie en eventueel encryptie on the fly.
Capaciteit nodig? zet er een kast tegenaan..verbruikt bijna geen extra stroom maar levert wel een enorme backup capaciteit.
Ook extra performance nodig? plaats een paar extra drives in je nieuwe kast.

Tape verplaats langzaam van backup/restore naar een deep archive rol bij veel bedrijven maar zeker bij de grotere bedrijven zie je het nog vaak gebruikt worden.
Het snelheids probleem zit hem niet zozeer in de backup, maar in de restore. Backupen kun je nog redelijk incrementeel doen, restoren niet. Een document beheer systeem met 7TB verdeeld over 13 miljoen documenten heeft dagen nodig om te restoren. Doordat het allemaal kleine bestandjes zijn krijg je je drives niet aan het streamen. Start-stop halen ze 10%-20% van hun streaming snelheid. Meer drives is dan eerder een handicap omdat daar de bottleneck niet ligt.

En daarbij, 20 drives parallel? Dan is je backup ook verdeeld over 20 tapes, als je een groot aantal kleine(re) servers naar backup zet administreert het een stuk makkelijker als je per server een tape hebt. Als het over 20 tapes staat wordt het zoeken ook een stuk trager als je gaat restoren en je tapes zijn inmiddels niet meer(volledig) geÔndexeerd.

Zowel bij een full restore als een partial restore hebben tapes dus nogal een performance nadeel.
Met een tape moet je doorheen de volledige 7TB lezen om een enkel bestandje te lezen - dat klopt. Er is namelijk nauwelijks een index (zoals bij schijven) - een beetje slimme tapedrive kan wel vooruit/achteruit spoelen maar daarna moet hij opnieuw zoeken waar het zit.

Ik gebruik al langer geen tapes meer en veel bedrijven die een nieuwe backup-oplossing willen gaan meestal over naar nearline storage - de densiteit kan tegenwoordig gelijk dan tapes, de kost is stukken minder, de schijven kunnen uitgezet worden maar eenmaal er een restore moet gedaan worden is het stukken sneller. Als je geld genoeg hebt zet je er alsnog tape achter (of een schijvendoos in een andere locatie) maar voor vele kleine bedrijven is dit teveel.

En als er iemand zegt: je kunt de tapes eruit halen dan wil ik wel eens zien waar dit nog gedaan wordt. De personeelskosten moet je erbij rekenen en als je een drukke IT groep hebt dan wordt dit meestal naar de kant geschoven.
Geen idee waar jij het over hebt. Een tape heeft een prima index, en daarnaast hoort je backup pakket dit ook te faciliteren.

Neem bijvoorbeeld netbackup. Mits je dat correct inricht kan deze binnen 1 minuut naar elke plek op de tape spoelen en als je 1 file wilt restoren zal hij een chunck van 32GB moeten scannen voor de file. Dit gaat met zo'n 180MB/sec (LTO4), dus dat is ook zo gebeurd en daarna begint de restore.

Bij meerdere files word dit intelligent aangepakt en komt het ook snel terug.

Het zijn geen cassette bandjes. :S :S

Praktisch alle enterprise omgeving werken nog met een vorm van offsite backup. Een dikke data lijn hiervoor is nou eenmaal niet alijd een optie en dan blijft tape over. Ik kan je vele bedrijven aanwijzen. ;)

En je kosten berekening gaat ook nergens over..... Tape is als medium nog altijd een stuk goedkoper als disk.. :S
Koop een autoloader dan is het wisselen verleden tijd.
Kleine bestandjes ragt hij ook gewoon met 150MB/s naar je toe, het is je arme servertje die ze niet snel genoeg op de disk kwijt kan die de zaak ophoudt. De tape "ziet" gewoon een grote tar file. En de LTO3 drives kunnen ook nog terugschalen, dus als je servertje het niet bijbeent draait hij op 50% en gaat hij niet "schoenenpoetsen".

Tapes kun je op "blokken" laten spoelen, dus binnen 30 seconden lepelt hij elke willekeurige file op. Een minuutje extra als de robot hem nog uit de kast moet halen.

Ken jij een server die 3000MB/s aan data kan ophoesten? Nee he.

Het gaat erom dat je als ziekenhuis alle ongecomprimeerde rontgenfoto's in een uurtje naar een veilige lokatie kunt archiveren, zodat je data storage die ruimte weer kan vrijmaken voor nieuwe data van nieuwe patienten. O, ja, en ook met encryptie en errorcorrectie op die snelheid.
Als je een system hebt met 7TB aan data en als er iets gebeurd en je moet de complete 7TB gaan restoren dan klopt er iets niet aan het design lijkt me.
Of dan is de hele keet afgefikt. Dat is waar archiveren om draait.
Tape backup voor buiten de deur, voor Disaster Recovery / archievering. Daarnaast een extra shelf met disken om een paar dagen terug te kunnen restoren voor je gebruikers.
Tape is volkomen ongeschikt als archief. Is over 10 jaar als je die gegevens van 2010 nodig hebt de techniek nog wel beschikbaar om die 10 jaar oude tape te lezen?
Bovendien wat moet ik over 10 jaar met een Oracle 11 applicatie in een Oracle 20 omgeving? Kan ik dan met de techniek van dan nog een 11 omgeving opbouwen?

Dus zul je data waarop bewaarplicht zit technologisch onafhankelijk moeten opslaan, CVS of XML en deze data moet online beschikbaar blijven.

Met de komst van 3TB harde schijven mag dat geen probleem vormen.

Wat je dan bereikt is dat data die over de houdbaarheidsdatum gaat gegarandeerd verwijderd wordt en dat migraties naar nieuwe platformen voor bewaarplichtige data alleen een copieerslag is.

Qua backup heb ik ook niks aan tape. Het is te traag. Storage platformen die snapshotting ondersteunen, daar heb ik wat aan, want een snapshot is zo teruggezet.
Bovendien verandert er in een database per dag maar < 2% aan echte data. Waarom zou ik 98% stroagetijd verspillen aan iets wat ik al had?

Snapshots van vorige releases zullen wat langer bewaard moeten worden, maar wat moet je met een snapshot van data van release x terwijl x+5 de huidige is?

En snapshots kunnen naar een uitwijk, zodat je echt kan uitwijken in uren ipv dagen om tapes terug te lezen.

[Reactie gewijzigd door ronnen op 18 mei 2010 12:51]

Juist voor archiveren is tape geweldig. Voor backups, versiebeheer en snapshots is het niet het handigste wat er is.

LTO drives kunnen altijd 2 generaties terug lezen, en 1 generatie terug lezen en schrijven. Dat is veel langer dan die 10 jaar van jou. En zeg eens eerljk, heeft jouw nieuwe PC nog een PATA aansluiting?

Jij hebt nooit serieus met tape gewerkt, dat is duidelijk.

Betrouwbaarheid is een factor 1000 beter dan harddisk.
Prijs per terabyte veel lager.
Snelheid: LTO3 leest en schrijft (met compressie en eventueel ook encryptie) met 150MB/s, we hadden een dikke array nodig om de tape een beetje bij te kunnen benen.

Data recoveren was met mijn tooltje een makkie. Ongeveer 2 minuten nadat je een file aanklikt in de web interface staat-ie in je home dir of zelf op je disk in je lokale PC terug.
0..5 seconden voor de deamon om je job uit de database te plukken
~1 minuut tape laden door robot
~30 seconden spoelen (tot 1MB nauwkeurig)
en dan nog de datatransfer over het netwerk naar je toe.

[Reactie gewijzigd door cdwave op 18 mei 2010 13:21]

"Jij hebt nooit serieus met tape gewerkt, dat is duidelijk."

Waar baseer je dat op?

(Ik leg dus nu de stelling neer dat jij nog nooit in een omgeving gewerkt hebt met meer dan 3 servers. Dat is ook nergens opgebaseerd, want uit je reactie kan ik niet opmaken wat voor werk je doet. )

Ik heb een backup systeem gebouwd dat 600 servers bedient en dat een faal percentage van 0,2% per dag heeft, meestal backups die niet gemaakt hadden moeten worden omdat een server niet afgemeld was of opgevoerd was terwijl de rand voorwaarden niet ingevuld zijn.
Op seminars over backup oplossingen hoor ik nog steeds verhalen dat 20% backups per dag doodnormaal is. Geen backup betekent geen restore!!!

En voor maintenance werk moet er geregeld gerestored worden naar maintenanceomgevingen. Dat ging ineens heel veel sneller toen tape vervangen werd door snapshots. 98% van de gevallen heb je de laatste stand nodig, Heel zelden een stand van 2 dagen terug. En je moet de absolute zekerheid hebben dat je die specifieke stand kan restoren.

Tapes zijn niet betrouwbaar, ze kunnen juist niet tegen vallen. De cartridges en de mechanieken er in kunnen niet tegen vallen.

Tape is volkomen overbodig voor disaster recovery.
Dan wil ik alleen maar de laatste stand en niets anders dan de laatste stand en die moet 100% zeker terug te zetten zijn en snel, heel snel.
Klanten vertellen dat ze een week werk opnieuw moeten doen is per definitie geen optie.


Mijn nieuwe PC heeft PATA is P6T SE core i7 920 modern genoeg?

LTO3 is trouwens verouderd. LTO5 is current...
Als een migratie gepland om LTO1/2/3 tapes te migreren naar LTO5?
Al rekening gehouden dat je dan veel extra tapedrives nodig hebt?
Gaat je CFO daar ook mee accoord?

[Reactie gewijzigd door ronnen op 18 mei 2010 14:37]

Ik lees dat je heel erg overtuigd bent van snapshot naar disk, toch moet ik daar enkele kant tekeningen bij stellen.

Jij praat namelijk heel erg veel over snapshots en hoe weinig ruimte dit in beslag neemt en snel gemaakt is.

Ansich heb je daar gelijk in, maar het is dan ook een snapshot en geen backup! Als je storage array/orginele data raid set faalt, voor wat voor reden dan ook, ben je alsnog AL je data kwijt, origineel als ook snapshots!

Een snapshot is dan ook *nooit* een vervanging voor een backup! Een clone komt al meer in de buurt maar blijft nog steeds een copy in hetzelfde array, terwijl een backup juist bedoelt is voor een disaster recovery.... waarbij je array dood is.

En het argument dat als je een tape laat vallen deze stuk is, helemaal mee eens. Moet je dan ook niet doen. Maar, gelukkig kun je dan altijd nog de tape van de dag ervoor pakken. Aangezien je meerdere kopieŽn hebt. Als je array faalt.... dan heb je niets meer.

Als je gebruikt maakt van een extra array heb je dat weer een beetje onder controle. Wil je vervolgens met een uitwijk locatie gaan werken, moet je TB's en TB's over een lijntje transporteren, waarvan de kosten vaak gelijk staan aan een complete tape robot + handeling voor enkele jaren.

Snapshots middels je SAN zijn ook niet heilig. Denk aan je AD, Exchange, SQL, Oracle en alle andere vormen van database achtige zaken. Vmware, etc. Zomaar een snapshot maken en dat terug zetten, dan kun je nog wel eens raar staan te kijken als je ineens enkele DAGEN aan het consitency checken bent! Met een agent backup heb je dat probleem niet. (uiteraard voor array's ook mogelijkheden voor, maar dat kost ook weer extra en moet ingericht en beheerd worden)

Zo 1 op 1 als je het schetst is het dus helaas niet. Disk is geen slecht oplossing in sommige omgevingen, maar over het algemeen wel een gruwelijk lompe en kostbare. Vandaar dat het vooral toegepast word voor korte termijn opslag of tijdelijke opslag zoals een disk stage.

Het voordeel hierbij is dat een disk geen last geeft van een te traag aangeleverde stroom van data, waar tape dat wel heeft.

Daarnaast zijn opmerkingen zoals Tapes zijn traag en gaan vaak stuk niet echt op de realiteit gebaseerd. Tapes zijn gruwelijk snel en menig disk array'tje heeft moeite dit bij te houden. Vergeleken met en clone actie uiteraard, snapshots zijn leuk, maar stellen je data niet veilig. 200MB/sec naar een LTO5 moet geen probleem zijn bijvoorbeeld. Mits juist ingericht uiteraard.

Je argument over het migreren van de tapes snap ik niet helemaal. Als dat inderdaad gewenst is kan ik toch mijn backup pakket vertrellen de images van de LTO1/2/3 tapes te dupliceren naar de LTO5? :S

ps.
En jou P6T heeft een aparte chip op het moederbord om je nog in een PATA poort te voorzien. Niet helemaal eerlijk zoals je het stelt denk ik. Maar zelfs DLT1 tapes van ondertussen 15 jaar geleden of zo, kunnen nog prima gelezen worden en drives voor gehuurd worden.

Ook zijn dit soort drives op basis van SCSI, een interface waar je tot op de dag van vandaag gewoon een interface kaart voor kan kopen, zelfs op PCI-E.

[Reactie gewijzigd door Quindor op 18 mei 2010 21:55]

Nou is het lang geleden dat ik met tapes heb gewerkt, maar toen was het standaard procedure om na iedere backup een verify te doen, van beide tapes (1 inhouse, 1 extern). En daar kwamen toch regelmatig gammele tapes naar boven. Het aantal problemen met tapes lag enkele orden van groottes hoger dan die met schijven.
Dan heb je brakke tapes gehad ofzo. Wij hebben een bescheiden taperobot (150 tapes/8 koppen) LTO3 en vrijwel nooit hebben wij defecte tapes, hoogstens 1 per jaar. En TSM vangt dat op door data redundant op tape te zetten. Als jij al een tijd niets meer gedaan hebt met tapes ben je al een tijd niet meer in een Enterprise omgeving geweest.
LTO is best volwassen. Ik heb met DDS gewerkt van DDS3 t/m DDS5, allemaal was het ruk. Kapotte tapes, kapotte drives, vaak cleaning nodig... Uiteindelijk een LTO1 aangeschaft en in 3 jaar tijd nog geen kapotte tape gezien, en ik heb nog steeds de eerste cleaningtape, die andere zit nog in plastic.
De laatste tijd wel wat mislukte backups voorbij zien komen, maar dat was omdat ze er niet meer op passen.
Nou, in dit specifieke geval ben ik het niet met je eens. Het principe mag dan wel hetzelfde zijn, het materiaal is heel anders. Ik verwacht geen groot verschil in levesnduur maar ik kan me zo voorstellen dat de veel kleinere magnetische deeltjes ook sneller vervallen. Met als resultaat een kortere levensduur. Misschien gaan ze dit tegen door de speciale manier van fabricage. Hoe dan ook, ik ben serieus benieuwd naar de levensduur en hoe ze dit gaan testen. Backups kom je snel genoeg achter. Maar storage, als in archivering, dan lijkt mij deze “new” proven technology toch wel een beetje tricky.
Je hebt compleet gelijk maar zijn post gaat over tapes over het algemeen en niet alleen deze

Maar idd, ik wacht met smacht op een test (en de methode)
[Offtopic] Digi-taal (taal is de basis voor onze technologie ;) ) :

De uitspraak is "wacht met smart op" of anders "ik smacht naar"

Ontopic: ik wacht met smart op de prijs voor zo'n tape-je, dan kan ik eindelijk die W7 backup bijbenen ;)
Voor archieven: het is goedkoper dan hardeschijven per GB en snelheid is niet echt van belang.
De tape is goedkoper... De tape drive is echter gigantisch duur, en al helemaal wanneer je een geautmatiseerde library hebt! In de praktijk hangt het er dus maar net van je backup schema af (hoeveel tapes je gebruikt) of het daadwerkelijk goedkoper is. In heel veel gevallen is een harddisk wel degelijk veel goedkoper.

Verder is die betrouwbaarheid ook erg discutabel... Iedereen die met tapes werkt, weet dat hij om de zoveel tijd een tape moet weggooien. Zo betrouwbaar is dat dus echt niet. Voordeel van tapes is wel dat de tape zelf goed tegen mechanische schokken kan. Hij is dus goed vervoerbaar, hetgeen wel prettig is voor een off-site backup.
De tape drive is echter gigantisch duur, en al helemaal wanneer je een geautmatiseerde library hebt! In de praktijk hangt het er dus maar net van je backup schema af (hoeveel tapes je gebruikt) of het daadwerkelijk goedkoper is.

Een knappe tape-library met twee drives (LTO4) o.i.d. heb je al voor ong 15k(ext btw). Als je kijkt naar wat er aan licenties betaald wordt om software te gebruiken om die 'prijzige' library aan het werk te zetten, zal je verbaasd staan over de verhoudingen. Het gaat niet altijd op maar meestal is de software (licenties) duurder dan de hardware.

Op harddisk backuppen is niet per definitie goedkoper als je redelijk wat tapes nodig hebt. Tapes kunnen zonder meer idd naar een off-site locatie toe en dienen als Dysaster Recovery. Wanneer je dit gaat doen met een diskbased oplossing moet je rekenig houden met kosten van een tweede unit, eventueel verbindingen (ISP), licenties van je pakket om te repliceren etc etc. Deze twee combineren (disk+tape) is meestal de beste oplossing, zo heb je een online snelle restore vanaf disk en kan je bijv 1x per maand op tape uitspoelen (bijv alleen de laatste cyclus) om je DR veilig te stellen.
Volledig mee eens!
Zolang je data op 1 tape staat is het restoren van tape best snel. Snelheidsproblemen treden op zodra de data over 2 of meer tapes verdeeld staan (deze moeten dan eerst ingelezen worden). Om dit wat te versnellen zie je vaak dat tape robots meerdere tapedrives hebben.
Tapes bied nog steeds enkele voordelen welke andere media niet heeft. Bijvoorbeeld het simpele feit dat je zonder al te veel moeite de data van een tape statisch kunt maken, zodat er niets meer mee kan gebeuren.

Een tape kan ook zonder al te veel kosten off site, in een ander pand in een kluis neer gelegd worden.

Daarnaast is tape en zeer snel medium. De nieuwste LTO5 standaard welke op dit moment verkocht word doet zo'n 140MB/sec native, welke met 1,5:1 compressie op 210MB/sec sustained snelheid neerkomt.

Dat wil voor disk met meerdere clients tegelijk nog wel eens aardig lastig worden.

Alles is uiteraard afhankelijk van een degelijk geconfigureerde situatie.
Ik denk dat het typerend voor de tape industrie is dat ze altijd met compressie goochelen. Bovendien doen ze dat in vergelijkingen tussen tapen en HDDs wel voor tape, maar niet voor HDDs. Een enkele harddisk doet namelijk ook gewoon 140 MB/sec "native". En daar is niet heel veel "degelijke configuratie" voor nodig.

Harddisks schalen bovendien veel makkelijker. Zelfs de meest simpele PC kan 2 harddisks tegelijk aansturen, en de gezamelijke snelheid ligt dan meestal boven de 190%.
Ja, maar daar ligt ook meteen je fout.

Het *lijkt* alsof dit degelijk gebeurt, maar dat is in de praktijk niet zo aangezien geen enkel pakket naar disk kan multiplexen maar met meerdere streams gaat schrijven, iets wat een disk niet KAN.

Hierdoor krijg je OF tijdens de backup vertraging (vele heads die moeten seeken) OF tijdens de restore (stel bij het maken van een duplicaat of daadwerkelijk iets terug zetten.

Niet te spreken van fragmentatie of andere zaken.

Daardoor is het in de praktijk nog steeds de disk backups welke traag blijken te zijn. Dit zit vooral in de configuratie, maar toch.

Ik zit dagelijks in dit werk, en weet waar ik over spreek. Hoewel dat op zichzelf geen argument is natuurlijk, kom ik het zo vaak tegen dat tijdens het testen alles super snel leek, maar naar mate van tijd alles ongelooflijk traag word. Een disk array wat bijvoorbeeld 1000MB/sec kon leveren in het begin wat nog maar met 15MB/sec zijn werk doet. Met disken die staan te sterven bij het leven, etc.

Er zijn goede oplossingen, maar die zijn zeldzaam. De enigste oplossing welke ik wel eens toepas is seriŽle parallellisatie, maar hiervoor moet je veel zaken bijhouden en gaan berekenen wat ook niet super handig is.

Dus het klopt wat je zegt, maar in de praktijk werkt het niet zo.

En compressie, als je met de juiste praktijk waardes rekent, zit je er eigenlijk nooit naast en geeft het je wat meer ruimte of hetzelfde medium. Tape heeft hiervoor dedicated compressie chips en voor backup naar disk zou dat teveel gaan kosten en is het 'lastig' te krijgen (het bestaat wel).

[Reactie gewijzigd door Quindor op 18 mei 2010 21:44]

Opslag, betrouwbaarheid, kosten.

Wat je veel ziet is een mix tussen HDD-storage voor de korte termijn (week tot een maand terug), en voor de archivering wordt er dan naar tapes geschreven, die je wat makkelijker kunt bewaren.

Het hangt overig echt helemaal van de organisatie, hun data en de eisen die ze hebben aan hun data wat de beste oplossing is.

Een probleem dat je bij veel bedrijven ziet is dat alles maar ge-backupped wordt, zonder dat er echt over nagedacht wordt of dat wel zo nuttig/nodig is. Dit is natuurlijk een stuk beter dan dat er niet gebackupped wordt, maar het kan op die manier wel weer snel in de kosten gaan lopen.
Ligt eraan, opslag is tegenwoordig zo goed als gratis, dus tenzij je echt absurde hoeveelheden hebt is erover nadenken wat je moet backuppen duurder dan gewoon blind alles backuppen.
Absurde hoeveelheden is natuurlijk subjectief. Backup is een multiplier van je benodigde storage, en hoe langer je het wil bewaren hoe meer ruimte het betreft.

Wat je vaak ziet is dat alle data over 1 kam wordt geschoren: Een standaard (en zeker niet onverstandig) backup-schema van wekelijkse full + dagelijkse incremental. En dat dan tot een paar maandjes terug.

Voor volatiele data (logs) kun je misschien beter een dagelijkse full maken. Komt op hetzelfde neer als incremental immers, maar je kunt veel makkelijker een recovery uitvoeren.
Voor data die eigenlijk altijd hetzelfde blijft (OS-bestanden), zou je misschien beter af zijn om maar een maandelijkse full te maken. Scheelt je toch weer 3x het volledige OS.

BIj databases: heeft het zin om ook transactielogs te gaan backuppen? Kost veel ruimte en levert vaak weinig op. Je kunt immers toch alleen maar terug naar het laatst gebackupte transactielog, kun je net zo goed terug naar een point-in-time dump.

Als je maar een paar weken aan backup bewaart, dan maakt het natuurlijk allemaal weinig uit. Maar als jij een aantal grote databases hebt, of grote bergen e-mail (+attachments) en die moeten bijvoorbeeld omwille van SOX-wetgeving de data voor langere tijd bewaard hebben, dan gaat het al snel lonen.

[Reactie gewijzigd door Keypunchie op 17 mei 2010 16:53]

Absurde hoeveelheden is natuurlijk subjectief. Backup is een multiplier van je benodigde storage, en hoe langer je het wil bewaren hoe meer ruimte het betreft.
Daaraan herken je juist een slechte backup oplossing. Een goede backupoplossing heeft een ruimte nodig die een (kleine) multiplier is van je datawijzigingen. Met checksums en scrubbing kun je toe met incrementele backups (eigenlijk decrementele - de master copy moet de laatste versie zijn, niet de eerste, en om terug te gaan in de tijd moet je decrements toepassen)
Interessant. Maar bij database backups kun je toch na een full + meerdere transactie log backups naar elk punt er tussen terug?

Crashed je database maar heb je de logs nog sinds de laatste transaction log backup, dan kun je de logs replayen en op het moment komen waar je wenst uit te komen, ook NA je backup.

Mits je logs uiteraard op een ander LUN staan, maar dat lijkt me standaard.
Ken jij toch echt niet de prijzen van bedrijfs SAN of NAS oplossingen.
Een consultant je data laten inventariseren is ook niet goedkoop. De meerprijs van extra storage valt daarbij gewoon in het niet.
Opslag is helemaal niet zo goed als gratis. Mijn harddisks thuis zijn ook altijd vol.
Wat denk je dat 't kost om bijv. 4x4TB in m'n PC-tje te douwen? En dan wil ik daar natuurlijk ook meerdere externe backups van hebben, als 't ff kan. Dus 12x4TB benodigd: 36TB. Is echt niet zo goed als gratis, hoor. Tja tenzij je natuurlijk B. Gates heet of zo - dan verdien je dat per seconde.
Een tape back-up is nog steeds de meest betrouwbare vorm van een back-up. Het is een stuk robuster dan een harddisk of optisch medium.
Is dat nu echt zo? Hoe zit het met solid state opslag? (USB stick die je niet al te vaak herschrijft b.v.?)
Duur en groot wanneer je naar dezelfde volumes wenst te gaan.
Daar gaat het nu niet om, het gaat om de betrouwbaarheid. Solid State opslag is nog volop in ontwikkeling, dus dat kan je nu nog niet vergelijken. Over de betrouwbaarheid kan ik niet veel zeggen.
Solid State opslag kan zonder probleem 1000 writes hebben, zelfs 5000. Dus een dagelijkse backup kun je makkelijk 10-15 jaar volhouden. De vragen over SSD betrouwbaarheid komen pas op bij 100.000-1.000.000 writes. Ik kan je garanderen dat de spoelen van je tape dat ook niet overleven.

Shelf life van tapes is aardig (jaren), maar shelf life van flash moet waarschijnlijk in eeuwen gemeten gaan worden. We zien simpelweg geen mechanisme waardoor flash op de plank rot.
Server backups worden nog steeds met tapes gedaan, zelfs in grote data centra en grote bedrijven.
Tape is qua oppervlakte/volume (de buitekant dus) grofweg de helft van een harddisk en waarschijnlijk ook de helft lichter. 1 tape van 50TB is dus 50x (1/2 zo groot, max HD is nu 2TB) kleiner dan de zelfde storage in harddisks.
Het CERN gebruikt ze voor opslag
HD Storage is nog steeds geen goed scenario voor Backup. Een beetje bedrijf heeft rond de tegen de 10 TB aan data. Je kan kiezen tussen full, incremental en differential backups. Meeste bedrijven kunnen tot twee weken een backup terugzetten (dagelijks) en daarbij hebben ze een maand backup die ze een jaar bewaren, nog een kwartaal backup en dan een jaar backup. Met full backup schema heb je dan zo een 10x14=140 TB voor twee weken, dan nog een keer 12x10TB voor de maandtapes (maand tape einde van kwartaal wordt dan meestal kwartaal tape) en dan nog een jaar tape (separaat gemaakt). Vraag me af hoeveel disks dat zijn en wat de kosten per disk zijn.

Daarnaast ken ik situaties waarbij een tape na 18 jaar nog gewoon leesbaar was zonder fouten.

Overigens is tape technologie best wel heftig, als je ziet hoe veel ECC en CRC data een tape bevat per blok en per groep blokken. Is een tape kapot, dun plakbandje er achter (hebben ze speciaal spul voor) en je data is er nog.

Over duur gesproken valt nog wel mee. Je hebt tegenwoordig tapes van rond de 1,5-2 TB, in een drive array met 4 drives en een compressie rate van 1:2 haal je toch zo een gekke 12 TB aan backup. Daarnaast hebben tapedrives het voordeel dat de uitval minimaal is, en met een goed schema doe je een jaar met een tape en wordt die gebruikt als maand/jaar tape.
Zekers, vooral de nieuwere generatie LTO tapes bied nog steeds enkele voordelen boven HDD of Dedup storage.

Alle technieken hebben hun voordelen, maar tape, welke van oudsher er is, is nog lang lang niet uitgerangeerd, hoewel bepaalde fabrikanten dit je wel proberen te vertellen.....

Ik werk in dit veld en ook wij worden door fabrikanten haast gedwongen het te verkopen en als ik ze argumenten geef waarom niet, worden ze gewoon boos. Nou... geweldig argument... :P

Nee, zoals hierboven. We voeren enkele merken en daarin ook Dedup en disk storage. Tape is alleen nog steeds de meest voordelige en, wanneer fatsoenlijke geconfigureerd, eigenlijk ook de snelste. Maar je moet de juiste oplossing op de juiste plek positioneren.
Digitale video-opnames, hoewel er steeds meer camera's met SSD komen.
Wat veel interessanter is, is hoe lang het duurt om die 50TB te vullen. Als je dat niet kan doen binnen een weekend heb je toch een "probleem". Het maken van een volledige backup is dan vrijwel onmogelijk aangezien mensen op maandag weer beginnen met schrijven van data.

[Reactie gewijzigd door plankton123 op 17 mei 2010 16:16]

Tuurlijk kan dat wel. Als de software maar slim genoeg is.

Ten eerste draai je normaal waarschijnlijk incremental backups waarbij dat sowieso geen probleem is.

Ten tweede; voor een maandbackup ofzo kan het systeem gewoon beginnen met schrijven van alle data. Bestanden die toegevoegd of veranderd worden tijdens de backup komen in een navolgende incrementele backup die in grootte erg beperkt zal zijn ( zeer waarschijnlijk kleiner dan een normale incrementele backup).
Grote backup-oplossingen hebben een combinatie van een tape-library, en een array van harddisks. Dan worden voor de maandbackups eerste alle servers parallel naar de harddisks gebackupped, en daarna wordt alle data netjes sequentieel naar de tapes geschreven.

Dit verkleint het backup-window voor de servers. En als bijkomend voordeel staat de meest recente data nog op harddisks, voor het geval de baas een belangrijk word-documente delete. De backup-software houdt netjes bij wat waar staat.
Bijna elk "groot" bedrijf heeft wel een disk-to-disk-to-tape installatie staan, ook ivm snapshots/livestate.
Maar dan nog moet de timeframe zo kort mogelijk worden gehouden anders is het niet rendabel.
Nou niet perse,
Wij hebben 2 complete san's staan 1 productie en 1 backup.
En de backup omgeving word op tape gezet, puur voor disaster recovery en achive reden. Recover acties gebeuren dus eerst vanaf de backup SAN omgeving. En hiermee kunnen we tot ruim een maand terug.
We hebben dus voor onze tape backups welke we 1 keer per week doen een volle week om alles op tape te zetten.

Ik hoor veel over snelheid, maar let wel je moet die snelheid ook aan kunnen leveren.
Met name met DLT kan een te trage doorvoersnelheid de tapedrive niet "streaming" houden waardoor hij de hele tijd moet starten en stoppen. Hierdoor slijt de drive echt enorm snel
Maarja een steeds hogere datadichtheid op de tapes vraagt wel om een steeds hogere datasnelheid.
Kortom ik vraag me af hoe men in hemelsnaam een 50tb tape streaming willen voeren, da's een knappe NAS die je daarvoor nodig hebt.
same here..
tapes kunnen het niet bijbenen. + restoren ben je weken kwijt = tent opdoeken.
Helaas een veel voorkomende misvatting.

Een enkele LTO4 drive (LTO5 is inmiddels ook uit) doet 120MB/sec native. Met 1.5:1 compressie (realistisch haalbaar) is dat 180MB/sec.

DISK en het OS is degene die het niet bij kan houden. Daarom zorg je er ook voor dat bij een fatsoenlijke inrichting van je backup je niet 1 maar meerdere systemen tegelijk backupped. Stel een stuk of 10. Als deze per stuk minimaal 10MB/sec kunnen leveren, dan zit je iig op 100MB/sec. Daarin valt gelukkig genoeg in te tunen.

Een andere 'oplossing' is een disk stage er tussen zetten. Hoewel dit het probleem niet oplost, zorgt het er wel voor dat het geen probleem word voor de tape drive. Je backup word hierdoor alleen niet sneller, aangezien je het eerst naar disk moet schrijven en daarna nog eens naar tape. Uiteindelijk een langer proces.

Als je dat maar 1x per week doet en de stage ook gebruikt als restore mogelijkheid is het wel een goede oplossing naar mijn mening (zoals hierboven beschreven). Een dik SAN heb je daar niet voor nodig (wederom met de juiste inrichting). Simepele SATA schijven zijn meer dan genoeg.
Bij ons wordt er ook eerst naar virtual tapes op een SAN gebackupt en dan pas de Full's naar tape gemirrord. Nu al is onze server bijna full time bezig met dat mirroren, DLT II met 2 tapes in onze robot. Mocht die time frame dus nog groter worden dan krijgen we een onafwerkbare queue en zijn we genoodzaakt een extra robot te nemen, maar ik denk dat de kans groter is dat we dan af en toe gewoon een backupje naar tape gaan overslaan.
Als je deze in een weekend wil vullen, zou dat neerkomen op minimaal 250 a 300 MB/s (maar dit is best wel krap genomen, dus sneller is wel aan te raden :P )

Maargoed, ga er ook maar niet vanuit dat deze tape 'tot de rand toe' vol gevuld wordt :)
Dan houdt je wel erg weinig speling over voor de volgende backup :P

[Reactie gewijzigd door SmiGueL op 17 mei 2010 16:25]

het vullen van zo'n tape zal wel snel gaan straks. door tape fabrikanten wordt een schrijftijd van 2,5 Š 3 uur per tape gezien als zeer optimaal.
Wat meer een issue zal zijn is, hoe en waar lees ik zoveel data vandaan dat ik ook een tape in die tijd kan vol schrijven.
Je zal dus zo'n 20T per uur moeten lezen van een systeem. (20T per uur = 5,5GByte per seconde 8-) )

[Reactie gewijzigd door erwinb op 17 mei 2010 20:21]

Hogere dichtheid betekent ook hogere snelheden ? Of is dat niet het geval ?
Betere vraag, wat betekent dit voor de betrouwbaarheid?
Een tape verliest een beetje materiaal, rekt een beetje op, verliest wat magnetisme... hoe goed leesbaar blijven die kleinere "bitjes" dan? En hoe gevoelig zijn de koppen voor slijtage/vuil? Immers komt het allemaal nog veel preciezer.
Er wordt bij dit soort opslag gebruik gemaakt van redundante data, zodat omgevallen bitjes weer recht gezet worden, zelfs al ontbreekt er een flink stuk, dan kan bijvoorbeeld met Hamming code toch weer het verloren stuk teruggehaald worden uit overige data. Dat wordt ook toegepast bij datacommunicatie waarbij het opnieuw aanvragen van een blok data te lang zo duren of anderzijds niet mogelijk is (broadcast / eenrichtings communicatie bijv.). De fouten worden daarmee 'on the fly' hersteld. Het kost natuurlijk wel ruimte. Maar beschouw ook eens het feit dat eigenlijk op een cdrom 3 maal zoveel data zou passen als er geen fout tolerante redundantie gebruikt zou worden. Redundantie is dus onmisbaar op betrouwbare opslag. Maar de mate waarin heeft natuurlijk een prijs qua ruimte gebruik, en dus meestal ook qua verwerkingssnelheid.
Mogelijk, ligt eraan of de lees / schrijfkoppen het nog bij kunnen benen. Maar ik denk het wel, anders is het niet echt praktisch - dan zit je ook 30 keer zo lang te wachten voordat de tape volgeschreven is. Natuurlijk moet je dan ook 30 keer zoveel data hebben.
Veel hosting bedrijven gebruiken ook nog steeds tapeopslag, hiervoor is dit optimaal.

Enige nadeel met tape opslag vind ik je moet zelf fysiek aan wezig heb, met een backup op je hardeschijf kan je dit remote doen.
Tape robots, kan je gewoon in je 19" hangen.
Een beetje taperobot is een heel rack, zo niet meer. Maar je moet zelf fysiek aanwezig zijn is inderdaad neit waar.
Voor bedrijven nog steeds wel de oplossing, voor de thuis gebruiker is een NAS in raid 5 ruim voldoende, voor de belangrijkste data een blueray burner?
Dat is geen backiup systeem maar redundancy. Er kan een schijf uitvallen en je systeem draait door tot je die vervangen hebt. Het beschermt je niet tegen een del *.* of tegen 5 dagen doorwerken aan een belangrijke database om er dan achter te komen dat je aan het begin al iets stoms hebt gedaan waardoor je alle rekeningnummers van je klanten kwijt bent maar wel de rest van je gegevens nog hebt zodat je dat niet direkt door hebt.
Geeft niets...de backup van gisteren is er nog en die van eergistereren en die van vorige week, vorige maand.

[Reactie gewijzigd door Ortep op 17 mei 2010 18:50]

komt goedkoper uit om gewoon een extra HDD te kopen dan om blurays te gaan branden
Hier op de zaak worden ook nog steeds tapes voor back-ups gebruikt hoor.
Misschien een beetje achterhaalde techniek maar het is wel heel betrouwbaar.

Wel grappig als je data terug wil gaan zetten, als je specifieke data van die tape wil halen zit je soms gewoon minuten te wachten tot die leeskop op z'n plek staat...
De manier waarop je er mee werkt he? als je het zoals je voorganger regelt met een D2D2T oplossing, dan heb je zelden tot nooit een specifieke data restore from tape. Wij slaan in basis een backup historie van 2 weken op disk op, en backuppen daarnaast naar tape.

Wel merk je heel sterk aan de nieuwere backup pakketten dat Tapes een beetje uit de gratie zijn. Microsoft DPM is bijvoorbeeld niet erg handig als het gaat om aansturen van de backup tapes.
Misschien een beetje achterhaalde techniek maar het is wel heel betrouwbaar.
Juist om die reden is de tape alles behalve achterhaald. ;)
Wel grappig als je data terug wil gaan zetten, als je specifieke data van die tape wil halen zit je soms gewoon minuten te wachten tot die leeskop op z'n plek staat...
En dat is altijd nog een stuk beter dan tot de conclusie komen dat je de jaarcijfers waar je net 5 weken met 12 man aan hebt gewerkt helaas gewist hebt.
Voor dat soort zaken heb je ZFS, geen tape. Met ZFS heb je copy-on-write snapshots. Per ongeluk een file gewist? Niet erg; de file staat gewoon nog in de snapshot van deze morgen.
Geweldig. De opslagmedia voor backups die naar mijn idee door velen vroeg of laat voor obsoleet werd aangezien, blijft doorontwikkeld worden.

Op dit item kan niet meer gereageerd worden.



Apple iOS 10 Google Pixel Apple iPhone 7 Sony PlayStation VR AMD Radeon RX 480 4GB Battlefield 1 Google Android Nougat Watch Dogs 2

© 1998 - 2016 de Persgroep Online Services B.V. Tweakers vormt samen met o.a. Autotrack en Carsom.nl de Persgroep Online Services B.V. Hosting door True