FBI moet beginnen met kopiëren 150TB aan MegaUpload-data
De rechter in Nieuw-Zeeland heeft de FBI opgedragen te beginnen met het kopiëren van 150TB aan data van systemen die in beslag genomen zijn bij de MegaUpload-inval. Het betreft een voorzorgsmaatregel voor inzage in bewijsmateriaal.
De rechter in Nieuw-Zeeland heeft bepaald dat de FBI nog 21 dagen heeft om bewijsmateriaal in de VS en Nieuw-Zeeland geschikt te maken om te overhandigen aan de advocaten van Kim Dotcom en de andere MegaUpload-verdachten. De FBI verklaarde daarop die datum waarschijnlijk niet te halen vanwege de omvang van de datahoeveelheid. Er zouden alleen al 10 miljoen e-mails op de systemen hebben gestaan die de FBI en de autoriteiten in Nieuw-Zeeland in beslag namen, bij de inval van het landhuis van Dotcom. Het gaat hierbij dus niet om userdata.
FBI-agent Michael Postin zei volgens de NZ-Herald dat het alleen al 10 dagen zou duren om 29 terabyte te kopiëren en dat een deel van de gegevens niet gekopieerd zou kunnen worden vanwege encryptie. Hij schatte dat het tweeënhalve maand zou duren voordat de volledige 150TB overgezet zou zijn. De rechter antwoordde dat de FBI dan maar meteen moest beginnen en dat de VS mogelijkheden genoeg had voor het overzetten. Kosten zouden ook geen rol mogen spelen omdat deze, volgens de rechter, 'in het niet vallen bij de overige kosten voor het onderzoek en de vervolging van een operatie van deze omvang'.
De gekopieerde bestanden worden niet meteen beschikbaar gesteld aan de verdediging van Dotcom. Of de Amerikaanse overheid daartoe verplicht is zal op een later moment bepaald worden. De verdediging heeft de data nodig om zich voor te bereiden op het aanvechten van een uitleveringsverzoek van de VS. Volgens de FBI kan het nog jaren duren voordat de uitleveringszaak afgesloten wordt.
Reacties (122)
En weer een stapje verder in de meest ludieke zaak van de afgelopen drie jaar.
Precies wat er nodig was:
Als ze dit allemaal kopiëren kunnen de bedrijv(en??) die het allemaal hostte tenminste ook weer de servers cleanen en verhuren. \
Aan de andere kant vraag ik me af of de fbi wel zo eerlijk is om ALLES te kopiëren, inclusief hetgeen dat misschien als bewijs tegen ze gebruikt kan worden.... (met het encryptie verhaaltje hebben ze al een smoes verzonnen...)
Als ze dit allemaal kopiëren kunnen de bedrijv(en??) die het allemaal hostte tenminste ook weer de servers cleanen en verhuren. \
Aan de andere kant vraag ik me af of de fbi wel zo eerlijk is om ALLES te kopiëren, inclusief hetgeen dat misschien als bewijs tegen ze gebruikt kan worden.... (met het encryptie verhaaltje hebben ze al een smoes verzonnen...)
[Reactie gewijzigd door revivespirit op zaterdag 16 juni 2012 13:19]
Die 150 Tb was persoonlijke data, dus ik denk niet dat die hostingbedrijven dan die data kunnen weghalen.
Tsjah de personen (van wie de data is) hebben er nu ook niks aan: Misschien wilt de FBI het zelf wel hosten zodat de uploaders hun eigen files tenminste weer kunnen downloaden 
[Reactie gewijzigd door revivespirit op zaterdag 16 juni 2012 13:23]
Ze hebben het anders over 10 miljoen emails die in beslag zijn genomen bij de inval thuis wat zou geen userdata zou zijn.
die 10 miljoen emails zijn beslist geen 150TB
Ik weet niet hoe ze dit dan kopiëren, maar dat zou neerkomen op gemiddeld 33,61 MB/sec.
Zetten ze dat over naar een USB-disk ofzo???
Het kan misschien aan mij liggen dat ik nog iets over het hoofd heb gezien, maar dit kan véééél sneller!
* ]Byte[ spreekt uit ervaring...
[update]
rekenfoutje rechtgetrokken...
die 10 miljoen emails zijn beslist geen 150TB
Jaja...10 dagen zou duren om 29 terabyte te kopiëren
Ik weet niet hoe ze dit dan kopiëren, maar dat zou neerkomen op gemiddeld 33,61 MB/sec.
Zetten ze dat over naar een USB-disk ofzo???
Hint: dd if=/dev/sda1...x of=/path/naar/sda1...x.img[...] en dat een deel van de gegevens niet gekopieerd zou kunnen worden vanwege encryptie.
Jaja... Dat zou betekenen dat ze gemiddeld 23 MB/sec kunnen verstoken.Hij schatte dat het tweeënhalve maand zou duren voordat de volledige 150TB overgezet zou zijn.
Het kan misschien aan mij liggen dat ik nog iets over het hoofd heb gezien, maar dit kan véééél sneller!
* ]Byte[ spreekt uit ervaring...
[update]
rekenfoutje rechtgetrokken...
[Reactie gewijzigd door ]Byte[ op zaterdag 16 juni 2012 13:51]
Alleen kom je met jouw berekening van 121 MB/uur op 129 GB uit. Is maar een factor 1000 verschil. Hetzelfde geldt voor de 83 MB/uur.
Dus ja, ik denk dat je iets over het hoofd hebt gezien
Dus ja, ik denk dat je iets over het hoofd hebt gezien
[Reactie gewijzigd door Become op zaterdag 16 juni 2012 13:51]
Had het al gezien. Tnx anyway! 
Misschien een belangrijk feit, maar ik denk niet dat alle data op 1 pc staat...
Een feit en aanname is wel verschillend hé!?
Misschien staat alle data wel op hetzelfde netwerk?
Misschien staat alle data wel op hetzelfde netwerk?
volgens mij worden hier alleen maar aannames gemaakt omdat niemand hier actief bij dit gebeuren betrokken is! dus het enige wat we kunnen is gissen hoe het werkelijk zit. maar lijkt me niet alles zomaar vanaf 1 bron geplukt kan worden.
Mooi dan kunnen ze dus simultane kopieersessies starten, gaat het nog sneller....
Als alle data verspreid is, is die lage bandbreedte nog erger: 10 pc's met harde schijven kunnen ongeveer 10 keer zo snel die data op externe media zetten als 1 pc met een 10x zo grote harde schijf.
Misschien doen ze het via internet.. Dat zou flauw zijn.
Misschien doen ze het via internet.. Dat zou flauw zijn.
Waarom zouden ze het niet via internet doen? Ze hebben daar heus geen 8mbit asdl lijntje liggen hoor. Vooral hostingbedrijven, die hebben veel meer bandbreedte dan dat hun harde schijven kunnen lezen. Als je het offline doet gaat er nog veel meer tijd in zitten, dan moet je de opslagmedia nog verplaatsen, waar ook zeker een week overheen zal gaan.
dit is puur alleen persoonlijke data van de verdachten. en je dacht toch niet dat een hostingsbedrijf in een maand even 150 TB naar de FBI overhevelt met de volledige capaciteit? dan gaat iedere klant er wat van merken.
Sneller?
Als je voor dit geval als overheid even 150TB aan opslag moet kopen duurt dat alleen al meer dan 3 maanden:
Schrijven van aanbesteding voor een opslag systeem met min 150TB. 2-3 weken
aanbesteding doorsturen naar mededingers - 1 week
mededingers dienen voor een bepaalde datum in te dienen. - 3 weken
controle door administratie wie de goedkoopste is - 1 a 2 weken
bestellen van opslag - 1 week
leveren van opslag 3-6 weken? 6 weken
installeren van opslag systeem. - 1 week
Starten van kopie maken. - ....
Zonder de kopie starten ben je dus al 17 weken kwijt in het slechtste geval. Aannemend dat er budgetten zijn voorzien om dit te doen. Anders mag je der nog een paar weken bijtellen van Management meetings.
Ik ben benieuwd, als zij alle wettelijke stappen ondernemen hoe lang het echt gaat duren. Ik veronderstel dan ook even dat niet iedere regering ff 150TB aan opslag liggen heeft.
83MB per uur is nog redelijk optimistisch dus.
Als je voor dit geval als overheid even 150TB aan opslag moet kopen duurt dat alleen al meer dan 3 maanden:
Schrijven van aanbesteding voor een opslag systeem met min 150TB. 2-3 weken
aanbesteding doorsturen naar mededingers - 1 week
mededingers dienen voor een bepaalde datum in te dienen. - 3 weken
controle door administratie wie de goedkoopste is - 1 a 2 weken
bestellen van opslag - 1 week
leveren van opslag 3-6 weken? 6 weken
installeren van opslag systeem. - 1 week
Starten van kopie maken. - ....
Zonder de kopie starten ben je dus al 17 weken kwijt in het slechtste geval. Aannemend dat er budgetten zijn voorzien om dit te doen. Anders mag je der nog een paar weken bijtellen van Management meetings.
Ik ben benieuwd, als zij alle wettelijke stappen ondernemen hoe lang het echt gaat duren. Ik veronderstel dan ook even dat niet iedere regering ff 150TB aan opslag liggen heeft.
83MB per uur is nog redelijk optimistisch dus.
150TB sata disks kost zo'n 7500 euro, daar is echt geen aanbesteding voor nodig hoor.
Van die disks die in beslag zijn genomen kunnen met DD images worden gemaakt die later gemount kunnen worden vanaf de sata disks.
Zet er een aantal mensen voor aan het werk met wat HDD docks en het kan makkelijk binnen die tijd overgezet zijn.
@Blokker: Die bedragen verschillen nogal van gemeente tot gemeente en verschillende overheidsorganen.
Van die disks die in beslag zijn genomen kunnen met DD images worden gemaakt die later gemount kunnen worden vanaf de sata disks.
Zet er een aantal mensen voor aan het werk met wat HDD docks en het kan makkelijk binnen die tijd overgezet zijn.
@Blokker: Die bedragen verschillen nogal van gemeente tot gemeente en verschillende overheidsorganen.
[Reactie gewijzigd door Mathijs op zaterdag 16 juni 2012 17:00]
Heb jij enig idee vanaf welk bedrag in europa een aanbesteding begint? Als wij als autonoom overheidsbedrijf even 7500 euro wensen te spenderen moeten we eerst een investeringskrediet aanvragen dat al moet goedgekeurd worden. Daarna moeten de prijsvragen (minstens 3 firmas) goedgekeurd worden (nog eens 2 mensen) gevolgd door de uiteindelijke aankoop (nog eens 3 of 4 mensen).
En als we het over zulke hoeveelheden data hebben dan zullen het wss geen losse sata hdds zijn maar verwacht ik meer een raid array van sas schijven.
En als we het over zulke hoeveelheden data hebben dan zullen het wss geen losse sata hdds zijn maar verwacht ik meer een raid array van sas schijven.
Ik kan me niet voorstellen dat de FBI al niet beschikt over een datacentrum waar nog wel plek is om 150TB op te slaan...
150 TB Is niks.
Bij ons (epo.org) hebben we nog 8pb vrij.
En wie zijn wij nou vergeleken bij de FBI
Bij ons (epo.org) hebben we nog 8pb vrij.
En wie zijn wij nou vergeleken bij de FBI
wat moet je met zoveel ruimte? Zeker hosting bedrijf...
EPO is geen hosting bedrijf maar de European Patent Office. Maar inderdaad ik heb ook niet het idee dat de FBI die opslag speciaal moet gaan inkopen voor deze zaak. Ze hebben echt nog wel die ruimte vrij in een van hun datacenters. En dan zal je echt geen snelheden van 23 MB/sec zien, want mn telefoon heeft dan nog meer verwerkings capaciteit.
[Reactie gewijzigd door master.fean op zaterdag 16 juni 2012 17:30]
maar waarschijnlijk hebben jullie die 8 PB goedkoper ingeslagen dan de FBI ooit 150 TB zou inslaan
Alles moet altijd SCSI zijn en dan ook nog de grootste disk, wat het gelijk al een duur verhaal maakt. Om te zwijgen over het feit dat de leverancier dan ook weer aan bepaalde voorwaardes moet voldoen wat het NOG duurder maakt.
Als je toch al megaoverhead hebt en systeembeheer dat nieuwe disks er binnen paar minuten inknalt, waarom dan niet overgaan op SATA?
Alles moet altijd SCSI zijn en dan ook nog de grootste disk, wat het gelijk al een duur verhaal maakt. Om te zwijgen over het feit dat de leverancier dan ook weer aan bepaalde voorwaardes moet voldoen wat het NOG duurder maakt.
Als je toch al megaoverhead hebt en systeembeheer dat nieuwe disks er binnen paar minuten inknalt, waarom dan niet overgaan op SATA?
nougabollen, geen SCSI, iSCSI op zijn minst en liefst Fibre channel.
Nu dan nog de FBI beschikt sowieso over die capaciteit daar zou ik mij geen zorgen over maken.
Fat de FBI niet alles zou willen of kunnen kopiëren zou het beste zijn voor de advocaten van Dotcom.
Kunnen ze meteen de zaak nietig laten verklaren wegens het achterhouden van bewijsmateriaal.
Nu dan nog de FBI beschikt sowieso over die capaciteit daar zou ik mij geen zorgen over maken.
Fat de FBI niet alles zou willen of kunnen kopiëren zou het beste zijn voor de advocaten van Dotcom.
Kunnen ze meteen de zaak nietig laten verklaren wegens het achterhouden van bewijsmateriaal.
Wist jij dat aanbestedingen per gemeente kunnen verschillen? En daarbij: de FBI niet in de EU zijn handel doet en dus niet gemoeid is met aanbestedingen?
Dat heeft niets met een aanbestedingsverplichting te maken maar met interne regels vermoedelijk. Overheidsaanbestedingen beginnen rond de 190k (te lui exacte bedrag te zoeken 
). Interne regels kunnen jouw echter verplichtingen stellen die de EU niet oplegt.
). Interne regels kunnen jouw echter verplichtingen stellen die de EU niet oplegt.De drempel voor ons als gemeente is:
10.000 onderhands meervoudig/adviesnota schrijven
50.000 nationaal
100.000 europees
10.000 onderhands meervoudig/adviesnota schrijven
50.000 nationaal
100.000 europees
hi Mathijs,
Hier in NL leverde al wat bedrijfjes categorie petabyte storage al heel veel jaartjes geleden.
150TB kost geen 7500 euro overigens. Voor dit soort grote opslagsystemen
zijn het vrijwel uitsluitend SCSI harde schijven.
En vaak ook al wat ouder. Dus de huidige prijs van 583 euro voor 3 TB kun je ook niet rekenen.
Dan verder zijn het vaak raid partities. Vanalles wordt daar gebruikt. Bij SARA bijvoorbeeld is het, zeg ik uit mijn hoofd, op het laagste nivo een raid5 met extra spares.
Dus elke partitie is al 6 disks dan en dan is er nog additionele overhead.
Kijk maar eens op de homepage voor correctere uitleg.
De financiele wereld overigens vindt dit niet snel genoeg. Die hebben veel meer overhead. Factor 2 is niks daar.
Dus als je NU zo'n systeempje zou kopen van een 200TB grootte zit je al snel op de
583 euro * 150 TB * factor 2 overhead / 3TB = 100 * 583 = 58k euro
En dat zijn REALISTISCHE prijzen.
Meeste opslag in die orde grootte zit rond een aantal ton.
Natuurlijk heb je dan heel wat meer dan 150 TB en de prijs per disk wordt meestal ook wel wat goedkoper. Maar je betaalt weer stevig voor wat software en hardware waar die dingen inpassen is ook niet goedkoop.
Verder wil je hele bende van die harde schijven hebben klaarliggen in de verpakking om snel kapotte disks binnen zeg een minuut of 2 te vervangen. Lukt het niet binnen 2 minuten? pak je biezen dan maar.
Het rebuilden van zulke arrays als er een paar disks kapot gaan (ongeluk komt zelden alleen) dat kost overigens uren.
Vergis je dus niet in de salarisdruk. Je kunt zo'n array niet onbewaakt ergens laten staan. Er moet systeembeheer naastzitten 24 uur per dag.
Het is dus bijna onzin om iets te kopen dat vet goedkoper is dan die salarissen.
Hier in NL leverde al wat bedrijfjes categorie petabyte storage al heel veel jaartjes geleden.
150TB kost geen 7500 euro overigens. Voor dit soort grote opslagsystemen
zijn het vrijwel uitsluitend SCSI harde schijven.
En vaak ook al wat ouder. Dus de huidige prijs van 583 euro voor 3 TB kun je ook niet rekenen.
Dan verder zijn het vaak raid partities. Vanalles wordt daar gebruikt. Bij SARA bijvoorbeeld is het, zeg ik uit mijn hoofd, op het laagste nivo een raid5 met extra spares.
Dus elke partitie is al 6 disks dan en dan is er nog additionele overhead.
Kijk maar eens op de homepage voor correctere uitleg.
De financiele wereld overigens vindt dit niet snel genoeg. Die hebben veel meer overhead. Factor 2 is niks daar.
Dus als je NU zo'n systeempje zou kopen van een 200TB grootte zit je al snel op de
583 euro * 150 TB * factor 2 overhead / 3TB = 100 * 583 = 58k euro
En dat zijn REALISTISCHE prijzen.
Meeste opslag in die orde grootte zit rond een aantal ton.
Natuurlijk heb je dan heel wat meer dan 150 TB en de prijs per disk wordt meestal ook wel wat goedkoper. Maar je betaalt weer stevig voor wat software en hardware waar die dingen inpassen is ook niet goedkoop.
Verder wil je hele bende van die harde schijven hebben klaarliggen in de verpakking om snel kapotte disks binnen zeg een minuut of 2 te vervangen. Lukt het niet binnen 2 minuten? pak je biezen dan maar.
Het rebuilden van zulke arrays als er een paar disks kapot gaan (ongeluk komt zelden alleen) dat kost overigens uren.
Vergis je dus niet in de salarisdruk. Je kunt zo'n array niet onbewaakt ergens laten staan. Er moet systeembeheer naastzitten 24 uur per dag.
Het is dus bijna onzin om iets te kopen dat vet goedkoper is dan die salarissen.
[Reactie gewijzigd door hardwareaddict op zaterdag 16 juni 2012 17:39]
Hoeft niet.. Hier heb je een bouwplan voor een goedkope 135TB server:150TB kost geen 7500 euro overigens. Voor dit soort grote opslagsystemen
zijn het vrijwel uitsluitend SCSI harde schijven.
http://blog.backblaze.com...-0revealing-more-secrets/
Hij zal nu vast iets meer kosten dan die $7.384 door de gestegen prijzen voor harde schijven maar het blijft (bij een zaak als deze) een relatief klein bedrag.
Verder kan ik me niet voorstellen dat die 150TB alle MegaUpload-userdata zou zijn. Alle userdata moet volgens mij een veelvoud zijn geweest.
er staat ook in het artikel dat je het gaat om persoonlijke data van de verdachten.
Realistisch voor een financiële instelling, en misschien zelfs aan de lage kant. Een grotendeels gratis provider als Mega upload e.d. kan het echter veel goedkoper uitvoeren omdat de snelheid nauwelijks een issue is. De blog van Backblaze die hierboven wordt gelinked is wat dat betreft erg informatief.En dat zijn REALISTISCHE prijzen.
Hiermee ga je uiteraard naar een data center en huurt opslag die voldoende is om de te kopieren schijven te herbergen en de schijven voor disk to disk copie, als je daar maanden over doet vind ik dat "knap".
Jij bedoelt nu alleen het kopieren zelf, dat kan inderdaad veel sneller. Maar we hebben hier te maken met een overheidsinstelling EN een juridische instelling. Dus gaat alles sowieso al op z'n ambtenaars, nog los van de tijd die het kost om deskundigen aan te trekken die op een gecertificeerde manier kunnen kopieren. Iemand zal toch moeten vaststellen dat het kopieren correct en volledig gebeurt, anders roept straks een partij dat er met de kopie is gerommeld...
Vergeet niet dat het meer is dan het kopiëren aangezien je minimaal een hash moet hebben over nieuw en oud om het niet door de mand te gaan bij de juridische behandeling.
Wat een onzin. Wat zou er in godsnaam van materiaal kunnen opstaan dat TEGEN de FBI gebruikt zou kunnen worden?! Ik snap niet dat deze comment van jou een +1 heeft. Weer zo'n typische conspiracy lulkoek. Daar zijn we op tweakers écht niet in geinteresseerd.
On topic: Het is zonde dat zo'n belangrijke rechtzaak zo zwaar wordt vertraagd door een gigantische hoeveelheid (waarschijnlijk ook speciaal met slechte bijbedoeling aangedikt door Kim om tot zo veel data te komen) triviale data zoals emails en andere bestanden. Dit is gewoon onmogelijk allemaal na te gaan. Als er dan nog eens stukken geencrypteerd zijn dan kan je de zaak al helemaal nooit afronden.
On topic: Het is zonde dat zo'n belangrijke rechtzaak zo zwaar wordt vertraagd door een gigantische hoeveelheid (waarschijnlijk ook speciaal met slechte bijbedoeling aangedikt door Kim om tot zo veel data te komen) triviale data zoals emails en andere bestanden. Dit is gewoon onmogelijk allemaal na te gaan. Als er dan nog eens stukken geencrypteerd zijn dan kan je de zaak al helemaal nooit afronden.
beetje off topic maar ik vraag me dan af.
Hoe wil je de gegevens overhandigen aan advocaat in kwestie dan ?
dozen vol met 1TB schijven naar z'n kantoor sturen ?
Hoe wil je de gegevens overhandigen aan advocaat in kwestie dan ?
dozen vol met 1TB schijven naar z'n kantoor sturen ?
Je hebt maar 50 schijven nodig van 3 TB, al zullen de FBI misschien wel 4TB of tapes hebben. Tjah die schijven zullen dan wel in serverts hangen me denk?
wat zijn serverts ?
Je hebt maar 50 schijven nodig van 3 TB, al zullen de FBI misschien wel 4TB of tapes hebben. Tjah die schijven zullen dan wel in serverts hangen me denk?
servers
typfoutje
typfoutje
denk dat ze gewoon bewijsmateriaal ( die 150 terabyte) weer terugsturen naar de advocaten van de verdediger dan?
150TB kan toch nooit alle data zijn van Megaupload? Of zullen dit alleen logs en databases zijn?
Ik weet niet hoe ze met duplicates omgingen. Maar er stond veel dubbel materiaal op. Ik mag hopen dat de systemen zo waren ingericht dat als je bijv. de Ubuntu Live CD uploadt, en je buurman ook, dat dat bestand niet 2x op de server staat.
Maar 150TB blijft erg weinig, wellicht zijn dit enkel de servers die bij dotcom thuis stonden? Of moet het petabyte zijn?
@Litemotiv bedankt.
Maar 150TB blijft erg weinig, wellicht zijn dit enkel de servers die bij dotcom thuis stonden? Of moet het petabyte zijn?
@Litemotiv bedankt
.[Reactie gewijzigd door kjast op zaterdag 16 juni 2012 13:25]
Dit zijn idd enkel de data die bij dotcom thuis stond, om zijn eigen computers, werkstations en servers.
Quote uit het bericht: "Het gaat hierbij dus niet om userdata. " => alles is data van dotcom zelf, geen files die op de MU servers stonden.
Quote uit het bericht: "Het gaat hierbij dus niet om userdata. " => alles is data van dotcom zelf, geen files die op de MU servers stonden.
Juridisch gezien mag je niet eens deduppen!
Als je dat gaat doen, en de advocaat komt daar achter is de hele zaak vervolgens drijfzand en gedoemd te mislukken voor het OM/FBI/....
Als je dat gaat doen, en de advocaat komt daar achter is de hele zaak vervolgens drijfzand en gedoemd te mislukken voor het OM/FBI/....
Wat is in vredesnaam deduppen...
Ontdubbelen, maar dat is een nog slechter woord.
150 TB, aan prive data... Ik ben benieuwd hoe hij dat geindexed had. En of die indexen nog zelfs maar enigzins werken als hij het spul krijgt aangeleverd.
150 TB, aan prive data... Ik ben benieuwd hoe hij dat geindexed had. En of die indexen nog zelfs maar enigzins werken als hij het spul krijgt aangeleverd.
Dat is niet correct. Deduplication within custodian met een processing tool als NUIX, Trident etc. is volledig geaccepteerd binnen de juridische wereld. Ook de US. (Ik zeg dit overigens uit ervaring, ik werk momenteel in de US aan een groot eDiscovery project, waarin we precies dat doen)
Ho ho e-discovery in de juridische wereld is heel iets anders dan forensisch werken in de opsporing. Volledige images + hash zijn dan een must. Nuix is leuk voor de-duplication tijdens het indexeren vanuit een volledige image of volledige EDB of PST bestand en dus op item niveau.
[Reactie gewijzigd door S1W op zaterdag 16 juni 2012 22:49]
Dat bedoel ik ook? Image maken, Je E01 (of om het even welk ander) image, processen en indexeren met bijvoorbeeld Nuix en vervolgens de items dedupliceren (global of per custodian aan de hand van het doel en de onderliggende data). Ik reageerde slechts op ]Byte[ zijn/haar post door te zeggen dat dedupliceren van data niet per definitie juridisch gezien een probleem is.
Idd een van de redenen van het onderzoek. Dat ze niet onder de DMCA safe haven vielen omdat ze geen duplicates opsloegen (dus maar 1x een bepaald bestand hielden). En bij een takedown notice alleen de links weg haalden (per link, dus per uploader) maar niet het bestand (of pas als alle links weg waren). En daar is dus niemand zeker over of het wel mag.
25 petabyte was het totaal aan data:
nieuws: Rechter geeft geen toestemming voor wissen MegaUpload-data
nieuws: Rechter geeft geen toestemming voor wissen MegaUpload-data
Waarom zo'n grote DB? Het enige wat in die DB stond waren links naar files (bestandspaden).
Uit het artikel:
"Het gaat hierbij dus niet om userdata. "
Uit het artikel:
"Het gaat hierbij dus niet om userdata. "
Wellicht dat je met deduplicatie al een heel eind kan komen. Een film die 20x is geupload, staat op die manier maar 1x op de server.
Verder kan ik me niet voorstellen dat het kopieren van 150TB aan data zoveel tijd zo mogen kosten. Sterker nog, als men met gemiddeld 100MB/s - wat imho niks voorsteld bij serverparken als deze - kan kopieren, dan zullen die 150TB op tijd klaar zijn.
Verder kan ik me niet voorstellen dat het kopieren van 150TB aan data zoveel tijd zo mogen kosten. Sterker nog, als men met gemiddeld 100MB/s - wat imho niks voorsteld bij serverparken als deze - kan kopieren, dan zullen die 150TB op tijd klaar zijn.
het gaat hier ook niet om het kopieren van de data.... ze moeten er ook bewijslast uit halen, hier hebben ze 21 dagen voor. En stel je voor 150 tb aan informatie scannen. onder andere 10 miljoen e-mails! hier doe je wel wat dagen over (ook al doe je dit met 1000 mensen)
Waar staat dat ze dat moeten? Ze dienen gewoon die data aan te leveren zodat de advocaten van dotcom ermee aan de gang kunnen.
Het ziet ernaar uit dat ze willen weten wat ze overhandigen voordat ze het doen, maar dat is in dit geval totaal niet relevant lijkt mij.
Het ziet ernaar uit dat ze willen weten wat ze overhandigen voordat ze het doen, maar dat is in dit geval totaal niet relevant lijkt mij.
Wat ik verrassend vind is de doorlooptijd. Ik heb net 'even' 2.25GB van mijn NAS naar laptop getrokken. Dat duur op 9MB p/s (draadloos) 3.30. Op die specs zou 150TB ongeveer 140 dagen kosten om over te brengen.
Bedraad en met de infrastructuur van de FBI moet dat dus vele malen sneller kunnen, wat mij betreft dus gewoon een kwestie van 'stallen'
Bedraad en met de infrastructuur van de FBI moet dat dus vele malen sneller kunnen, wat mij betreft dus gewoon een kwestie van 'stallen'
probeer het nog eens met dezelde 2.25GB maar dan bestaande uit kleine files van een paar kb...
dan kun je nog wel eens voor een lelijke verassing komen te staan...
Onder andere ga je dan ondervinden wat TCP windowing is als je het over een netwerk doet.
dan kun je nog wel eens voor een lelijke verassing komen te staan...
Onder andere ga je dan ondervinden wat TCP windowing is als je het over een netwerk doet.
Dit ga je ook niet over een netwerk doen want dat is vragen om 100 dagen verwerkingstijd
Dit gaat gewoon 1-1 schijf voor schijf gecloned worden middels forensische software en dan krijgt de verdediging een stapel schijven zo van zoek het maar uit.
Om vervolgens die data leesbaar te maken wordt het probleem van de verdediging (die zullen identieke hardware in elkaar mogen zetten inclusief software zodat het geheel uit te lezen is).
Dit gaat gewoon 1-1 schijf voor schijf gecloned worden middels forensische software en dan krijgt de verdediging een stapel schijven zo van zoek het maar uit.
Om vervolgens die data leesbaar te maken wordt het probleem van de verdediging (die zullen identieke hardware in elkaar mogen zetten inclusief software zodat het geheel uit te lezen is).
Er hoeft niet op die manier gekopieerd te worden, DD images laten maken naar grote schijven is het meest handig. Dat kopieren gaat dan gewoon sequentieel, je hebt geen last van kleine bestanden, dus het is makkelijk haalbaar.
Ook heb je geen last van de encryptie in dat geval.
Ook heb je geen last van de encryptie in dat geval.
[Reactie gewijzigd door Mathijs op zaterdag 16 juni 2012 14:28]
Dat kan geen vele malen sneller.
Op 1 Gbit (125 MB/sec) duurt 150TB al 15 dagen. De kans dat die storageserver dat bijhoudt is al niet zo groot.
Op 1 Gbit (125 MB/sec) duurt 150TB al 15 dagen. De kans dat die storageserver dat bijhoudt is al niet zo groot.
Tuurlijk wel. Gewoon 1:1 disk clones maken over de SATA bus.
Mijn interne pruts i3 server doet al 110MB/s
Waarom zou een profi storage server niet gbit dichttrekken? graag je onderbouwing dan..
Overigens kans is groot dat ze meer dan Gbit hebben liggen 10GB bijv... of trunks.
Waarom zou een profi storage server niet gbit dichttrekken? graag je onderbouwing dan..
Overigens kans is groot dat ze meer dan Gbit hebben liggen 10GB bijv... of trunks.
Ze kunnen het natuurlijk niet gewoon kopieren. Om dit forensisch correct te doen zal er een image van de relevante harddrives moeten worden gemaakt met bijvoorbeeld EnCase. Hierna zal de gemaakte image ook nog eens doormiddel van hash waardes moeten worden geverificeerd.
Firewire 800 , g-drives, dockstations dan lukt dat wel in een week.
Tenzij de fbi alles met usb2 wil doen, maar dan zijn ze echt onnozel.
Tenzij de fbi alles met usb2 wil doen, maar dan zijn ze echt onnozel.
Wat moeten ze met heel waarschijnlijk ''een gigantische porno collectie'' ? Dat is jaren overwerken Ik zit niet graag op de stoel van de rechter.
Ik zit niet graag op de stoel van de rechter.
Zoveel is 150 TB toch ook weer niet, is goed verwerkbaar.
75 HDD van 2TB, kosten 7500 euro. Dat is toch wel te overkomen als FBI lijkt me, mocht er veroordeling komen leggen ze de kosten toch bij megaupload neer, en denk dat in de VS net als hier is dat staat voor gaat op alle andere eisers.
Edit/
Waarom eigenlijk kopiëren, inbeslagname betekend toch gewoon dat FBI tot hun beschikking hebben, kunnen toch gewoon HDD ophalen en meenemen. Provider heeft dan pech, die is verantwoordelijk voor welke klanten die binnen haalt. Of anders kan FBi ook nog gewoon geld geven voor de HDD als vergoeding, probleem opgelost en heb je alle tijd om HDD te analyseren.
75 HDD van 2TB, kosten 7500 euro. Dat is toch wel te overkomen als FBI lijkt me, mocht er veroordeling komen leggen ze de kosten toch bij megaupload neer, en denk dat in de VS net als hier is dat staat voor gaat op alle andere eisers.
Edit/
Waarom eigenlijk kopiëren, inbeslagname betekend toch gewoon dat FBI tot hun beschikking hebben, kunnen toch gewoon HDD ophalen en meenemen. Provider heeft dan pech, die is verantwoordelijk voor welke klanten die binnen haalt. Of anders kan FBi ook nog gewoon geld geven voor de HDD als vergoeding, probleem opgelost en heb je alle tijd om HDD te analyseren.
[Reactie gewijzigd door mad_max234 op zaterdag 16 juni 2012 13:37]
Je gaat hier wel wat luxere HDDs voor gebruiken en ook wat meer als je waarde hechts aan de integriteit van je data.
Dat hecht je niet. Het is een kopie en naast het origineel heeft de verdediging ook een kopie.
Ja de FBI heeft het momenteel ter beschikking maar ze moeten een kopie beschikbaar gaan stellen aan de verdediging dus het zal gekopiëerd moeten gaan worden.
Je kan dock stations gebruiken met een goede firewire poort (of beter nog thunderbolt) en gebruik maken van g-drives.
Koopje voor een instantie als de FBI
Koopje voor een instantie als de FBI
Die schijven zijn niEt in beslag genomen door de FBI, maar door de nieuw-zeelandse politie. Die kunnen neit zomaar overhandigd worden aan de FBI.
Waarom zou de rechter een waarschuwing geven hierover?
Als ze niet kopiëren dan is al het bewijsmateriaal weg, ja ik denk dat de FBI dat zelf ook nog wel moet kunnen begrijpen.
Als de FBI dat niet zou kopiëren dan zou dat een domme actie zijn.
Als ze niet kopiëren dan is al het bewijsmateriaal weg, ja ik denk dat de FBI dat zelf ook nog wel moet kunnen begrijpen.
Als de FBI dat niet zou kopiëren dan zou dat een domme actie zijn.
Met een paar harddrive duplicators is een klus als deze zo geklaard, zeker op minder dan 10 dagen.
Gaat het hier trouwens enkel om 150TB die bij Kim thuis werd gevonden? Dus zijn persoonlijke data dan?
Gaat het hier trouwens enkel om 150TB die bij Kim thuis werd gevonden? Dus zijn persoonlijke data dan?
Voor de 37e keer: ja.Gaat het hier trouwens enkel om 150TB die bij Kim thuis werd gevonden?
FBI werkt ook niet met winhoos dus alles onder unix/linux copieren over een netwerk van 1 gb is dus zo gebeurt
HP heeft hele leuke tape robot's waar je in 1 keer voldoende tape's in kunt frommelen voor de complete backup.
http://h18000.www1.hp.com.../14074_div/14074_div.html
HP heeft hele leuke tape robot's waar je in 1 keer voldoende tape's in kunt frommelen voor de complete backup.
http://h18000.www1.hp.com.../14074_div/14074_div.html
Kopieren over een 1 Gbps netwerk gaat snel ?
150 TB = 150 * 1000 * 8 Gigabits.
Tijd nodig = 1200000 seconden = 334 uur = 2 weken.
Je zult dus parallel moeten werken.
Laten we hopen dat de FBI meer dan 1 computer heeft.
HDDs inprikken via Sata is sneller dan copieren over een netwerk.
150 TB = 150 * 1000 * 8 Gigabits.
Tijd nodig = 1200000 seconden = 334 uur = 2 weken.
Je zult dus parallel moeten werken.
Laten we hopen dat de FBI meer dan 1 computer heeft.
HDDs inprikken via Sata is sneller dan copieren over een netwerk.
SAN netwerk toepassen
http://nl.wikipedia.org/wiki/Storage_area_network
http://nl.wikipedia.org/wiki/Storage_area_network
Op dit item kan niet meer gereageerd worden.
Populair: Asus Samsung Websites en communities Mobiele telefoons Laptops Sony Games Microsoft Consoles Microsoft Xbox One
© 1998 - 2013 Tweakers.net B.V. Contact Over Tweakers Jouw privacy Algemene voorwaarden Cookies
Tweakers wordt uitgegeven door De Persgroep en wordt gehost door True
