Cookies op Tweakers

Tweakers maakt gebruik van cookies, onder andere om de website te analyseren, het gebruiksgemak te vergroten en advertenties te tonen. Door gebruik te maken van deze website, of door op 'Ga verder' te klikken, geef je toestemming voor het gebruik van cookies. Wil je meer informatie over cookies en hoe ze worden gebruikt, bekijk dan ons cookiebeleid.

Meer informatie

Software-update: rsync 3.1.3

Op de website van Samba is een nieuwe ontwikkeluitgave van rsync verschenen, met ditmaal 3.1.3 als versieaanduiding. Dit programma voorziet in een snelle manier om bestanden geheel of gedeeltelijk tussen verschillende servers en locaties te synchroniseren. Het wordt dan ook veel op de achtergrond toegepast in allerlei synchronisatieprogramma's, maar kan bijvoorbeeld ook voor de offsiteback-up van fileservers gebruikt worden. Wie meer wil weten, kan de beschikbare documentatie doorlezen, waarin ook een aantal tutorials wordt vermeld. De aankondiging is op deze pagina na te lezen en de lijst met aanpassingen ziet er als volgt uit:

SECURITY FIXES
  • Fixed a buffer overrun in the protocol's handling of xattr names and ensure that the received name is null terminated.
  • Fix an issue with --protect-args where the user could specify the arg in the protected-arg list and short-circuit some of the arg-sanitizing code.
BUG FIXES:
  • Don't output about a new backup dir without appropriate info verbosity.
  • Fixed some issues with the sort functions in support/rsyncstats script.
  • Added a way to specify daemon config lists (e.g. users, groups, etc) that contain spaces (see "auth users" in the latest rsyncd.conf manpage).
  • If a backup fails (e.g. full disk) rsync exits with an error.
  • Fixed a problem with a doubled --fuzzy option combined with --link-dest.
  • Avoid invalid output in the summary if either the start or end time had an error.
  • We don't allow a popt alias to affect the --daemon or --server options.
  • Fix daemon exclude code to disallow attribute changes in addition to disallowing transfers.
  • Don't force nanoseconds to match if a non-transferred, non-checksummed file only passed the quick-check w/o comparing nanosecods.
ENHANCEMENTS:
  • Added the ability for rsync to compare nanosecond times in its file-check comparisons, and added support nanosecond times on Mac OS X.
  • Added a short-option (-@) for --modify-window.
  • Added the --checksum-choice=NAME[,NAME] option to choose the checksum algorithms.
  • Added hashing of xattr names (with using -X) to improve the handling of files with large numbers of xattrs.
  • Added a way to filter xattr names using include/exclude/filter rules (see the --xattrs option in the manpage for details).
  • Added "daemon chroot|uid|gid" to the daemon config (in addition to the old chroot|uid|gid settings that affect the daemon's transfer process).
  • Added "syslog tag" to the daemon configuration.
  • Some manpage improvements.
DEVELOPER RELATED:
  • Tweak the "make" output when yodl isn't around to create the man pages.
  • Changed an obsolete autoconf compile macro.
  • Support newer yodl versions when converting man pages.
Versienummer 3.1.3
Releasestatus Final
Besturingssystemen Linux, BSD, macOS, Solaris, UNIX
Website rsync
Download http://rsync.samba.org/ftp/rsync/src/rsync-3.1.3.tar.gz
Licentietype GPL

Door Japke Rosink

Meukposter

30-01-2018 • 15:22

17 Linkedin Google+

Bron: rsync

Update-historie

Meer historie

Reacties (17)

Wijzig sortering
Essentieel voor backups. Ik maak backups van al mijn servers met een script die gebouwd is op rsync. Op zichzelfstaande maar toch incrementele backups zijn mogelijk met rsync - de nieuwe backup heeft dan hardlinks naar de ongewijzigde bestanden uit de vorige backup. Hiermee nemen alleen de wijzigingen schijfruimte in, terwijl je zonder problemen de oude backup weg kunt gooien zonder iets kwijt te raken.

Verder filteren en synchroniseren op letterlijk alles wat je kunt bedenken. Ook ideaal voor bestanden kopiŽren over lossy verbindingen - daar waar bijvoorbeeld SCP er gewoon mee ophoudt als de verbinding wegvalt en je opnieuw kunt beginnen kan je met rsync een lokale en een remote locatie (of twee remote locaties) synchroniseren. Als de verbinding wegvalt gaat hij na de interrupte gewoon weer netjes verder waar hij gebleven was.

rsync is een van de grootste pareltjes uit de *nix community!

Ik zie inderdaad, zoals verwacht, geen schokkende wijzigingen in het changelog, alleen wat bugfixes. Echt nieuwe features toevoegen lijkt me lastig, het kan immers alles al :+
Hmm dat klinkt wel goed! En is het net zo makkelijk te bedienen via de commandolijn als SCP?
Hangt er vanaf hoe fancy je het wilt ;)

Mijn standaard-synchronisatie doe ik met

rsync -avz <bron> <doel>

Dat kopieert in 'archive' mode, laat zien wat ie doet en comprimeert het verkeer in transit. Voor de meeste zaken afdoende. Wil je filters toevoegen, hard-links maken of andere geavanceerdere features dan wordt het allemaal wat complexer. Vandaar dat ik het gescript heb. Gelukkig is de man-page wel zeer uitgebreid, en is er genoeg documentatie op internet te vinden.
OK ziet er best goed te doen uit! Dan vraag ik me af waarom mensen SCP nog gebruiken? Ik gebruik dat nu voor automatische synchronisatie met FPT, wat goed werkt, maar neem aan dat Rsync dat dan ook kan.
Rsync heeft ook bepaalde beperkingen. Zoals dat het shell access benodigd op de bak waar je heen wil syncen (ervan uitgaande dat je het via SSH doet). Met SCP is dat niet het geval. Ook moet rsync ook op die server geÔnstalleerd staan. Wat ook niet altijd het geval hoeft te zijn.
Hoe het werkt als ik het mij goed herinner is dat hij op de remote bak ook een 'rsync' proces start waar je lokale rsync als het ware mee kan communiceren. Hierdoor kan hij dus dingen snel/efficient oplossen en dus ook de vele uitgebreide opties bieden die SCP mist.
Er zijn wel omwegen om het zonder shell access aan de praat te krijgen maar SCP werkt zolang je een SSH account hebt en niet bewust dichtgezet. Shell access is niet overal toegestaan om bijvoorbeeld security redenen en/of heb je de rechten niet of rsync te installeren als het er al niet op staat.
In de meeste gevallen zal het vast geen probleem zijn, maar het is wel goed om het even in je achterhoofd te houden.

En sowieso.. Keus hebben is nooit erg.

[Reactie gewijzigd door serhat op 31 januari 2018 15:03]

Oo, aha, ik weet niet of ik dat kan krijgen op de gebruikte servers. Maar gewoon via FTP kan Rsync dus niet? Daar gebruik ik WinSCP nu voor, wat het prima doet.
Als je rsync locaal hebt geinstalleerd, volstaat een server met enkel SSH. Die hoeft niet ook rsync geinstallerd te hebben. Want in feite doet het gewoon wat checksums maken en dat beslissen wat te doen zoals FXP en Usenet (NZB+PAR2) distributie iets soortgelijks doen (met CRC32 en PAR2).

[Reactie gewijzigd door Jerie op 31 januari 2018 20:42]

Ze zijn aanvullend op elkaar:
Met rsync copiŽer je de gewijzigde blokken van de bestanden. Dat wordt (mogelijk gecomprimeerd) on-encrypted verstuurd.
Met scp zorg je er voor dat het ge-encrypt wordt
Wat bedoel je met SCP? Secure copy aka scp(1)? Dat maakt gebruik van SSH protocol. Scp is gewoon cp/rcp over SSH. Veel meer is het niet.

Rsync kan ook over SSH babbelen (dat is wel zo veilig), maar ook andere protocollen (ik gebruik het zelf bijv via WebDAV/FUSE). Scp heeft geen enkele vorm van resuming; rsync heeft dat wel. Met scp kun je ook niet syncen; je kunt kopieren over SSH.

Zie hier wat Rsync voorbeelden uit TL;DR: https://github.com/tldr-p...ter/pages/common/rsync.md
Okee, ik bedoelde het programma WinSCP. Ik weet verder niet hoe het werkt, als jij zegt dat het via SSH werkt geloof ik je. Ik gebruik het voor synchroniseren via FTP via de commandoregel.
Ohh nice die kende ik vaag maar ik wist niet dat je dat bedoelde en ik wist ook niet dat die open source is.

https://en.wikipedia.org/wiki/WinSCP

Hij ondersteunt dus een aantal protocollen: FTP (wellicht ook over SSL maar of hij certs goed checkt is de vraag), SFTP/SCP (SSH), Amazon S3, WebDAV.

Je hebt ook FXP programmas (scene gebruikte Preee en AutoFXP programmatjes), FileZilla (ook open source), en voor diffs ed kan ik voor Windows WinMerge aanraden. Voor algemeen syncen kun je prima rsync gebruiken in elk OS. Hij doet ook FTP. Je kunt ook een scriptje schrijven en dan executen met Windows Scheduler of met at/crond/crontab/launchd op *NIX.

Je kunt er zelfs TimeMachine mee emuleren

https://en.wikipedia.org/wiki/Rsync
OK klinkt handig. Ik zal het in gedachten houden voor wanneer ik iets wil dat WinSCP niet (goed/handig) kan.
Nou ja vooral syncen zal beter gaan dan met enkel FTP. Scene gebruikt al jarenlang SFV (CRC32) voor file verification icm autotraders dus ja je zou FTP wel degelijk kunnen gebruiken. Maar FTP is ook een onveilig protocol. Ik zou het via internet niet willen gebruiken zonder checksums, en zelfs dan is het makkelijk te MITMen (voor LAN minder een probleem of course). Ik zou SSH prefereren (IIRC gebruikt Rsync ook gewoon CRC32 maar ik geloof dat je ook kunt kiezen voor MD5). Nadeel is wel SSH en MD5 meer resources kost (met name CPU power de bottleneck). Maar dat zal niet altijd de bottleneck zijn. Bij grote hoeveelheden files raad ik aan om eerst iets als tar of zip of rar te gebruiken. Protocol overhead is anders te hoog bij zowel SSH (SCP/SFTP) als FTP. EDIT: En dan kun je hem evt ook weer uitpakken op de server, of je gebruikt een date commando met argumenten waardoor je bijv krijgt 20180201_1800 voor een backup op 2 feb 2018 om 18 uur.

[Reactie gewijzigd door Jerie op 1 februari 2018 00:57]

Goed om te weten. Ik heb er alleen zelf te weinig verstand van om dat soort dingen op te zetten op de server, weet ook niet of dat kan. En synchroniseren via FTP gaat voorlopig prima met WinSCP, het gaat ook om niet super veel bestanden per keer.
"If it ain't broken, don't fix it." Als jij tevreden bent met FTP lekker zo laten.
Fijn programma om (remote) back-ups te maken d.m.v. een cronjob!

Op dit item kan niet meer gereageerd worden.


Call of Duty: Black Ops 4 HTC U12+ dual sim LG W7 Google Pixel 3 XL OnePlus 6 Battlefield V Samsung Galaxy S9 Dual Sim Google Pixel 3

Tweakers vormt samen met Tweakers Elect, Hardware.Info, Autotrack, Nationale Vacaturebank en Intermediair de Persgroep Online Services B.V.
Alle rechten voorbehouden © 1998 - 2018 Hosting door True