Hopeinen Omena

Kaitpa tämä viesti otsikon "varmuuskopiointi ja tietoturva" alle jollain lailla kuuluu.
Olen 10 vuotta käyttänyt kotikoneissa linuxia kunnes 2011 hommasin macin syystä musiikinteko harrastuksena && ei napannut enää taistella linuxin hardistuen kanssa.
Semmoinen juttu on alkanut mietityttää että varmuuskopiothan on hyvä olla varmuuden vuoksi. Erityisesti nuo kannettavat ovat alttiimpia kolhuille kuin pöytäkoneet.

Linux-aikoina minulla oli croniin viritettynä skripti mikä kopioi tiedostot talteen usb-kovalevylle. Tuo skripti vaan nojaa sen verran paljon kaikenlaisiin "spesiaali-juttuihin" ettei sitä voi soveltaa OSX-puolella kovinkaan kätevästi.
Olen myös hankkinut aikoinaan DNS-343:sen(http://www.dlink.com/us/en/home-solutio ... -enclosure). Ja siihen RAID vitoseen 3 kpl teran kovoja että olisi tilaa tarpeeksi. Ja tarkoitus olisi tuota DNS-vermettä varmuuskopiointiin käyttää.

No. Oletuksena tuo DNS jakaa tavarat samballa. Full backupin pystyy tekemään esim. finderillä copy-paste-tekniikalla tahi sitten komentoriviltä tar-loitsun syöttämällä.
Tuo on vaan pitemmän päälle vähemmän fiksua tehdä joka kerta täysi varmuuskopio silloin kun vain muuttuneiden tiedostojen kopsaus verkkolevylle riittäisi. Tai toisaalta olisi hyvä pystyä palaamaan jonin tietyn ajankohdan tilanteeseen.
Tar-komennossa(http://unixhelp.ed.ac.uk/CGI/man-cgi?tar) taisi kyllä olla vipu millä saa vain edellisestä kerrasta muuttuneet tiedostot otettua talteen arkistoon mutta tuokaan ei taida olla sillä lailla joustava että pystyisi ihan mielivaltaisen ajankohdan tilanteeseen palaamaan.
Ja sitten on vielä sekin että tällä hetkellä nykyisellään tavaraa valuu verkkokovolle alta 10 megatavua sekunnissa eli useampia tunteja saisi raksuttaa.
Eli jotain parempaa täytyisi keksiä.

Mac-puolella kyllä on semmoinen softa kuin Time Machine, kokeilinkin sitä mutta moinen softa ei suostunut samba-jakoa huomioimaan millään tavalla. Jäin siihen käsitykseen että verkkolevyn pitäisi jakaa tavarat afp:llä että time machine suostuisi yhteistyöhön.
Sattuu jopa olemaan niin että DNS-343:seen pitäisi saada afp-serverisofta käyttöön mutta vaikutti sen verran kompleksiselta operaatiolta että väsähdin kesken. Fun_plugin ja pari muuta juttua sain DLinkkiin asennettua mutta siihen jäi sillä kertaa.

Sitten satuin etsimään googlesta juttuja softasta nimeltään rdiff-backup eli http://www.nongnu.org/rdiff-backup/. Joten macports:ia asentamaan ja sitten kokeilemaan.
Kävi ilmi että rdiff-backup-loitsut sellaisenaan eivät onnistu koska samba ei ole sama asia kuin hfs. Joten käyttöön ilari scheininin skripti eli: http://ilari.scheinin.fidisk.fi/mac-rdiff-backup/ , tuolla se listaus mybacup-script.sh .
Mikäli oikein tuon skriptin ymmärsin niin se luo tarvittaessa jonkinlaisen virtuaalisen kovalevyn missä sama tiedostojärjestelmä kuin mac:issa ja sille virtuaaliselle kovolle sitten dumpataan ne varmuuskopioitavat tiedostot. Ja toisaalta samban kannalta se virtuaalikovo on vain 1 iso tiedosto, ne sambasta puuttuvat hfs:n ominaisuudet eivät tule ongelmaksi.

Ensimmäistä kertaa kun tuon scheininin skriptin ajoin niin jotain 12 tuntia kesti raksuttaa tiedostot talteen.
Jonkin verran myöhemmin kun toista kertaa ajoin saman skriptin, kului jotain 8 tuntia ennenkuin kyllästyin ja vihelsin pelin poikki.
Alkoi vähän epäilyttää että jokin tässä mättää.

Kysymyksiä:

a) Voinko olettaa että toisella ajokerralla tuo rdiff-backup tajusi että kyseessä on inkrementaalinen varmuuskopiointi täyden kopioinnin sijaan?
b) Vai pitääkö rdiff-backupille eksplisiittisesti sanoa että "nyt talteen vain edellisen tilanteen jälkeen muuttuneet tiedostot PISTE"?

Jotenkin nimittäin vähän epäilyttää kun kerran jotain 8 tuntia meni toisella ajokerralla ja virtuaalikovolle siirtyi useampia kymmeniä gigoja. En mielestäni ihan niin paljon muutoksia ole tehnyt tiedostoille edellisen kerran jälkeen. Tosin heitin roskikseen yhden suuremmanpuoleisen tiedoston, olisiko tuo rdiff-skripti hyytynyt sitä roskikseen heitettyä kopioimaan?

c) Mitä sitten kun se virtuaalinen kovalevy-tiedosto tulee täyteen? Voiko sitä jotenkin kätevästi kasvattaa jälkikäteen?

Ja sitten on tuokin että aika hitaanlaisesti tuo tavara siirtyy verkkolevylle verrattuna nyt vaikka siihen linux-koneelta usb-levylle kopsailuun. Kun kopsailun nopeus jäi alta kymmeneen megatavuun sekunnissa niin käynyt mietityttämään että pystyyköhän tuo "kombinaatio mac+kotiverkko+DNS" 100 megabit/sek. parempaan kaistanleveyteen ollenkaan.
Macin puolella kun komentorivillä sanoin ifconfig niin merkkijono 1000base kyllä vilahti ja muistaakseni kun DNS:ään olen ssh:llä kirjautunut sisään niin ifconfig:in outputissa olisi jotain gbe-merkkijonoa näkynyt.
Eli olisikohan niin että samba-protokolla hyydyttää sen verkkokovon jo ennenkuin edes 100 megan kaistanleveys tulee kokonaan käytetyksi? Semmoista juttua on googlella tullut vastaan että DNS:ssä on verrattain hidas prosessori eli kannattaisi se verkkolevyn kapasiteetti jakaa jollain toisella tavalla.

Semmoiseen juttuun olen kanssa törmännyt kuin iscsi. Joskus kokeilinkin laittaa DNS-boksia jakamaan juttuja iscsi:llä. Muistaakseni linux-kone jopa havaitsee sen iscsi-jaon.
Eli jotenkin niinpäin meinasin että 1. OSX-puolelle iscsi-asiakas-softa 2. DNS-boksin puolella iscsi-serveri-softan konfaaminen yhteistyökykyiseksi jos ei ole jo 3. scheininin skriptin muokkaaminen hyödyntämään iscsi-jakoa samba-jaon sijaan.

Olisi tietty parempi ettei tarvitsisi täyttä varmuuskopiota tehdä uudestaan eli saisiko jotenkin sen DNS-boksin puolella siirrettyä sen virtuaalikovo-tiedoston sisältö sille iscsi:llä jaettavalle osiolle?
Siis tarkoituksena se että osx tunnistaa iscsi:n alaisuuteen siirtämisen jälkeenkin että "jaaha tässä on nyt tämmöinen hfs-osio missä tiedostoja".
Olisiko homma niin simppeli että dd:llä(http://linux.die.net/man/1/dd) siirtelee vai tarvitseeko enemmän säätää?

Tai tuon rdiff-backupin piti jotenkin saada huomioimaan tilanne että "nyt varmuuskopioidaan verkon yli, minimoidaanpa kaistan käyttö". Olikos se silleen että kyseinen softa pitäisi laittaa pyörimään sinne verkkokovolle serverinä tuossa tapauksessa vai mitenkä?

En varsinaisesti jaksanut lukea kokonaan, mutta rdiff-backup ei tosiaan oikein järkevästi skulaa muuta kuin usb levyille tai ssh:n yli. Carbon copy clonerilla pitäisi käsittääkseni saada incremental backupit nassillekin ja jos ei tarvitse olla buuttaava backup, niin ei tarttee kikkailla levykuvien kanssakaan, noin vinkkinä ettei tarvitsisi kauheasti puukottaa.

Rdiff backup on tosiaan siitä erinomainen verrattuna vaikkapa time machineen, että se osaa kopioida tiedostosta vain muuttuneen osan, eli koko tiedostoa ei kopioida jos se on muuttunut, vaan vain osa siitä. Mut tosiaan omien rävellysten kanssa tullut siihen tulokseen, että ei välttämättä kannata lähteä rdiffin kanssa säätämään jollei ssh yhteyttä tai suoraa usb levyä ole.

edit. Rsyncillä saa tehtyä hiukan skriptaamalla varsin kauniin time machine tapaisen incremental backupin myös samba levylle, toki siinä (kuten myös muissa backupeissa, joita ei tehdä levykuvan sisään) hiukan ongelmana on symlinkit ja filujen ownership. Tähän löytyy valmiita scriptejä helposti jos ei jotain backup ohjelmaa halua käyttää. Oikeastaan ainoa huono puoli verrattuna rdiffiin on se, että muuttunut tiedosto kopioidaan aina kokonaan, ei vain muuttunutta osaa. Hyvänä puolena helpommin ihan finderillakin selailtava backup rakenne ja ehkä varmemmin palautettavissa, tosin en koskaan ole rdiffinkään kanssa ongelmiin ajautunut, mutta monimutkaisempana hässäkkänä se on alttiimpi ongelmille/file korruptiolle.

Eipä nyt tullut iscsi-kokeiluista mitään. Peräti 1 ilmainen osx-softa löytyi eli globalsan ja sekään ei sitten pelittänyt
Äkkiseltään pienimmän vaivan tie näyttäisi olevan menettely:

1. usb-levyn formatointi uudelleen osx:n alaisuuteen
2. ???
3. profit


... vaan tuli mieleen myös tämmöinen radikaali idea että

a) osx:hän on sukua bsd-unixille
b) freebsd on myös bsd-sukuinen
c) freebsd:hen saa kuulemma emuloinnin millä voi ajaa linux-binääreitä(http://www.freebsd.org/doc/handbook/linuxemu.html
d) linukalle iscsin saa käyttöön

eli jos tuon linux-emuloinnin saisi portattua osx:lle niin sillähän tuo iscsi-ongelma olisi tavallana ratkaistu. En nyt ole ihan niin kovatasoinen koodari että saisin yhdessä illassa tuommoisen aikaiseksi mutta tulipahan mieleen...