lauantai 8. joulukuuta 2012

Miten varmistaa Lightroomin valokuvat?

Adoben Lightroom on ohjelmana sekava ja monimutkainen, eikä sen tiedostohallinta ole yhtään helpompaa. Lightroom ja valokuvien varmuuskopionti -nettihaku tuottaa 2,5 miljoonaa osumaa, joten ilmeisesti muutkin ovat pähkäilleen asian kanssa.

Ensimmäinen osuus on helppo: miten varmistetaan Lightroomin oma tietokanta eli lrcat-loppuinen tiedosto? Se on elintärkeä, sillä sql-tietokannassa on tiedot kuviin tehdyistä säädöistä sekä kuvien metatiedot. Oletusarvona Lightroom varmistaa tietokannan kerran viikossa kansioon, jonka nimi kerrotaan ohjelman asetuksissa.

Käytön myötä varmistuksia syntyy viikon välein eikä Lightroom ilmeisesti poista niitä koskaan. Kuukausia vanhoista tietokannoista ei ole iloa, jos uudempiakin on käytettävissä. Ja miksi ihmeessä tietokanta (yksi iso tiedosto, omalla koneellani nyt 237 megatavua) pitää varmistaa aina omaan alikansioonsa, joka saa nimensä päivän ja kellonajan mukaan? Mikseivät ne kaikki voi olla yhdessä kansiossa niin, että vain tiedostonimi muuttuisi? Silloin tarpeettomat kopiot olisi helpompi poistaa.

Tutkimattomia ovat Adoben koodaajien tiet. Nettikeskustelun runsaudesta päätellen asia on hämmentänyt muitakin.

Yksi hyvä niksi on ohjata varmuuskopio pilveen, jolloin tärkeästä tietokannasta on tuore kopio jossain muualla kuin omalla kiintolevyllä. Tämä on periaatteessa hyvä idea, mutta jos pilvenä on Skydrive tai Dropbox, jotka synkronoivat kansion kaikille koneille, järjestely on epäkäytännöllinen. Muutaman sadan megatavun tietokannan kopiointi läppärille aina, kun kuvia on muokattu pöytäkoneella, on paitsi turhaa myös hidasta, jos läppärin avaa 3G-yhteyden varassa tai ulkomailla.

Paljon vähemmän vinkkejä löytyy itse valokuvien varmistukseen. Moni jopa kuvittelee, ettei kuvia tarvitse varmistaa lainkaan, koska ne sisältyvät tietokantaan. Tämä virhe voi tulla kalliksi.

Valokuvien varmistuksessa on yksinkertainen ongelma: kun kuvia alkaa olla kymmeniä tuhansia, miten kopioin vain muuttuneet tai uudet tiedostot toiselle levyasemalle (tai pilveen)? Kaikkien kuvien jatkuva kopiointi vie aikaa ja voi tukkia verkkoa, varsinkin jos tiedostot ovat 20-40 megatavun raw-kuvia.

Adobe tuo ongelmaan oman lisämausteensa. Oletusarvona se luo raw-kuvista esikatseluversiot samaan kansiohierarkiaan itse kuvien kanssa. Jos raw-kuvat ovat aiheittain kansiossa C:\raw ja sen alikansioissa (esimerkiksi C:\raw\loma tai C:\raw\2012), esikatselukuvat ovat kansiossa  C:\raw\previews.lrdata (lisäksi katalogille annettu nimi).

Perinteinen strategia olisi kopioida koko C:\raw-haara (tai ainakin kaikki sen muuttuneet tiedostot) toiselle levylle, mutta previews.lrdata-kansio on kooltaan 10 gigatavua ja sisältää peräti 34 162 pientä tiedostoa. Varsinaisia raw-kuvia on vain 13 964, yhteensä noin 360 gigatavua. Pienten tiedostojen kopiointi varsinkin NAS-levylle on hidasta.

34162 turhaa tiedostoa ja 29084 turhaa kansiota haluaa tulla mukaan varmistukseen. Ei kiitos.
(Sivumennen sanoen Lightroomin asetuksissa raw-välimuistin kooksi oli ennen asetettu 10 gigatavua mutta nostin sen 50:een; samalla ohjasin välimuistin F-asemalle, johon onkin syntynyt 1356 dat-loppuista tiedostoa, yhteensä 642 megatavua. Mutta silti lrprev-tiedostot tukkivat edelleen raw-kansiota ja hidastavat varmistusta. Koneessani oli ennen Lightroomin kolmosversio, joka on päivitetty neloseksi -- ehkä se selittää osan sotkusta?)

Lightroomin asetuksista puuttuu kohta, joka loisi esikatselukuvat haluttuun paikkaan, esim. ssd-levylle.
Esikatselutiedostoja on turha varmistaa, koska ohjelma luo ne tarvittaessa uudelleen. Miten siis ratkaista asia elegantisti?

Yksi mahdollisuus on käyttää älykästä synkronointiohjelmaa (kuten Microsoftin Synctoy), joka kopioi tai synkronoi muuttuneet tiedostot toiselle levylle. Ohjelma kuitenkin tukehtuu 50 000 tiedostoon, sillä esikatselukuvat elävät käytön myötä ja ohjelma luulee niiden kuuluvan mukaan kopiointiin. Tämän voi estää valitsemalla Synctoyn asetuksista vain cr2-loppuisten tiedostojen käsittely.

Parempi ratkaisu on kuitenkin erottaa esikatselukuvat toiseen kansioon tai jopa toiselle levylle, jos niitä on koneessa useampia. Nähdäkseni Lightroomissa ei kuitenkaan ole tätä varten asetusta -- ei ainakaan sellaista joka toimisi. Esikatselukuvat syntyvät aina samaan kansiohaaraan katalogin kanssa. Sen sijaintia ei voi muuttaa luomisen jälkeen muutoin kuin luomalla uusi katalogi.

Varmuuskopioinnin helpottamiseksi katalogi on syytä olla eri kansiohaarassa kuin itse kuvat. Tämä olisi ollut hyvä tietää silloin, kun otin ohjelman käyttöön.

Lopulta päädyin luomaan E: asemalle uuden kansion ja siirtämään raw-kuvakansiot Lightroomin omalla tiedostohallinnalla sen alle. Näin katalogi esikatselukuvineen jäi vanhaan sijaintiin, mutta kuvista syntyi oma kokonaisuus, jonka varmistaminen muuttuneilta osin on jatkossa helppoa. Katalogi on nyt vanhassa paikassa, joten se täytyy varmistaa erikseen.

Tähän on varmaan helpompiakin tapoja? Tosin Adoben tuntien en olisi ihan varma.

23 kommenttia:

  1. Kuten itsekin lopulta oivallat, esikatselukuvat sisältävä alihakemisto perustetaan sinne missä kataloogi on, ei sinne missä kuvat ovat. Tämä tieto on kyllä helpistäkin löydettävissä. Koko ähinäsi olisi ollut tarpeeton, jos et olisi tullut tallettaneeksi kuvatiedostojasi alunperin väärään paikkaan. Siitä ei pidä Adobea syyttää.

    Kuvatiedostojen jatkuva varmuuskopiointi on sitäpaitsi tarpeetonta, kunhan originaaleista on kopiot jossain. Lightroom ei kuvatiedostojen sisältöä muuta, kaikki muutosmääritykset ovat kataloogissa. Tiedostot yksilöidään kataloogissa nimen perusteella, joten jos tiedostot konvertoidaan dng-muotoon, niin niistäkin pitää tehdä kopiot.






    VastaaPoista
  2. Kuvien importin yhteydessä Lightroomin saa tekemään automaattisesti varmuuskopiot toiselle levylle. Tämän päälle kaikista kuvista ja katalogista säännöllisesti täyskopio ulkoiselle kovalevylle.

    VastaaPoista
  3. Applen Time Machine -varmuuskopio on sekin kova sana. Ja vaivaton.

    VastaaPoista
  4. Harva jaksaa perehtyä katalogiin ja esikatselukuviin ottaessaan ohjelmaa vasta käyttöön, kun käsitteetkin vielä ovat vieraita.

    Importin yhteydessä saa tehtyä lisävarmistuksen, mutta sellaiselle joka suuren kuvamäärän vuoksi haluaa säästää vain parhaat raw-kuvat, tai haluaa nimetä raw-kuvat uudelleen käsittelyn jälkeen, tällainen metodi ei sovi.

    Kaikkien tiedostojen varmistaminen on tietysti helppo ratkaisu, mutta kuluttaa turhaan aikaa ja levytilaa.

    VastaaPoista
  5. Macissä Time Machine tekee tunnin välein varmuuskopion Time Capsuleen. Lisäksi n. kerran kuussa otan peilikuvan koneen kovalevystä ulkoiselle levylle SuperDuper:illa. Tätä levyä säilytän työpaikalla ja tältä levyltä voin tarvittaessa käynnistää ja käyttää konetta jos sisäinen levy hajoaa. Levytilaa pitää tietysti olla mutta aikaa noissa menee yllättävän vähän. Pilvipalvelut voi sensijaan unohtaa normaalilla 1 Mbps laajakaistan upload-nopeudella, minulla on Lightroomissa n. 15 000 raw-kuvaa. Kuvatulla systeemillä ei tarvitse välittää siitä missä hakemistossa on mitäkin ja mitä tulee mukaan kopiointiin ja mitä ei. Palautuskin on äärimmäisen yksinkertaista. Tietysti jos haluaa säätää ja mikromanageroida niin siinäkin saa varmaan päivänsä kulumaan. Itse käytän aikani mieluummin vaikka valokuvaamiseen.

    VastaaPoista
  6. Suositteln ehdottomasti macin time-machinea. Ei turhaa säätöä ja homma toimii.

    VastaaPoista
  7. Time Machine on näppärä ja vaivaton, Windows 8:ssa on samanlainen automatiikka.

    Insinöörin mieli jää kuitenkin pohtimaan, miksi Adobe on päätynyt ratkaisuun, joka tuottaa kolme turhaa tiedostoa jokaista hyötytiedostoa kohti -- ja yleensä kaikki menevät samaan haaraan, koska ohjelma ei opasta asiassa.

    Vähintäänkin olisi hyvä olla valittavissa kansio, johon preview-kuvat luodaan, jolloin ne voisi ohjata vaikka ssd-levylle. Omalla koneellani on C:nä 320 gigan SSD ja D:nä 128 gigan SSD, joita sopisivat mainiosti tähän tarkoitukseen.

    VastaaPoista
  8. Tässä hyviksi koettuja vinkkejä. Ajan Lightroomia ulkoiselta usb3-levyltä, niin että tietokanta ja Raw-kuvat ovat ulkoisella levyllä. Väliaikaistiedostot (Camera Raw Cache) ovat paikallisella SSD-levyllä. Käyttö näin on yhtä nopeaa kuin paikalliselta levyltä ajettaessa. Lisäksi kannattaa klikata optio ”store presets with catalog” jos tekee omia presettejä. On älytöntä etteivät presetit tallennu oletuksena tietokantaan vaan jonnekin käyttäjäprofiilin syövereihin.

    Varmistukseen käytän Free Sile Sync (http://sourceforge.net/projects/freefilesync/) -ohjelmaa, joka on Microsoftin SynToyta huomattavasti nopeampi. Ohjelma antaa mahdollisuuden rajata esikatselutiedostot pois varmistuksista silä niiden varmistaminen on sekä hidasta että tarpeetonta.
    Ulkoiselta levyltä ajaminen on kätevää myös siitä syystä, että silloin voi käyttää Lightroomia usealta koneelta vaivattomasti.

    VastaaPoista
  9. Hyviä vinkkejä, kiitos. Ulkoisen levyn nopeus arveluttaa -- nytkin 30 megan raw-kuvien suurentaminen 1:1 kokoon kestää 4-5 sekuntia, vaikka ovat paikallisella levyllä ja prosessorissa on 2x4 ydintä eikä muistista tule takuuvarmasti puutetta. Usb-liitännän nopeus on vain kymmenesosa SATA-väylästä.

    VastaaPoista
  10. "Lisäksi kannattaa klikata optio ”store presets with catalog” jos tekee omia presettejä. On älytöntä etteivät presetit tallennu oletuksena tietokantaan vaan jonnekin käyttäjäprofiilin syövereihin."

    Jos olen käsittänyt oikein niin tuokaan ei varsinaisesti tallenna niitä katalogiin kuten tuosta nopeasti voisi päätellä, vaan nimenomaan sen kanssa samaan hakemistopolkuun. Helpompaan paikkaan toki.

    Eli varmistettavia asioita on vain kolme

    1: Kuvat
    2: Lighroomin tietokannat
    3: Presetit sieltä sijainnista minne kukin on ne tallentanut

    Jos on ylimääräisiä levyjä ja niissä tilaa, niin:

    4: Kuvat importin yhteydessä kopiona myös toiselle levylle
    5: Lightroomin tietokannan automaattiset kopiot toiselle levylle(tuo oletussijainti ei kyllä suojaa miltään muulta kun liian hanakalta delete-napin hakkaamiselta tai juuri tuon tiedoston korruptoitumiselta)

    Tällä hetkellä omat varmuuskopiot menee sekä ulkoisille usb-levyille, että nopealle serverille "rajattomaan tallennustilaan" vielä hetkisen ajan. Jatkossa varmaan ulkoiset usb-levyt joista yksi on aina fyysisesti muualla kun muut kopiot.

    VastaaPoista
  11. Koska RAW-tiedostot eivät muutu, niitä on turha kopioida jatkuvasti levyltä toiselle. Asian voi hoitaa myös yksinkertaisesti ja luotettavasti. http://kuvaaja.blogit.fi/varmuuskopiointi/

    VastaaPoista
  12. Juuri siksi toistuva koko hakemistohaaran kopiointi on turhaa. Vain muuttuneet tiedostot kannattaa kopioida. Xcopy /M on hyvä keino, Applen Time Machine tietenkin myös.

    Blogissa kirjoitat, että kuvaan tehdyt editoinnit tallennetaan samannimiseen tiedostoon rinnalle. Sidecar-tiedostojen käyttö on oma valinta. Onko siitä jotain etua? Muutosten tallentaminen katalogiin on ainakin varmuuskopioinnin kannalta parempi ratkaisu.

    VastaaPoista
  13. Kokeilin ajaa Lightroomia paikalliselta ssd-levyltä, ulkoiselta usb3-ssd levyltä sekä ulkoiselta usb3 ”perinteiseltä” kovalevyltä. Yllätyksekseni en havainnut suorituskyvyssä juuri minkäänlaista eroa näiden yhdistelmien välillä. Ei ainakaan sellaista joka haittaisi käyttöä, kannattaa ainakin kokeilla. ilmeisesti Lightroomin operaatiot eivät ole niin levyintensiivisiä jos muistia on riittävästi käytettävissä. Nimimerkki vv on oikeassa siinä, että presetit eivät tallennu suoraan tietokantaan, vaan sen yhteyteen mutta ovat silti näin helpommin varmistettavissa kuin käyttäjäprofiilin alta.

    Jos kuvaa paljon ja kuvat alkavat viemään paljon levytilaa, niin Lightroomissa on mahdollisuus arkistoida kuvat helposti esim. vuosittain. Valitsee vain kaikki kuvat tietyltä ajalta ja valitsee vaihtoehdon ”export as a catalog”. Silloin jokainen vuosi kuvineen on omassa tietokannassaan.

    VastaaPoista
  14. Juurihan kerroit varmuuskopionnin ongelmista. Muuttuneiden Sidecar-tiedostojen kopiointi käy hyvin nopeasti, muuta ei tarvitse kopioida. Käytäntö tekee myös riippumattomaksi Lightroomista. Sitäpaitsi kyse ei ole oikeastaan varmuuskopioinnista vaan järjestelmän monistamisesta. Mitään erillistä varmuuskopion palauttamista ei tarvitse, levyn vaihto riittää.

    VastaaPoista
  15. Tässäkin varmuuskopiointikeskustelussa tulee esille sellainen ongelma, että oletetaan työlevyn, jossa alkuperäinen materiaali on, olevan aina kunnossa. Lightroom ei ota kantaa, onko kuvatiedosto ehjä ja kunnossa, riittää, kunhan se löytyy. Joskus heitin Adobelle ehdotuksen, että lisäsivät Lightroomiin toiminnon, jolla alkuperäiselle RAW-kuvalle saisi laskettua (MD5)-checksumman, mutta eipä tällaista ominaisuutta näy. No, saapa Lightroomilla vaihteeksi otettua backuppeja optiselle medialle, kolmosversiossa tämä oli 64-bittisellä puolella rikki.

    Itselläni on tapana ennen varmuuskopiointia laskea kuvatiedostoille MD5-checksumma. Tämän jälkeen varmuuskopiointi joko erilliselle filepalvelimelle (usein) tai optiselle medialle (kerran vuodessa). Lisäksi ennen medialle kirjoitusta otan backup-työkalun tekemille fileille myös checksummat.

    Jälkikäteen voin varmistua, että jokainen optinen media on luettava ja checksumma täsmää. Ja halutessani voin varmitua, että työlevyllä oleva tiedosto vastaa checksumman osalta varmuuskopioitua tiedostoa.

    Ja ei, en sanonut, että varmuuskopiointi on helppoa, halpaa ja vähätöistä.

    VastaaPoista
  16. Luulisi, että LR käyttää sisäisesti tarkistussummia - eihän se muuten voisi tunnistaa kuvaa, jos sen nimi ja sijainti on muuttunut. Summan laskeminen aina kun kuvia katsellaan filminauhalla olisi ehkä liian hidasta, koska silloin jokainen raw-kuva pitäisi lukea alusta loppuun, vaikkei käyttäjä koskaan edes avaisi kuvaa.

    Miten optiselle tallentaminen oli rikki LR3:ssa? Tarkoitatko suoraan levylle polttamista vai R/W-levyille kirjoittamista?

    VastaaPoista
  17. Importin yhteydessä tehdyt varmuuskopiot heitän menemään siinä vaiheessa kun otan täysvarmistuksen kaikista kuvista. Kaikki on _aina automaattisesti_ varmistettuna ilman että täysvarmistusta täytyy olla jatkuvasti tekemässä.

    Tiedostojen uudelleennimeämistä en ymmärrä kun Lightroomin suurista avuista on se ettei minun tarvitse välittää tiedostoista ja hakemistoista mitään. Collectionit ja keywordit ovat paljon monipuolisempia.

    VastaaPoista
  18. Niin ne ovatkin, mutta haluan säilyttää jonkinlaisen mahdollisuuden hallita, kopioida ja poistaa kuvia ilman että kaikki pitää tehdä Lightroomin kautta. Voihan olla, että joskus katalogia tai softaa ei olekaan, tai ettei se edes toimi tulevassa 128-bittisessä Windowsin seuraajassa :-)

    Lisäksi kameran tuottamat nimet menevät ennen pitkää päällekkäin, kun numeroinnissa on vain 10 000 mahdollisuutta.

    VastaaPoista
  19. http://helpx.adobe.com/lightroom/release-note/release-notes-lightoom-3.html

    "Burning exported images to disc is not available for the Lightroom 64-bit Windows application."

    Mutta edes 32 bittisellä versiolla en onnistunut tekemään sellaista exporttia suoraan DVD:lle, joka sisältäisi enemmän kuin yhden levyn.

    VastaaPoista
  20. Metadatat saa tallennettua suoraan kuvatiedostoon (ainakin jpeg ja dng). Näin lrcat:n kriittisyys pienenee. Plussana näin saadaa metedata aina kulkemaan itse kuvan mukana.

    VastaaPoista
  21. Zipcloud! Ekan kopio kesti viikon (24/7), mutta nyt inkrementaalit menee huomaamatta joka ilta muun toiminnan yhteydessä. Hinta noin 100€ vuodessa.

    VastaaPoista
  22. Paljon hyödyllistä tietoa ja vastauksia kysymyksiin... Tuo 100e ei ole kyllä paha vuodessa.

    VastaaPoista
  23. Tästäkään viestiketjusta ei ei-ammattilainen paljoa ymmärrä..

    VastaaPoista