LessFS: избавление от дублей, сжатие и шифрование файлов в Linux

Представьте себе высокопроизводительную файловую систему для Linux, позволяющую в режиме реального времени находить повторяющиеся данные и более эффективно организовывать их хранение, высвобождая свободное место на диске. Добавьте сюда сжатие и шифрование на лету и получите Lessfs.

[TOC Шифрование]

Что такое файловая система LessFS

Lessfs поддерживает сжатие LZO, QuickLZ, BZip и работает в пользовательском пространстве FUSE, что означает отсутствие необходимости модифицировать ядро операционной системы. Распространяется lessfs под свободной лицензией GPLv3.

Как сжать и зашифровать файлы на диске

Возможно, lessfs и все необходимые зависимости уже имеются в пакетном репозитории вашего дистрибутива. Мы рассмотрим установку из исходников. Нам потребуется установить следующие программы: mhash, tokyocabinet и fuse.

Берем исходный код mhash на sourceforge.net/projects/mhash/files/ и выполняем команды:

$ tar xvzf mhash-0.9.9.9.tar.gz
$ cd mhash-0.9.9.9/
$ ./configure
$ make
$ sudo make install


Теперь по ссылке fallabs.com/tokyocabinet/tokyocabinet-1.4.47.tar.gz скачиваем NoSQL-базу данных Tokyo Cabinet. Установка по стандартной схеме:

$ ./configure
$ make
$ sudo make install

Единственным нюансом является необходимость указания опции --enable-off64 для команды configure в том случае, если вы используете 32-битную ОС.

Теперь можно перейти к установке и настройке самой файловой системы lessfs. Скачиваем (sourceforge.net/projects/lessfs/files/lessfs/) самую последнюю версию. Выполняем configure, make и sudo make install. Затем скопируем файл настроек в /etc:

$ sudo cp etc/lessfs.cfg /etc/

Создадим директории, необходимые для работы lessfs. Пути можно отредактировать в файле настроек /etc/lessfs.cfg. По-умолчанию, для хранения файлов будет использована директория /data/dta, для метаданных /data/mta:

$ sudo mkdir -p /data/{dta,mta}

Инициализируем базу данных lessfs и запустим файловую систему с точкой монтирования /mnt:

$ sudo mklessfs -c /etc/lessfs.cfg
$ sudo lessfs /etc/lessfs.cfg /mnt

Запущенная ФС использует под хранение все доступное место того диска, где была расположена директория /data:

$ df -t fuse.lessfs
Filesystem 1K-blocks Used Available Use% Mounted on
lessfs 5871080 3031812 2541028 55% /mnt

$ df -t ext4
Filesystem 1K-blocks Used Available Use% Mounted on
/dev/sda1 5871080 3031812 2541028 55% /

Области применения LessFS

Lessfs может с успехом применяться для резервного копирования, на FTP- и почтовых серверах, при виртуализации, в устройствах хранения данных (NAS) и т.д.