Обзор QNAP TS-h1886XU-RP: знакомимся с операционной системой QuTS hero на основе ZFS

Не использовать файловую систему с поддержкой Copy On Write в 2020-х годах компания QNAP уже не могла: да, ещё три года назад в арсенале у них была мощная 2-контроллерная машина на базе ядра FreeBSD, но отсутствие совместимости со всем наследием программных пакетов, доступных для основной линейки QNAP, значительно сужало возможности использования устройства. В то же время в мире файловых систем Linux происходили заметные изменения: акцент в файловых системах cместился с BTRFS на проект ZoL (ZFS On Linux). Изначально созданная для FreeBSD, - файловая система ZFS была сначала переписана в качестве модуля под Linux, а затем и вовсе включена в такие сверхпопулярные дистрибутивы, как Ubuntu или Alt Linux, а разработка обеих ветвей ZFS: под FreeBSD и под Linux была объединена в общий проект OpenZFS. Естественно, интеграция ZFS в бизнес-модели для QNAP стала лишь вопросом времени, и в сентябре 2020 года была выпущена операционная система QuTS hero, а на её базе - целый спектр NAS-ов с поддержкой ZFS.

Сразу хочу сказать, что QuTS hero доступна только для бизнес-линейки NAS-ов QNAP, как и наш сегодняшний подопытный TS-h1886XU-RP. Компания QNAP выделила ZFS-направление в отдельную операционную систему QuTS hero, которая оказалась лишена поддержки традиционной EXT4. Но никто не заставляет вас использовать именно QuTS hero - при первоначальной настройке NAS-а вы можете выбрать, какую ОС установить: традиционную QTS или QuTS hero, и уже дальше пользоваться ею. А уж сама QNAP теперь будет поддерживать одну ОС с EXT4 и целых две с ZFS: QuTS hero на базе Linux и QES на базе FreeBSD для самых старших моделей. Так почему же вообще ZFS - это так важно?

ZFS быстрее при работе со множеством малых файлов

Для систем, связанных с машинным обучением, настоящим счастьем будет быстрая работа с мелкими файлами. При чтении или записи десятка тысяч файлов объёмом 1 Мб, ZFS показывает в 9-10 раз более высокую скорость по сравнению с EXT4. Соответственно, там где мы раньше вынуждены были упаковывать тысячи файлов в архив для более быстрой миграции между устройствами, теперь это делать не обязательно. Как результат - ускорение всех офисных приложений, использующих NAS в качестве хранилища файлов. В наших тестах я не смог воссоздать ситуацию, при которой копирование папки объёмом 9 ГБ, содержащей 45 тысяч файлов, показывало бы различную скорость на ZFS и EXT4: всегда результат находился в области погрешности.

RAID TP, выдерживающий вылет 3 дисков, а также тройное зеркало

Для архивных систем, файловых репозиториев и систем видеонаблюдения, где зачастую используется один дисковый массив большого объёма, просто подарком станет RAID-TP (аналог RAID-Z3 в ZFS), выдерживающий вылет из массива сразу трёх жёстких дисков. Особенно приятно, что традиционно разработчики QNAP упростили родную иерархию ZFS, где применяются zpool и zdev до традиционного, понятного всем RAID. Например, чтобы в обычной ZFS создать аналог RAID 50, надо сначала создать нужное число RAID Z1 (аналог RAID 5), а затем объединить их в stripe, что может вызвать сложности даже в самом лучшем GUI, а у QNAP вы просто создаёте привычные вам RAID 50 и RAID 60, не задумываясь об иерархии vdev и vpool, хотя в действительности там, в глубине операционной системы, она остаётся, но пользователь с ней не сталкивается. Бытует мнение, что с ростом затрат на вычисления чётности, снижается производительность устройства. Давайте проверим эту гипотезу без использования SSD-кеширования.

Что интересно, в транзакционной нагрузке, при чтении, RAID TP в чём-то даже выигрывает у RAID 5 и RAID 6 при чтении, но при записи распределение скорости в общем, остаётся в пользу RAID 5. Вообще, ZFS часто критикуют за то, что при линейной записи, когда вы передаёте большие файлы на NAS, скорость массивов ограничена показателями самого медленного накопителя, входящего в пул.

При чтении видно, что в области работы кэша в ОЗУ (zARC), чем сложнее массив, тем выше его скорость, и я думаю, это связано с тем, что общая ёмкость массива снижается с увеличением блоков чётности. В дальнейшем же пятый RAID работает примерно с той же производительностью, что и RAID TP, оставляя 6-й RAID в аутсайдерах. Но как только доходит дело до записи, мы видим, что все три массива показывают себя одинаково плохо, на уровне скорости одного HDD.

И, в общем-то, резонно предполагать, что SSD-кэш поменяет ситуацию в лучшую сторону, но нет. Дело в том, что в QuTS hero кэширование SSD может применяться либо для операций чтения, с чем на небольших объёмах прекрасно справляется ОЗУ сервера, либо для операций записи журнала, так называемого ZIL, который и так, в общем-то, не тормозит. Такого прямого кэширования записи, как в мы видели в QNAP TDS-16489U, здесь нету.

И последовательный доступ:

Также у QNAP есть поддержка массива типа "тройное зеркало", в котором, как можно понять из названия, три жёстких диска дублируют друг друга. С точки зрения эффективности пространства, такой массив проигрывает даже RAID 6, поскольку ограничивается объёмом наименьшего жёсткого диска, входящего в трио. Но даже при физическом уничтожении всего NAS-а, снять данные с накопителя, входящего в тройное зеркало, не составит труда. В целом, для использования NAS-а в качестве устройства архивации с объёмом на сотни терабайт, там где вам нужна уверенность в сохранности данных и через 10 и через 20 лет, ZFS сведёт к минимуму возможные варианты потери данных.

Дедупликация ZFS

В системах виртуализации, где места на дисках всегда не хватает, ZFS предлагает функции компрессии и дедупликации, за счёт чего в VDS-условиях можно экономить сотни десятки терабайт на однотипных образах виртуальных машин. Причём, сжатие и дедупликация выполняются в момент записи блока на диск, средствами процессора NAS-а, поэтому QTS Hero пока что доступен только для бизнес-класса с мощными серверными CPU и минимум 16 ГБ памяти. Дедупликация в ZFS применяется "на лету", то есть уплотнение происходит в момент записи данных на диск, и надо понимать, что даже сегодня дедупликация остаётся очень дорогим для CPU процессом, настолько дорогим, что разработчики ZFS не рекомендуют использовать её для томов с интенсивной транзакционной нагрузкой, то есть для баз данных, каких-то приложений реального времени и виртуализации. Даже в 4-процессорных СХД за сотни тысяч долларов производители стараются вынести этот ресурсоёмкий процесс в фоновое исполнение. Таблицы же дедупликации хранятся на самом томе, а не в памяти устройства, так что периодически NAS очищает их, чтобы сэкономить место.

В плане производительности, дедупликация позволяет повысить скорость на хорошо сжимаемых данных, таких как базы данных, логи, офисные документы и т.д.

Да, вы можете использовать эту функцию на самых нагруженных томах, отданных под базы данных и VDS, но всё же в большинстве случаев обычное сжатие даст такую же экономию места на диске, как дедупликация, тем более что в QNAP QuTS hero используется быстрый и эффективный алгоритм сжатия LZ4. Хочу добавить, что и сжатие и дедупликацию вы можете включать и выключать в любое время для любой папки или iSCSI LUN-а.

Ускорение за счёт резервирования пространства

Для ускорения записи на почти заполненные пулы, предусмотрена очень интересная возможность резервирования дискового пространства. Оптимизация достигается за счёт того, что крупные блоки данных всегда пишутся на нефрагментированные области жёстких дисков и SSD, а затем по расписанию происходит перенос на рабочую часть тома, освобождая зарезервированную область для следующей записи. Эта функция полезна как для HDD, где помогает бороться с фрагментацией, так и для SSD, где снижает эффект от процесса очистки ячеек, известного как write amplification.

Такого понятия, как дефрагментация, в ZFS не существует, так что для систем работы с видео одной головной болью меньше.

Что сказать про надёжность ZFS?

На сегодня ZFS имеет имидж самой надёжной файловой системы, но применительно к NAS-ам я бы не стал петь ей хвалебные песни: свою славу высокой надёжности эта файловая система получила благодаря фоновой проверка томов и SMART дисков, а эти функции итак давно уже реализованы в современных СХД. И даже применительно к рассматриваемому устройству, если в момент инициализации вы выберете классическую операционную систему QTS без поддержки ZFS, то получите схожую надёжность, с той лишь разницей, что у вас не будет RAID массива с тройной избыточностью. Адепты ZFS считают важной возможность выноса журнала записи (ZIL) на отдельное устройство, но здесь я не соглашусь - этот режим не поможет от внезапного выключения питания или поломки этого самого носителя. С моей точки зрения, ценность NAS-а не в том, сколько у него фишек по защите файловой системы, а в том, сколько возможностей по защите данных, хранящихся на этой файловой системе, потому что слабые места есть у всех ФС, и любая из них может единовременно оставить вас с пустым дисковым пространством.

Но гораздо вероятнее, что данные погибнут от действий пользователя, вируса или действий самого приложения. И вот тут у QNAP всё просто суперски.

QSAL - предотвращение одновременной поломки нескольких SSD

Сейчас у всех крупных производителей СХД есть собственные технологии по выравниванию износа SSD, что продлевает жизнь массиву из твердотельных накопителей. У QNAP такая технология имеет название QSAL (расшифровывается как QNAP SSD Antiwear Leveling), и работает она следующим образом: на SSD накопителях резервируется небольшой объём избыточного пространства, и как только здоровье этих дисков снижается до 50%, система начинает автоматически перераспределять это пространство таким образом, чтобы предотвратить одновременный отказ нескольких дисков в массиве. QSAL можно включить в любой момент для массивов с чётностью (RAID 5/6/TP), но желательно использовать её до того, как ресурс SSD достигнет 50%. Эта технология не влияет на производительность и почти не отнимает заметную долю пространства, так что имеет смысл ею воспользоваться.

Возможность кэшировать Яндекс.диск

Во-первых, поддержка Cloud стораджей эволюционировала до того, что NAS может выступать кэширующим устройством между вами и Amazon S3 или Яндекс.Диском. Для общего файлохранилища это - находка, ведь вы можете масштабировать ваше дисковое пространство не только заменой дисков на NAS-е, но и покупкой места в «облаке», и возможно, что защита данных у стороннего провайдера вам выйдет дешевле, чем на локальном устройстве. Настраивается эта возможность в пакете HybridMount, и в базовой версии софта, поддерживаются до двух соединений с облачным хранилищем, а большее число линков активируется при помощи лицензии.

Начальных настроек не много: частота синхронизации, удалённая и локальная папки, да плюс к этому - объём локального кэша, но после подключения шары, вы можете и настраивать одновременное число загрузок/выгрузок, и приоритет синхронизации, да и вообще можете переключить режим работы с кеширования удалённого ресурса, на монтирование его как обычной сетевой папки. Ну а для того, чтобы навести порядок в своих "облаках", вы можете воспользоваться встроенным сервисом CloudFuze, позволяющим переносить данные из одного облака в другое, хотя и в текущем виде QNAP NAS может переместить информацию, например, из Яндекса в Google.

Снэпшоты

Во-вторых, в QNAP QuTS hero снэпшоты - это «родная» функция ZFS, которая выполняется без остановки доступа к ФС. Разработчики QNAP добавили в NAS возможность резервирования гарантированного места под мгновенные снимки, а если у вас их так много, что не будет хватать локальных дисков - вы можете экспортировать их на другой NAS или использовать моментальные снимки для синхронизации данных между NAS-ами.

Вообще, со снэпшотами ситуация интересная: QNAP проделал чудовищную работу, чтобы заставить их создаваться по расписанию, реплицироваться, синхронизироваться, но не сделал единого интерфейса для централизованного управления ими. В результате для каждой общей папки вы задаёте расписание и параметры в каждом отдельном окне, для iSCSI томов - в менеджере блочного доступа, и там же настраивается репликация. Образно говоря, настройки снэпшотов разбросаны то там, то сям в интерфейсе, и куда бы вы ни глянули, везде будет упоминание о моментальных снимках. Восстанавливать снэпшоты вы можете как в существующую, так и в новую папки, а также настраивать гарантированное место для хранения моментальных копий. На случай, если сетевые папки окажутся зашифрованы вирусом-шифровальщиком, вы всегда сможете восстановиться.

Кстати, я недаром упомянул про блочный доступ: с недавнего времени, бизнес-устройства QNAP начали поддерживать Fibre Channel протокол при установке соответствующей интерфейсной карты. Управление FC осуществляется в том же менеджере, где и iSCSI тома, ведь LUN-ы для iSCSI и FC доступа совместимы между собой, так что если перед вами стоит задача перейти с SAN на iSCSI, то с использованием QNAP QuTS hero, вы можете сделать это без потери данных: импортировать LUN со стороннего устройства в систему, подключить по Fibre Channel, а впоследствии переключить LUN на iSCSI интерфейс.

HBS 3 - единый интерфейс для бэкапов 1-2-3

Ну и конечно же, я не мог обойти вниманием полностью переработанную систему бэкапов Hybrid Backup Sync. Хочу сразу сказать, что HBS 3 относится именно к резервированию файлов и папок, а для бэкапа виртуальных машин по-прежнему используется отдельный мощный пакет Hyper Data Protector, который мы рассматривали ранее. Чем интересна концепция HBS 3 - так это тем, что в одном окне вы настраиваете бэкапы и в локальную папку, и на удалённый NAS, и в облако (Яндекс.Диск поддерживается и здесь). Так что вы можете контролировать и временное окно для резервирования, и проверку консистенции копий, и дисковое пространство в одном встроенном приложении.

Но только резервированием функционал не ограничивается: HBS3 поддерживает синхронизацию между любыми файловыми ресурсами, а именно:

• SmB/CIFS
• FTP
• RSync
• папка на удалённом NAS-е
• папка в локальном NAS-е
• облачный ресурс

Почему у меня HBS 3 вызывает просто щенячий восторг, так это потому, что я могу работать с "облаком", не посещая это самое облако, не разбираясь в их интерфейсах, а управлять из единого окна. И если, допустим, у меня появится необходимость хранить данные на разных континентах планеты, или более того - в странах с различным политическим строем, то я за пару минут настрою бэкап и синхронизацию данные между аккаунтами Amazon S3, Alibaba, Yandex и каким-нибудь самым простым VPS на Hetzner, адрес которого знаю только я. И вот - пожалуйста, теперь мои бэкапы хранятся в США, Азии, Европе и России, и защищены на случай войны, блокады, цунами или падения метеорита.

В HBS 3 есть собственная дедупликация, не зависящая от использования ZFS. QNAP QTS-h1886XU-RP достаточно мощный, чтобы самому проводить эту процедуру перед отправкой данных на удалённое хранилище, таким образом экономя пропускную полосу. Конечно, дедупликация очень сильно пригодилась бы, если бы HBS 3 умел резервировать iSCSI LUN-ы, но защита блочных томов здесь прекрасно реализована через снэпшоты.

Конструкция

В конструктивном плане QNAP TS-h1886XU-RP не особо выделяется среди своих аналогов. Машина собрана на процессоре Intel Xeon D-1622, имеющим 4 ядра с поддержкой HyperThreading. По умолчанию в NAS-е установлено 2 молуоя пр 16 ГБ ECC DDR4 с возможностью расширения до 128 ГБ.

Для сохранения минимальной стоимости, базовая конфигурация имеет лишь 1-гигабитные RJ45 порты в количестве 4 штук, а высокоскоростные интерфейсы реализуются за счёт плат расширения. У QNAP есть очень удачные платы, совмещающие 10-гигабитную «медь» и пару NVME M.2 на одной карте. Учитывая, что QuTS hero не поддерживает SSD кеширование операций записи и не имеет функций многослойного хранения данных, возможно вы вообще откажетесь от использования SSD для ускорения HDD массивов: в ZFS это не так актуально, как традиционных NAS-ах. Гораздо важнее- иметь возможность создать "быстрый" небольшой RAID на SSD для требовательных приложений, которые могут запускаться как локально на устройстве, так и на сторонних хостах. И вот здесь - да, можете делать быстрый RAID на 2.5" SATA SSD или сверх-быстрый на M.2 NVME.

Куда интереснее, что для 10/25/40-гигабитной оптической среды у QNAP теперь вместо контроллеров на Intel используются модели с чипами Mellanox Connect-X 4, самом прогрессивном решении с разгрузкой NFS и iSCSI.

Компоновка корпуса предусматривает установку двенадцати 3.5-дюймовых отсеков с интерфейсом SATA на фронтальной панели и шести 2.5-дюймовых отсеков для SATA SSD с тыльной стороны. Воздушный поток, охлаждающий корзины с SSD, изолирован от материнской платы, так что перегреваться накопители не должны. Кстати, хочется обратить внимание, что вентиляторы в NAS не имеют функции горячей замены: этот неприятный тренд удешевления всего и вся добрался и до СХД с традиционно высокой добавленной стоимостью. Неприятно и то, что QNAP TS-h1886XU-RP работает очень шумно даже при активированной функции Smart Fan, поэтому размещать его следует только в изолированном помещении ЦОДа.

А вот на блоках питания производитель экономить не стал: отказоустойчивые 550-Ваттные модули с сертификатом 80 Plus Platinum - стандартное для подобных устройств решение.

Возможности расширения

Возможности вертикального масштабирования впечатляют: к одному головному устройству TS-h1886XU-RP вы можете подключить до 16 дисковых полок на 16 (модель TL-R1620Sep-RP) или 12 (модель TL-R1220Sep-RP) дисков каждая. Для подключения используется интерфейс SAS 12 Гбит/с, так что сначала в головное устройство придётся установить 2-портовый адаптер QXP-820S-B3408 или 4-портовый QXP-1620S-B3616W.

Суммарные возможности поражают воображение: на одно головное устройство можно поставить аж 4,6 петабайта дискового пространства (при использовании 18 ТБ жёстких дисков). При использовании многопутевого подключения, NAS позволит вам извлекать для профилактики любую подключенную дисковую полку без перерыва работы остальных.

Технические характеристики

• Формат Rackmount 2U
• CPU: четырёхъядерный Intel Xeon D-1622 2.60 ГГц (разгон до 3,2 ГГц)
• ОЗУ: 4 слота DDR4 ECC RDIMM, 2 из которых заняты модулями по 16 ГБ. Возможность установить до 128 Гб ОЗУ
• Дисковые отсеки:
• 12 x 3.5 дюйма на фронтальной панели (возможность установки 2.5" накопителей)
• 6 x 2.5 дюйма с обратной стороны корпуса для накопителей толщиной 7.5 мм
• Поддержка HDD/SSD с интерфейсом SATA-600
• Сетевые интерфейсы:
• 4 порта RJ45 1-гигабитной сети
• 2 порта SFP+ 10-гигабитной сети на предустановленной плате расширения
• Возможность установки интерфейсных плат расширения FibreChannel / Ethernet
• Слоты расширения PCI Express:
• Слот 1: PCIe Gen 3 x4
• Слот 2: PCIe Gen 3 x8 или x4 когда используется слот 1
• Слот 3: PCIe Gen 3 x4
• Слот 4: PCIe Gen 3 x8 или x4 когда используется слот 3
• 2 порта USB 3.1 Gen 2
• Отказоустойчивый блок питания 550 Вт?, типичное энергопотребление 117 Вт

Бонус: майнинг Chia

Мы получили устройство на тестирование, когда криптолихорадка была в самом разгаре, и системные администраторы шутили на тему того, что чем бы ни занималась ваша организация, выгоднее майнить криптовалюту на серверах и СХД, чем вести обычную хозяйственную деятельность. На системах хранения данных можно майнить криптовалюту с алгоритмом Proof of Capacity (PoC), в которой для подтверждения транзакции используется место на дисковом пространстве. Такими валютами были Filecoin, BitTorrent coin, SiaCoin, и самой "жаркой" стала Chia Coin, появившаяся весной 2021 года и вызвавшая взрывной спрос на HDD и SSD. Майнинг по алгоритму Proof of Capacity разделяется на два этапа: сначала происходит так называемый "посев", на котором место на жёстких дисках заполняется таблицами хэшей объёмом по 128 ГБ. На втором этапе полученные файлы таблиц используются для процесса непосредственно майнинга, или как здесь он называется, "фарминг". Причём, создавать таблицы (засеивать диск) и собственно "фармить" можно на разных машинах. Первый процесс достаточно ресурсоёмкий и по отношению к CPU, и по отношению к RAM, а второй можно делать даже на Rapsberry Pi. Конечно, NAS с 4-ядерным Xeon-ом, да ещё и крутыми жёсткими дисками серии Exos выглядит идеальным инструментом дополнительного дохода, и я решил проверить, насколько QNAP готов к майнингу Chia.

Клиент для майнинга Chia доступен на Github для Windows и Linux, а так же распространяется в виде Docker образа. В случае с QNAP TS-h1886XU-RP у вас есть три пути запуска клиента:

• через систему аппаратной виртуализации Virtualization Station,
• через систему контейнерной виртуализации (Container Station)
• через встроенный пакет Linux Station, где вам доступны несколько версий Ubuntu

Использовать Virtualization Station имеет смысл, когда вы хотите скрыть процесс майнинга, или если вы хотите использовать Windows. Вообще, "винда" в данном процессе не даёт ровным счётом никаких преимуществ ни в скорости, ни в стабильности: и там и там клиент работает медленно, поглюкивает и явно страдает от отсутствия оптимизации. Оптимальным будет установка на Linux Station - когда внутри QNAP будет развёрнута Ubuntu 20.04 LTS, а вы получите к ней доступ через VNC из браузера. Технически здесь тоже используется контейнерная виртуализация, но без лишних настроек вам доступны все ресурсы NAS-а: все папки общего доступа, все ядра процессора и вся память.

После загрузки Linux с GUI, в системе из 32 ГБ ОЗУ остаётся доступными 13-14 ГБ, и с учётом оптимизаций Linux, свопиться система начинает уже при 3-4 ГБ свободной памяти. Поэтому, самый сложный и длительный процесс "плоттинга" или заполнения объёма дискового пространства, приходится осуществлять не более, чем в 2 потока, ну или увеличивать объём ОЗУ. В чём прелесть QNAP TS-h1886XU-RP с точки зрения майнинга, так это в централизованном управлении SSD кэшированием. Временную папку, которую разработчики Chia рекомендуют выносить на NVME SSD, здесь вы можете разместить на том же HDD пуле - разницы в скорости не будет, а массив ZFS прекрасно справляется с транзакционной многопоточной нагрузкой по генерации таблиц.

Правда, никакой другой оптимизации кроме скорости, ZFS для майнинга не даёт: таблицы Chia совершенно не сжимаются и не дедуплицируются, поэтому оптимизации файловой системы можно не включать. В общем, если производить плоттинг в 2 потока на RAID 5, то засев происходит со скоростью примерно 1 ТБ в сутки: значительно медленнее, чем позволяет дисковая подсистема. Так что в целом, при не очень высокой нагрузке, вы можете и плоттить и фармить Chia на QNAP TS-h1886XU-RP без ущерба бизнес-процессам. Почему бы и нет? Возможно, когда Chia вырастет в 100 раз, вы поймёте что именно NAS от QNAP позволил вам купить Ламбо. :)

Выводы

Конструктивно, QNAP TS-h1886XU-RP соответствует всем канонам современных корпоративных СХД начального уровня: в основе здесь простая платформа на базе SoC Intel Xeon D, а все дополнения реализуются за счёт плат расширения. Этот подход позволяет на базе одной платформы строить и SAN сети, так и iSCSI и NAS, как по отдельности, так и одновременно. Размещение SSD накопителей с обратной стороны корпуса даже сегодня ещё есть далеко не у всех производителей, а зря, ведь такая конструкция позволяет очень часто стартовать с нужным набором HDD/SSD без использования полок расширения. Но и в области роста СХД здесь всё практически безграничные возможности, которые скорее упрутся в бюджет заказчика, чем в невозможность поставить ещё одну полку с HDD.

Огромное облегчение вызывает и тот факт, что операционная система QuTS hero не является единственным доступным вариантом использования в NAS-е, и вы можете в любой момент сбросить устройство, переключившись на QTS с использованием LVM и EXT4, например чтобы получить более быструю скорость записи на HDD-массивах. В плане поддержки программных пакетов, эти ОС идентичны.

Михаил Дегтярёв (aka LIKE OFF)
27/05.2021