Обзор QNAP ES1640dc v2 - тестируем двухконтроллерный NAS с дедупликацией на лету

В нашем предыдущем обзоре QNAP TDS-16489U мы делали упор на высокой функциональности этого корпоративного NAS-а, который можно задействовать и как вычислительный узел, и как средство виртуализации с поддержкой дискретных видеокарт и приложений для машинного обучения. Сегодня же у нас на тестировании NAS более высокого уровня, чей функционал можно описать одной фразой: «работа с данными, и больше ничего». Это устройство корпоративного класса, имеющее сложную 2-контроллерную архитектуру типа Active-Active, поддержку OpenStack, операционную систему QNAP QES на базе FreeBSD и файловую систему OpenZFS с дедупликацией и сжатием данных на лету, что позволяет серьёзным образом экономить на жестких дисках. По замыслу производителя, QNAP ES1640dc v2 предназначен для использования в VDI (Virtual Desktop Infrastructure), а так же в инфраструктурах облачных провайдеров, предоставляющих услуги VPS, где дедупликация даёт огромную экономию денежных средств, а снэпшоты уже вытесняют традиционные резервные копии.

Для тестирования мы использовали тестовый стенд следующей конфигурации:

• Сервер 1
• IBM System x3550
• 2 x Xeon X5355
• 20 GB RAM
• VMWare ESXi 6.0
• RAID 1 2x SAS 146 Gb 15K RPM HDD
• Intel X520-DA2

• Сервер 2
• IBM System x3550
• 2 x Xeon X5450
• 20 GB RAM
• VMWare ESXi 6.0
• RAID 1 2x SAS 146 Gb 15K RPM HDD
• Intel X550-T2

• Система хранения
• QNAP ES1640dc v2:
• 2 x 48 Гб DDR3
• 10 x Seagate Savvio 10K6 600 Gb

• Софт
• VMWare ESXi 6.0 U1
• Debian 9 Stretch без патчей Intel Meltdown/Spectre
• Iometer (pseudo repeat, 412 Гб)
• iSCSI LUN = 1.2 Тб
• Тестовая папка 1 - Консультант Плюс Федеральная база (3250 файлов, 278 Гб)
• Тестовая папка 2 - 3 виртуальных машины: Windows 10 x64, Windows Server 2016, Debian 9 x64 (всего 111 Гб)

Двухконтроллерная архитектура NAS

В отличии от SAN-устройств, где контроллеры дублируются даже в самых дешёвых хранилищах, устройство для файлового доступа без единой точки отказа - редкий зверь даже в корпоративном классе. Фактически, производителю такой СХД нужно уместить в один корпус два полноценных NAS-а, каждый из которых сможет работать независимо от другого, но при этом - синхронизировать кэш, а при любом чихе, даже в случае повреждения Ethernet-кабеля быстро брать на себя функции своего партнёра, вплоть до IP-адресов на высокоскоростных интерфейсах. По сравнению с отказоустойчивыми системами на 1-контроллерных NAS-ах в режиме High Availability, здесь достигается огромная экономия на количестве жестких дисков и полках расширения, ведь вам не нужно дублировать эти компоненты для защиты от сбоев, какой бы большой СХД ни была. Конечно, если всё было бы так просто, все бы делали 2-контроллерные СХД с файловым доступом, ну так давайте посмотрим на конструктивные особенности QNAP ES1640dc v2.

У нас здесь операционная система FreeBSD, имеющая нативную поддержку ZFS, единственной корпоративной файловой системы, которая на лету производит сжатие и дедупликацию данных. Этой возможности нет ни в BTRFS (Linux), ни в ReFS/NTFS (Windows Server 2016), и чтобы получить мгновенную экономию при записи данных на NAS, каждый блок данных приходится обрабатывать в реальном времени: сжимать и уплотнять, чтобы файлы меньше весили прямо сейчас, а не через неделю, когда запустится оптимизация по расписанию, а их возможно уже и не будет. Эта операция требует больших ресурсов CPU, поэтому в каждом контроллере QNAP ES1640dc v2 установлен 6-ядерный Intel Xeon E5-2420 v2 (2.2 ГГц, 12 потоков, кэш 15 Мб). Да, здесь процессоры работают только на нужды NAS-а, никакой собственной виртуализации, никаких лишних приложений тут нет.

Дедупликация может настраиваться лишь для корневых общих папок, и QNAP QES предлагает три алгоритма на выбор: Skein, SHA256 и SHA512, которые мы сейчас сравним по эффективности со сжатием.

Тест показывает, что алгоритм Skein, используемый по умолчанию, дает лучшие результаты. Конечно, самый сок от использования ZFS - это хранение образов виртуальных машин для веб-хостинга и VDI. В обоих случаях все служебные файлы операционных систем, находящихся внутри образов виртуалок, будут дедуплицированы, и вы можете экономить занимаемое место в десятки раз. В один терабайт на жестком диске можно записывать десятки терабайт повторяющихся образов виртуалок! Наши тесты полностью подтверждаются практикой компании M1Cloud:

HWP: Какой типичный уровень дупликации данных в вашей сфере облачных услуг?

Дмитрий Соловьёв (M1Cloud): Сильно зависит от структуры клиентских данных, как правило, мы не знаем, какие именно системы заказчик размещает, но совершенно точно можно сказать, что наибольший эффект достигается на проектах VDI.

HWP: В каких ресурсах вы используете дедупликацию - это бэкапы существующих серверов, или это файловые системы рабочих машин и баз данных?

Дмитрий Соловьёв (M1Cloud): В нашей практике более часто мы используем второй сценарий (FS VM и DB). В случае с бэкапами мы стараемся использовать встроенные в программное обеспечение резервного копирования механизмы дедупликации и компрессии.

Включив функцию Over Provisioning, вы покажете подключенному клиенту больший объём дискового пространства, чем у вас есть на самом деле. Это позволит избежать ошибок записи, когда клиентская операционная система не знает, что на СХД включены алгоритмы сжатия, и думает, что данные не вместятся в общий пул. Давайте посмотрим, насколько хорошо работает экономия в VDI.

В нашем примере был создан маленький пул объемом 1.01 Тб, затем мы взяли 3 образа виртуальных машин: Windows 10, Windows Server 2016 и Debian 9 общим объемом 80 Гб и записали в общую папку, подключив её через NFS. Мы сделали 40 (!) копий этой папки, что соответствует 120 клиентам VDI, и общий объем данных на диске составил 282 Гб. Конечно, при работе с виртуальными машинами, он будет меняться, но смысл ясен - после записи почти 3 Тб на пул объемом 1. Тб, у нас осталось еще 720 Гб свободного места.

Кэширование - LARC, L2ARC и ZIL

Файловая система ZFS на уровне ядра операционки поддерживает 2 уровня кэширования: LARC (располагается в ОЗУ) и L2ARC (выносится на SSD), а так же ведет лог записи (ZIL), который у QNAP кэшируется в ОЗУ и синхронизируется с дисковой системой. В каждом контроллере установлено по 48 Гб DDR3 ECC (три модуля по 16 Гб), из которых 32 Гб отводится под нужды операционной системы, а 16 Гб - под кэширование записи. Сама по себе операционная система QES не требовательна к объему ОЗУ, но при дедупликации в памяти хранятся таблицы с картами повторяющихся блоков данных, которые растут вместе с объемами данных. Разработчик файловой системы, компания Oracle, рекомендует устанавливать 1 Гб ОЗУ на каждый 1 Тб дедуплицируемых данных, но при переполнении памяти ничего страшного не происходит - таблицы просто частично сбрасываются на диск.

Мониторинг показывает, что в QNAP ETS установлен повышенный приоритет на выделение ресурсов под файловые операции, и по умолчанию вся свободная память выделяется под кэш чтения и таблицы дедупликации, при этом треть памяти отдана под энергонезависимое кэширование данных, и почти всегда остается свободной. Максимальная загрузка процессоров приходится на операции чтения/записи внутри NAS-а, когда надо расжимать и сжимать данные на лету, а внешние интерфейсы не выступают ограничителями.

Рассматривая скриншот загрузки ресурсов контроллера, мы видим, что практически на использование ОЗУ не влияет объём занятого дискового пространства и интенсивность дисковых операций. При интенсивном внутреннем копировании на левом контроллере лишь около 960 Мб уместилось в кэш записи, для защиты которого применяется отказоустойчивая схема Copy to Flash (C2F). Каждый контроллер снабжен аккумулятором ёмкостью 2800 мАч, заряда которого достаточно, чтобы записать содержимое модуля памяти, отведенного под LARC и ZIL на два предустановленных SSD формата M2. Причем, встроенный аккумулятор питает целиком весь контроллер NAS-а, включая вентиляторы, так что у работающей ES1640dc v2 вытащить кабели из розетки, она ещё пару минут будет шуметь и моргать лампочками, сохраняя данные на встроенный накопитель.

Обратите внимание - содержимое кэша дублируется, так что если после блэкаута выяснится, что один контроллер сгорел, файловая система останется в рабочем состоянии, ведь кэш сохранится и на соседнем SSD, объём которого равен двум объёмам кэша записи.

QNAP ES1640dc v2 не имеет выделенных слотов для SSD-кэша L2ARC, не поддерживаются и SSD форм-фактора PCI Express, и более того - допускается установка накопителей только с интерфейсом SAS, чтобы задействовать одновременное подключение к двум контроллерам. Сами разработчики файловой системы ZFS говорят, что установка SSD для кэширования должна производиться в самую последнюю очередь, если нет возможности увеличить объем памяти, и её явно не хватает. Наши тесты покажут, что благодаря дедупликации и сжатию данных, при чтении скорость на сетевом интерфейсе может быть в 10 раз выше, чем скорость считывания с жестких дисков.

Параноидальная проверка дисков и пулов - ключ к целостности данных

Вообще, в традиционных NAS-ах объединение дисков в RAID-массив производится средствами программы mdadm под Linux, но в ZFS сама файловая система создает дисковые пулы, массивы, а так же следит за состоянием винчестеров. Создатели ZFS из компании Oracle предусмотрели защиту от незаметного повреждения данных (Silent Corruption), проверку тома по расписанию (Scrub), а так же проверку S.M.A.R.T. по расписанию, плюс автоматическое восстановление найденных ошибок. Очень интересно, что в интерфейсе QNAP ES1640dc v2 вы не встретите устройств vdev, Zpool и прочей терминологии ZFS. Вместо неё - более понятные и простые обозначения RAID 1... RAID 5, и это здорово, но ещё интереснее, что забота о здравии HDD здесь доходит до паранойи.

Мы установили 12 винчестеров Seagate Savvio 10K6, каждый из которых сначала отслужил по 3 года в ЦОД-ах, а потом был многократно протестирован и под ZFS (FreeNAS, NAS4Free), и под различными Linux-дистрибутивами, и под Windows Server 2016, и никто на винчестеры не жаловался. Так вот - QNAP ES1640dc v2 забраковала два жестких диска, наотрез отказавшись добавлять их в пул. Изучение S.M.A.R.T. показало - винчестеры здоровые, но их скорость записи по IOPS-ам была вполовину медленнее, чем у остальных и в принципе, если ты не тестируешь каждый день свои жесткие диски на скорость, то и не узнаешь об этом, а QNAP ES1640dc v2 сказала: «нет, здесь такие шутки не проходят. Хочешь сохранность данных - ищи другие диски».

Такое щепетильное отношение к винчестерам всячески приветствуется любителями ZFS, так как сохранность данных - непоколебимый плюс данной файловой системы, но надо уточнить у своего поставщика - примет ли он по гарантии жесткие диски, которые не понравились СХД, но при этом выглядят здоровыми?

Поддержка внешних интерфейсов

Первая версия QNAP ES1640dc v2 имела только два 10-гигабитных сетевых порта для передачи данных, и производитель почему-то выбрал интерфейс BASE-T для витой пары. Вероятно, заказчики, привыкшие к оптической среде, были достаточно убедительны, так что во второй версии СХД компания QNAP дополнительно установила 4 сетевых слота SFP+ со скоростью 10 Гбит/с. Суммарно, каждый контроллер в ES1640dc v2 имеет 2 медных 10-гигабитных порта RJ45 (используется дискретная сетевая карта Intel X550-T2), 4 слота 10G SFP+ (встроенный на материнскую плату чип Intel XL710), а так же выделенный 1-гигабитный RJ45 порт для управления через Web-интерфейс и ещё консольный порт.

Учитывая, что каждый контроллер QNAP ES1640dc v2 может работать независимо, суммарно из коробки, без апгрейдов вы получаете 120 Гигабит чистейшей сетевой скорости, и если вдруг этого покажется мало, в каждый контроллер вы можете установить ещё по одной плате расширения:

• QNAP LAN-10G2T-X550 (процессор Intel X550),
• QNAP LAN-40G2SF-MLX QSFP+
• QNAP LAN-10G2SF-MLX SFP+

Но вообще 120 гигабит в секунду должно хватить на любые нужды даже с учетом роста крупного предприятия, поэтому важнее использовать такое разнообразие портов для резервирования и отказоустойчивости.

Резервирование контроллеров в режиме Active-Active

Первое, что мы делаем в современном NAS-е - это создаем дисковый пул, и в QNAP ES1640dc v2 вам нужно указать, к какому контроллеру (SCA или SCB) он будет привязан. Например, на первый контроллер поставить пул для сотни VDI-клиентов, а на правый - пул для серверов баз данных. Вы можете направить трафик по разным сетевым портам, на разные жесткие диски через разные процессоры. Здорово, правда?

Правда, есть один момент - логически каждый сетевой интерфейс завязан на тот контроллер, в котором он установлен. То есть, если порт Ethernet 1 на контроллере SCA имеет адрес 192.168.2.1, а Ethernet 1 на SCB - 192.168.3.1, то по второму адресу будут видны только ресурсы пула на контроллере SCB, и поменять привязку пулов никак нельзя.

Если сетевой порт на SCB теряет линк или происходит зависание / поломка контроллера, то SCA берет на себя и его дисковый пул и его IP-адреса сетевых интерфейсов, а на Ethernet 1 порту в первом контроллере будут уже 2 IP-адреса: 192.168.2.1 и 192.168.3.1, и ресурсы обоих контроллеров будут доступны по одному физическому интерфейсу, но на тех же разных IP-адресах. Аналогично, все прочие сетевые порты будут прозеркалированы на рабочий контроллер. Давайте посмотрим, насколько быстр этот процесс.

60 секунд для прямого переключения и примерно 20 секунд для обратного - не рекорд, конечно, но для данного ценового диапазона - более чем неплохо, и даже такая отказоустойчивая конструкция - не повод отказываться от бэкапов.

Технологии репликации и резервирования данных

Мы уже говорили, что операционная система QNAP QES не имеет поддержки сторонних приложений, и к сожалению, это относится и к клиентам облачных сервисов. Здесь нет нативной поддержки Amazon S3, Microsoft Azure или Google, что выглядит как-то странно, учитывая, как настойчиво сегодня ведущие специалисты в СХД рекомендуют резервировать данные в облако.

Для репликации между NAS-ами используются две технологии: традиционный Rsync и блочный SnapSync. Последняя хороша тем, что перед отправкой данных на сервер, NAS может самостоятельно провести сжатие и дедупликацию данных, чтобы передать только измененные блоки. Это позволяет делать инкрементальные бэкапы образов виртуальных машин и баз данных, которые занимают десятки гигабайт в одном файле: когда внутри файла изменяется лишь часть данных, вот эта часть и будет передана на целевое устройство, и та область виртуальной машины, где хранится операционная система, не будет бесконечно резервироваться, занимая время и забивая каналы связи.

Давайте проверим, как работает SnapSync - возьмем ту же папку с VDI контентом, включающую 3 образа виртуальных машин, синхронизируем её в удаленную папку, потом запустим Windows Server 2016, аварийно остановим и снова проведем синхронизацию. Первый раз бэкап потребовал передачу 111 Гб данных, второй раз - всего 550 Мб,  так что синхронизировалась лишь измененная часть - обновления операционки, которые успели скачаться за время теста.

Ну и, конечно, нельзя не сказать про снэпшоты, которые в файловой системе ZFS производятся за считанные секунды, благодаря поддержке принципа Copy On Write. Для каждого ресурса, будь то корневая сетевая папка или iSCSI LUN, вы можете создать до 65 536 мгновенных снимков, а это значит, что если делать их автоматом каждый час и не удалять, то вы сможете хранить всю ежечасную историю ваших файлов за последние 8 лет!

Кстати, браузер по снэпшотам - это просто образец для подражания! Он выглядит в стиле Apple Time Machine, и открыв снэпшот, вы можете в файловом браузере просмотреть все содержащиеся файлы и восстановить тот, который вам нужен. Особенно приятно, что здесь, в снапшотах каждый ваш шаг отрабатывается очень быстро - мгновенная реакция на клик мышки, никаких ожиданий.

Как видите, конструкция QNAP ES1640dc v2 способна противостоять любым неполадкам в цифровой экосистеме предприятия, и всё это - в одном корпусе, с одним набором жестких дисков. Модульная схема с полным дублированием и горячей заменой компонентов, быстрое переключение между контроллерами - это залог высокой доступности, за которую заказчики всегда переплачивают вдвойне, но в случае с QNAP ES1640dc v2, никто не переплачивает, а наоборот экономит на сжатии и количестве дисков и полок. 

Результаты тестов скорости

Так как QNAP ES1640dc v2 поддерживает iSCSI LUN-ы только на уровне файлов, мы использовали Iometer для создания тестового файла объемом 412 Гб с заполнением Pseudo Random, чтобы снизить влияние сжатия на результаты. Ранее мы не тестировали промышленные системы хранения с файловой системой ZFS, поэтому никакого тюнинга СХД или тестового стенда не проводилось - мы замерили типичные показатели с настройками по умолчанию.

Результаты, мягко скажем, удивляют: учитывая, что один жесткий диск даёт производительность около 300 IOPS в тесте случайного чтения 4K, десяток винчестеров в массиве при всём желании не может выйти за 3000 IOPS, но у нас здесь - 21 тысяча! Это то, о чём я говорил - дедупликация, плюс сжатие, плюс грамотное кеширование позволяют нарушить законы физики в синтетических тестах.

Воодушевившись такими значениями, мы провели промежуточный тест - объединили два HDD в пул типа Stripe и провели стандартный тест 4K Random, а скорость решили посмотреть по внутреннему мониторингу производительности СХД. Как вы можете видеть на скриншоте ниже, за счет кэширования ZFS дает фантастические 6 тысяч операций ввода/вывода в самом медленном типе массивов.

Но вернёмся к нашей основной конфигурации и посмотрим на производительность в реальных паттернах.

В сложных паттернах оптимизация незаметна, и скорость соответствует тому, чего ждёшь от системы хранения данных. Единственный непонятный момент - это сильная просадка в задаче Oracle. Обычно, в этом тесте СХД дают производительность, сопоставимую с результатами VSI.

Последовательный доступ показывает ровно то, чего от него ожидаешь: хорошая уверенная скорость с пиком на 1-мегабайтных блоках.

Масштабирование

К одному головному устройству вы можете подключить до 7 дисковых полок EJ1600 (v2) на 16 дисков каждая, что при использовании 12-терабайтных винчестеров, дает суммарный объем в 1536 Тб.

Каждый контроллер к каждой дисковой полке подключается двумя кабелями (dual-path), образуя отказоустойчивую петлю с общей скоростью 48 Гб/с, в которой обрыв любой связи переживается без последствий. А вот если вы отключите целиком дисковую полку, входящую в массив, то головное устройство заблокирует доступ к хранящимся на ней данным, а как только полка снова заработает - данные будут восстановлены.

Покупка и гарантия

QNAP ES1640dc v2 поставляется в проекты с 3-летней гарантией, точная цена не раскрывается.

Дополнительные лицензии

Весь указанный в обзоре функционал входит в стоимость устройства и доступен без дополнительных лицензий. У QNAP вообще нет никаких дополнительных лицензий для этой СХД.

Выводы

QNAP ES1640dc v2 - это файловый доступ для умножадных заказчиков, ведь эта СХД позволяет один раз вложиться в головное устройство и затем экономить на каждом шагу: устанавливать меньше дисковых полок, покупать меньше жёстких дисков и SSD, арендовать меньше места в стойке и в конечном итоге тратить меньше электроэнергии.

Что не понравилось? Мы постоянно говорим о тенденции сращивания СХД и вычислительных узлов в одно целое, и в этом плане отсутствие виртуализации в QES я расцениваю как движение против тренда. У QNAP есть сервер объектного хранения, хорошая контейнерная станция, гипервизор с пробросом USB и PCI-E устройств, но всё это - в серии QTS, а функционал QES сопоставим с функционалом SAN-ов. Конечно, можно говорить, что ES1640dc v2 - это машина для архивного хранения и для холодных данных, но разве это причина игнорировать облачные сервисы Amazon S3 и Azure?

Да, конечно если вы меняете старый SAN на новый мощный NAS и ждёте от него каких-то расширенных функций, надо смотреть в сторону QNAP TDS-16489U. Но если проект только прорабатывается, то ES1640dc v2 - это тот случай, когда "мы сейчас поставим умный NAS вместо SAN-а, и в дальнейшем сократим расходы на эксплуатацию и расширение в n раз, но пока наша компания растет, мы ждём добавления новых функций".

Что понравилось:

• Очень удобная работа со снэпшотами
• Встроенный файловый менеджер File Station - то, чего нет в дорогом Enterprise-софте и в более дорогих NAS-ах.
• Логика работы с ZFS пулами выдрана с корнем и заменена на логику RAID. Здесь нет ни zvol, ни vdev, ни RAIDZ1,  - это превосходно!
• Блочная репликация Snapsync
• Полное отсутствие дополнительных лицензий на что бы то ни было

Ни для кого не секрет, что компании HPE, Dell/EMC и Lenovo, натаскивая своих менеджеров по продажам, учат их противостоять любым сравнениям своих СХД с продукцией QNAP, формируя у заказчика один простой образ: "QNAP - это устройство для дома, а рэковый QNAP - это торрентокачалка-переросток". Мы с вами убедились, что QNAP ES1640dc V2 рвёт этот шаблон на части, потому что от мельчайшего болтика и до мощнейшего менеджера снэпшотов это true-enterprise для серьёзных покупателей и крупных проектов на тысячи физических терабайт, для тех кто думает головой и выбирает кошельком, а не докризисными стереотипами. Так что пусть ищут новые аргументы, или попытаются сделать что-то подобное в той же ценовой нише.

Официальный сайт QNAP - www.qnap.ru

• Мы благодарим компанию M1Cloud за то, что поделились с нашими читателями опытом использования дедупликации
• Мы благодарим российское представительство компании Intel за предоставленные сетевые карты Intel X520-DA2 и Intel X550-T2
• Мы благодарим компанию Инэлт за предоставленный ИБП Monolith III 2000 RT

Михаил Дегтярёв (aka LIKE OFF)
14/08.2018