Обзор QNAP TS-2483XU-RP: NAS с головным устройством на 24 диска

У компании QNAP получаются очень интересные монструозные NAS-ы для работы с большими объёмами данных. Рассматриваемая сегодня модель с длинным названием TS-2483XU-RP - это система хранения данных с головным устройством на 24 жёстких диска формата 3.5 дюйма. Заказчику это даёт возможность упаковать 384 Тб данных в одну систему, применяя 16-терабайтные жёсткие диски, и вовсе обойтись без полок расширения, чего может быть вполне достаточно для нужд небольшого предприятия.

И при всё при том, что возможности масштабирования здесь существенные: до восьми 16-дисковых полок, да ещё и странные RAID-модули с интерфейсом USB 3.0, я могу сказать, что QNAP TS-2483XU-RP - во всех отношениях интересная, неоднозначная модель NAS-а, которую есть за что хвалить и ругать.

В основе СХД лежит 6-ядерный (12-поточный) Intel Xeon E-2136 с номинальной частотой 3.3 ГГц, увеличивающейся при нагрузке до 4.5 ГГц. По умолчанию в NAS установлено 16 Гб ОЗУ DDR4 ECC (два модуля по 8 Гб) с возможностью расширения до 64 Гб.

Спроси меня, и я бы предпочёл видеть процессор AMD в подобной машине, ведь проблемы безопасности в архитектуре процессоров Intel всплывают в среднем раз в квартал, а закрывающие их патчи приводят к существенному падению производительности. И у QNAP, в отличие от других производителей NAS, всё таки не так уж и зря есть несколько линеек, где используются процессоры AMD, в частности, Ryzen в моделях с индексом TS-x77. Да, кто бы мог подумать, что придёт время, и мы будем считать серверный процессор Intel недостатком… Но даже среди Intel-овских процессоров существуют куда более достойные кандидаты на место в NAS. Например, недавно обновившаяся серия Xeon D-1600 или Xeon D-2143IT: эти процессоры имеют встроенные контроллеры 10-гигабитных сетей и больше линий PCI Express, и в общем, они специально создавались для NAS-ов.

Что касается компоновки QNAP TS-2483XU-RP, то она чисто серверная: высокий 4-юнитовый корпус не ограничивал фантазию разработчиков, потому что любое своё желание они могли реализовать в виде платы расширения полной длины и высоты. Одним из таких желаний стала поддержка RDMA (iSER), технологии прямого доступа к памяти при передаче Ethernet-фреймов. Для работы iSER нужна её поддержка как на СХД, так и на подключённом клиенте или коммутаторе, и лучшую реализацию данной фишки имеют сетевые карты производства Mellanox. В QNAP TS-2483XU-RP установлена сетевая карта Mellanox ConnectX-4 Lx, мощный сетевой контроллер с ASIC-процессором, позволяющим причислять эту плату к классу «умных» сетевых контроллеров SmartNIC (о том что это такое читайте в нашей статье), которые способны выполнять некоторые функции по анализу сетевого трафика без загрузки CPU.

Возвращаясь к iSER, можно говорить о таком преимуществе данной технологии, как увеличение на 40-60% скорости случайного доступа и снижении времени доступа. Так же при интенсивном сетевом трафике снижается загрузка CPU сервера. Установленный контроллер имеет 2 слота 10Gbe Ethernet формата SFP+, опционально доступны 25-ти и 40-гигабитные интерфейсы.

На самой материнской плате вам доступны четыре 1-гигабитных сетевых порта, а так же шесть USB 3.1 (два Type-C и четыре Type-A). Конфигурация сетевых портов оптимальна для использования устройства в качестве сетевого шлюза: оптический Uplink для WAN и 4 медных интерфейса для LAN.

Что касается USB 3.1, то у QNAP очень интересный взгляд на этот интерфейс: компания предлагает полки расширения для установки в стойку, которые имеют свой собственный RAID-контроллер. Вероятно, постоянный прямой доступ к данным на этих дисковых полках не подразумевается, а использовать их планируется под бэкап или для архивных данных. В подобных дисковых полках настройка RAID-массива может осуществляться как через общий Web-интерфейс, так и перемычками на корпусе, при этом, вы легко можете отключить такую полку от СХД и подключить к ноутбуку, ну например, если вы стоите возле серверного шкафа, и у вас вдруг резко закончилось место на диске лэптопа :). Но вообще так не принято: серьёзная СХД представляет собой одно головное устройство плюс полки расширения, которые в свою очередь - не более чем SAS-бэкплейн в стальном корпусе с блоком питания. У QNAP есть и такие модули расширения на 16 дисков, которых вы можете подключить к рассматриваемому NAS-у аж до 8 штук последовательно, по 4 на каждый порт SAS-адаптера SAS-12G2E (приобретается отдельно). На сегодняшний день у QNAP есть 3 модуля расширения с RAID-контроллерами и интерфейсом USB 3.1 (TR-серия): одна 4-дисковая для установки в стойку и две настольные на 2 и 4 диска.

Для SSD кэширования признаком хорошего тона является установка отдельных отсеков, как правило, сзади корпуса СХД, и у компании QNAP есть такие решения в корпоративном сегменте, но TS-2483XU-RP - всё же бюджетное решение, и отдельных отсеков для твердотельных накопителей тут нет, так что либо жертвуйте под SSD один из 3.5" отсеков (благо их аж 24 штуки), либо устанавливайте специальную PCI-E плату для mSATA/M.2 накопителей. И надо сказать, что в производстве таких плат QNAP преуспела, как никто другой. Они научились выпускать комбинированные платы, имеющие 10-гигабитный контроллер и 2 слота mSATA/M.2. Нам уже встречался такой контроллер в обзоре настольного QNAP TS-453BT3, и я не устаю восхищаться таким решением. Имейте в виду, что для mSATA и M2 накопителей существуют различные адаптеры: платы с индексом QM2-2S -для mSATA и QM2-2P - для PCI Express M.2. Ну а если 10-гигабитная сеть по витой паре вам не нужна, то есть и вариант такой платы без сети, в том числе и 4-дисковый. Обратите внимание - этот контроллер имеет активное охлаждение для накопителей, а состояние вентилятора отслеживается через операционную систему СХД, так что нет смысла здесь применять неоригинальные комплектующие. В целом же, если отбросить страхи о ненадёжности SSD накопителей, и не думать об отсутствии горячей замены таковых, то подобные платы-адаптеры - лучшее решение для NAS-а, у которого пустуют 4 PCI Express слота.

Для тестирования мы использовали жёсткие диски Toshiba N300, созданные специально для NAS-ов. В нашем тестировании использовались как гелиевые HDD объёмом 14 Тб, так и обычные, "воздушные" объёмом 6 Тб. При наличии хорошего SSD-кэша к жёстким дискам, как правило, возникает лишь одно требование: работать без поломок. По статистике Backblaze, жёсткие диски Toshiba имеют процент отказа на уровне менее 1.5%, и хотя это не рекорд, всё же они достойны того, чтобы работать в ЦОДе.

Для кэширования операций чтения/записи необходимо использовать отказоустойчивый RAID-массив из твердотельных накопителей, минимум - уровня RAID 1, то есть зеркало из двух дисков. Даже если вы установили 2-3 адаптера QM2, вы можете объединить SSD диски на этих контроллерах в один общий массив. Кстати, не устаю повторять, что помимо традиционного, простого и понятного SSD-кэширования, у QNAP ещё есть и функция QTier, для автоматического разделения пространства СХД на слои: медленный для жёстких дисков и быстрый для SAS HDD / PCI-e SSD. Мы подробно рассматривали эту технологию не только на примере корпоративного QNAP TDS-16489, но и на настольном TVS-951 для цифровых студий . Для тех, кому лень читать, напомним, что QTier в отличии от SSD кэша, суммирует объём твердотельного RAID-массива к дисковому, и переносит по расписанию на SSD наиболее востребованные блоки данных. Причём, это может быть не обязательно файл целиком, но и какие-то части iSCSI-LUN-ов.

Сказ о неудавшемся эксперименте с GPU

В прошлом году компания QNAP обосновано решила, что будущее - за СХД, в которые можно установить GPU для задач, связанных с AI и ML-расчётами, и даже выпустила несколько настольных устройств, оптимизированных для подобных задач. В нашем обзоре QNAP TDS-16489U мы испытывали возможность установки видеокарты в NAS с пробросом её в виртуальную машину, запущенную на встроенном гипервизоре, например для CAD-приложений. Тогда я я посетовал, что тот старый NAS не имел дополнительного питания для сколь-нибудь мощных видеокарт, и наши замечания разработчики услышали.

С точки зрения питания всё идеально: отказоустойчивый блок Delta мощностью 800 Вт гарантирует, что электричества здесь хватит даже если полностью заполнить NAS жёсткими дисками и поставить пару геймерских видеокарт.

Корпус СХД позволяет устанавливать две 2-слотовых видеокарты для того, чтобы в дальнейшем использовать их для транскодирования видео, ускорения искусственного интеллекта или проброса в виртуалку, где вы с ними можете делать что хотите. Если же вам нужно просто гонять код на Python под Tensorflow - вам доступен сервер Jupiter, запускаемый в контейнере через Container Station. Конечно, он работает только с видеокартами Nvidia, но это не проблема.

Есть, правда, одно «но»: видеокарта должна быть в списке совместимости, указанном на сайте QNAP, а список этот невелик: нет в нём ни профессиональных ускороителей Tesla, ни пролетарских P106-xxx, так что карты, созданные для GPU-расчётов идут мимо кассы. Лично я не понимаю, о каких таких вычислениях на GPU может идти речь и зачем тогда добавлять в NAS поддержку Tensorflow, если лицензионное соглашение Nvidia не допускает использование игровых видеокарт для профессиональных расчётов и работы в режиме 24x7. Мой эксперимент провалился: с установленными P106-090 QNAP TS-2483XU-RP не запустился. В то же время, при установке совместимой геймерской или офисной видеокарты вы сможете использовать GPU для запуска виртуального рабочего стола, проброса GPU в Windows-окружение виртуалки для работы какого-либо кодека и так далее: всё это описано в нашем обзоре.

Есть у QNAP и собственные ускорители вычислений серии Mustang, но они они выполнены на экзотичных чипах: Arria 10 1150GX (Mustang F100), Intel Movidius Myriad X VPU (Mustang V-100) и достаточно эксцентричная Mustang-200, которая представляет собой два компьютера с процессорами Core i5/i7/Celeron, памятью и SSD на одной PCI Express плате. Их планируется использовать для работы с готовыми моделями искусственного интеллекта, например для распознавания лиц в системах видеонаблюдения.

Для этой цели QNAP анонсировала платформу OpenVINO, поддерживающую собственные акселераторы, в которую можно загрузить модель из Tensorflow или Caffe. Надеюсь, что в скором времени мы сможем протестировать это решение, но как вы понимаете, модель вам придётся создавать самостоятельно.Однако, учитывая, что сегодня все буквально помешались на компьютерном зрении, здесь у QNAP очень хороший задел на будущее.

Сегодня крупные вендоры в области серверостроения потихоньку отказываются от вентиляторов с горячей заменой, и QNAP поддержал этот тренд. Что ж, системы охлаждения в таких машинах почти всегда работают на минимальных скоростях, за счёт чего спокойно отрабатывают без замены по 10 лет, а зачастую и того больше. Использование 92-мм вентиляторов позволяет серверу QNAP TS-2483XU-RP работать с уровнем шума всего 28.7 дБ, то есть его можно держать в открытом шкафу в одной комнате с персоналом.

Софт

Компания QNAP использует единую операционную систему и для домашних и для корпоративных NAS-ов, но набор поддерживаемых пакетов может быть различным. Конечно, есть у QNAP и FreeBSD-based операционная система QES для двухконтроллерной серии ES (ES1640dc, ES1686dc) где поддерживается ZFS с дедупликацией и высокой целостностью данных, но между собой эти две ОС не совместимы, и пакетами не обмениваются. Вообще, при наличии традиционной и контейнерной виртуализации, необходимости в десятках программ, устанавливаемых из репозитория QNAP, уже вроде бы и нет. Ну разве что, кроме тех, которые тесно связаны с резервированием и хранением данных.

Одна из самых востребованных сегодня функций - это моментальные снимки, snapshot-ы. Да, конечно они есть у всех производителей СХД, но вот QNAP сумела реализовать её на файловой системе EXT4, которая наряду с NTFS заслужила репутацию самой надёжной и быстрой. Снэпшоты вы можете реплицировать на внешнее хранилище данных, заменяя таким образом бэкапы. Моментальные снимки работают как для обычных папок с файлами, так и для iSCSI LUN-ов, а в менеджере снэпшотов вы можете:

• настраивать снэпшоты по расписанию,
• резервировать место под снэпшоты,
• импортировать снэпшоты с другого NAS-а,
• восстанавливать отдельный файл или LUN к прошлому состоянию,
• клонировать снэпшот в новый LUN или том.

Не хватает, разве что, возможности монтировать снэпшот в iSCSI цель, чтобы работать с несколькими версиями данных одновременно, но это редкая возможность, и мало у кого есть.

Тестирование

Начинаем с традиционной синтетики при подключении через iSCSI для диска, отформатированного в NTFS с размером кластера 4 Кб.

Переходим к последовательному доступу.

Используемые в тесте SSD откровенно слабы в тестах потоковой записи, поэтому преимущество перед HDD мы видим только в чтении, где скорость подходит к пропускной способности сетевого порта.

Помимо традиционных значений IOPS, которыми мы оперировали в предыдущих обзорах NAS-ов за последние два года, мы обращаем внимание на величину времени отклика, и вот почему. Сегодня уже практически во всех вариантах использования NAS-ов, применяются SSD для ускорения работы с дисковой системой, и величины IOPS, зашкаливающие за сотни тысяч, остаются невостребованными: просто нет таких рабочих нагрузок. А вот время доступа плавает очень сильно, и столь же круто зависит от типа нагрузки, её интенсивности и архитектуры СХД. Некоторые специалисты считают, что это - основной оценочный параметр производительности СХД, и время доступа не должно превышать 20 мс. Ну что же, посмотрим на массиве из двух SSD Transcend TS256GMTS800 256Gb, установленных через адаптер QNAP QM2 и объединённых в RAID 1.

QNAP TS-2483XU-RP даже с простыми SSD дисками легко держит синтетическую нагрузку ниже 1 мс до 16 потоков, но под базы данных, конечно, лучше выбирать дорогие SSD уровня Enterprise. На всякий случай, хочу напомнить, как выглядит наш паттерн Oracle:

Полностью паттерны вы можете найти в этом обзоре. И если придерживаться мнения, что типичное время доступа должно составлять не более 20 мс, то рассматриваемая СХД, грубо говоря, в базовой конфигурации способна работать с 16 потоками базы данных Oracle.

Рекомендации по использованию

Размер всегда имеет значение, и 24 диска в головном устройстве - это возможность построить СХД вообще без полок расширения, а значит без лишних затрат. Такого огромного объёма хватит для любых задач, и эта ниша - родная среда обитания для QNAP TS-2483XU-RP, здесь ему нет равных, особенно учитывая программные возможности QTS и 4 свободных слота PCI-E внутри. Если поставите в этот NAS две платы на 4 NVME накопителя каждая, то полностью закроете вопрос с быстрым слоем SSD, который можете использовать и как кэш, и как отдельный том, и пусть у вас не будет Hot Swap для этих SSD, но как говорится, потерпите. Другие сценарии использования натыкаются то на слабый процессор, то на небольшой максимальный объём памяти, и чтобы вам было проще, ориентируйтесь на нижеследующий список.

Для каких целей QNAP TS-2483XU-RP подойдёт лучше всего:

• хранение видеозаписей вашей NVR системы
• создание и хранение резервных копий (сервер может быть запущен на самом NAS-е)
• хостинг образов виртуальных машин
• сетевой шлюз с OpenVPN и DPI на скорости 10 Гбит/с
• общий узел файлообмена (блочный и файловый доступ для приложений СУБД, SAP и прочих с высокой интенсивностью чтения/записи).
• медиа-сервер с транскодированием на GPU

Для каких целей QNAP TS-2483XU-RP не подойдёт:

• для серьёзной виртуализации
• для задач машинного обучения / искусственного интеллекта
• в качестве вычислительного узла Python

Одним из самых интересных трендов СХД последних лет стало предиктивное устранение неисправностей. Это когда, например, все NAS-ы компании отправляют телеметрию в головной офис, а искусственный интеллект на основе показаний датчиков пытается заранее предсказать выход из строя того или иного компонента. Такой подход позволяет решать кейсы ещё до их появления. У QNAP пока что такой технологии нет, но она есть в жёстких дисках Seagate IronWolf, и подробно рассмотрена нами в этом обзоре. Все сетевые накопители QNAP поддерживают расширенную диагностику здоровья дисков IronWolf HealthManagement от Seagate, и частично предиктивность самого ценного элемента СХД вы можете получить просто выбрав специализированные винчестеры, созданные специально для NAS-ов.

Мы благодарим компанию Toshiba за предоставленные жёсткие диски.

Михаил Дегтярёв (aka LIKE OFF)
21/10.2019