QNAP TDS-16489U - тестируем Tiering, SSD-кэширование и виртуализацию в enterprise-СХД

Современные СХД - это прежде всего программные функции, направленные на хранение, защиту и распределение информации. Хочется сказать, что во вторую очередь - это «железо», но нет - для небольших компаний стало важным, с какими сервисами может интегрироваться система хранения данных, может ли она резервировать или вовсе заменить какое-либо «облако» и как много чужих платных сервисов заменяет один NAS сегодня и заменит завтра. Разработчики сетевых хранилищ пошли дальше и предложили вовсе перенести всю виртуальную инфраструктуру на одно устройство: как данные, так и сами приложения. И когда производитель говорит: «Внутри нашего NAS вы можете запускать виртуальные машины и контейнеры, работать с CAD приложениями используя видеокарту, на том же устройстве - хранить сотни терабайт, которые без задержек доступны вашим программам и которые ежеминутно защищаются снэпшотами, репликациями и бэкапами в облако», вот тут уже мы начинаем задумываться, а сколько устройств в стойке заменит один такой NAS, и вот тут мы вспоминаем про «железо».

Компания QNAP в представлении не нуждается. Начав с настольных NAS-ов класса SOHO, сегодня она выпускает мощные узлы виртуализации серии TDS-16489U, построенные на двух Intel Xeon E5-26xx V3 (8 ядер, 16 потоков), с 256 Гб памяти, со слотами PCI Express для плат расширения, и самое главное - с софтом, в котором и функции хранения данных и функции гипервизора сведены в один web-интерфейс и управляются из общего окна.

Известную дилемму последних пяти лет: «какие диски ставить - быстрые SSD или большие HDD» компания QNAP решает просто: «ставьте и то и другое, у нас SSD-кэш не использует отсеки для жестких дисков: в нашей флагманской модели TDS-16489U, созданной для работы с Big Data, вас ждут 16 отсеков для 3.5-дюймовых HDD (SAS/SATA), плюс еще 4 отсека для 15-мм SSD (SAS/SATA), 4 слота PCI-Express, и все это - в 3U корпусе». Разные типы SSD-носителей нужны для того, чтобы использовать обе технологии SSD-ускорения, которые сегодня есть в этом мире: Tiering и SSD кэш.

Tiering - вынос горячих данных на SSD

Термин «Tiering» не имеет аналога в русском языке, но под этим словом подразумевается распределение данных по типам носителей, как по слоям пирога. Здесь все очень просто - допустим у нас есть большой объем информации, которую мы храним на медленных 7200 RPM жестких дисках. Периодически мы обращаемся к этим файлам и начинаем с ними работать, считывая и сохраняя их на диск. Это типичная ситуация при подготовке какого-либо отчета или анализе большого архива. Контроллер СХД понимает, что если эти данные вдруг вызвали интерес, и приложение или пользователи к ним обращаются, надо переместить их на более быстрые носители и автоматически переносит их туда, где скорость доступа и стоимость терабайта значительно выше.

У компании QNAP в технологии Qtier есть три уровня накопителей:

• Жесткие диски 7200 RPM SATA/NL-SAS (Capacity слой)
• Жесткие диски 10K/15K RPM SAS
• SSD (Performance слой)

Tiering создает еще один RAID-массив из SSD, объем которого суммируется с уже существующим дисковым пулом, и в этом есть огромное преимущество перед простым SSD-кэшированием, где объем твердотельного накопителя никак не учитывается в общем дисковом массиве. Казалось бы, можно набрать недорогих высокооборотистых SAS-винчестеров и забить ими дополнительную дисковую полку, чтобы получить более высокую скорость, но в текущих реалиях диски на 10/15 тысяч оборотов стали настолько невыгодны, что производители снимают их с конвейера: этот сектор полностью вытесняется твердотельными накопителями, поэтому в реальной жизни самые востребованные файлы при активации многослойного хранения всегда будут лежать на твердотельных накопителях. Вот почему очень желательно для ультрабыстрого уровня использовать RAID 6.

Конкретно в QNAP TDS-16489U под SSD выделены 4 дополнительных отсека с горячей заменой, так что твердотельные накопители здесь ставятся не в ущерб Capacity-слою, а в дополнении к нему. Учитывая, что на момент подготовки статьи, в продаже присутствовали 7.68-терабайтные SSD формата 2.5" (HGST Ultrastar SS200 и SS300), этих четырех дополнительных отсеков хватит для почти 30 Гб жутко быстрых данных.

Процесс Qtier полностью автоматизированный - самообучаемый алгоритм учитывает частоту обращения к блокам данных и переносит самые востребованные на более высокий слой. Данный процесс производится либо по расписанию (ночью, когда все спят), либо при минимальной нагрузке на СХД - как настроите. Принудительно можно включить перемещение «прямо сейчас», но повлиять на то, что система хочет поместить на SSD, а что на HDD, вы не можете: вам доступен только выбор каталогов и LUN-ов для которых QTier активирован.

Одна из самых полезных функций многослойного хранения - это складирование новых файлов сразу на Performance-слой. Это мега-полезная опция, и вот почему: если вы используете LUN-ы больших объемов, хранящиеся на HDD, то будьте готовы к тому, что СХД будет очень долго анализировать их использование, прежде чем перенесет на SSD. А так можно скопировать существующий LUN, или создать новый - и он сразу окажется на более высоком слое, и при высокой загрузке, там и останется навечно. И помните, что если вы обновите существующий дисковый пул до уровня QTier (именно так компания-производитель называет активацию многослойного хранения), то отключить её уже не получится.

Чтобы показать вам прелесть этой технологии, мы взяли 4 корпоративных SSD Hitachi (HGST) UltraStar SS200 объемом 400 Гб, и "обновили дисковый пул до уровня QTier", создав RAID 5 из этих дисков, добавив к существующим дисковым терабайтам ещё 1 терабайт SAS SSD. Процесс апгрейда занял около 30 минут, после чего были запущены паттерны реальных задач, снятые специалистами компании PureStorage, чтобы оценить насколько меняется наша СХД.

Да, конечно, все мы привыкли к тому, что SSD в десятки раз быстрее HDD, но заметьте - мы не пожертвовали ни одним винчестером, и все 16 отсеков Capacity-слоя по-прежнему в нашем распоряжении, а поскольку QTier входит в состав операционной системы QTS и не требует покупки лицензий, то мы платим только за твердотельные диски. Каждый из используемых HGST Ultrastar SS200 в нашем тесте стоит примерно 440$ - много это или мало с точки зрения QTier?

А если учитывать, что с ростом объёма SSD растут и их скоростные показатели (вместе с ценой, правда), то использование терабайтных SSD может дать ещё более впечатляющие коэффициенты.

Если пользователю будут доступны настройки "как и чего и куда переносить между слоями", то необходимости в традиционном SSD-кэше вообще не будет.

SSD-кэширование

SSD кэширование работает на блочном уровне, и сразу при его настройке вам будет предложено выбрать, для какого доступа используется быстрый носитель: для случайного или последовательного, а так же будет ли он работать только на чтение, или на запись тоже. 

Вообще, идеология SSD-кэша такова, что он выступает промежуточным звеном между клиентом и жесткими дисками SSD, а данные в нем надолго не задерживаются, вытесняясь алгоритмами LRU или FIFO. Вот почему выбирая SSD для режима чтение/запись, операционная система QNAP дважды предупредит вас, что при поломке или отключении твердотельного накопителя вы можете потерять информацию на дисковом пуле. Перед плановой заменой кэширующего SSD нужно сначала отключить его в настройках операционной системы, подождать пока его содержимое синхронизируется с жесткими дисками, и лишь потом извлекать из машины. Наши тесты показали, что в некоторых ситуациях сброс содержимого SSD кэша на дисковый пул может занимать до 10 часов (!).

Для более эффективного использования SSD предусмотрен механизм «отсечки» длинных блоков данных при случайном доступе, призванный не пускать в кэш то, что может быть быстро считано или записано на жесткие диски (например, большие длинные файлы, которые читаются и пишутся целиком, такие как видео записи).

SSD кэш никак не зависит от разделения данных на слои, и вы можете использовать как любую из этих технологий по отдельности, так и обе одновременно, выделяя под кэширование самые быстрые и дорогие NVMe носители, а под Tiering - SAS/SATA SSD, которые подешевле.

В нашем тестировании использовалась плата HGST SN150 объемом 1.6 Тб, с заявленной производительностью 740 000 IOPS 4k при случайном чтении. Сразу стоит оговориться, что данная плата не из списка рекомендованных QNAP, но мы всё-таки решили попробовать её, так как другой альтернативы под рукой не оказалось. К сожалению, ускорение случайного доступа с ней не заработало, хотя она и определилась. Мы испробовали LUN-ы разных размеров, переключая режим кэширования в случайный и последовательный доступ, но никакой разницы с дисковым массивом в наших тестах не было. Поэтому на практике рекомендуем выбирать комплектующие из списка совместимых моделей на сайте производителя.

Зато, независимо от настроек операционной системы, прекрасно работало ускорение последовательного доступа. На примере 4-х LUN-ов объемом по 900 Гб видно, что в начале теста СХД насыщает кэш, считывая данные с жестких дисков, а затем поток идет полностью из кэша до его опустошения. Кстати, график получен для режима "ускорение произвольного доступа чтение/запись" с отсечкой 4 Мб.

Итого: ускоряя дисковый массив QNAP TDS-16489U, лучше использовать технологию Tiering, а от SSD-кэша отказаться вовсе.

Виртуализация с пробросом видеокарты и USB

Операционная система QTS от QNAP (версия 4.3 на момент написания обзора) поддерживает две среды виртуализации: традиционная и контейнерная. Первая использует собственный гипервизор Virtualisation Station 3, в основе которого лежит KVM. Для контейнеров используется плагин Container Station, который поддерживает сразу оба формата - Docker и LXC, в репозитории QNAP так же доступен собственный сервер объектного хранения для доступа сторонних серверов к контейнерам по протоколам OpenStack и S3.

Встроенный гипервизор позволяет распределять аппаратные ресурсы с избыточностью, то есть каждой гостевой системе вы можете презентовать все физические ядра CPU и всю память, но при запуске гостевой системы вам может быть отказано, если виртуальных ресурсов используется больше, чем имеется в наличии. Но особенно интересно выглядит функция проброса видеокарты в виртуальную машину. Для чего это может потребоваться в NAS-е?

Если посмотреть на новые серверы QNAP класса SOHO/SMB/Enterprise, то многие из них поддерживают установку GPU, и имеют дополнительное питание для мощных видеокарт, которые планируется использовать для приложений, связанных с искусственным интеллектом и машинным обучением. На моделях начального уровня можно вполне себе заниматься экспериментированием и разработкой, а топовые модели - использовать в боевых условиях. Уже совершенно очевидно, что GPU в NAS - это новый тренд, который можно только приветствовать, ведь помимо AI и ML приложений, теперь на файловом сервере можно создать полноценное виртуальное рабочее место с 3D графикой и звуком, что мы сейчас и сделаем.

Наша тестовая QNAP TDS-16489U была выпущена 2 года назад, и не имеет кабелей питания для видеокарты, поэтому в плане прожорливости GPU мы ограничены 75 Ваттами, которые может выдать слот PCI-E 16x. У компании NVIDIA в профессиональной серии видеокарт Quadro есть модель P2000, которая не требует дополнительного питания, имеет 4 порта для мониторов и драйверы, оптимизированные для профессиональных приложений, в том числе для работы в виртуальных средах. Техническая возможность установить видеокарту в NAS и вывести изображение на видеостену из 4-х мониторов выглядит очень заманчиво, особенно если понимаешь, что у тебя нет ограничений ни по производительности, ни по скорости загрузки файлов: слева - 32 ядра Xeon-ов (16 физических и 16 логических), справа - 2-уровневое хранилище на 180 Тб с SSD кэшем, сверху - 256 Гб ОЗУ… осталось только все это настроить.

Специалисты, работающие с 3D графикой и VDI многократно отговаривали меня от идеи настройки рабочего места под CAD по RDP-протоколу. Все как один сходились во мнении, что будет глючить и тормозить, не взирая на сеть, и уж если использовать видеокарту для таких целей, то сразу выводить картинку на экран через Displayport локально или IP-удлинитель. У нас не было под рукой качественного Video-over-IP удлинителя, но был флагманский KVM-переключатель с доступом по IP, Aten KN2124VA, созданный для мониторинга и обслуживания крупного парка серверов в ЦОД-е. Этот IP-KVM дает прямой доступ к консоли из окна браузера или через собственный софт, и может подключаться к видеокартам с выходами VGA, DVI, HDMI и DisplayPort, причем само устройство может работать, как в гигабитных, так и в 100-мегабитных сетях, для чего используются специальные алгоритмы сжатия медиа-потока. Консольные модули подключаются к IP KVM напрямую кабелем CAT5, не требуют установки софта на стороне сервера и питаются от USB. Предполагая, что алгоритмы сжатия Video-over-IP убьют все качество картинки в 3D, я думал, что это устройство нам не понадобится, но ошибался…

Все шло хорошо - в один клик создаем виртуальную машину, выбираем пул, на котором хранятся её файлы, подключаем ISO Windows 10 x64 из образа и устанавливаем операционку за 5 минут, выделяя ей 8 ядер CPU и 16 ГБ памяти. Запускаем Windows 10, используя встроенную VNC консоль, устанавливаем пакет виртуальных инструментов, демо-версию 3D Studio Max 19, свежую версию SketchUp, проверяем доступность машины через RDP: все работает кроме SketchUp, который ругается на отсутствие 3D ускорителя, и сейчас мы дадим ему целую Quadro P2000.

В QNAP QTS назначение GPU платы настраивается в приложении HD Station. Вы можете отдать видеокарту под встроенные программы операционной системы, например для транскодирования видео потоков, а можете выбрать режим Passthrough для станции виртуализации. Выбираем второе и в настройках гостевой ОС добавляем нашу Quadro P2000 во вкладке «GPU» по принципу одна видеокарта - на одну виртуалку. Запускаем - не грузится. Встроенная VNC-консоль гипервизора не работает с аппаратным GPU, а удаленный доступ по RDP не соединяется вообще, поэтому самое время подключиться через IP KVM Aten, и о чудо - это сработало! Windows 10 загрузилась, драйверы установились и в окне удаленного рабочего стола привычно закрутился логотип NVIDIA, что означает поддержку 3D. Возможно, видеокарте нужно было увидеть подключение монитора, чтобы активироваться при загрузке.

Редактор SketchUp запустился почти мгновенно, почувствовав наличие аппаратного 3D видеоядра, а вот 3D Studio Max, который прекрасно работал с виртуальным VGA драйвером, стартовать отказался. Загрузив крупный проект SketchUp и поиграв с объектами, я пришел к следующим выводам: виртуальное рабочее место для работы с графикой на NAS - это не фантастика, операционная система QNAP QTS 4.3 поддерживает весь спектр профессиональных и игровых видеокарт NVIDIA, и 3D ускорение работает как по прямому подключению, так и через протоколы удаленного доступа. Но пример с 3D Studio Max все же говорит, что не все так гладко, как нам описывают маркетологи, и даже сама QNAP обращает внимание, что видеокарты в их NAS-ах устанавливаются в первую очередь для вычислений на GPU.

А здесь, кстати, полное раздолье. Во-первых, в контейнерный гипервизор встроены шаблоны для фреймворков искусственного интеллекта. Во-вторых есть отдельное приложение QuAI для управления различными моделями машинного обучения на GPU (поддерживаются Caffe, CNTK, MXNet и Tensorflow), которое работает поверх контейнерного гипервизора и на котором можно легко мониторить нагрузку на видеокарту. Правда, на нашем TDS-16489U это приложение было недоступно.

Интересно, что уже при создании виртуалки, для неё автоматически включается функция снэпшотов, и при некоторых изменениях конфигурации гипервизор сам создает мгновенный снимок. Снэпшоты можно настроить по расписанию и просматривать в удобном каталоге.

Виртуальные коммутаторы позволяют не только настраивать топологию сети, жестко привязывая сетевой порт к гостевой машине, но и объединять порты перед пробросом, а так же включать протокол защиты от образования петель, STP. Учтите, что в Qnap Virtual Switch нет выделенного сетевого порта для управления, и если вы увлеклись раздачей IP-адресов внутренней подсети виртуалкам, вы вполне можете обрубить себе доступ к Web-интерфейсу всего NAS-а. Единственное, чего не хватает в таком изобилии виртуализации - это возможности полноценной миграции виртуальных машин с одного хранилища на другое. Этой функции нет вообще, и перенести гостевую ОС можно лишь клонированием выключенной виртуальной машины с последующим импортом копии.

Кстати, в части импорта чужих VM все более чем приятно: поддерживаются форматы VMX, OVA, OVF и QNAP-овский QVM. Мы протестировали перенос Ubuntu 18.04, Debian 9 LTS и Windows Server 2016 из VSphere 6.0 в QNAP Virtual Station - все прошло гладко: копия разворачивается в новом каталоге, так что одну и ту же VM вы можете импортировать несколько раз.

Вообще, все программные функции серверов QNAP в одной статье не рассмотришь, поэтому давайте продолжим знакомство с самим NAS-ом.

Конструкция QNAP TDS-16489U

Серия TDS-16489U состоит из 4 моделей с индексами SA1, SA2, SB1 и SB2, отличающихся моделями процессоров и объемами ОЗУ. Наша топовая TDS-16489U-SB3 имеет два Xeon E5-2630 (2.4 ГГц, 8 ядер, 16 потоков и 256 Мб памяти DDR4 ECC). Конструктивно NAS выполнен по 1-контроллерной схеме, типичной для серверов на Intel Xeon и собран в корпусе высотой 3U, что позволило разместить 16 отсеков для 3.5-дюймовых жестких дисков с интерфейсами SATA-600 / SAS-12G/s на фронтальной панели.

В СХД на отдельной плате установлены аж 3 контроллера SAS 12 Gb/s производства LSI, поэтому никаких экспандеров здесь не используется - все устройства хранения напрямую подключаются к контроллерам и дают максимальную скорость.

В самом начале статьи я указал, что для SSD-кэширования в TDS-16489U отведены специальные 2.5-дюймовые отсеки, доступ к которым осуществляется с тыльной стороны сервера. Сюда можно установить накопители высотой до 15 мм, но при установке таких горячих SSD как Hitachi Ultrastar SS200, не лишне будет включить вентиляцию NAS-а на максимум, потому что при комнатной температуре в режиме простоя эти SSD запросто нагреваются выше 55 градусов, а уже при 66 градусах начинают срабатывать предупреждения о перегреве.

Материнская плата QNAP TDS-16489U может быть полностью извлечена из сервера без демонтажа хранилища из серверной стойки, но обслуживание тех же вентиляторов требует съема верхней крышки корпуса. На материнской плате имеются два слота для карточек формата M2 Gen2x4, которые вместе с батарейным модулем могут быть использованы для хранения кэша записи в случае сбоев электропитания. Сама TDS-16489U имеет настолько большой объем ОЗУ, что при резком отключении электричества весь кэш может не успеть записаться в один модуль M2, поэтому для таких случаев их устанавливают парами и никогда не меняют. В продаже батарейный блок не встречается, поэтому эти отсеки пустуют.

СХД имеет пару гигабитных Ethernet портов RJ45 и 4 SFP+ порта 10Gbps Ethernet. Последние реализованы на контроллере Intel XL710, который не поддерживает iWARP/RDMA, так что если захотите поставить 40-гигабитный интерфейс - у вас будет еще одна причина это сделать, тем более что системой нативно поддерживается 3-е поколение сетевых карт Mellanox ConnectX3 со скоростью до 56 Гбит/с.

Но надо иметь в виду, что машина имеет только один слот PCI Express 16x, а остальные три - это PCI Express 8x. Интерфейсные платы 10/40G Ethernet как правило, используют слот PCI-E 8x, NVMe карточки - 4x или 8x, и лишь редкие платы на 4 NVMe Ultra M2 слота имеют интерфейс PCI-e 16x. Так что говоря простым языком, возможностей расширения здесь выше крыши. NAS имеет встроенный IPMI менеджер, под который выведен отдельный сетевой порт. При наличии шикарного Web-интерфейса и открытого доступа по SSH, трудно смоделировать ситуацию, при которой вам придется запускать IPMI консоль. Но если у вас такие ситуации встречаются, возможно вам пригодится ещё и пакет QRM+, собственное приложение QNAP для мониторинга серверов Supermicro в вашей сети.

Системная плата имеет 16 слотов DIMM DDR4 ECC, 8 из которых уже заполнены 32-гигабайтными модулями, а максимальный объем ОЗУ может составлять 1 Тб. Не думайте, что это потребуется только для Big Data, ведь сервер постоянно кэширует в ОЗУ информацию с дисковых пулов для более быстрого доступа.

Экология и окружающая среда

За питание СХД отвечает отказоустойчивый блок питания мощностью 650 Вт с двумя модулями горячей замены. Типичное энергопотребление устройства с жесткими дисками не должно превышать 360 Вт, но при использовании плат расширения мощность может достигать 400 Вт.

Сам NAS имеет очень глубокий корпус - целых 530 мм, он глубже многих промышленных серверов. Уровень шума составляет до 68 дБ, и при работе лучше устанавливать сервер в полноценном ЦОДе с холодным коридором и мощной вентиляцией. Для установки в одном пространстве с рабочим персоналом эта машина не предназначена.

Репликация и отказоустойчивость

Для отказоустойчивости используется алгоритм Doulbe-Take Availability, осуществляющий в реальном времени инкрементальное копирование данных с основного сервера на резервный. Реплицируются не только файлы на общих папках, но и виртуальные машины со всеми настройками, а так же снэпшоты томов и LUN-ов. Одной из интересных особенностей данной технологии является резервирование физического сервера в собственную виртуальную среду, чтобы в случае поломки какой-нибудь старой машины Dell или HP, пока вы ищете запчасти, ваш сервер продолжал работать в гипервизоре QNAP-а.

Средств резервирования данных здесь очень много: различные инструменты для работы с бэкапами (Acronis True Image, Archiware P5), клиенты для облачных систем хранения (Azure Storage, Google Cloud Storage, Hicloud S3), синхронизация между несколькими NAS-ами и прочее вроде резервного копирования на внешний JBOD, который можно потом положить в багажник и увезти в другой город, если надо быстро перевезти десятки терабайт информации. Перечислять все возможности резервирования не имеет смысла - в разделе «резервное копирование» в QNAP-овском «маркетплейсе» более 30 плагинов - резервируйте себе на здоровье.

Горизонтальное и вертикальное масштабирование

QNAP TDS-16489U позволяет подключать до 8 дисковых полок с 12 или 16 отсеками для 3.5-дюймовых дисков (всего - 144 HDD общей емкостью 1152 Тб). Подключение осуществляется по интерфейсам SAS-6Gbps или SAS-12Gbps, для чего в головное устройство придется установить двухпортовую интерфейсную плату QNAP SAS-12G2E.

Так же среди аксессуаров присутствуют 10-гигабитные 2-портовые сетевые карты со слотами SFP+ и портами RJ45, 2-портовая 40-гигабитная сетевая карта со слотами QSFP+ и модули памяти объемом до 64 Гб. Замена процессоров производителем не заявлена.

Балансировка нагрузки между головными устройствами и горизонтальное масштабирование производителем не заявлены.

Гарантия и поддержка

Стандартная гарантия на QNAP TDS-16489U составляет 3 года и осуществляется авторизованными сервисными центрами по всей России. Пакетов расширенной гарантии с фиксированным временем реагирования на данный момент производитель не предлагает.

Лицензии и дополнительные пакеты

Весь рассмотренный функционал СХД обеспечивался встроенными функциями операционной системы QTS 4.3 и плагинами из официального репозитория QNAP и не требуют покупки и активации каких-то лицензий. Функции Tiering и SSD Cache, за которые некоторые производители просят деньги, здесь доступны совершенно бесплатно.

Совместимость со сторонним оборудованием

У компании QNAP есть два списка - белый и черный для жестких дисков и SSD накопителей. Рекомендуем вам перед покупкой устройства и накопителей очень тщательно изучить эти списки. В нашем тестировании должны были участвовать 12-терабайтные винчестеры HGST HE12 с интерфейсом SAS. В списке совместимости QNAP, такие винчестеры с интерфейсом SATA признаны совместимыми, а 6 и 10-терабайтные SAS из той же серии - в черном списке. Наших не было ни там ни там, и они нормально не заработали, вызывая задержки в RAID 5 вплоть до 20 секунд. Пришлось использовать 2-терабайтные WD Red, что конечно обидно.

Так же имейте в виду, что с версии QTS 4.3, СХД QNAP отказалась поддерживать PCI Experss карточки NVMe сторонних производителей - их можно использовать для SSD кэша, но создать на них новые тома не получится. Это какая-то странная политика: то что было совместимо раньше, вдруг перестает работать.

Тестирование

Для тестирования мы использовали тестовый стенд следующей конфигурации:

• Сервер 1
• IBM System x3550
• 2 x Xeon X5355
• 20 GB RAM
• VMWare ESXi 6.0
• RAID 1 2x SAS 146 Gb 15K RPM HDD
• Intel X520-DA2

• Сервер 2
• IBM System x3550
• 2 x Xeon X5450
• 20 GB RAM
• VMWare ESXi 6.0
• RAID 1 2x SAS 146 Gb 15K RPM HDD
• Mellanox ConnectX-2

• Система хранения
• QNAP TDS-16489U-SB3:
• 256 GB RAM
• PNY Quadro 2000
• Aten KN2124VA + KA7169
• HGST SN150 NVMe
• 4x SSD HGST SS200 SAS 400Gb
• 4x HDD SATA WD RE4 7200 RPM 2 Tb

• Софт
• VMWare ESXi 6.0 U1
• Debian 9 Stretch без патчей Intel Meltdown/Spectre
• VDBench 5.04.6

За безопасное и стабильное электричество отвечал источник бесперебойного питания Inelt Monolith III 2000 RT, показавший отличные результаты в нашем сравнительном тестировании ИБП для малого бизнеса. Официальный сайт компании Инэлт - www.ineltups.ru.

Серверы подключались непосредственно к двум хост-адаптерам СХД кабелями типа DirectAttach, Intel XDACBL3M. На тестовых серверах под управлением VMWare ESXi разворачивалось 4 виртуальных машины с гостевыми системами Debian 9 x64, для которых на системе хранения выделялись 4 одинаковых LUN-а, которые в процессе подготовки переносились на performance-слой QTier, представленный 4 SSD дисками HGST SS200, объединенными в RAID 5. Каждая виртуальная машина подключалась по iSCSI к собственному LUN-у, используя 10-гигабитный сетевой порт как аплинк виртуального коммутатора VMKernel Switch. На каждой виртуальной машине был запущен бенчмарк VDBench, который управлялся с выделенного устройства.

Перед запуском основного теста проводится предварительное заполнение пространства LUN-ов в течение 120 минут, чтобы исключить влияние новых чистых HDD и фрагментации данных на скорость. На следующих диаграммах значение задержки приводится для максимальной загрузки тестового стенда.

От машины, у которой декларируется производительность на уровне 2.6 миллиона IOPS Rnd 4K read, в общем-то не ждёшь ничего, кроме того, что она упрётся в возможности тестового стенда, но этого не происходит на некоторых операциях записи. Есть предположения, что это связано с относительно старыми по сегодняшним меркам SAS-контроллерами, используемыми в TDS-16489U. Давайте посмотрим, как это сказывается на паттернах реальных задач.

Паттерны Real World задач

От синтетических тестов перейдем к эмуляции реальных задач. Тестовый пакет VDbench позволяет запускать паттерны, снятые программами I/O трейсинга с реальных задач. Грубо говоря, специальный софт записывает, каким образом приложение, будь то база данных или еще что-либо, работают с файловой системой: процент записи и чтения с разным сочетанием случайных и последовательных операций и разным размером блока записи и чтения. 

Мы использовали паттерны, снятые специалистами компании Pure Storage для четырех кейсов: VSI (Virtual Storage Infrastructure), VDI (Virtual Desktop Infrastructure), SQL и Oracle Database. Тест проводился при 16 тредах для каждой виртуальной машины, что создавало глубину запросов примерно равной 64.

На удивление, СХД выдает большую задержку в паттернах, но значения производительности все же очень высокие.

Цена и класс покупки

QNAP TDS-16489U поставляется под заказ с расчетом цены под конечного заказчика. По нашей информации, цена на устройство без дисков находится в пределах 20-25 тысяч долларов. Поскольку у нас нет точного значения стоимости, экономические показатели рассчитать не представляется возможным.

Выводы

QNAP TDS-16489U относится уже не к классу систем хранения данных, а к готовому устройству типа "сервер+СХД" в одном устройстве, которое вы можете поставить в среду обработки Big Data, и настроить работу основных приложений локально. Это дает возможность не только существенно экономить на сетевой инфраструктуре ЦОДа, но и облегчить управление и обновление софта.

Технология QTier, которая для заказчика доступна бесплатно - это действительно тот момент, на который стоит ориентироваться при покупке, и по возможности выбирать SSD с таким объемом, чтобы на них целиком вместились самые востребованные LUN-ы, потому что лучше всего этот алгоритм работает, когда ты создаешь новые логические нарезки на QTier-массиве и они сразу помещаются на Performance-слой. Тестирование современными SSD от Hitachi показало, что дисковые контроллеры TDS-16489U не раскрывают весь потенциал современных твердотельных накопителей, поэтому при конфигурации в заказ, стоит отдавать предпочтение объему SSD, а не их производительности.

В области виртуализации всяческих похвал достойна ориентация на приложения для машинного обучения и поддержку GPU, а так же работа над собственным сервером объектного хранения, что в принципе, уже сегодня позволяет полностью отказываться от стороннего облака, доступ к которому, как показывает практика, могут перекрыть в любой момент.

И, конечно стоит отметить, что и Tiering, и виртуализация, и проброс GPU в гостевую операционную систему, и даже SSD кэширование - это часть общей концепции программного обеспечения QTS, а значит в?