Хранение и резервирование виртуальных машин на QNAP NAS

В 2019 году мировой рынок ПО для резервного копирования и восстановления данных, по подсчётам компании Allied Market Research, составил 9.3 млрд. $. Статья бэкапов - это огромный бюджет для любой современной IT-компании, и каждый год развитие технологий ставит перед IT-директорами новые требования, повышая отчисления за резервирование данных. Сегодня мы видим два новых направления IT-индустрии: развитие периферийных вычислений и переход персонала на работу на дому в связи с тем, что после эпидемии многие компании поняли, что сотрудникам не обязательно приходить в офис.

Вообще, нам только предстоит осознать, как интегрируются два этих направления: с одной стороны, поставить серверы прямо на буровой вышке для обработки Big Data, а с другой - децентрализовать весь персонал, выделив им VPN доступ в корпоративную сеть, а лучше - виртуалку с доступом по RDP и настроенными политиками безопасности. Осталось только понять, какое решение возьмёт на себя сразу всю работу с данными: гиперконвергентная инфраструктура в данном случае неоправданно дорога и в покупке и в содержании, неконсолидированные хранилища данных - ненадёжно, а NAS в зависимости от "калибра", может выступать не только тем местом, на которое сливаются "сырые данные" телеметрии с мириад датчиков IoT, но и сам может стать платформой для виртуализации. На этих устройствах вы можете запускать мощные виртуальные машины, используя удобный Web-интерфейс. Если потребуется установить вычислительные серверы - QNAP может работать для них в качестве iSCSI / NFS хранилища. Если на объекте используется видеонаблюдение, QNAP может выполнять роль видеорегистратора, как со встроенным софтом, так и с любым сторонним (Macroscop, ZoneMinder), запущенным в виртуальной машине.

Используя 16-терабайтные жёсткие диски, в одном только в головном устройстве можно получить 256 Тбайт RAW-ёмкости (а это - 240 Тбайт в RAID 5 или 214 Тбайт в RAID 6), чего с лихвой хватит на все нужды удалённого офиса или целиком небольшого предприятия. И даже в разрезе споров о том, что лучше - консолидированная СХД или гиперконвергентная инфраструктура с программным хранилищем, QNAP ни с кем не спорит, а предлагает свой взгляд на HCI: "пока вы спорите, как организовать хранилище данных в вашей инфраструктуре, подумайте может действительно лучше саму программную инфраструктуру перенести на хранилище данных?". Конечно, кто-то посмеётся над идеей запуска крупных баз данных Oracle на NAS-ах, а кто-то посчитает реальную потребляемую мощность виртуальных машин, цену за Терабайт данных и поймёт, что для малых и средних компаний такая идеология "использовать NAS для всего" выливается в огромную экономию. И те, кто вчера выкидывал серверы, перемещая ресурсы в NAS, сегодня отменяют подписку на софт, чьи функции QNAP выполняет, что называется, "из коробки". И вот пришло время, когда QNAP замахнулся на святое: на резервирование виртуальных машин.

Недавно компания QNAP представила собственное программное средство для сохранения и восстановления бэкапов виртуальных машин с серверов VMware ESXi и Microsoft Hyper-V. Без остановки, с возможностью отслеживания измененных блоков на виртуальном диске, с возможностью согласования снапшота с приложением и современным Web-интерфейсом. Это решение призвано не только сэкономить компании средства, но и консолидировать создание и хранение резервных копий в одном устройстве, а как оно работает, мы сейчас и проверим.

Резервирование без остановки

В основе всех современных средств резервного копирования виртуальных машин лежит механизм создания снэпшотов (мгновенных снимков) состояния ВМ с последующим сохранением образа виртуального диска на сторонний носитель. С практической точки зрения, гипервизор делает всё сам через API: создаёт снэпшот и отправляет данные устройству резервного копирования, так что задача последнего - это отправка команд по расписанию и организация всего, что связано с хранением, резервированием и уплотнением резервных копий.

Сам процесс создания снэпшотов прерывает работу виртуальной машины на 1-2 секунды, и является нативным для виртуализации. Поскольку он полностью контролируется гипервизором, то его никак не оптимизируешь и не улучшишь. Все программные решения, копирующие виртуалки «на лету», будь то платные или бесплатные, используют один и тот же API.

У VMware есть технология отслеживания измененных блоков на жёстких дисках, и вот как она работает: обычный виртуальный диск представляет собой файл, чей размер может составлять и 100 и 200 Гб, а изменяться на диске могут 1-2 Гб в сутки. Система резервного копирования не может получить доступ к содержимому виртуального жёсткого диска и сделать инкрементальный пофайловый бэкап, поэтому гипервизор берёт эту задачу на себя с помощью технологии Changed Block Tracking (CBT). После создания снэпшота, в хранилище виртуальных машин появляется файл xxx-ctk.vmd фиксированного размера для каждого виртуального диска vmdk (на 10 ГБ диска приходится где-то 500 КБ ctk-файла): в этом файле содержится список блоков, которые отслеживаются для vmdk с их актуальным состоянием с определенного момента времени, зафиксированном в ChangedId (изменились или нет). При следующем резервном копировании QNAP Hyper Data Protector скопирует только измененные данные, радикально сокращая временные рамки резервирования (читайте нашу статью 5 показателей эффективности корпоративного бэкапа).

Обращаем ваше внимание, что по умолчанию технология CBT не активирована: включить её вручную можно следуя инструкциям VMware и Microsoft, или же если дать QNAP-у соответствующие права доступа, он сделает это за вас.

Вторая ступень сохранения консистенции со стороны QNAP - это использование технологий согласования резервирования с приложениями. Она нужна для того, чтобы QNAP мог копировать файлы, с которыми в настоящее время ведёт работу приложение в том состоянии, в котором они используются приложением. Во время создания снимка виртуальной машины происходит кратковременное «замораживание» файловой системы гостевой ОС со сбросом кэшей, благодаря чему гарантируется консистентность данных. Для поддержки этих технологий требуется чтобы в гостевых операционных системах были установлены новейшие версии VM Tools от VMWare или Microsoft. Мы рекомендуем всегда включать эту опцию.

Но вот чего не хватает - это непосредственно взаимодействия QNAP Hyper Data Protector и программ внутри гостевой операционной системы. Было бы очень кстати, если бы QNAP перед процессом резервирования мог дать команду Flush Tables базе данных или сохранить на диск файл, который открыт в редакторе. Такие решения есть, и я надеюсь, что и тут они появятся.

NAS на платформе AMD

QNAP использует в своей основной линейке NAS-ов файловую систему EXT4, зарекомендовавшую себя как самую надёжную (на одном уровне с NTFS), но в то же время не имеющую модных функций типа Copy-On-Write. В то же время, в современных корпоративных NAS-ах компания начала использовать процессоры AMD, что я полностью приветствую. И не надо думать, что в Enterprise-сектор разработчик ставит десктопные CPU: в нашем тестовом QNAP TS-2477XU-RP установлен мощный 8-ядерный процессор AMD Ryzen 7 Pro 2700 с частотой от 3.2 до 4.1 ГГц. Этот процессор практически не встречался в розничной продаже, и поскольку он не подвержен уязвимостям, связанным со спекулятивным исполнением команд...:

• ...вам придётся реже перезагружать NAS для установки патчей безопасности, которые на платформы Intel выходят с печальной регулярностью.
• ...в вашем NAS-е не установлены программные ограничения, которые начисто убивают производительность случайного доступа.
• ...вам не страшны атаки на повышение уровня доступа виртуальных машин, так что вы, как сисадмин, можете просто спать спокойно.
• ...и при таком прекрасном процессоре дедупликация работает «на лету», во время процесса передачи данных на NAS.

А ещё у процессоров Ryzen Pro есть умопомрачительная возможность шифрования оперативной памяти на лету. Для тех пользователей, кто во главу угла ставит заботу о безопасности, это означает, что злоумышленнику бесполезно пытаться осуществить Cold Boot атаку с целью получения доступа к кэшу и снимку памяти устройства. Очень подробно эта технология рассмотрена в нашей статье "Изучаем шифрование памяти в процессорах AMD" (она относится к процессорам AMD EPYC, но в Ryzen Pro всё то же самое). Кстати, раз уж речь зашла о шифровании, то у QNAP есть полезнейшая возможность сохранять копии виртуалок в зашифрованных папках, и на момент подготовки обзора такая функция у конкурентов отсутствовала, а переоценить её важность невозможно.

Так что ваши резервные копии могут быть защищены от посторонних глаз на случай, если например, вам придётся обращаться в гарантийный ремонт и сдавать устройство вместе с дисками. Кстати, о дисках: рассматриваемый нами QNAP TS-2477XU-RP имеет 24 отсека для 3.5"/2.5" HDD/SSD, но выделенных слотов для NVMe не предусмотрено. В данном случае это не проблема, потому что у QNAP есть очень интересные адаптеры, совмещающие на одной плате и 10-гигабитный 10GBase-T порт и два слота под SATA M.2 карты, а есть и выделенные переходники под NVME SSD, но уже без сетевого порта. Мы рассказывали об этих платах расширения в наших обзорах QNAP TS-453BT3 и QNAP TS-2483XU-RP.

SSD накопители можно использовать не только для кэша записи/чтения, но и для организации многоуровневого хранилища (Tiering), а эта возможность является базовой во всех устройствах QNAP, и доступна без покупки дополнительных лицензий. Если вы покупаете NAS исключительно под резервное копирование, то SSD кэш или многоуровневое хранение едва ли вам что-то дадут, но если вы так же используете консолидированную СХД для ваших сервисов и приложений, или запускаете ВМ на самом NAS-е (а быстрый процессор Ryzen 5 Pro к этому располагает), то конечно плату с M.2 SSD лучше установить (читайте наше тестирование о том, как работает виртуализация и Tier-инг в NAS-ах QNAP).

Вырвавшись из-под гнёта Intel, компания QNAP получила полную свободу выбора сетевых интерфейсов для 10-гигабитных сетей, и конечно же выбрала лучшее, что имеется сегодня на рынке 10-гигабитных плат: контроллер Mellanox Connect-X 4 LX с поддержкой RDMA, iSER, RoCeV1/V2 и аппаратной разгрузкой наибольшего числа протоколов, доступных сегодня на рынке. Эта карта умеет разгужать трафик виртуальных машин, инкапсулированный в VXLAN и NVGRE. Так же с недавнего времени в ассортименте QNAP появились двухпортовые интерфейсные платы Fibre Channel на 16 и 32 Гбит/с соответственно, которые вы можете докупить самостоятельно.

Вообще, мощный процессор здесь является необходимостью, поскольку для сокращения размера хранящихся резервных копий виртуалок доступны такие ресурсоемкие функции, как сжатие и дедупликация. В случае же если виртуальные машины у вас используют собственное шифрование диска на уровне операционной системы (например Bitlocker или Veracrypt), эти функции уплотнения резервных копий вам не потребуются, и их можно отключать. И чем подкупает QNAP, так это возможностью выбирать данные опции индивидуально для каждой папки сохранения бэкапов, что удобно: в одну папку копируем однообразные незашифрованные виртуалки, в другую - те что используют Bitlocker или Veracrypt, таким образом снижая нагрузку на ЦП, можно сохранять временные рамки резервирования в пределах допустимых в вашей организации.

Подключение к VMWare vSphere

Сама QNAP рекомендует подключать NAS не к самому гипервизору, а к среде управления vCenter: оно и понятно, ведь хосты могут добавляться или исчезать из инфраструктуры, а виртуальные машины - бесконечно кочевать между серверами и ресурсами хранения. Единожды подключив NAS к VCenter, вы избежите в дальнейшем мороки с перенастройкой серверов: все виртуалки становятся доступны вам сразу. Кстати, при запуске резервирования становится видно, что процесс создания снэпшотов контролируется самим vCenter, а QNAP Hyper Data Backup просто общается с этой платформой через API, и непосредственно в работу виртуалок не вмешивается.

Давайте посмотрим, как работает резервирование в разных сценариях использования виртуалок. Для тестирования мы использовали следующую инфраструктуру:

Восстановление виртуальной машины допускается только на существующий хост в существующее хранилище. То есть, не смотря на то, что QNAP TS-2477XU сам является гипервизором с мощной системой виртуализации, восстанавливать ВМ на себе он не может, но что ещё печальнее - не может быстренько подключить новый том по NFS в качестве «стораджа», чтобы не передавать по сети весь объём виртуалки. И причина тому есть: процесс восстановления идёт через импорт шаблона OVF. Такое решение имеет большой плюс - совместимость с разными версиями гипервизоров, а минус один - тормознутость процесса, так что на восстановление 40-гигабайтной ВМ может уйти час, а то и больше.

В принципе, если окно резервирования позволяет, вы можете восстанавливаться в тестовые гипервизоры для проверки работоспособности резервного копирования, и мы рекомендуем периодически пользоваться этой возможностью, потому что иного метода проверки целостности резервных копий, в природе не существует.

Резервирование Hyper-V

При резервировании Microsoft Windows Server, достаточно подключиться к любой машине, на которой в качестве роли выбрана виртуализация Hyper-V. В нашем случае при использовании на виртуалках гостевую ОС Windows 10, бэкап завершался только при отключенной виртуальной машине. То есть, такого прозрачного и незаметного резервирования, как под VMware ESXi, не было, но в остальном процесс полностью идентичен.

Восстановление в сервер Hyper-V занимает чуть меньше времени, что очевидно связано с форматом хранимых резервных копий. В целом же, процессы по своей сути не отличаются, и если вы резервируете виртуалки ESXi и Microsoft, то дедупликация работает для обеих типов виртуальных машин.

Ценовые преимущества и выводы

При выборе решения для резервного копирования, IT-специалисты, как правило, приценяются к Veeam и Nakivo. Ценовая политика первых зависит от числа виртуальных машин в вашей сети, у вторых оплата идёт за процессорный сокет, но ограничивается числом сокетов на организацию. В среднем, при защите 52 виртуальных машин на 2 сокетах вы заплатите в год 3600$ при использовании Veeam и 400$ за Nakivo, ну и разумеется вам придётся приобрести выделенное хранилище данных, да хоть тот же самый QNAP TS-2477XU-RP, который мы использовали для тестирования.

Вообще, разработчики QNAP на протяжении многих лет создавали различные решения для резервного копирования. Сегодня NAS работает и с виртуальными машинами, и с облаками, но каждая такая задача вынесена в отдельное приложение. Я думаю, было бы логично для разработчиков объединить всё, что связано с резервированием в одно-единственное приложение, чтобы использовать общую дедупликацию для всех защищаемых объектов, контролировать окно для резервного копирования и проводить тестирование существующих резервных копий.

Что касается оборудования, то как видите, даже базовая комплектация современных корпоративных NAS-ов QNAP представляет собой мощный 8-ядерный процессор AMD плюс два 10-гигабитных сетевых порта на сетевых контроллерах Mellanox, а значит без дополнительных затрат вы можете вынести интерфейсы резервного копирования в отдельную сеть, не опасаясь, что в периоды дневной активности процесс бэкапа приведёт к тормозам сети или процессора NAS-а, а значит вы можете расширять окно резервирования, а освободившееся время отводить на другие плановые мероприятия, снижая таким образом затраты на обслуживание вашей инфраструктуры.

Используя QNAP Hyper Data Protector вместо стороннего программного обеспечения, вы можете на горизонте 3 лет окупить вложения в NAS в том случае, если его использование не предполагалось, или же снизить затраты на цифровую инфраструктуру.

Михаил Дегтярёв (aka LIKE OFF)
28/09.2020