Seagate Exos 10E2400 - тестируем гибридный SFF диск расширенной методикой

Многие аналитики считали, что 2.5-дюймовые жёсткие диски в перспективе вообще должны были исчезнуть, так как в корпоративном сегменте им не нашлось бы места между объёмными 3.5-дюймовыми дисками и сверхбыстрыми твердотельными накопителями разного типа (NVMe, SSD). Но если внимательно изучить модельный ряд той же SuperMicro, то видно что больше половины моделей стоечных серверов имеют 2.5-дюймовые слоты для HDD, а платформы для GPU-вычислений вообще поставляются только с 2.5-дюймовыми отсеками, занимающими меньше места. На данном этапе прогнозы аналитиков не оправдались - у заказчиков сохраняется спрос на большой объём именно локальных данных на сервере, для чего нужны накопители большого объёма.

В прошлом году компания Seagate провела ребрендинг своих жёстких дисков, объединив и корпоративные модели объединены в серию Exos, включающую и 3.5-дюймовые и 2.5-дюймовые HDD с разным объёмом и различной скоростью вращения шпинделя. Рассматриваемый нами 2.4-терабайтный 2.5-дюймовый жесткий диск Exos E102400 (P/N ST2400MM0129) ранее назывался Enterprise Performance 10K v9, но смена имени не отразилась ни на технических характеристиках ни даже на прошивке, даже номер SKU остался неизменным. Как можно понять из прежнего названия, мы имеем дело с девятым поколением накопителей, из которых первые шесть относились к серии Savvio 10K-10K.6, седьмое и восьмое - к Enterprise Performance 10K, а девятое - и к Enterprise Performance 10k и к Exos. Начиная с восьмого поколения, в эти диски был добавлен NAND-кэш чтения (технология TurboBoost), поэтому правильнее называть данные накопители гибридными.

Ключевые особенности Exos 10e2400 (Enterprise Performance 10k v9)

• Объем - 2.4 Тб
• Интерфейс - SAS-12 
• Нативная поддержка 4K сектора
• Частота вращения шпинделя - 10500 RPM
• Типичное время доступа - 2.9 мс
• Буфер - 256 Мб
• NVC-кэш - 8 Мб
• Флэш-буфер чтения - 16 Гб
• Типоразмер - 2.5 дюйма
• 4 пластины, 8 головок
• Тип записи - PMR

Отличительные особенности Exos 10E2400

Одной из отличительных особенностей 9-го поколения дисков серии 10K является поддержка форматов 512E (Advanced Format) и 4Kn. На физическом уровне объём сектора составляет 4 Кб, но по умолчанию диск презентует операционной системе сектор объёмом 512 байт за счёт простой эмуляции. На сегодняшний день не каждая операционная система и не каждая программа поддерживает 4-килобайтный логический сектор. Например, даже в VMware ESXi поддержка 4-килобайтных блоков появилась только в версии 6.7, вышедшей в середине 2018 года, и всё равно 4-килобайтные диски не могут пробрасываться в гостевую ОС через RDM. Так вот, когда вы убедитесь, что все ваши программы нормально работают с 4-килобайтными секторами, вам нужно будет просто переформатировать жёсткий диск под новый размер блока. Seagate обещает, что если программа разбиения на разделы поддерживает функцию Fast Format, то конвертация займёт считанные секунды.

Если же вы устанавливаете винчестер в СХД, то система хранения сама должна знать о поддержке Fast Format, то есть данные диски должны быть в списке совместимости. Ну и конечно же, по умолчанию диски поставляются с размером сектора 512 Кб в режиме эмуляции (режим 512E).

NVC-кэш объёмом 8 Мб

Начиная с серии Seagate Enterprise Performance v8, жёсткие диски имеют защиту небольшой области буфера записи от отключения питания. Это небольшой NVC-кэш (non-volatile cache) объёмом 8 Мб, состоящий из eMLC-ячеек памяти, как в корпоративных SSD. В случае если вы подключаете винчестер с параметром Write Cache Enable = 0 (WCE=0), у вас всё равно используется буферизация записи, но объём кэша ограничивается указанными 8 мегабайтами. При внезапном отключении питания используется остаточная энергия вращения пластин, моторчик переключается в режим генератора и подпитывает электронику HDD для записи буфера в NVC-область, где данные могут храниться в течение 90 дней, а при включении диска автоматически содержимое NVC-кэша переносится на магнитный носитель.

Если диск работает с параметром WCE=1, объём буфера не ограничен 8 мегабайтами, и можно ожидать более высокой производительности записи, хотя далеко не каждый тест покажет эту разницу. Фактически, NVC-кэш решает извечную проблему отсутствия буферизации записи на уровне накопителя в системах хранения данных, которые почти всегда используют SAS-контроллер с энергонезависимой памятью. Теперь можно сказать, что кэширование записи в дисках Exos 10E2400 используется всегда, просто при WCE=1 буфер может превышать 8 Мб, а при WCE=0 - нет. Давайте посмотрим, имеет ли смысл вообще говорить о буферизации записи в реальных задачах.

Наши тесты показывают, что буферизация записи даёт сколько-нибудь заметное увеличение производительности только в системах видеонаблюдения, при последовательной многопоточной записи, а в старом диске Savvio 10K.6 вообще приводит к снижению показателей. Не думаю, что кто-то в здравом уме станет использовать такой дорогой диск для VMS-софта, поэтому с нашей точки зрения, про NVC-кэш и встроенную буферизацию записи можно забыть и в дальнейших тестах не использовать.

Технология TurboBoost

В каждом диске Exos 7E2400 имеется 16-гигабайтный NAND-кэш на чипах eMLC, используемый для ускорения чтения горячих данных. Эта технология выглядит достаточно просто и понятно: самые часто запрашиваемые в режиме случайного чтения блоки контроллер помещает в NAND-область, откуда данные могут считываться с минимальной задержкой по сравнению с чтением с магнитных пластин. Важно понимать, что TurboBoost не используется для операций записи и последовательного чтения, но в RAID-массивах объём кэша будет суммироваться, так как каждый диск читает что-то своё. Естественно, эта технология полностью аппаратная, и никаких драйверов или софта для её работы не нужно.

Здесь надо четко понимать, что в современном мире виртуализации и Big Data, 16 Гб - это капля в море, и современные СХД и серверы прекрасно умеют кэшировать и чтение, и запись - и на SSD, и в ОЗУ. Конечно, в массивах на 30 дисков, общий объём области TurboBoost уже сопоставим с одним дешёвеньким SSD на 480 Гб, но всё равно с практической точки зрения - не впечатляет. Однако, подумайте, а какой объём данных в общем распределении действительно является «горячим»? В типичных базах данных - около 10%, или даже меньше, так что практическая значимость TurboBoost целиком и полностью зависит от топологии инфраструктуры и характера запросов.

Конечно же если у вас используются современные СХД типа QNAP TDS-16489U, в которых многослойное хранение и SSD кэш предлагаются бесплатно, то TurboBoost от Seagate смысла не имеет. А вот если СХД не поддерживает Tiering и SSD кэш, или вы устанавливаете винчестеры в машину под Windows Server или VMware ESXi, то здесь конечно TurboBoost может стать единственной возможностью вынести часто запрашиваемые данные на NAND память, причём совершенно прозрачно для операционки, без дополнительных лицензий, программ и ключей активации.

Чтобы протестировать Turbo Boost, мы ограничили размер тестовой области до значений в 16, 32 и 96 Гб.

Результаты случайного доступа впечатляют. Вот вам и недостижимые для обычных жёстких дисков скорости, но давайте увеличим объём тестовой области до 32 Гб и посмотрим, что будет. Не забываем в перерыве между тестами проводить забивку кэша 3-часовым случайным чтением области в 500 Гб.

Картина меняется, и появляются ярко выраженные пики и провалы. Снова забиваем кэш мусором и разворачиваем тест в 96-гигабайтной области.

Как и следовало ожидать, с ростом объёма горячих данных, эффект от TurboBoost сходит на нет. Тут есть интересный момент: во всех дисках Enterprise Performance 10K v9 объём NAND-области одинаковый, так что горячие данные можно переносить на Exos 10E2400 любого размера, учитывая суммарный объём кэша TurboBoost в массиве.

Энергопотребление

Винчестеры серии Exos 10E2400 имеют 4 градации энергопотребления. В зависимости от загрузки, накопитель может находиться в одном из 4 состояний:

• Головки над диском, энергопотребление контроллера снижено (4.9 Вт, время перехода в состояние - 100 мс)
• Головки запаркованы, диски вращаются с максимальной скоростью (3.78 Вт)
• Головки запаркованы, диски вращаются с пониженной скоростью (2.13 Вт)
• Головки запаркованы, мотор остановлен (1.24 Вт)

При операциях чтения и записи, энергопотребление диска варьируется от 6.98 до 8.75 Вт.

Надёжность и температурные показатели

Жёсткие диски Seagate Exos 10E2400 рассчитаны на круглосуточную работу при температуре окружающего воздуха ниже 26 градусов Цельсия. Заявленный ресурс HDD составляет 2 миллиона часов (228 лет) и не менее 600 000 операций парковки головок. В документации к диску сказано, что показатели надёжности рассчитываются для температуры самого HDD ниже 50 градусов Цельсия, то есть для Exos 10E2400, 49 градусов и ниже - это норма, а предельный нагрев, судя по SMART-у, составляет 60 градусов Цельсия.

Для некоторых своих винчестеров, например для серии Ironwolf Pro, производитель указывает нормальную нагрузку в терабайтах в год, включающую операции чтения и записи. Для серии Enterprise Performance HDD такого параметра нет, и особенно интересно, как будет стареть NAND-часть винчестера. Компания Seagate всячески обходит стороной вопрос ресурса чипа, используемого для технологии TurboBoost, лишь упоминая что память eMLC работает в таком режиме, что её ресурс кратно превышает показатели MLC чипов в обычных SSD-дисках и рассчитан на весь срок эксплуатации диска.

Как бы то ни было, на винчестеры серии Exos 10E2400 предоставляется 5-летняя гарантия без каких-либо ограничений по нагрузке.

Тестирование

Как вы убедились, результаты скорости гибридного винчестера будут сильно зависеть от размера активной области, в которой происходит чтение. В наших основных тестах мы используем весь объём диска, чтобы показать общую производительность Exos 7E2400. Начнём с традиционного теста случайного доступа.

Посмотрим, как изменяется производительность в зависимости от числа потоков.

Интересно, как новый диск значительно проигрывает старому по числу операций ввода/вывода, но на таком количестве потоков значение задержки времени доступа имеет более важное значение, смотрим диаграммы.

В операциях случайной записи Exos 7E2400 лучше сбалансирован по соотношению IOPS/ms. Проверим, как меняется производительность случайного доступа в зависимости от размера транзакции. 

Огромный спад производительности записи при росте транзакции выше 4Кб можно объяснить именно собственным 4-килобайтным размером сектора диска. Это преимущество держится на транзакциях величиной до 64 Кб, а затем сходит на нет. В операциях случайного чтения, в общем-то, против физики не пойдёшь: больший объём диска даёт преимущество только в области выше 512 Кб, то есть в области работы VMware ESXi, которая по умолчанию размечает файловую систему VMFS6 с размером сектора 1 Мб.

Посмотрим на последовательный доступ.

Очень хорошо, но куда лучше посмотреть, как последовательный и случайный доступ сочетаются в реальных задачах.

Операции случайной записи - слабая сторона рассматриваемого винчестера, поэтому по всем трём параметрам (скорость, пропускная способность, задержка) он проигрывает своему древнему коллеге.

Как я уже упоминал выше по тексту, никто в здравом уме не будет покупать 2.4-терабайтные жёсткие диски для нужд видеонаблюдения, но в крупной инсталляции часть массива может быть выделена для сохранения VMS данных и первоначального анализа записей средствами ИИ. Мы увидели, что в тесте Macroscop новинка даёт примерно 88 мегабайт в секунду, что соответствует 100 потокам с 1080p камер. Проверим задержку при различном количестве камер.

Как видно по диаграмме, в районе 100 камер, Exos 10E2400 даёт примерно двукратное превосходство по задержке доступа. Говоря простым языком, там где на старых жёстких дисках VMS-софт начнёт ругаться на ошибку доступа к дисковой системе, новые жёсткие диски будут работать гладко.

Плотность ёмкости и цена вопроса

В стандартных корпусах высотой 2U, рассчитанных на 24 накопителя, диски Exos 7E2400 позволяют добиться плотности 28.8 Тб raw-ёмкости на 1 юнит. В том же JBOD-корпусе на 12 LFF дисков, 3.5-дюймовый Exos X12 объёмом 12 Тб даст в три раза большую плотность - 72 Тб на 1 юнит. Один жёсткий диск Exos 7E2400 (p/n ST2400MM0129) имеет стоимость 460$, а 12-терабайтный 3.5-дюймовый Exos X12 ST12000NM0027 - 450$, так что при прямом сравнении разница в цене за терабайт просто вопиющая, но давайте посмотрим, как изменится ситуация в массиве, для чего возьмём 2U полку и заполним её жесткими дисками.

Для 24-дисковой SFF полки у нас будет следующая конфигурация: RAID 6 на 22 винчестера + 2 диска горячей подмены. Это даст нам 48 Тб raw-емкости на магнитном носителе плюс 352 Гб кэша в SSD области общей стоимостью 11040$.

В 16-дисковую LFF полку для того же объёма нам нужно установить 8 винчестеров Exos X12, из которых 6 будут в RAID 6 и 2 в Hot Spare. Для добавления NAND-кэша на чтение, нам потребуется установить SAS SSD, такой как Seagate Nytro ST400FM0233 ёмкостью 400 Гб и ценой 743$. Стоимость данного решения составит 4342$.

C точки зрения объёма 2.5-дюймовые гибридные 10K жёсткие диски в 2.5 раза проигрывают конфигурациям из 3.5-дюймовых HDD и SSD.

Выводы

Помимо объёма, который неуклонно увеличивается с каждым годом, нам предлагают и новые технологии, которые потихоньку проникают в жёсткие диски. По результатам тестирования Exos 10E2400, можно сделать следующие выводы: диск показывает великолепные для HDD результаты случайного чтения с размером транзакции 4K и случайной записи с размером транзакции 1Мб. Но паттерны реальных задач не подтверждают данное предположение, и единственное серьёзное преимущество по скорости перед своим далёким предком Exos 10E2400 показал в импорте 4K видео.

Однако всё меняется, если меняется характер нагрузки. В реальной жизни едва ли вы будете держать на одном винчестере базу объёмом 2 Тб, а как только число дисков в массиве увеличится, а часто запрашиваемые данные будут проиндексированы и закэшированы в NAND-области, в дело вступит TurboBost, что может дать увеличение скорости в 1.5-2 раза в смешанных операциях и в 4-5 раз в операциях чтения, на любой операционной системе и с любым контроллером.

Так же стоит обратить внимание, что уже на 8 дисках в RAID 10 можно достичь скорости в 1 Гб/с, что позволит работать с 4K видео без сжатия в реальном времени на объёме в 9.6 Тб. В машинах, работающих с ИИ-приложениями по анализу видео и в медиа-студиях это один из тех случаев, где можно собрать сравнительно недорогой массив с сумасшедшей линейной скоростью.

Есть ещё один момент, на который я не могу не обратить внимания: в серии Enterprise Performance 10K v8 диски объёмом 0.9-1.8 Тб имели 32 Гб NAND кэша, а в 10K V9 почему-то кэш сократили до 16 Гб, поэтому при выборе моделей объёмом от 900 до 1.8 Тб под транзакционную нагрузку, имеет смысл смотреть на предыдущее, восьмое поколение.

Михаил Дегтярёв (aka LIKE OFF)
08/11.2018