Обзор серверной материнской платы ASRock Rack EPYCD8-2T для AMD EPYC 7000
Платформа AMD EPYC 7000 хороша тем, что в 1-сокетном формате вам доступно большое количество каналов PCI Express. Для сборки сервера на несколько GPU это - серьёзное преимущество, ведь 1-процессорная компоновка позволяет собирать компактные машины в форм-факторе ATX.
Рассматриваемая материнская плата от компании ASRock Rack рассчитана именно на такое применение, и в отличии от аналогов, данная модель уже имеет на боту пару 10-гигабитных сетевых портов, то есть вам не потребуется тратиться на интерконнекты.
Память и слоты расширения
Платформа имеет 8 слотов DIMM, чтобы вы могли насладиться производительностью 8-канального контроллера памяти процессора, но это не главный плюс EPYCD8-2T. Здесь вам доступно 4 слота PCI Express 3.0 16x, плюс 3 слота PCI Express 3.0 8x, а ещё 2 слота NVME M.2. Стандартная ATX-компоновка позволяет использовать любое количество слотов расширения, не опасаясь, что видеокарта или какая-либо плата расширения упрётся в слоты памяти или кабели.
Конечно, слоты расширения располагаются не совсем стандартно: самый верхний слот располагается ближе к слоту памяти, чем это обычно допустимо, так что в каких-то случаях вам может быть неудобно открывать фиксирующую защёлку, если занят ближайший модуль DIMM. Причём, это не единственная сложность сборки.
Вот например напротив пятого слота PCI Express установлены три гнезда для подключения системных вентиляторов, и длинная видеокарта их запросто перекроет.
Система охлаждения
Нет, конечно на данной материнской плате нет недостатка в коннекторах для вентиляторов: всего их 7 (1 CPU / 4 Front / 2 Rear), из которых 4 расположены возле VRM процессора, по соседству с OCULink портами. Да и порты SATA развёрнуты параллельно плате, чтобы не мешать вашим видеокартам.
Каждый коннектор для вентилятора имеет светодиодную индикацию поломки, чтобы вам было легче увидеть, какой разъём отсоединять, если датчик зафиксировал остановку крыльчатки. Для вентиляторов доступна автоматическая регулировка скорости в зависимости от температуры процессора. Всего материнская плата отслеживает три показателя температуры: CPU, Motherboard, MB Card Side и выносной датчик TR1 (в комплект не входит). Разумеется, система мониторинга может считывать показания температуры с контроллеров модулей RDIMM.
Подсистема хранения
В плане системы хранения в ASRock Rack EPYCD8-2T - полное изобилие. Во-первых, здесь реализованы 8 портов SATA через 2 разъёма Mini-SAS для хранения холодных данных и данных по типу data-at-rest. Есть ещё и девятый SATA порт для SATA-DOM флешки, на которую можно установить операционку. Обратите внимание, что RAID-функций не заявлено, так что объединять диски в массивы придётся программно.
Во-вторых, для PCIE SSD вам даны два OCULink порта, которые скорее всего останутся не у дел, ведь здесь имеются два порта M.2 с поддержкой носителей размером до 22110. Обратите внимание, что использование PCI Express SSD никак не влияет на ширину шины слотов расширения PCI Express: в процессорах EPYC 7000 имеется 128 линий PCI Express 3.0, и здесь их можно не экономить.
Сеть и периферия
Мы рассматриваем топовую версию этой материнки, имеющую 2 порта 10G Base-T на базе сетевого контроллера Intel X550. Да, ASRock Rack EPYCD8-2T - это тот самый случай, когда встретившись на одной плате, Intel и AMD не конфликтуют, а дополняют друг друга.
Сетевой контроллер охлаждается каким-то непомерно большим радиатором, явно рассчитанным на то, что в обычной жизни он будет закрыт сверху несколькими горячими видеокартами. Наличие быстрого сетевого интерфейса - огромный плюс для этой материнки, потому что вы просто не тратите деньги и PCI слот на дополнительный контроллер.
Однако, EPYCD8-2T - это серверная плата, без намёка на использование в рабочих станциях, так что здесь всего два порта USB 3.0 (плюс ещё одна колодка для подключения двух фронтальных USB 3.0 портов), полное отсутствие аудио тракта и никаких излишеств вроде bluetooth. Ох как жаль, ведь аналогичной платы для графических станций у компании нет.
Схема питания и элементная база
Материнская плата EPYCD8-2T имеет 8-фазовую схему питания процессора с фильтрами на базе твердотельных конденсаторов. Здесь фильтрация по питанию установлена даже на PCI Express слотах, хотя далеко не каждый вендор проявляет такую излишнюю заботу о питании. Но вообще, на материнке распаяно только 2 сложных чипа: сетевой контроллер и процессор удалённого управления. При отсутствии южного плата получается менее нагруженной с точки зрения температуры и питания, и проще говоря, ломаться тут нечему, она - вечная.
Давайте посчитаем, как распределяются каналы PCI Express 3.0 в этой плате:
- Слоты PCI Express x16: 64 канала
- Слоты PCI Express x8: 24 канала
- Слоты M.2 PCIe 3.0 x4: 8 каналов
- Сетевая карта Intel X550: 8 каналов
- 8 портов SATA: 8 каналов
- 2 порта Oculink x4: 2 канала
- чип Aspeed AST2500: 1 канал
Итого: 115
Как видите, запас по линиям PCI Express ещё даже и остался, ведь из 128 возможных линий мы насчитали занятыми лишь 115, так что вот почему люди выбирают AMD EPYC: вы можете использовать все устройства PCI Express на полной скорости.
Удаленное управление
Для удалённого управления используется чип ASPeed AST2500 c выделенным 1-гигабитным сетевым портом, который используется только для функций BMC и ничего большего. Хочется сказать, что AST2500 - лучшее решение на сегодняшний день, имеющее современный HTML-5 интерфейс, оптимизированный для планшетов и смартфонов. Вам доступно быстрое и удобное консольное управление, подключение удалённого диска для инсталляции операционной системы как с компьютера, так и через NAS. Имеется очень удобный мониторинг температур и возможность записи POST-тестов.
По сравнению с системами управления Dell iDRAC, HPE iLO и Lenovo XClarity, здесь вы не платите за удалённое управление, а получаете практически те же возможности, не говоря уже о том, что про IP-KVM можно просто забыть как про страшный сон. Да, и ещё: если вы не использовать выделенный гигабитный сетевой порт, вы можете получить доступ к BMC через 10-гигабитный порт: на плате реализовано подобие сетевого коммутатора, так что по одному сетевому проводу мы можем заходить и в web-интерфейс гипервизора, и в BIOS через консоль. Круто!
Материнская плата имеет AMI BIOS со стандартным набором установок. Среди сенсоров следует отметить температуру сетевой карты Intel X550, а среди настроек периферии - ограничение пропускной способности PCI Express слотов.
Тестирование
Перво-наперво проверим, с какой скоростью монтируется Virtual Media image, ведь это очень важный момент при развёртывании программного окружения в ЦОДе.
Производительность здесь находится на уровне других материнских плат с чипом AST2500 на платформе Intel. Посмотрим на скорость сетевого подключения:
Вообще, Intel X550 - это очень интересная сетевая карта, про которую нужно сказать следующее. Во-первых, в отличии от Intel X540 и Intel X557 (используемых в Xeon-D), этот чип не имеет проблем совместимости со старым 1G оборудованием, особенно фирм Mikrotik и Ubiquiti, то есть с вышеназванными двумя чипами старые свитчи могут и не заработать, а с Intel X550 - работают всегда. Конечно, вы можете сказать, что нет смысла подключать 10-гигабитную карту к 1-гигабитным портам, но я с вами не соглашусь, поскольку в работе случается всякое. Во-вторых, Intel X550 по своей сути поддерживат промежуточные скорости 2.5 Гбит/с и 5 Гбит/с при использовании стандартного кабеля категории 5E, но реализация этих стандартов зависит уже от устройства, в котором используется этот чип. Для серверного рынка, где коммутация осуществляется между стойками, промежуточные скорости не имеют ценности, ведь внутри стойки 10G вполне себе работает по кабелю 5E, а между стойками легко протянуть CAT6/7. В нашем тесте ради спортивного интереса я пытался получить промежуточные скорости, но выходило либо 1 Гбит/с, либо 10 Гбит/с. Ну, как говорится, никто другого и не обещал: главное, что 10 Гбит/c работают так же хорошо, как на дискретной Intel X550-T2 (читайте наше сравнение AQuantia AQC107 против Intel X550-T2).
Как купить эту плату через тендер
Чтобы на тендере вам поставили именно ASRock Rack EPYCD8-2T, указывайте 10-гигабитную сеть с портами 10GBase-T, наличие портов Oculink и M.2 в односокетной платформе под Epyc 7000. Она такая одна, и никакие заменители вам не привезут.
Выводы
Если вы хотите собрать сервер с 4-мя GPU в корпусе формата ATX, то вот вам прекрасное решение. Вам не придётся покупать ни скоростной сетевой интерфейс, ни контроллер для SATA дисков - ASRock Rack EPYCD8-2T уже имеет на борту всё, что надо, плюс шикарная система удалённого управления с iKVM, которую вы получаете бесплатно. Сравнивая с аналогами, ты удивляешься тому, что инженеры ASRock Rack не стали ограничивать полёт своей фантазии и уместили на плату даже два порта Oculink и два более востребованных - M.2.
Как таковых, недостатков у материнской платы нет, это прекрасный комбайн, которому не хватает только звукового тракта для использования в рабочих станциях, но если ваша цель - сборка сервера для расчётов на GPU, то EPYCD8-2T - это платформа, которую можно смело ставить в проект, тот редкий случай, когда перед нами плата без изъянов.
Михаил Дегтярёв (aka LIKE OFF)
06/06.2019
