Эпичный хостинг: изучаем как AMD меняет рынок VDS-хостинга на примере компании VDSina.ru

Рынок ЦОД в России демонстрирует двузначный рост г/г (по оценке ISK Consulting) вместе с непрекращающимся экспоненциальным ростом информации в интернете. Сегодня собственная «VDS-очка в облаке» стала такой же обыденностью для современных активных людей, как когда-то кредитная карта. И если ещё 15 лет назад понятие «хостинг» ассоциировалось исключительно с веб-сайтами, то сегодня оно уже неразрывно связано с виртуальными машинами, внутри которых может быть запущено всё, что угодно: то, что вы хотите чтобы работало круглосуточно, надёжно, быстро и стабильно, вы отправляете «жить в облако» - это основа IoT, фундамент для IT-стартапов и просто чертовски удобная штука.

В розничном сегменте VDS покупают для разных нужд: под бэкапы, для бухгалтерии и складского учёта, для обработки данных с датчиков интернета вещей, для торговых роботов и конечно же для хостинга веб-сайтов, поэтому у типичного хостинг-провайдера, работающего с физическими лицами и малым бизнесом, нет какого-то общего портрета потребителя и его нагрузки, под которого стоит оптимизировать сервис или проецировать инфраструктуру. Грубо говоря, приходится строить работу так, чтобы угодить каждому. Если вы задумываетесь, а не создать ли собственный облачный хостинг, чтобы заработать на миграции рабочих процессов в онлайн, то мы для вас подобрали удачный пример.

VDSina.ru: стартап, который смог

Среди обывателей широко распространён миф, что хостинг-провайдер должен обязательно иметь свой ЦОД, пусть даже и в подвале, но свой. Однако, этот давний стереотип не имеет ничего общего с действительностью: большинство современных хостинг-провайдеров просто арендуют серверные стойки в дата-центрах, и даже всем известный сервис CloudFlare не имеет не то что собственного ЦОД-а, но и собственного обслуживающего персонала, оплачивая лишь размещение собственных EPYC-based серверов в дата-центрах по всему миру. Хочешь быть на плаву - бери всё в аренду и ничего не покупай, - диктует нам глобализация. И конечно же, возможность арендовать серверную стойку или место под сервер, чтобы поставить туда оборудование и начать продавать услуги VDS выглядит вполне живой идеей для стартапа с очень низкими капиталовложениями.

Когда-то в 2014-м году таким стартапом был и сервис VDSina (www.vdsina.ru), на чьих серверах сегодня крутятся более 12 тысяч виртуальных машин клиентов, большая часть из которых пришла с конца 2019 года. В условиях жесточайшей конкуренции на рынке VDS, компания смогла закупить оборудование и настроить тарифы таким образом, что наплыв клиентов превратил её в одного из лидеров рынка. Розничные клиенты не имеют привычки привязываться к провайдеру и если почувствуют, что на хостинге становится тесно - уйдут так же внезапно, как и пришли, поэтому например для компании VDSina важно, чтобы закупаемое оборудование было доступно на складе «буквально вчера», ввод в эксплуатацию занимал считанные часы, а модель продаж с конфигурацией на заказ, сборкой на фабриках и тестированием, используемая такими брендами, как HPE, Dell и Cisco, здесь даже не рассматривается.

Павел Карпенко Павел Карпенко, CEO Coloded (https://coloded.ru):

Наша компания является эксклюзивным поставщиком серверного оборудования для хостинг-провайдера VDSina. В работе с хостерами есть свои особенности: на первом месте - наличие оборудования на складе и готовность отгрузить его в течение часа. Любая поломка оборудования для хостера - это неминуемые убытки, поэтому мы, как правило, меняем вышедший из строя сервер на новый за 1 день, а уже дальше разбираемся с производителем по гарантии. Ты всегда должен представлять, какое оборудование может потребоваться твоему клиенту в следующем месяце и заранее доставить его на склад. За годы сотрудничества мы выработали такой опыт.

Архитектура VDSina построена на открытом программном обеспечении: в качестве платформы виртуализации используется CentOS 7, для систем хранения данных выделен кластер на Ceph, так что к поставщику оборудования компания не привязана, и за гипервизор лицензионные отчисления не производит. Конечно, аренда стойки в ЦОДе не означает, что вы должны обязательно использовать те же каналы связи, которые заходят в ЦОД. Как говорят представители VDSIna, использование каналов ЦОД-а - это лучший способ похоронить бизнес хостинга на начальном этапе, поэтому первым делом провайдер улучшает топологию каналов (пиринг) до основных точек обмена трафиком.

Более того, современный сервис просто обязан предлагать клиенту защиту от DDoS-атак или даже WAF (Web Application Firewall), и здесь бизнес-модель VDSIna снова полагается на стороннее решение DDoS-Guard, включённое в стоимость для каждого клиента сервиса. Да, по умолчанию все виртуалки сервиса уже защищены от DDoS-атак, но WAF пока не предоставляется.

Сергей Краснов, CTO VDSina (https://www.vdsina.ru):

У нас, в VDSina, команда крутых профессионалов, которые так или иначе более 15 лет занимаются предоставлением услуг хостинга. За это время мы осознали, что нельзя экономить на важных вещах: железе, дата-центрах и разработке софта. Мы всегда держим руку на пульсе - используем лучшие ЦОДы и оборудование с самой современной начинкой. У нас лучшая и самая удобная на рынке панель управления услугами хостинга, в которую вложено много средств и сил. Мы всегда держим обратную связь с клиентами и прислушиваемся к их идеям и пожеланиям. Наверное, всё это в комплексе и позволяет завоёвывать с каждым годом всё больше клиентов.

То есть, если вы хотите стать лидером в области VDS-услуг и обслуживать десятки тысяч клиентов одновременно, берите пример с VDSinы: у этой компании нет излишних затрат ни на кондиционирование, ни на резервное питание серверных стоек, ни на интеллектуальные шлюзы безопасности. Единственное оборудование, которое закупается современным хостинг-провайдером - это TOR-коммутаторы (производства fs.com) и серверы, на которых работает вся программно-определяемая инфраструктура. Серверы покупаются по оптовым ценам, а минимальная номенклатура сокращает затраты на ЗиП, и конечно же от выбора сервера зависит, сможешь ли ты в следующем месяце дать конкурентную цену на свои услуги или побежишь останавливать отток клиентов.

Экономика хостинг-компании полностью зависит от CPU

При выборе хостинг-сервера, у провайдера, как правило, возникает лишь один вопрос: сколько виртуалок можно будет на нём разместить, ведь в среднем, одно ядро CPU должно приносить 300-500 рублей в месяц в зависимости от тарифа. Хостеру выгоднее продавать многоядерные виртуалки не только на 12-16 ядер, и но даже на 32-64 vCPU, т.к. цена на такие услуги включает в себя некую "эксклюзивность" и явно ориентирована на состоятельного клиента. Хотя, массовый клиент по-прежнему довольствуется 1 виртуальным процессором. Это значит, что всё что касается процессоров с 12-ю ядрами и меньше постепенно переходит в разряд "cloud-экзотики", ну например для 1-поточных приложений с плохо оптимизированным кодом, интерпретаторов, не поддерживающих кэширование, высоконагруженных VPN-серверов и т.д.

Мы уже говорили, что в розничном сегменте предсказать характер нагрузки следующего клиента невозможно: кто-то будет раз в неделю запускать программу резервного копирования, а кто-то будет постоянно компилировать очередной проект. Так же здесь нельзя выделить отдельные серверы под клиентов с 1С, как это делает компания IT Град (читайте нашу статью о том, как масштабируют ЦОДы профессионалы), работающая с корпоративщиками. Поэтому чтобы не ошибиться при выборе, хостинг-провайдерам выгодно устанавливать самые мощные x86 процессоры, имеющие по 48 и 64 ядра.

Тарифная сетка VDSina.ru*

Число ядер

1

1

1

2

4

4

8

12

16

32

Платформа

AMD

Intel

Intel

Intel

Intel

Intel

Intel

AMD

AMD

AMD

Макс. частота CPU, ГГц**

3,2

3,2

4.5

4.5

3,2

4.5

3,2

3,4

3,4

3,4

Цена в месяц, руб***

300

330

480

990

2490

3600

3990

6750

13500

27000

Цена за 1 ядро в месяц, руб

300

330

480

495

622

900

498

562

843

843

Расчетная цена 1 ГГц 1 ядра, руб

93

103

107

110

194

200

155

165

248

248

* - Тарифы указаны по состоянию на сентябрь 2020 года.
** - с использованием технологий динамического повышения частоты
*** - без скидок, доплат за превышения трафика, бонусов и т.д.

Наша таблица показывает, что в эконом-сегменте топовый AMD EPYC 7742 позволяет хостингу VDSina демпинговать, продавая частоту на 11% дешевле, чем это можно сделать на процессорах Intel. Давайте ещё раз проговорим, откуда берётся эта цифра: итак, если мы условно продаём 100 виртуальных машин, потребляющих по 320 МГц, то с учётом себестоимости требуемых 320 000 МГц (произведение ядер на максимальную частоту), на платформе Intel мы можем продавать их за 33 000, а на AMD - за 30 000 рублей в месяц. Ещё раз обратите внимание: это розничные цены, учитывающие алгоритмы Turbo Boost и Max Boost, стоимость покупки и гарантии, а также цену за электричество и зарплату секретарши.

Чуть ниже мы разберёмся, почему хостеры считают именно частоту, а не количество ядер или объём ОЗУ.

Сравнительные характеристики 64-ядерных EPYC

Модель

AMD EPYC 7702

AMD EPYC 7662

AMD EPYC 7742

Количество ядер

64

64

64

Базовая частота, ГГц

2.0

2.0

2.25

Базовая суммарная частота (частотная ёмкость, ГГц)

128

128

144

Конфигурируемый диапазон TDP при работе всех ядер, Вт

165 - 200

225 - 240

225 -240

Розничная цена, $

6450

6150

6950

Цена за ГГц, $

50,4

48,04

48,2

Max Boost

Максимальная частота, ГГц

3.35

3.3

3.4

Ожидаемая максимальная частота*

3.2

3.2

3.2

Максимальная суммарная частота (частотная ёмкость, ГГц)

214,4

211,2

217,6

Цена за максимальный ГГц, $

30,08

29,11

31,9

* - вообще, у процессоров AMD EPYC имеется динамическая регулировка частоты каждого ядра, в зависимости от нагрузки, температуры и достаточности питания. И хотя наши тесты показывают, что в EPYC 2 все ядра могут работать на максимальной частоте, сама AMD делает оговорку, что дескать "не всегда", и возможны варианты, когда в случае превышения порога в 95С, процессор начнет снижать частоты ядер шагом по 25 МГц, пока температура не снизится ниже порога в 95 градусов Цельсия. Поэтому наряду с "максимальной частотой" следует учитывать и "ожидаемую максимальную частоту", которая на 5-7% ниже заявленного максимума. Более того, если смотреть на трио из трех 64-ядерных процессоров, один из них, 7702 (64 ядра, TDP 200W, cTDP 165-200W) поддерживает ограничение TDP до 165W, позволяя заказчику втиснуться в ограничение по питанию серверной стойки, если таковое имеется. Но если никаких лимитов на электричество и охлаждение нет, то EPYC 7762 является самой выгодной покупкой с точки зрения оплаты за ГГц.

На втором месте по важности идёт память, причём Linux-память. Дело в том, что бесплатный гипервизор CentOS 7, в отличие от VMWare ESXi, не умеет динамически распределять ОЗУ, выделенное под Windows-виртуалки и отдаёт им весь заданный объём. C Linux-ом такой проблемы нет, и ОЗУ этих операционных систем подвергается сжатию и дедупликации на уровне гипервизора, поэтому идеальный клиент - это покупатель 1-ядерной виртуалки на Linux с минимальным объёмом ОЗУ. Вообще, оперативной памяти или SSD накопителей вы можете купить больше, чем потребуется для вашего бизнеса, и сервер с 1-2 Тб RAM уже давно не редкость. Масштабировать вы можете всё, кроме частоты CPU.

Что касается дискового пространства, то на удивление, клиентам не особо важно, какой у тебя твердотельный накопитель: NVMe, PCI Express или SATA/SAS. По большому счёту, оно и понятно - разницу по скорости заметить почти нереально, да и процент NVME-хостинга растёт с каждым днём. Любая современная система хранения данных прекрасно масштабируется, поэтому заострять внимание на затратах на SSD не стоит: накопители можно подкупать по мере необходимости, наблюдая как твоя клиентская база растёт вместе с прибылью.

AMD EPYC 7742. Даёшь 1000 виртуалок на 1 сервере

В нашей статье «по каким коэффициентам нужно выбирать серверный процессор» я указал, что единственным верным параметром при выборе CPU для Cloud-сегмента будет общая частотная ёмкость (количество всех ядер, помноженное на их частоту) и производная от него цена за МегаГерц. Давайте проведём небольшие расчёты: самое свежее поколение гипервизоров (будь то VMware ESXi, Microsoft Hyper-V или Linux KVM) даёт возможность на одном сервере запускать до 1024 виртуальных машин (теоретически, на KVM можно повесить и 4 тысячи виртуалок, но мы такие варианты не рассматриваем). Практически, на каждом процессорном ядре современные технологии позволяют располагать до 8 виртуалок без ощутимой потери производительности. В режиме простоя обычная ВМ под Linux, будь то Ubuntu или CentOS, потребляет где-то 33 МГц, а Windows Server 2016 - 26 МГц. Даже по самым скромным подсчётам, простаивающие без работы 1000 виртуалок суммарно потребуют 33.7 ГГц, а это примерно 16 современных ядер с базовой частотой 2.1 ГГц.

Что может предложить один EPYC 7742? Базовую частотную ёмкость в 144 ГГц (64 ядра, каждое с частотой 2.25 ГГц), что в 4 раза больше, чем нужно для запуска 1024 клиентских виртуальных машин. Режим HyperThreading мы не рассматриваем, поскольку в виртуализации он, как правило, бесполезен, настолько, что VMWare и вовсе рекомендует его отключать. Конечно, в течении дня нагрузка у клиентов на IT/OT-задачи возрастает, но не так сильно, как принято считать, и чем больше у вас клиентов, тем сильнее сглаживаются пиковые нагрузки, распространяясь между свободными ресурсами. В нашем тестовом кластере на HWP, использующем гиперконвергентную архитектуру (в одной коробке собраны NAS + шлюз + почта + сайты + Python Jupyter + Prometheus/Grafana) среднее потребление одной виртуалки в период с 11 до 15 часов дня составляет 280 МГц. В масштабах 1024 виртуальных машин такая нагрузка потребует суммарную частоту процессорных ядер в 286 ГГц, то есть в 2 раза больше, чем может дать один EPYC 7742. Поэтому хостеры покупают выбирают 2-процессорные конфигурации.

Частотная ёмкость (суммарная частота) современных серверных процессоров

Модель

Intel Xeon 8380HL

AMD EPYC 7742

Количество ядер

28

64

Базовая частота, ГГц

2.9

2.25

Базовая частотная ёмкость (суммарная частота всех ядер в сокете, ГГц)

81.2

144

Базовая частотная ёмкость (суммарная частота всех ядер в двух сокетах ГГц) для 2 процессоров

162,4

288

Хочу сказать, что на сегодняшний день у Intel нет таких технологий, и даже топовый Xeon Scalable 3-го поколения модели 8380HL имеет 28 ядер с частотой 2.9 ГГц, что даёт суммарную ёмкость в 81.2 ГГц, то есть ни о каких 1024 виртуалках в рабочем режиме и речи быть не может, ни при установке одного процессора, ни при установке двух. Нет, я конечно же в курсе, что у Intel есть топовая линейка Xeon Platinum 9200, но в нашей статье "почему Xeon Platinum 9200 не пошёл в массы" подробно описано, почему этот процессор мы в расчёт не принимаем.

Но есть у AMD EPYC 7742 ещё один козырь - система Max Boost, которая позволяет увеличивать частоту ВСЕХ_ЯДЕР_ОДНОВРЕМЕННО до 3.4 ГГц, что было доказано нами в тесте-сравнении EPYC против Threadripper, но ещё раз хочу повторить - не факт, что вот именно в вашем случае процессор будет “турбобустить” на максимальных заявленных частотах. AMD гарантирует, что все ядра процессора EPYC второго поколения (за исключением еще более высокочастотной серии 7Fx2) одновременно могут работать на частотах около 3.2ГГц. Что особенно приятно -на этой повышенной частоте сервер может работать достаточно долго, пока необходимость в бусте не отпадёт. Суммарно 2 процессора при максимальной скорости предлагают вам 435.2 ГГц общей частотной ёмкости, чего с запасом хватит на 1024 виртуальные машины клиентов.

Частотная ёмкость (суммарная частота) современных серверных процессоров в режиме Turbo Boost

Модель

Intel Xeon 8380HL

AMD EPYC 7742

Количество ядер

28

64

Максимально возможная частота, ГГц

4.3

3.4

Максимально возможная частота для всех ядер, ГГц

2.9

3.2

Количество ядер, работающих одновременно на максимальной частоте при 100% загрузке всех ядер

1

64

Максимальная частотная ёмкость 1 процессора, ГГц

82.6

204,8

Нужно ли объяснять, что если вы решите перенести всех ваших 12 тысяч клиентов на новые AMD-серверы, то сегодня вам для этого потребуется… всего 3 коробочки высотой 2U, каждая из которых имеет по 4 двухпроцессорных узла (сегодня этот формат называют 2U4N = 2 Units, 4 Nodes), ну и плюс кластер СХД и коммутаторы. И это - не какая-то там экзотика, уже почти все крупные вендоры представили свои 2U4N решения на AMD EPYC:

То, что раньше занимало серверные стойки от пола и до потолка, сегодня можно уместить под стол, ну или говоря сухим бизнес-языком, - если вы вчера арендовали 3-4 стойки высотой 42U, то сегодня вам нужна одна стойка 42U (меньше просто не дают), из которой половину вы можете сдавать в суб-аренду другим хостинг-провайдерам, получая дополнительную прибыль.

Создатели AMD EPYC подарили миру Cloud-провайдеров возможность установки 512 физических x86 ядер в корпус высотой 2U, разделённый на 4 сервера по 2 процессора в каждом, а Supermicro воплотила эту идею в жизнь в своей платформе 2124BT-HNTR, которую мы сейчас и протестируем.

ТЕСТ

Нам на тест выделили VIP-виртуалку, имеющую 240 ядер и 512 Гб ОЗУ. Вообще, узел сервера имел 1 ТБ памяти, но как выяснилось, далеко не весь современный софт, а особенно Windows Server 2016 умеет стабильно работать на таких объёмах RAM, так что память искусственно ограничили. Ну что можно сказать? В десктопных приложениях ты не можешь осознать, насколько он мощный, этот сервер: Facebook и Youtube так же открываются по 10 секунд (на 10-гигабитном-то интернет-канале), обычный архив с Cinebench объёмом 200 Мб может распаковываться на рабочем столе около минуты на PCI Express SSD. Эта ваша Windows с антивирусами и блокировщиками рекламы убивает любую скорость, и радуешься лишь тому, что Google Chrome не сожрёт всю память, хотя кто его знает…

Но стоит лишь коснуться чего-то, что работает в многопотоке, как даже один узел разрывает в клочья всё, что ты до текущего момента знал о скорости серверов, а таких узлов - четыре.

Любимый многими из моих коллег тест Cinebench R20 показывает рекорд в области рендеринга, и это состояние абсолютной победы подтверждается в каждом из тестов AIDA64. Как интерпретировать результаты пользовательских тестов в области хостинга? Да очень просто!

Ну вот посмотрите: скорость AES-шифрования (используется в VPN) выше суммарной скорости всех интерфейсов, которые можно было бы установить в этот сервер. Конечно, VeraCrypt более сдержана в оценках, но и тут мы понимаем, что никогда не упрёмся в нехватку скорости процессора. Теперь концепция шифрования «данных в работе (data at work)», дополняющая собой Data-at-Flow и Data-at-Rest уже не выглядит такой безумной: вы можете использовать этот самый новейший тренд 2020 года в области Cloud уже сейчас, чтобы выделиться из общей конкурентной массы, и уж совершенно точно, если клиент вашего хостинга будет шифровать диск своей виртуалки (а он будет), то на производительности это никак не скажется.

Для тестирования базы данных использовалась следующая конфигурация

О.С.

CentOS 8, MariaDB 10.3.17, Sysbench 1.0.20

Дополнительные настройки БД

query_cache_type = on
query_cache_limit = 2M
query_cache_size = 32M
query_cache_min_res_unit =8

join_buffer_size = 1M
read_rnd_buffer_size = 1M
max_heap_table_size = 32M
tmp_table_size = 32M

thread_cache_size = 32
innodb_sort_buffer_size = 2M
max_allowed_packet = 16M
innodb_log_file_size = 128M
expire_logs_days = 10
max_binlog_size = 100M

innodb_flush_log_at_trx_commit = 2
innodb_flush_method = O_DIRECT
transaction-isolation = READ-COMMITTED
default-storage-engine = innodb
innodb_buffer_pool_size = 4G
innodb_file_per_table = 1

Запуск теста

sysbench ./src/lua/oltp_read_only.lua --mysql-db=test --mysql-user=root --warmup-time=30 --time=300 --threads=1 --table-size=200000000 run

Redis Server, в принципе, немного страдает от виртуализации, предлагая в максимальном 256-потоковом режиме чуть ниже 1 миллиона транзакций в секунду. По другим нашим тестам мы знаем, что даже с шифрованием памяти Redis может давать более 1.15 млн транзакций в секунду.

Собственно, мы так много говорили о том, что получит хостер от использования AMD EPYC, что совсем забыли о пользователе. Давайте протестируем, что получает обычный покупатель 1-2 ядерной виртуалки на базе AMD EPYC 7742 у компании VDSina?

Тест 1С Предприятие 8.3

Мелкие потребители 1С Предприятия используют самый простой, но в то же время быстрый способ хранения данных: в файлах. Как правило, их нагрузка является 1-поточной, и пользователю важно, чтобы программная платформа быстро обработала его запрос на выставление счёта или формирование отчётности. Для тестирования подобных конфигураций применяется известный тест Гилева, который в своей сути является 1-поточным, но показывает максимальную скорость при использовании 2 процессорных ядер на систему. И если вы сдаёте в аренду VPS под 1С Предприятие, то "Тест Гилёва" - это первое, что запустит ваш будущий клиент, чтобы оценить скорость сервиса.

Вячеслав Гилев

Об авторе методики тестирования:

Вячеслав Гилев, руководитель лаборатории тюнинга 1С, компании ООО "ЦТП", сайт gilev.ru

Компания занимается адуитом и решением проблем, связанных с производительностью платформы "1С Предприятие". Создатели распространённого теста для оценки производительности компьютера в 1С, известного как "тест Гилева"

И хотя Вячеслав Гилёв многократно высказывался о том, что виртуализация - лучший способ замедлить работу 1С, в нашем случае это именно тот случай, когда малый предприниматель заказывает дешёвую виртуалку где-то там подальше от офиса с 1С-кой, не заморачиваясь хранением данных и прочими сложностями.

Данный тест показывает суммарную производительность 1С платформы, учитывая не только скорость CPU, но и настройки софта. Для примера используется тип хранения “файлы”, который активно применяется в организациях, где с базой данных работают буквально несколько человек. Показания скорости выше 60 считаются превосходными с точки зрения признанного мастера оптимизации 1С Предприятия.

Тут нужно сделать небольшое пояснение: мы не используем стандартный тариф, потому что нам для теста нужно 2 ядра + возможность запуска Windows. На момент подготовки статьи, VDSina только думала о том, чтобы ввести этот тариф, но глядя на то, как может облачная виртуалка показывает 67.7 очков в тесте Гилёва, я думаю, они смогут предлагать "Хостинг под 1С Предприятие" так же, как предлагают "Хостинг под Битрикс".

Кстати, о последнем: в России эта CMS пользуется большой популярностью, и каждый уважающий себя хостер имеет отдельные тарифы под Битрикс. Но не нужно думать, что этот фреймворк требует каких-то огромных вычислительных мощностей: всё прекрасно работает и на самом дешёвом тарифе, что доказывает наш тест. То есть, вы можете продавать 1024 виртуалки под Битрикс-хостинг на одном сервере с двумя EPYC 7742.

Для хранения образов виртуалок используется гиперконвергентная схема (программно-определяемое хранилище работает на тех же серверах, что и клиентские ВМ) с использованием NVME SSD, что, в принципе, логично. Для хранения бэкапов используется отдельный кластер с HDD, подключённый по 25-гигабитному каналу.

К сожалению, специалисты VDSina наотрез отказались говорить о том, какое именно оборудование используется в CEPH-кластере, сказав только, что их два: один для бэкапов, а другой собственно, для виртуалок. Если вы сомневаетесь в том, на каких процессорах строить кластер, обратите внимание на 16-ядерные EPYC 7302P: они имеют 128 линий PCI Express 4.0, а значит вы можете строить ваш кластер полностью на PCI Express SSD, таких как UltraStar SN640, используя 1 процессор в сервере в качестве контроллера.

1-поточные тесты дисковой подсистемы

При тесте того, как работает CEPH-хранилище в современном хостинг-бизнесе меня интересовало, как много скорости даст оно одному приложению? Конечно, у VDSina используется пара 25-гигабитных каналов между серверами и CEPH-кластере, но важно понимать, что скорость вашей виртуалки будет зависеть не от мегабайт в секунду, которые показывает CrystalDisk Benchmark, а от времени, за которое СХД обработает ваш запрос на чтение или запись, и ваше приложение продолжит работать.

Для меня важно, чтобы постоянная скорость отклика держалась на уровне меньше 1 мс, и разброс не был слишком большим. Если вы используете PCI Express накопители, то вы лишаетесь всех тех проблем, которые добавляет SAS или SATA контроллер, поэтому при построении CEPH хранилища лучше заранее отказаться от старых технологий и сделать выбор в пользу решения с PCI Express 4.

Но всё же VDSina не раскрывает полностью тот потенциал, который дают EPYC-и. Во-первых, этот процессор просто создан для вышеупомянутых SaaS-приложений, и его производительность можно сдавать с оплатой за процессорочасы, как это делают Google, Microsoft и Amazon. Во-вторых, флагманская технология шифрования памяти, которую мы рассматривали со всех сторон в нашей статье (изучаем шифрование памяти в процессорах AMD EPYC), и которую принял на вооружение Google для услуги «конфиденциальные виртуалки» здесь тоже никак не отражена. То есть, если вы думаете, что ниша AMD-хостинга уже занята, то ничего подобного: есть, куда стремиться.

Цена вопроса

Даже на минимальных тарифных планах в 300, один сервер, имеющий 1024 виртуальных машины на борту, будет приносить 307 тысяч рублей в месяц. Чем ниже его закупочная стоимость, тем быстрее он окупится и начнёт приносить прибыль. Давайте посчитаем три разных конфигурации, чтобы выяснить какой тип машины обладает лучшей рентабельностью.


Вариант1 - простой двухпроцессорный сервер AMD

Вариант 2 - сервер высокой плотности на 4 двухпроцессорных узла AMD

Вариант 3 - простой двухпроцессорный сервер Intel

Платформа

Gigabyte R282-Z91

Gigabyte H262-Z63

Supermicro case + X11DPI-N

Процессор

2 x AMD EPYC 7742

8 x AMD EPYC 7742

2 x Intel Xeon Platinum 8280

Память

32 x 32 Gb
DDR4 ECC Reg

64 x 64 Gb
DDR4 ECC Reg 2933MHz

16 x 64 Gb DDR4 LR ECC DIMM

Системные диски

2 x 240Gb SSD Samsung 883 DCT

8 x 240 Gb Intel SSD

2 x 240 Gb Intel SSD S4510

Интерфейс 25 Гбит/с

Mellanox ConnectX-4 Lx EN 25 Гб/с SFP28
21 570 руб

4 x 2x SFP28 LAN ports, Supports 25Gb/s per port, Marvell FastLinQ QL4102-A2G OCP

1 x Mellanox ConnectX-4 SFP28

Итого

1 900 000 руб
25 460 $

8 960 000
119 153 $

2 811 750
37 490 $

Себестоимость 1 виртуалки (1vCPU, 1Gb RAM)

1855 руб

2187 руб

2745 руб

Окупаемость сервера при хостинге 1024 виртуалок ценой 300 руб/мес на 1 узле

185 дней

218 дней

274 дня

Прибыль сервера за гарантийный срок, 36 месяцев

9 160 000 руб
122 122 $

35 276 800 руб
470 357 $

8 247 450 руб
109 966$

Все цены указаны без учёта проектных скидок, и при оптовой закупке серверов, срок окупаемости можно снизить ещё более кардинально, поскольку сегодня при поставке в проекты, цены на EPYC могут снижаться на 30-40% от розничных.

Перегревается ли EPYC?

В нашем расчёте мы не использовали сервер 4-узловой 8-процессорный сервер Supermicro 2124BT-HNTR, и вот почему. Дело в том, что все современные топовые процессоры, будь то AMD EPYC 77x2 или Intel Xeon Platinum, работают на пределе технологических возможностей теплоотвода сервера, и у кого-то из производителей серверов получается отвести из 2U корпуса 1800 Вт процессорного тепла (как у компании Gigabyte), а у кого-то - нет (как у компании Supermicro). На странице Supermicro указано, что хотя сервер и поддерживает 225-Ваттные CPU, но "некоторые процессоры могут работать только при определённых условиях, свяжитесь с нами для дополнительной информации". Мне это напоминает ситуацию с "письмами счастья", в которых условия акции были написаны мелким шрифтом внутри конверта, и конечно же специалисты VDSina установив в 4-узловую модель 2124BT-HNTR все 8 самых мощных процессоров EPYC 7742 (подробности читайте по ссылке), столкнулись с перегревом и троттлингом серверной платформы ценой почти 150 тысяч $. При этом, по их утверждениям, температура холодного коридора в серверной составляла 21 градус Цельсия при рекомендованных 25 градусах. В то же время, в 4-узловых серверах Gigabyte H262-Z63 вентиляторы установлены в 2 ряда для защиты от перегрева, наши коллеги с сайта ServeTheHome при тесте 4-узлового Dell PowerEdge C6525 так же не заметили перегрева.

В двухпроцессорных серверах эта проблема и вовсе отсутствует, ну а чтобы перестраховаться, можно выбрать 64-ядерные процессоры AMD EPYC 7702: их базовая частота составляет 2.0 ГГц, а в Turbo Boost она увеличивается до 3.35 ГГц, но тепловой пакет каждого CPU составляет 200 Вт. Это даёт экономию 50 Вт в 2-процессорном и 200 Вт в 8-процессорном сервере по сравнению с EPYC 7742.

Наконец, стоит помнить, что современные материнские платы позволяют жёстко ограничивать TDP процессора через BIOS, а так же менять профиль энергопотребления, что даёт некоторый запас для манёвра в случае, если машина начинает перегреваться в работе.

Выводы

Пожалуй, впервые нам удалось посчитать выгоду от использования платформы AMD EPYC в хостинге, чтобы объяснить её вам на пальцах. Как ни странно это звучит, но именно самые мощные и самые дорогие процессоры позволяют делать хостинг VDS доступным буквально каждому. Более того, появляются тарифные планы на 16-32 ядер, входят в обиход конструкторы тарифов VDS, и теперь провайдеры могут конкурировать не только ценой, но и возможностями. Не стоит считать, что на этом рынке всё уже распределено и занято: компания VDSina доказала, что при грамотном подходе можно быстро выбиться в лидеры рынка и сформировать огромную клиентскую базу.

Опыт американских гиперскейлеров показывает, что такие модели продаж, как "плата за частоту", "плата за потребляемые ресурсы", продажа SaaS услуг и защищённых виртуальных машин, пользуются спросом, а наши расчёты показывают, что многоядерные процессоры AMD EPYC снижают срок окупаемости вложений в сервер до 6 месяцев.

Мы благодарим компании, участвовавшие в подготовке данной статьи:

Михаил Дегтярёв (aka LIKE OFF)
17/09.2020


Комментарии

Похожие статьи:

Хранение и резервирование виртуальных машин на QNAP NAS

В небольших компаниях NAS способен существенно снизить затраты на инфраструктуру. Те, кто вчера списывал серверы, перемещая ресурсы в NAS, сегодня отменяют подписку на софт, чьи функции QNAP выполняет, что называется, "из коро

Новая схема адресации памяти в IBM Power10 изменит взгляд на ИИ приложения

А что, если существует новый вид рабочей нагрузки, и я хочу собрать гораздо больше памяти, чем вы можете себе вообразить? Что, если я хочу, чтобы один компьютер адресовал петабайт памяти? Но сегодня никто не знает, как построить та

Что такое NVME-oF? И как работает самый быстрый протокол данных?

В последние годы мы наблюдаем рост производительности технологий хранения данных, которая, в конечном счете, достигла физических пределов, обусловленных устаревшими протоколами обмена данными в дата-центрах. Несмотря на использован

Как Microsoft планирует сделать свои дата-центры "зелёными"

По мере роста облачного бизнеса растет и его влияние на окружающую среду. Многие компании стремятся к нулевым чистым выбросам, но Microsoft идёт ещё дальше: компания не просто сводит выбросы к нулю, а стремится удалить углерод, который она выбра

Обзор мультигигабитных коммутаторов Zyxel XGS1210-12 и XGS1010-12 со скоростью 1/2.5/10 Гбит/с

Ну вот и пришло время более-менее доступных по цене коммутаторов для 2.5-гигабитных сетей с медным кабелем и 10G на оптике. В этой модели даже 1-гигабитные порты проброшены на общую матрицу, из-за чего даже на маленьких пакетах удерживается высока