Каковы шансы у AMD на серверном рынке? Часть 2.

Глава 1. Архитектура и производственная стратегия

Данный материал является второй статьей из серии аналитических обзоров, посвященных серверной
стратегии АМD, ее процессорам, технологиям и общей серверной «экосистеме». Первую часть
вы можете прочитать по ссылке.

Для успешного возвращения на серверный рынок AMD требовалось оптимизировать капитальные и операционные затраты и снизить риски, связанные с диверсифицированным производством чипов х86 для всех основных сегментов рынка. Компания задумала максимально унифицировать производство, связав воедино принципы микроархитектуры Zen, идеологию чипа и финальной сборки процессоров:

• Основополагающим логическим строительным блоком стал Сore Complex (CCX), состоящий из четырех ядер, и общего для них L3 кэша. На иллюстрации видны характерные особенности такого комплекса.

Все процессоры AMD архитектуры Zen 1 строятся из этих блоков CCХ, коммутируемых с помощью фабрики Infinity Fabric (IF), которая может соединять CCX-блоки внутри одного процессора, два серверных процессора между собой или, скажем, процессор и ускоритель. Подробнее об IF можно прочесть здесь.

• Два блока CCX с ядрами и кэш памятью являются основой универсального кристалла Zeppelin. Данная «система-на-чипе» (SoC) может обойтись без дополнительного чипсета. Помимо блоков CCX на кристалле интегрированы контроллеры памяти и ввода-вывода, а также вся остальная чипсетная «обвязка». Zeppelin используется для создания любой модели процессора AMD путем отключения части ядер и специфического мобильного или серверного функционала.

Чип Zeppelin получился универсальным и одновременно избыточным, ведь в каждом экземпляре был заложен полный спектр поддерживаемых технологий: от управления питанием, важного прежде всего для мобильного сегмента, до технологий повышения надежности (типа ECC защиты памяти и кэшей), шифрования физической памяти, гипервизоров и виртуальных машин, важных для серверного сегмента.

Созданные позднее процессоры с интегрированной графикой объединяют на одном кристалле CCX и графический процессор. Таким образом, два базовых варианта ССХ + ССХ и CCX + GPU полностью закрывают потребности AMD для производства всей номенклатуры ее процессоров архитектуры Zen первого поколения.

С помощью чипа Zeppelin были созданы процессоры для десктопов, производительных десктопов и серверов. Близок по дизайну и вариант чипа с мобильным ядром Vega (ССХ + GPU). Топология серверного процессора EPYC серии 7001 под кодовым названием Naples (Неаполь) выглядит следующим образом:

Серверные процессоры EPYC серии 7001 являются многочиповыми модулями (Multi-Chip Module, MCM), по своим характеристикам естественным образом ставшие «учетверением» характеристик моделей для десктопа:

• до 32 ядер (4 х 8 ядер на десктопе),
• до 64МВ L3 cache (4 х 16МВ на десктопе),
• 8 каналов памяти (4 х 2 канала на десктопе),
• максимальное количество PCI-E линий (128 штук).

Таким образом предопределена конфигурация нижнего процессора линейки, это 8 ядер (по 1 работающему ядру в каждом из ССX в 4 чипах). Похожим образом, используя от 2 до 4 универсальных чипов Zeppelin, AMD создала модели HEDT-процессоров ThreadRipper для высокопроизводительных десктопов.

Несмотря на избыточность характеристик одного чипа Zeppelin, приводящую к определенному увеличению площади кристалла SoC, подобная унификация сокращает номенклатуру выпускаемых чипов фактически до одного базового варианта. По словам AMD это значительно улучшает выход годных кристаллов, упрощает планирование и загрузку производственных линий (нодов) у подрядчика и увеличивает гибкость при сборке и маркировке процессоров для разных сегментов рынка. Все это позволяло оптимизировать стратегию и затраты, связанные с планированием и производством процессоров архитектуры Zen первого поколения. В частности, себестоимость четырех кристаллов Zeppelin составляет 59 процентов от гипотетической стоимости монокристального 32-ядерного чипа.

AMD уже давно искала пути снижения затрат. Компания избавилась от части активов, сократив соответствующие капитальные и операционные расходы. Ее фабрика в Дрездене (Fab 30) в 2008-2009 годах была продана Global Foundries, комплекс зданий штаб-квартиры в Остине также был продан и перешел под контроль управляющей компании.

Весьма вероятно, что Intel частично решает проблему повышенной себестоимости монокристальных чипов Xeon Scalable за счет более высоких отпускных цен и гораздо большей вариативности ее номенклатуры, когда «все идет в дело», но, стратегически, при производственных нормах ниже 14 нанометров монокристальная архитектура становится слишком сложной и дорогой в разработке и производстве даже для лидера рынка.

На лицо столкновение двух производственных идеологий. Сложно сказать, что несет в себе больше рисков: владение массой фабрик, которые нужно обновлять и постоянно «нагружать» производственными заказами, выпуская широкую номенклатуру процессоров и микросхем для совершенно разных типов устройств, или fabless-подход, когда компания концентрируется на унифицированных центральных микропроцессорах и на графических чипах, полностью завися при этом от успеха массы сторонних компаний-партнеров, включающих производителей TSMC, Global Foundries и автоматизирующей электронный дизайн Synopsys (EDA) .

В 2015 году Intel планировала переход на 10-нанометровый техпроцесс, который должен был свести на нет потенциальный отрыв в производительности 14-нанометровых процессоров конкурента. Однако на фоне проблем с запуском нового техпроцесса, новая микроархитектура AMD с ее 52-процентным приростом IPC (исполняемых за такт инструкций) стала для Intel неприятной новостью.

Первоначально для перехода от 14нм к 10нм Intel запланировала весьма агрессивный коэффициент увеличения плотности транзисторов 2.68, в то время, как TSMC решила снизить риски за счет коэффициента уплотнения лишь 2.24. Приводим ниже слайд из презентации Intel:

Этот оптимизм в ожиданиях стал одной из причин проблем с 10нм техпроцессом: Intel так и не сумела довести первоначальную версию своих 10нм до подходящих для массового производства показателей и недавно была вынуждена в очередной, четвертый раз реагировать на решения AMD с помощью модифицированного 14нм техпроцесса.

В результате всех этих событий сложился беспрецедентный фактор потери компанией Intel лидерства в нормах производства, который существенно влияет на расклад сил: мировыми лидерами в техпроцессах оказались TSMC и Samsung.

Пока что стратегия перехода AMD на новые нормы производства оказалась выигрышной, но это не гарантирует компании долгосрочного успеха. Единственное, в чем сходятся аналитики, так это то, что идеологии модульных процессоров с использованием чиплетов (MCM, SoC) и стекирования микросхем (SiP - 2.5D, 3D, EMIB, Foveros) являются технологически оправданными и перспективными: ближайшее будущее за многочиповыми составными процессорами.

Глава 2. Сокеты и функционал.

Следующим по важности элементом стратегии AMD после унификации производства было создание мощной односокетной серверной платформы, наделенной всеми доступными технологиями и системными характеристиками. AMD вполне обоснованно заявила о создании нового класса «бескомпромиссных» односокетных серверов, производительность и ресурсы которых будут способствовать упрощению дизайна, элементной базы и стоимости системных плат, увеличению вычислительной плотности, снижению количества процессоров, блоков питания и общего энергопотребления серверов.

Решение AMD предложить мощную односокетную платформу было продиктовано статистикой продаж двухсокетных серверов с одним установленным процессором* (таблица 1).

Таблица 1. Двухсокетные стоечные сервера, поставленные лишь с одним сокетом за период с первого по третий квартал 2016 года.
Источник: EPYC Empowers Single-Socket Servers, Tirias Research и IDC.

По свежим оценкам Gartner, к 2021 году 80% серверных приложений сможет обслуживаться односокетными серверами. С ростом числа ядер значимость многосокетных решений для широкого круга приложений постепенно снижается, поэтому AMD приняла решение вообще не предлагать процессоры для четырехсокетных систем.

Intel исторически приучала рынок покупать процессоры более высокого класса, ограничивая функционал как односокетных серий, так и чипов низшего и среднего ценового диапазона для двухсокетных систем. EPYC нарушает данный «статус кво», поскольку любой односокетный и двухсокетный серверный процессор AMD первого поколения поддерживает до 2ТВ памяти (на сокет) c поддержкой технологии коррекции 4-битных ошибок Chipkill и 128 линий PCI-E для подключения множества дисков, карт и ускорителей.

Простое для восприятия заказчиков позиционирование серверных процессоров является следующим элементом серверной стратегии AMD. Компания отказалась от ограничения функционала как односокетных процессоров в целом, так и нижних моделей односокетных и двухсокетных процессоров (таблица 2).

Таблица 2. Номенклатура и характеристики моделей EPYC 7001. 7xx1P- модели для односокетных систем.

Градация цен AMD EPYC основана на разнице в количестве ядер, и их частот. Это создает выгодный контраст в сравнении с современным сегментированием Intel, вынуждающим клиентов покупать более дорогие версии чипов для двухсокетных и четырехсокетных серверов ради дополнительного объема памяти, турбочастот или большего количества поддерживаемых линий подсистемы ввода-вывода.

«На бумаге» у AMD был прекрасный план. Процессоры EPYC серии 7001 выглядели весьма убедительно против предлагаемых на тот момент на рынке процессоров Intel Xeon E5-26xx v.4. Используя свою давнюю стратегию «большего функционала за сопоставимые деньги», AMD рассчитывала предложить рынку убедительный продукт, сопоставимый с Opteron-ом по степени превосходства над конкурентом.

У этого плана был один серьезный недостаток: неоднородный доступ ядер в системную память (NUMA – non-uniform memory access). Из описанной выше топологии процессора (4 универсальных чипа на общей подложке) напрямую следует тот факт, что EPYC 7001 является процессором с четырьмя NUMA доменами: поскольку 8 его каналов памяти на самом деле принадлежат четырем разным чипам Zeppelin, для каждого ядра будут варианты с «ближайшей» (свой чип) и «удаленной» (чип по диагонали) памятью, с диапазоном задержек доступа к DIMM-модулям, привязанным к разным к контроллерам памяти чипов Zeppelin. В случае двухсокетной системы появится совсем удаленная память второго сокета, с еще более высокой латентностью:

Упрощенная топология двухсокетной системы EPYC

Даже не имея данных о производительности, можно ожидать, что максимальный выигрыш от такого процессора получит либо оптимизированное под NUMA ПО, либо набор несвязанных друг с другом независимых задач (при условии, что ОС рационально распределит их по адресному пространству). В то же время ПО, не учитывающее организацию NUMA, и не оптимизирующее расположение данных в памяти, должно работать несколько менее эффективно, чем на монолитных процессорах Intel Xeon.

С другой стороны, AMD ожидала существенного превосходства характеристик EPYC, поэтому некоторым снижением эффективности в случае неоптимизированных для NUMA программ можно было пожертвовать. Компромисс выглядел вполне разумным.

Глава 3. Отрезвляющая действительность

Составляла планы на лето 2017 не только AMD, конкурент тоже не стоял на месте. Он готовился к очередной смене серверной платформы на новое поколение, Xeon Scalable. Впервые за 4 поколения серверных платформ планировались существенные изменения: расширялась шина памяти (6 каналов вместо 4), должна была вырасти производительность ядра, как целочисленная (для этого Intel провела ребалансировку кэшей в сравнении с десктопными моделями), так и с плавающей точкой (для этого повышались частоты работы, и повышался тепловой лимит процессоров). В условиях тотального доминирования Xeon единственной возможной задачей Intel являлось дальнейшее повышение прибыльности серверного бизнеса.

Планируя рост общей производительности, Intel ввела новую сегментацию: все процессоры Xeon Scalable были разделены на 4 сегмента (Platinum, Gold, Silver, Bronse), причем младшие были обижены еще и с точки зрения производительности (отключенные вторые блоки AVX-512, понижена частота поддерживаемой памяти). Более того, среди старших моделей отдельно были выделены несколько моделей с литерой «M», поддерживающих объем памяти до 1.5ТВ, у всех остальных объем был урезан до 768GB. Существеннейшим образом выросла рекомендованная цена старших процессоров: до 13 000 долларов. Позднее, во втором поколении Xeon Scalable, Intel откорректировала поддерживаемые объемы памяти до 1ТВ у обычных, и до 3TB и 4.5TB у моделей с литерами «М» и «L» соответственно.

Таблица 3. Номенклатура первого поколения процессоров Intel Xeon Scalable

Таблица 4. Номенклатура второго поколения процессоров Intel Xeon Scalable

Для обоих производителей столкновение с действительностью прошло не так, как они планировали. Объявив EPYC в мае 2017 года, AMD обнаружила, что преимущество EPYC относительно готовящейся к анонсу новой платформы Xeon Scalable не столь подавляющеe: 8 каналов памяти больше 6, но на треть, а не в два раза. 32 ядра больше 28 у новых Xeon, но не на 10 ядер, как ранее. Cоотношение частот, и объемов кэш-памяти также стали менее выгодными для сравнения, преимущество EPYC перестало быть универсальным:

Таблица 5 иллюстрирует тезис о том, что EPYC 7001 относительно Xeon 26xx v.4 выглядел заметно лучше, нежели относительно Xeon Scalable.

* - для объявленной позднее модели EPYC7371
** - для специальных моделей Xeon Platinum 9242 и 9282, представляющих собой сборку из двух чипов. Модели 9242 и 9280 не продаются отдельно, только в составе специальной серверной платформы от Intel.
*** - для специальных моделей с индексом L, поддерживающих большой объем ОЗУ, дополнительно приблизительно +30% к цене.
**** - PCI-E v.4 с удвоенной пропускной способностью

Корпорация Intel, в свою очередь, тоже очутилась в достаточно тонкой ситуации с завышенной ценой на процессоры с более скромным функционалом. Конкурентная линейка продуктов AMD EPYC 7001 подрывает тщательно выстроенное позиционирование по сегментам: сложно обосновывать высокую стоимость того, что конкурент предлагает даже в бюджетных моделях своих процессоров. Цена старших процессоров Xeon Scalable в 13 тысяч долларов неизбежно заставила технически подкованных заказчиков обратить внимание на AMD EPYC с большим количеством ядер, предлагаемый за 8 тысяч долларов.

В результате обе компании оказались в своеобразном клинче: Intel испытывала и до сих испытывает серьезные проблемы с переходом на обновленный 10-нанометровый техпроцесс. AMD было сложнее продвигать свою платформу на базе серии 7001, поскольку преимущество в производительности оказалось неоднородным и более скромным, чем планировалось, а повышенная латентность NUMA-архитектуры с ее дополнительными переходами при обращении к удаленной памяти стала очевиднее на фоне монокристальной архитектуры Xeon Scalable.

Целочисленная производительность у Xeon Scalable тоже заметно выросла, и теперь AMD приходилось тщательнее выбирать удобные для сравнения задачи. Бесспорные преимущества EPYC 7001 в виде 128 линий PCI-E, или 2ТВ поддерживаемой памяти на всех процессорах линейки нужны далеко не всегда. Наконец, рекомендации AMD к наполнению модулями всех каналов памяти EPYC для оптимальной производительности несколько увеличивали стоимость сервера.

Местами AMD столкнулась с избыточностью своих решений: часть клиентов предпочитает 4 – 8 ядер высокой частоты, поскольку их ПО плохо масштабируется по ядрам, но отлично масштабируется по частоте. Уже позднее, в 2019 году, поступил в продажу EPYC 7371 c высокой базовой частотой (3.1ГГц) и относительно небольшим количеством ядер (16), но ниша малоядерных процессоров остается зоной полного господства Intel.

Не менее острым вопросом является дорогое коммерческое ПО, которое часто лицензируется по ядрам, и процессор на 32 ядра вместо 16 вызывает не только радость от прироста производительности, но и вдвое большие расходы на лицензии. А иногда и более чем вдвое, как в случае с Windows Server, лицензия которой поддерживает до 16 ядер, а все, что больше, уже требует существенно более дорогой версии Datacenter*.

Есть исключения и в положительную сторону: например, посокетное лицензирование VMWare, за счет которого процессоры AMD EPYC первого поколения успешно продаются в составе систем А-Брендов для создания виртуальных ESX-серверов, виртуальных десктопов (VDI) и гиперконвергентных программно определяемых систем хранения данных (vSAN).

Глава 4. Подведение итогов двухлетних продаж EPYC 7001

Объявленные в мае 2017 года процессоры EPYC 7001 предназначались прежде всего для датацентров: делалась ставка на многоядерность при сравнительно невысоком потреблении (первоначально до 180Вт, затем до 200Вт), расширяемость памяти и системы ввода вывода, возможности технологий безопасности, включающих «доверительную загрузку» BIOS и ОС, шифрование физической памяти, гипервизоров и виртуальных машин.

Стоит отметить, что, в отличие от ситуации с Opteron, AMD EPYC был быстро принят индустрией. Одно- и двухсокетные серверы были объявлены HPE (Proliant DL325, DL385) и DELL EMC (PowerEdge 6415, 7415, 7425). Сisco выпустила твин-систему UCS C125 в составе шасси C4200 (2U 4N). Разнообразные платформы и системные платы доступны от AsroсkRack, Asustek, Gigabyte, Quanta, SuperMicro, Tyan и ряда других производителей.

В условиях многолетней монополии средневзвешенные отпускные цены на процессоры Intel росли с момента потери лидерства Opteron в 2006 году в среднем на два процента в квартал. Данный слайд, полученный от одного из ОЕМов, отлично характеризует ситуацию:

Динамика средневзвешенных цен Intel.

Долгожданная конкурентоспособная альтернатива позволяла умерить ценовое давление и рассчитывать на проектные скидки от Intel, поэтому OEMы и ODMы сравнительно быстро представили сервера на базе EPYC в своих продуктовых портфолио.

С точки зрения конечных заказчиков AMD сконцентрировалась на продвижении EPYC большой семерке гиперскейлеров. Именно спрос со стороны гиперскейлеров, облачных провайдеров и региональных хостинг-компаний стали основной продаж серверных процессоров AMD. В своих презентациях и пресс-релизах компания упоминает американские Amazon Web Services (AWS), Microsoft Azure, Oracle Cloud, Dropbox, Packet, китайские Baidu и Tencent, европейцев Hetzner, Scaleway и MyLoc. В России об использовании EPYC заявлял питерский Selectel. Недавно список клиентов AMD пополнили Google и Twitter. Обычные закупки гиперскейлеров составляют десятки тысяч процессоров в квартал, что позволяет AMD наращивать плацдарм для дальнейшей экспансии на серверный рынок.

Microsoft предлагал как минимум три облачных конфигурации Azure на EPYC 7001, включая «LSV2» на базе EPYC 7551 с 80 виртуальными процессорами и до 19TB флешпамяти для высокопроизводительных вычислений. Номенклатура AWS на базе AMD позиционируется как под общие нагрузки, так и под приложения, зависящие от быстродействующей подсистемы памяти. AWS также предлагает возможность быстрой миграции в один клик на виртуальную машину на базе EPYC. Oracle предлагает как виртуальные машины, так и физические сервера AMD под развертывание широкого спектра своих собственных приложений. Наконец, руководствуясь теми же принципами, что и Dropbox, Baidoo мигрировала сервисы ABC (AI, Big Data и Cloud computing) на односокетные EPYC-платформы.

Не имея значительных ресурсов для развития спроса на массовом рынке, AMD концентрируется на крупнейших потребителях, как делала это во времена Opteron. Схожую стратегию продаж крупным заказчикам можно наблюдать и в сегменте производителей игровых приставок, где Sony и Microsoft уже много лет используют заказные чипы AMD.

Суперкомпьютерная индустрия также характеризуется высокой технической экспертизой и достаточно крупными проектными объемами. Однако, более низкое относительно конкурента количество исполняемых за такт операций с плавающей точкой и определенное отставание EPYC первого поколения в частотах не позволили AMD в сжатые сроки повторить успех Opteron в сегменте вычислительных кластеров (В 2006 году доля суперкомпьютерных систем на Opteron составляла 22% списка Top500). В июньской редакции 2019 года, до момента запуска EPYC второго поколения, присутствовал лишь китайский кластер Sugon на производящихся по лицензии AMD клонах EPYC (7501) под названием Hygon Dhyana.

В отличие от нового, универсального в своей производительности рекордсмена 7002, в вычислительных кластерах EPYC 7001 «тянет» против Xeon Scalable лишь в некоторых приложениях. Несмотря на большее количество ядер (32 против 28) и не снижающие частоту под нагрузкой блоки AVX (вариант AMD AVX в виде FADD + FMUL несколько более гибкий, и потому более эффективный, чем Intel FMA, требующий для пиковых показателей непременно слитых команд), EPYC 7001 проигрывает Intel по пиковым значениям FLOPs на ядро.

Справедливости ради стоит отметить, что процессоры серии 7001 время от времени поставляются в вычислительные проекты, например, в составе кластера DELL EMC для субатомарных исследований NikHef, и системы NEC для аэродинамических испытаний в немецком аэрокосмическом агентстве DLR, состоящей из двух тысяч трехсот узлов на базе EPYC 7601. В России есть небольшой EPYC-кластер в Институте Высоких температур РАН. Как правило, применение первого поколения ограничивается приложениями, выигрывающими от быстрой подсистемы памяти, например, такими как гидро-газодинамика.

В конце 2018 года, за десять месяцев до запуска серии 7002, AMD сама себе создала проблему отложенного спроса, публично заявив о значительном приросте производительности следующего поколения процессоров EPYC 7002 «Rome». По словам сотрудников AMD, в начале 2019 года ключевые заказчики начали получать инженерные образцы на тестирование и, впечатленные производительностью, решили дождаться продаж нового процессора, вероятно создав проблему затоваривания процессорами серии 7001 складов AMD.

На момент публикации данной статьи в сентябре 2019 года серия 7001 остается конкурентоспособным и привлекательным решением в приложениях виртуализации, облачных контейнерах, средах с повышенными требованиями безопасности, и в программно определяемых системах хранения и коммутации. Этому способствуют привлекательное соотношение ядер и объема памяти, соотношение производительности и цены, мощная подсистема ввода-вывода, привлекательная совокупная стоимость владения односокетных систем, и интегрированные технологии безопасности.

Поэтому запуск второго поколения EPYC вовсе не означает снятия с продаж процессоров первого поколения. Системные платы с сокетом SP3 с определенными оговорками поддерживают оба поколения процессоров, и для сохранения структуры прибыли на серию 7002, с большой долей вероятности AMD будет предлагать гибкие проектные скидки на серию 7001, стараясь «распродавать склад».

Таким образом, EPYC 7001 стал своего рода пробным шаром AMD, позволившим индустрии «распробовать» новую платформу, в особенности оценив привлекательность ее односокетных серверов. Технический директор Dell EMC Роберт Хормус (Robert W Hormuth) фактически подвердил успех односокетной идеологии AMD, заявив что EPYC действительно позволил Dell EMC представить новый, до сих пор недоступный класс однопроцессорных серверов.

Несмотря на гораздо более широкую современную поддержку индустрии, AMD не удалось в сжатые сроки занять сравнимую с Opteron долю рынка. Многие аналитики предполагают, что былой успех Opteron уготован второму поколению EPYC. Подтверждением тому стали объявления новейших суперкомпьютеров на процессорах второго поколения серии 7002, начавшиеся еще до объявления их доступности:

• Cray - четыре системы, включая будущего лидера списка Top 500, суперкомпьютер Frontier, общая гибридная производительность которой в 1.5 Exaflops будет выше совокупной производительности следующих 160 систем списка суперкомпьютеров.
• HPE – Суперкомпьютер Hawk производительностью 22 PF для вычислительного центра HLRS, специализирующегося на поддержке немецких машиностроительных предприятий и автопрома,
• Atos (бывшая Bull) - Суперкомпьютер BullSequana производительностью в 11 PF для финского научного центра CSC.

Как правило, массовые суперкомпьютерные анонсы на базе перспективных чипов x86 свидетельствуют об их потенциале продаж на общем серверном рынке.

В следующей главе мы приступим к подробному повествованию о новой серии процессоров EPYC, их позиционировании, перспектив, особенностях и отличиях от микроархитектуры предшественника.

Виктор Картунов
12/09.2019