Шмат'ядравы CPU для высокапаралельнай апрацоўкі дадзеных 

Чаму шмат'ядравы CPU для высокапаралельнай апрацоўкі дадзеных становіцца стандартам у індустрыі

У сучаснай інфраструктуры цэнтраў апрацоўкі дадзеных і прамысловых вылічальных кластарах вузкім месцам перастала быць прапускная здольнасць памяці ці хуткасць дыскавых назапашвальнікаў. Крытычным фактарам стала здольнасць працэсара эфектыўна размяркоўваць тысячы адначасовых патокаў.Шмат'ядравы CPU для высокапаралельнай апрацоўкі дадзеныхвырашае гэтую задачу не за рахунак падвышэння тактавай частаты, а праз архітэктурнае павелічэнне колькасці фізічных ядраў і аптымізацыю кэш-памяці трэцяга ўзроўня (L3). У нашай практыцы ўкаранення серверных рашэнняў для кліентаў з сектара Big Data мы назіраем выразны зрух: задачы, якія пяць гадоў таму вырашаліся на фермах з высокачашчынных 4-ядзерных працэсараў, сёння кансалідуюцца на платформах з 32, 64 і больш ядрамі.

Гэты пераход абумоўлены эканомікай вылічэнняў. Шчыльнасць размяшчэння абсталявання ў стойках абмежавана фізічнымі памерамі і лімітамі па энергаспажыванні. Павелічэнне колькасці ядраў дазваляе апрацоўваць большы аб'ём транзакцый на адзінку займаемай плошчы і на кожны кілават затрачанай энергіі. Аднак просты выбар працэсара з максімальным лікам ядраў з'яўляецца памылкай, калі не ўлічваць архітэктуру ўзаемадзеяння гэтых ядраў з падсістэмай уводу-вываду і аператыўнай памяццю. Ніжэй мы разбяром тэхнічныя нюансы, якія вызначаюць рэальную прадукцыйнасць у прадакшэне, а не ў сінтэтычных тэстах.

Архітэктурныя асаблівасці: як ядры ўзаемадзейнічаюць пры паралельных нагрузках

Ключавым параметрам пры выбары працэсара для раўналежных вылічэнняў з'яўляецца не проста колькасць ядраў, а тапалогія іх злучэння. У сучасных шматсокетных сістэмах (напрыклад, у канфігурацыях 2P або 4P) крытычную ролю гуляе тэхналогія інтэрканэкту паміж працэсарамі. Калі дадзеныя часта перадаюцца паміж ядрамі розных фізічных чыпаў, затрымка (latency) можа стаць істотнай праблемай.

Разгледзім архітэктуру NUMA (Non-Uniform Memory Access). У такіх сістэмах кожнае ядро ​​мае хуткі доступ да "лакальнай" памяці і павальнейшы доступ да памяці, падлучанай да іншага працэсара. Для высокапаралельных задач, такіх як рэндэрынгу складаных 3D-сцэн, кампіляцыя буйнога кода або апрацоўка фінансавых транзакцый у рэальным часе, няправільная прывязка працэсаў да ядраў (pinning) можа знізіць прадукцыйнасць на 15-20%. Мы сутыкаліся з кейсам, калі кліент скардзіўся на нізкую эфектыўнасць новага сервера. Аўдыт паказаў, што аперацыйная сістэма няправільна размяркоўвала струмені, прымушаючы ядры стала звяртацца да выдаленай памяці. Пасля наладкі affinity mask прадукцыйнасць аднавілася да праектных значэнняў.

Яшчэ адзін важны аспект – памер і арганізацыя кэш-памяці L3. Пры паралельнай апрацоўцы вялікіх масіваў дадзеных частыя звароты да асноўнай аператыўнай памяці (DRAM) ствараюць чаргу запытаў, якая тармозіць усю сістэму. Працэсары з павялічаным падзяляным кэшам L3 (напрыклад, 256 МБ і вышэй у топавых мадэлях) дазваляюць захоўваць больш актыўных дадзеных бліжэй да вылічальных блокаў. Гэта асабліва важна для баз дадзеных in-memory, такіх як Redis ці SAP HANA, дзе хуткасць доступу да дадзеных вызначае агульную спагадлівасць сістэмы.

Пры адзнацы спецыфікацый зважайце на падтрымку інструкцый AVX-512 або аналагічных вектарных пашырэнняў. Яны дазваляюць аднаму ядру выконваць аперацыі над некалькімі элементамі дадзеных адначасова. Для задач машыннага навучання і навуковага мадэлявання наяўнасць гэтых інструкцый можа даць прырост прадукцыйнасці да 40% у параўнанні з працэсарамі папярэдняга пакалення, нават пры аднолькавай колькасці ядраў.

Параўнанне платформаў: Intel Xeon Scalable супраць AMD EPYC для раўналежных задач

Выбар паміж двума асноўнымі гульцамі рынку – Intel і AMD – павінен грунтавацца на канкрэтным профілі нагрузкі вашага прыкладання. Абодва вытворцы прапануюць магутныя рашэнні, але іх архітэктурныя філасофіі адрозніваюцца, што ўплывае на выніковы кошт валодання (TCO).

AMD EPYC традыцыйна выйграе ў сцэнарах, якія патрабуюць максімальнай шчыльнасці вылічэнняў і шырокай паласы прапускання ўводу-вываду. Дзякуючы архітэктуры Chiplet, яны прапануюць больш ядраў і ліній PCIe на адзін працэсар. Гэта робіць іх ідэальным выбарам для віртуалізацыі, дзе трэба запусціць сотні віртуальных машын на адным фізічным серверы, ці для задач, інтэнсіўна выкарыстоўвалых NVMe-назапашвальнікі. Калі ваша прыкладанне адчувальна да прапускной здольнасці памяці, 12-канальны кантролер памяці AMD забяспечыць перавага перад 8-канальным рашэннем Intel.

З іншага боку, Intel Xeon захоўвае лідэрства ў задачах, якія патрабуюць высокай аднаструменнай прадукцыйнасці і нізкай затрымкі. Частата Turbo Boost у працэсараў Intel часта вышэй, што важна для legacy-прыкладанняў, якія не ўмеюць эфектыўна маштабавацца на дзясяткі ядраў. Акрамя таго, экасістэма Intel прапануе больш сталыя прылады апаратнага паскарэння (напрыклад, Intel QuickAssist Technology для крыптаграфіі і сціску дадзеных), якія могуць разгрузіць асноўныя ядры CPU.

Мы рэкамендуем праводзіць нагрузачнае тэсціраванне на рэальных даных перад закупкай. Сінтэтычныя бенчмаркі часта не ўлічваюць спецыфіку вашага кода. Напрыклад, калі ваша ПЗ выкарыстоўвае спецыфічныя інструкцыі Intel AMX (Advanced Matrix Extensions), пераход на AMD запатрабуе перакампілявання ці страты прадукцыйнасці. І наадварот, калі вы абмежаваныя бюджэтам на ліцэнзіі Oracle ці SQL Server, якія лічацца па ядрах, высокая шчыльнасць ядраў AMD дазволіць істотна зэканоміць на праграмным забеспячэнні.

Цеплавыдзяленне і энергаспажыванне: схаваныя рызыкі высокай шчыльнасці

Усталёўка працэсара з 64 ці 96 ядрамі ў стандартны серверны корпус стварае сур'ёзныя цеплавыя выклікі. TDP (цеплавыдзяленне) такіх чыпаў можа дасягаць 350-400 Вт. Гэта патрабуе не проста наяўнасці вентылятараў, а прадуманай сістэмы астуджэння, здольнай адводзіць цеплыню ад шчыльных радыятараў.

У нашай практыцы быў выпадак, калі кліент устанавіў топавыя працэсары ў шасі папярэдняга пакалення. Сістэма астуджэння спраўлялася з пікавым нагрузкамі толькі кароткачасова. Пры працяглай паралельнай апрацоўцы дадзеных тэмпература перавышала тротлінг-парог, і працэсары скідалі частату на 30-40%. Фактычна, дарагі шмат'ядравы CPU працаваў напаўсілы. Гэта падкрэслівае важнасць адпаведнасці шасі і сістэмы астуджэння заяўленым спецыфікацыям TDP.

Для дата-цэнтраў з цвёрдымі лімітамі на энергаспажыванне ключавым метрыкай становіцца прадукцыйнасць на ват. Сучасныя 5-нм і 4-нм тэхпрацэсы дазваляюць зменшыць энергаспажыванне ў простае, але пад поўнай нагрузкай шмат'ядравыя монстры спажываюць значна больш энергіі, чым іх папярэднікі. Неабходна разлічваць PUE (Power Usage Effectiveness) усяго кластара. Часам больш выгадна выкарыстоўваць больш сервераў з працэсарамі сярэдняга ўзроўню, чым некалькі сервераў з максімальным запаўненнем, каб пазбегнуць пікавых нагрузак на сістэму кандыцыянавання.

Таксама варта ўлічваць патрабаванні да блокаў харчавання (PSU). Сервер з двума 350-ватнымі працэсарамі, мноствам SSD і модулямі памяці можа спажываць да 1000-1200 Вт у піку. Стандартныя блокі харчавання на 800 Вт будуць працаваць на мяжы або сыдуць у абарону. Заўсёды закладвайце запас магутнасці PSU не менш за 20-30% ад разліковага максімуму.

Крытэрыі выбару і сертыфікацыя для прамысловага прымянення

Пры закупцы абсталявання для прамысловых сістэм ці крытычна важных сэрвісаў нельга належыць толькі на прадукцыйнасць. Надзейнасць і адпаведнасць стандартам з'яўляюцца абавязковымі ўмовамі. Працэсар і матчына плата павінны мець адпаведныя сертыфікаты, якія пацвярджаюць іх прыдатнасць для кругласутачнай працы ў складаных умовах.

Зважайце на наяўнасць сертыфікацыі EAC (Еўразійскае адпаведнасць) для рынка РФ і краін СНД, а таксама CE для Еўропы. Гэтыя маркіроўкі гарантуюць, што абсталяванне прайшло выпрабаванні на электрамагнітную сумяшчальнасць і бяспеку. Для прамысловых ужыванняў важны стандарт ДАСТ 15150, які вызначае выкананне абсталявання па кліматычных фактарах. Напрыклад, выкананне УХЛ (умераны і халодны клімат) патрабуе працы пры тэмпературах ад -60°C да +40°C, што накладвае дадатковыя патрабаванні на кампаненты сервера, уключаючы кандэнсатары і сістэму астуджэння працэсара.

Падтрымка тэхналогій карэкцыі памылак ECC (Error-Correcting Code) у памяці і працэсары з'яўляецца абавязковай для высокапаралельных вылічэнняў. Памылка ў адным біце дадзеных пры апрацоўцы мільёнаў транзакцый можа прывесці да катастрафічных наступстваў: ад падзення базы дадзеных да няправільных фінансавых разлікаў. Шмат'ядравыя CPU прафесійнага класа (Intel Xeon, AMD EPYC) апаратна падтрымліваюць ECC, у адрозненне ад дэсктопных рашэнняў.

Тэрмін гарантыі і даступнасць замены таксама гуляюць ролю. Прамысловыя працэсары часта маюць працяглы цыкл пастаўкі (Long Life Cycle). Упэўніцеся, што абраны пастаўшчык можа гарантаваць наяўнасць запчастак і аналагічных мадэляў на працягу 5-7 гадоў, каб пазбегнуць неабходнасці поўнай перапрацоўкі праграмнага забеспячэння пры замене абсталявання.

Аптымізацыя праграмнага забеспячэння пад шмат'ядравую архітэктуру

Купля магутнага жалеза не гарантуе хуткасці, калі праграмнае забеспячэнне не ўмее ім скарыстацца. Паралелізм патрабуе правільнага падыходу да напісання кода. Асноўныя праблемы ўзнікаюць з-за блакіровак (locks) і станы гонкі (race conditions), калі некалькі ядраў спрабуюць звярнуцца да аднаго рэсурсу адначасова.

Для эфектыўнага выкарыстанняшмат'ядравага CPU для высокапаралельнай апрацоўкі дадзеныхраспрацоўшчыкі павінны выкарыстоўваць асінхронныя мадэлі праграмавання і lock-free структуры дадзеных. Віртуалізацыя і кантэйнерызацыя (Docker, Kubernetes) таксама патрабуюць правільнай налады абмежаванняў рэсурсаў (cgroups). Без відавочнага ўказанні лімітаў CPU кантэйнер можа захапіць усе ядры хаста, выклікаўшы галаданне іншых сэрвісаў.

Мы рэкамендуем выкарыстоўваць прафілявальнікі (profilers) для аналізу размеркавання нагрузкі па ядрах. Часта аказваецца, што 80 працэнтаў нагрузкі прыпадае на 20 працэнтаў ядраў, пакуль астатнія прастойваюць. Настройка балансавальнікаў нагрузкі і планавальнікаў задач (напрыклад, IRQ balance для перапыненняў) дазваляе выраўнаваць загрузку і знізіць агульную затрымку сістэмы.

Часта задаюць пытанні

Ці ўплывае колькасць ядраў на скорасць работы адзіночнага патоку?

Не, наўпрост не ўплывае. Хуткасць адзіночнага патоку залежыць ад тактавай частаты і архітэктуры ядра (IPC - instructions per cycle). Аднак у шмат'ядравых працэсарах базавая частата часта ніжэй, чым у дэсктопных аналагаў, каб укласціся ў цеплавы бюджэт. Для задач, якія не падтрымліваюць шматструменнасць, лепш абраць працэсар з малодшым лікам ядраў, але больш высокай частатой.

Ці патрэбна спецыяльнае астуджэнне для працэсараў з TDP вышэй за 300 Вт?

Так, стандартных паветраных кулераў можа быць недастаткова. Рэкамендуецца выкарыстоўваць серверныя радыятары з меднымі цеплавымі трубкамі і высокооборотистыми вентылятарамі, якія кіруюцца праз BMC. У выпадках экстрэмальнай шчыльнасці вылічэнняў мэтазгодна разгледзець сістэмы вадкаснага астуджэння, якія забяспечваюць больш эфектыўны адвод цяпла і змяншаюць шум.

Як праверыць сумяшчальнасць працэсара з існуючым матчыным поплаткам?

Неабходна зверыць сокет (напрыклад, SP5 для AMD EPYC 9004 ці LGA4677 для Intel Xeon Scalable) і версію BIOS / UEFI. Нават пры супадзенні сокета старая версія мікракода можа не падтрымліваць новыя стэпінгі працэсараў. Абнаўленне BIOS павінна праводзіцца да ўстаноўкі новага CPU, выкарыстоўваючы стары працэсар або функцыю Flashback, калі яна даступная.

Якая аператыўная памяць лепш падыходзіць для шмат'ядравых сістэм?

Выкарыстоўвайце памяць DDR5 з падтрымкай ECC Registered (RDIMM). Важна запаўняць каналы памяці раўнамерна паводле кіраўніцтва карыстача матчынай платы (звычайна па адным модулі на канал для пачатку). Гэта забяспечыць максімальную прапускную здольнасць. Змешванне модуляў рознай ёмістасці або частаты прывядзе да падзення прадукцыйнасці ўсёй падсістэмы памяці да ўзроўню самага слабога модуля.

Заключэнне і наступныя крокі

Выбар правільнагашмат'ядравага CPU для высокапаралельнай апрацоўкі дадзеных- гэта баланс паміж архітэктурнымі асаблівасцямі, энергаэфектыўнасцю і патрабаваннямі вашага праграмнага стэка. Не існуе ўніверсальнага рашэння: для баз дадзеных in-memory крытычная прапускная здольнасць памяці, для віртуалізацыі – колькасць ядраў і ліній PCIe, а для навуковых вылічэнняў – падтрымка вектарных інструкцый.

Гарантыя сапраўднасці і якасці кампанентаў становіцца вырашальным фактарам пры пабудове такіх складаных сістэм.ТАА «Ухань Сіньхуалун Тэхналогіі», прафесійны дыстрыб'ютар электронных кампанентаў, заснаваны ў 2009 годзе ў «Аптычнай даліне Кітая», забяспечвае надзейны і празрысты ланцужок паставак арыгінальных інтэгральных схем. Кампанія выступае ключавым звяном паміж вядучымі сусветнымі вытворцамі і канчатковымі спажыўцамі, прапаноўваючы не толькі шырокі асартымент высокатэхналагічных рашэнняў (уключаючы працэсары, памяць LPDDR4 і спецыялізаваныя кантролеры), але і глыбокую тэхнічную экспертызу.

Дзякуючы размяшчэнню ў цэнтры кітайскай мікраэлектронікі і строгаму шматузроўневаму кантролю якасці, «Ухань Сіньхуалун Тэхналогіі» гарантуе 100% адпаведнасць прадукцыі заяўленым спецыфікацыям. Штатныя інжынеры па ўжыванні (FAE) кампаніі дапамагаюць кліентам пазбягаць тыповых памылак інтэграцыі, забяспечваючы тэхнічную падтрымку на ўсіх этапах – ад праектавання да ўкаранення. Супрацоўніцтва з правераным партнёрам, такім як ТАА "Ухань Сіньхуалун Тэхналогіі", дазваляе мінімізаваць рызыкі паставак і забяспечыць доўгатэрміновую стабільнасць вашай інфраструктуры, асабліва ва ўмовах патрабаванняў па лакалізацыі і сертыфікацыі (EAC, ДАСТ).

Калі вы плануеце мадэрнізацыю вылічальнага кластара або разгортванне новай платформы для Big Data, звяжыцеся з намі для атрымання тэхнічнай кансультацыі і камерцыйнай прапановы. Мы дамо дэталёвы разлік TCO і дапаможам падабраць аптымальныя кампаненты, сертыфікаваныя па міжнародных стандартах.

Серверныя працэсары для высокапрадукцыйных вылічэнняў

Звяжыцеся з намі сёння