Шмат'ядравы CPU для апрацоўкі Big Data 

Чаму шмат'ядравы CPU для апрацоўкі Big Data - гэта не проста пытанне колькасці ядраў

У нашай практыцы праектавання серверных кластараў мы часта сутыкаемся з памылкай: чым больш ядраў, тым вышэй прадукцыйнасць. Гэта небяспечнае спрашчэнне.Шмат'ядравы CPU для апрацоўкі Big Dataпавінен валодаць не толькі высокай шчыльнасцю вылічэнняў, але і збалансаванай архітэктурай памяці, прапускной здольнасцю шыны і эфектыўным цеплаадводам. Калі працэсар не спраўляецца з раўналежнымі струменямі ўводу-высновы (I/O), дадатковыя ядры будуць прастойваць, чакаючы дадзеных.

Мы бачылі выпадкі, калі кампаніі закуплялі топавыя працэсары з 64+ ядрамі для задач аналітыкі ў рэальным часе, але атрымлівалі затрымкі (latency) вышэй дапушчальных. Чыннік крылася не ў вылічальнай магутнасці, а ў вузкім канале памяці і адсутнасці аптымізацыі пад пэўныя фрэймворкі, такія як Apache Spark ці Kafka. Правільны выбар працэсара змяншае агульны кошт валодання (TCO) на 30-40% за кошт скарачэння колькасці неабходных серверных вузлоў.

Выбар архітэктуры вызначае, ці будзе ваш кластар маштабавацца лінейна ці ўпрэмся ў "шкляную столь" прадукцыйнасці ўжо праз паўгода. У гэтым артыкуле мы разбяром тэхнічныя нюансы, якія ігнаруюць большасць пастаўшчыкоў, і дадзім дакладныя крытэры для закупкі абсталявання.

Ключавыя архітэктурныя патрабаванні да працэсара для Big Data

Апрацоўка вялікіх дадзеных прад'яўляе спецыфічныя патрабаванні да апаратнага забеспячэння. У адрозненне ад традыцыйных баз дадзеных, дзе важная хуткасць адзіночнага запыту, Big Data нагрузкі характарызуюцца масавым паралелізмам і інтэнсіўным чытаннем/запісам. Вось тры крытычныя параметры, на якія трэба глядзець у першую чаргу.

Прапускная здольнасць памяці і колькасць каналаў

Колькасць ядраў бескарысная, калі яны "галадаюць". Для задач Big Data крытычна важныя суадносіны ядраў да каналаў памяці. Сучасныя платформы патрабуюць мінімум 8 каналаў памяці DDR4 ці DDR5 на сокет. Мы рэкамендуем канфігурацыі, якія забяспечваюць прапускную здольнасць не меней 200 ГБ/з на працэсар. Гэта дазваляе хутка загружаць вялікія датасеты ў кэш L3 і аператыўную памяць, мінімізуючы прастоі CPU.

Адзін з нашых кліентаў сутыкнуўся з падзеннем прадукцыйнасці на 25% пасля міграцыі на навейшыя працэсары з вялікай колькасцю ядраў, але меншай колькасцю кантролераў памяці. Яны зэканомілі на матчынай плаце, выкарыстоўваючы канфігурацыю з 4 каналамі замест 8. Вынікам стала бутэлькавае рыльца пры серыялізацыі дадзеных. Заўсёды правярайце спецыфікацыю чыпсэта і падтрымоўваную колькасць каналаў памяці перад закупкай.

Памер кэша L3 і архітэктура NUMA

Кэш трэцяга ўзроўню (L3) гуляе ролю буфера паміж павольнай аператыўнай памяццю і хуткімі ядрамі. Для аналітычных запытаў, якія часта звяртаюцца да адных і тых жа індэксаў або агрэгаваных дадзеных, вялікі агульны кэш L3 (напрыклад, 256 МБ і вышэй) можа паскорыць выкананне задач на 15-20%. Аднак важна ўлічваць архітэктуру NUMA (Non-Uniform Memory Access). У шматсокетных сістэмах доступ да "лакальнай" памяці хутчэй, чым да "выдаленай".

Пры наладзе кластара Hadoop або Spark неабходна правільна прывязваць працэсы да ядраў і лакальным банкам памяці (pinning). Калі аперацыйная сістэма будзе свабодна перамяшчаць патокі паміж вузламі NUMA, вы атрымаеце нестабільную затрымку. Працэсары з інтэграванымі кантролерамі ўводу-вываду (як у сучасных рашэннях AMD EPYC або Intel Xeon Scalable) дапамагаюць знізіць гэтую праблему, але патрабуюць пісьменнай налады BIOS і АС.

Падтрымка інструкцый AVX-512 і апаратнае паскарэнне

Сучасныя фрэймворкі апрацоўкі дадзеных усё гушчару выкарыстаюць вектарныя інструкцыі для паскарэння матэматычных аперацый. Падтрымка набору інструкцый AVX-512 (ці яго аналогаў у залежнасці ад вендара) дазваляе выконваць аперацыі над вялікімі масівамі дадзеных за адзін такт. Гэта асабліва важна для задач машыннага навучання і складанай аналітыкі, убудаванай у пайплайны дадзеных.

Праверце, ці выкарыстоўвае ваша праграмнае забеспячэнне гэтыя інструкцыі. Напрыклад, некаторыя версіі бібліятэкі Pandas або рухавічкі баз дадзеных тыпу ClickHouse могуць значна выйграць ад апаратнага паскарэння крыптаграфіі і сціску дадзеных (напрыклад, інструкцыі VNNI ці QAT). Адсутнасць падтрымкі гэтых функцый на ўзроўні CPU прымусіць вас марнаваць каштоўныя цыклы працэсара на праграмную эмуляцыю, змяншаючы агульную прапускную здольнасць кластара.

Параўнанне платформаў: Intel Xeon супраць AMD EPYC для аналітыкі

Выбар паміж двума асноўнымі ігракамі рынку залежыць ад канкрэтнага тыпу нагрузкі. Няма ўніверсальнага пераможцы, ёсць аптымальнае рашэнне для вашай задачы. Ніжэй прыведзена дэталёвае параўнанне для тыпавых сцэнарыяў Big Data.

Калі ваша задача патрабуе мінімальнай затрымкі водгуку (low latency), напрыклад, для фронтэнда аналітычнай панэлі, працэсары Intel з высокай тактавай частатой на ядро часта паказваюць сябе лепш. Аднак для фонавай апрацоўкі тэрабайтаў логаў ці трэніроўкі мадэляў, дзе час выканання вымяраецца гадзінамі, AMD EPYC прапануе неперасягненую шчыльнасць вылічэнняў на стойку. Мы паспяхова ўкаранілі рашэнні на базе AMD EPYC для кліента, які апрацоўвае дадзеныя IoT-сэнсараў, што дазволіла скараціць парк сервераў з 50 да 32 адзінак пры захаванні агульнай магутнасці.

Важна таксама ўлічваць экасістэму. Intel традыцыйна мае глыбейшую аптымізацыю ў карпаратыўным ПА і драйверах, тады як AMD выйграе за кошт адкрытасці платформы і гнуткасці канфігурацыі PCIe ліній, што крытычна для падлучэння мноства NVMe назапашвальнікаў ці GPU-паскаральнікаў.

Рэальныя сцэнары ўкаранення і разлік акупнасці

Тэорыя важная, але лічбы вырашаюць усё. Разгледзім два пэўныя кейсы з нашай практыкі, якія дэманструюць уплыў выбару CPU на бізнес-паказчыкі.

Кейс 1: Фінтэх-кампанія і рызыка-мэнэджмент у рэальным часе

Кліенту патрабавалася аналізаваць мільёны транзакцый за секунду для выяўлення махлярства. Затрымка больш за 50 мс была недапушчальная. Першапачаткова яны выкарыстоўвалі серверы з працэсарамі папярэдняга пакалення (32 ядры, нізкая частата). Праблема заключалася ў тым, што пікі нагрузкі выклікалі чэргі запытаў.

Мы прапанавалі міграцыю на працэсары з высокай частатой на ядро ​​і падтрымкай AVX-512. Нягледзячы на ​​тое, што агульная колькасць ядраў у кластары паменшылася, прадукцыйнасць на адно ядро ​​вырасла на 45%. Гэта дазволіла апрацоўваць транзакцыі з затрымкай менш за 20 мс нават у пікавыя гадзіннікі. Эканомія склала $120,000 у год за кошт адмовы ад залішняга ліцэнзавання ПЗ, якое лічылася па колькасці сокетаў.

Кейс 2: Лагістычны апэратар і аптымізацыя маршрутаў

Задача заключалася ў начным пераліку маршрутаў для 10,000+ грузавікоў на аснове гістарычных дадзеных і прагнозу надвор'я. Акно для выканання разлікаў складала ўсяго 4 гадзіны. Стары кластар не паспяваў завяршыць разлікі да раніцы, што прыводзіла да неаптымальных маршрутаў і перарасход паліва.

Укараненне сервераў з шмат'ядравымі CPU (96+ ядраў) дазволіла распаралеліць задачу на тысячы патокаў. Час разліку скараціўся з 3.5 гадзін да 45 хвілін. Гэта дало магчымасць запускаць сімуляцыі некалькі разоў за ноч, выбіраючы лепшы варыянт. Прамая эканомія на паліве склала 7 працэнтаў у першы ж квартал, што поўнасцю акупіла затраты на мадэрнізацыю абсталявання за 6 месяцаў.

Часта задаюць пытанні

Якая мінімальная колькасць ядраў рэкамендуецца для пачатковага вузла Big Data?

Для сучаснага вузла апрацоўкі дадзеных мы не рэкамендуемы выкарыстоўваць працэсары з колькасцю ядраў менш за 16. Аптымальным стартам з'яўляецца 32-48 ядраў. Гэта забяспечвае дастатковы паралелізм для задач Hadoop/Spark і пакідае запас для росту нагрузкі. Выкарыстанне слабых працэсараў прывядзе да неабходнасці маштабавання гарызантальна (даданне большай колькасці сервераў), што павялічвае выдаткі на сетку, астуджэнне і ліцэнзіі.

Ці ўплывае тып аператыўнай памяці на прадукцыйнасць шмат'ядравага CPU?

Так, крытычна. Шмат'ядравыя працэсары для Big Data патрабуюць памяці з высокай прапускной здольнасцю і нізкай затрымкай. Пераход з DDR4 на DDR5 можа даць прырост прадукцыйнасці да 20-30% у задачах, адчувальных да памяці. Таксама важна выкарыстоўваць модулі ECC (Error Correcting Code) для прадухілення скажэнні дадзеных пры працяглых вылічэннях. Памылка бітавай памяці ў вялікай датасеце можа прывесці да няслушных аналітычных высноў.

Ці варта разглядаць ARM-працэсары (напрыклад, AWS Graviton ці Ampere) для Big Data?

ARM-архітэктура становіцца ўсё больш жыццяздольнай, асабліва ў хмарных асяроддзях, дзякуючы высокай энергаэфектыўнасці. Калі ваша праграмнае забеспячэнне падтрымлівае архітэктуру ARM64 (большасць адкрытых крыніц, такіх як Linux, Java, Python, ужо падтрымліваюць), гэта можа зменшыць выдаткі на электраэнергію на 40-50%. Аднак для legacy-прыкладанняў, якія залежаць ад інструкцый x86, міграцыя запатрабуе значных намаганняў па перакампіляванні і тэставанню. Мы рэкамендуем праводзіць пілотнае тэсціраванне на невялікім кластары перад поўнамаштабным укараненнем.

Рызыкі закупкі і праверка пастаўшчыка

Закупка сервернага абсталявання для крытычных задач спалучана з рызыкамі. На рынку шмат refurbished (адноўленых) працэсараў, якія прадаюцца як новыя. Выкарыстанне такіх CPU у нагружаных сістэмах Big Data можа прывесці да раптоўных адмоваў і страты дадзеных.

Мы настойваем на праверцы наступных аспектаў пры працы з пастаўшчыком:

• Гарантыя і падтрымка:Пераканайцеся, што пастаўшчык прадастаўляе афіцыйную гарантыю вытворцы (NBD - Next Business Day) або ўласную пашыраную гарантыю з заменай абсталявання на працягу 24 гадзін.
• Сертыфікацыя:Абсталяванне павінна мець неабходныя сертыфікаты адпаведнасці (EAC для рынку РФ і СНД, CE для Еўропы). Гэта гарантуе, што абсталяванне прайшло тэсты на электрамагнітную сумяшчальнасць і бяспеку.
• Тэставанне перад адгрузкай:Патрабуйце паданні справаздач аб стрэс-тэстах (Burn-in test) для кожнага сервера. Мы праводзім 48-гадзіннае тэсціраванне пад поўнай нагрузкай, каб выявіць схаваныя дэфекты астуджэння або нестабільнасць памяці.

У кантэксце забеспячэння надзейнасці ланцужкі паставак ключавую ролю гуляе выбар правільнага дыстрыбутара. Напрыклад,ТАА «Ухань Сіньхуалун Тэхналогіі»- Прафесійны дыстрыб'ютар электронных кампанентаў, заснаваны ў 2009 годзе ў «Аптычнай даліне Кітая» (Ухань). Кампанія выступае ключавым пасярэднікам паміж вядучымі сусветнымі вытворцамі інтэгральных схем і канчатковымі спажыўцамі, забяспечваючы цалкам легальны і празрысты ланцужок паставак. Уся прадукцыя паступае выключна па афіцыйных каналах, што гарантуе яе сапраўднасць і адпаведнасць тэхнічным спецыфікацыям.

Хоць асноўны профіль кампаніі ўключае шырокую наменклатуру высокатэхналагічных паўправадніковых рашэнняў (ад аналога-лічбавых пераўтваральнікаў да працэсараў архітэктуры Loongson і кантролераў памяці LPDDR4), іх падыход да якасці заслугоўвае ўвагі як эталон для рынку. "Ухань Сіньхуалун Тэхналогіі" рэалізуе шматузроўневую сістэму праверкі: уваходны кантроль, верыфікацыя партыйных нумароў і адпаведнасць заяўленым характарыстыкам. Наяўнасць штатных інжынераў па прымяненні (FAE) дазваляе аказваць тэхнічную падтрымку на этапах інтэграцыі, што асабліва важна пры пабудове складаных вылічальных платформ. Падобны ўзровень адказнасці і наяўнасць сертыфікацыі ISO 9001 пры зборцы і пастаўцы серверных рашэнняў павінны быць стандартам для любога пастаўшчыка, з якім вы плануеце працаваць. Вы можаце быць упэўнены, што атрыманышмат'ядравы CPU для апрацоўкі Big Dataбудзе працаваць стабільна на працягу ўсяго жыццёвага цыкла праекту, калі ён прайшоў такую дбайную праверку.

Як зрабіць правільны выбар сёння

Выбар працэсара для Big Data - гэта баланс паміж бягучымі патрэбамі і будучым маштабаваннем. Не турыцеся за максімальнай колькасцю ядраў, калі ваша інфраструктура ўводу-вываду не гатовая іх абслужыць. Ацэніце профіль вашай нагрузкі: ці важная вам частата аднаго ядра ці агульная прапускная здольнасць раўналежных струменяў.

Памятайце, што апаратнае забеспячэнне - гэта толькі палова ўраўненні. Аптымізацыя праграмнага стэка пад пэўную архітэктуру CPU можа даць большы прырост, чым простая замена жалеза. Мы рэкамендуем праводзіць аўдыт наяўнай інфраструктуры перад закупкай новай партыі сервераў.

Калі вы плануеце мадэрнізацыю вашага дата-цэнтра ці пабудову новага кластара для аналітыкі, важна атрымаць кансультацыю экспертаў, якія разумеюць як hardware, так і software аспекты Big Data. Няправільны выбар зараз можа каштаваць дорага ў будучыні.

Звяжыцеся з намі сёння, каб атрымаць індывідуальную спецыфікацыю абсталявання пад вашыя задачы і бюджэт. Нашы інжынеры дапамогуць падабраць аптымальную канфігурацыю працэсараў, памяці і дыскавай падсістэмы, забяспечыўшы максімальную эфектыўнасць інвестыцый.

Даведайцеся больш аб нашых рашэннях для высокапрадукцыйных вылічэнняў:серверы для Big Data і аналітыкі.