Оптимизация распределения серверов по стойкам

Оптимизация распределения серверов по стойкам

— А есть что-то почитать, как правильно упаковывать сервера в стойки?

Я понял, что такого текста не знаю, поэтому написал свой.

Во-первых, этот текст про физические сервера в физических дата центрах (ДЦ). Во-вторых, считаем, что серверов достаточно много: сотни-тысячи, для меньшего количества этот текст не имеет смысла. В-третьих, считаем, что у нас есть три ограничителя: физическое место в стойках, электропитание на стойку, и пусть стойки стоят в рядах, так что мы можем использовать один ToR свитч для подключения серверов в соседних стойках.

Ответ на вопрос сильно зависит от того, какой параметр мы оптимизируем и что мы можем варьировать, чтобы добиться наилучшего результата. Например, нам лишь надо занять минимум места, чтобы больше оставить на дальнейший рост. А может, у нас есть свобода в выборе высоты стоек, мощности на стойку, розеток в PDU, количества стоек в группе свитчей (один свитч на 1, 2 или 3 стойки), длины проводов и работ по протяжке (это критично на концах рядов: при 10-ти стойках ряду и 3-х стойках на свитч придется тянуть провода в другой ряд или недоиспользовать порты в свитче), etc., etc. Отдельные истории: выбор серверов и выбор ДЦ, будем считать, что они выбраны.

Хорошо бы понимать некоторые нюансы и подробности, в частности, среднее/максимальное потребление серверов, и как нам подается электричество. Так, если у нас российское питание 230В и одна фаза на стойку, то 32А автомат может держать

7кВт. Допустим, мы номинально платим за 6кВт на стойку. Если провайдер меряет наше потребление только по ряду из 10 стоек, а не по каждой стойке, и если автомат стоит на отсечке условно 7кВт, то технически мы можем в отдельно взятой стойке сожрать 6.9кВт, в другой 5.1кВт и все будет ок — ненаказуемо.

Обычно наша основная цель — это минимизация расходов. Лучший критерий для измерения — снижение TCO (total cost of ownership — совокупная стоимость владения). Она состоит из следующих кусков:

• CAPEX: закупка инфраструктуры ДЦ, серверов, сетевых железок и кабелирование
• OPEX: аренда ДЦ, потребляемое электричество, обслуживание. OPEX зависит от срока службы. Разумно предположить его равным 3 годам.

В зависимости от того, как велики отдельные куски в общем пироге, нам надо оптимизировать самое дорогое, а остальное пусть использует все оставшиеся ресурсы как можно более эффективно.

Допустим, у нас есть уже существующий ДЦ, есть высота стойки H юнитов (для примера H=47), электричество на стойку P_rack (P_rack=6кВт), и мы решили использовать h=2U двухюнитовые сервера. Уберем 2..4 юнита из стойки на свитчи, патч панели и органайзеры. Т.е. физически, у нас в стойке помещается S_h=rounddown((H-2..4)/h) серверов (т.е. S_h = rounddown((47-4)/2)=21 сервер на стойку). Запомним это S_h.

В простом случае все сервера в стойке одинаковые. Итого, если мы забьем стойку серверами, то на каждый сервер мы сможем в среднем потратить мощность P_serv=P_rack/S_h (P_serv = 6000Вт/21 = 287Вт). Для простоты мы тут игнорируем потребление свитча.

Сделаем шаг в сторону и определимся, что такое максимальное потребление сервера P_max. Если очень просто, очень неэффективно и совсем безопасно, то читаем, что написано на блоке питания сервера — это оно.

Если сложнее, более эффективно, то берем TDP (thermal design package) всех компонентов и суммируем (это не очень правда, но можно и так).

Обычно мы TDP компонентов (кроме CPU) не знаем, поэтому берем самый правильный, но и самый сложный подход (нужна лаборатория) — берем экспериментальный сервак нужной конфигурации и нагружаем его, например, Linpack’ом (CPU и память) и fio (диски), меряем потребление. Если подходить серьезно, то надо еще и создать наиболее теплую среду в холодном коридоре во время тестов, потому что это влиет и на потребление вентилятров, и на потребление CPU. Получаем максимальное потребление конкретного сервера с конкретной конфигурацией в этих конкретных условиях под этой конкретной нагрузкой. Просто имеем в виду, что новая прошивка системы, другой версия софта, другие условия могут повлиять на результат.

Итого, возвращаемся к P_serv и как нам его сравнить с P_max. Это вопрос понимания работы сервисов и того, насколько крепкие нервы у вашего техдира.

Если совсем не рисковать, то считаем, что все сервера могут одномоментно начать потреблять свой максимум. В этот же момент может сложиться один ввод в ДЦ. Инфра и в этих условиях должна предоставлять сервис, поэтому P_serv ≡ P_max. Это подход, где абсослютно важна надежность.

Если же техдир думает не только об идеальной безопасности, но и о деньгах компании и достаточно смелый, то можно решить, что

• мы начинаем менеджить наших вендоров, в частности, запрещаем проводить плановое обслуживание в моменты планируемой пиковой нагрузки для минимизации падения одного ввода;
• и/или наша архитектура позволяет потерять стойку/ряд/ДЦ, а сервисы продолжают работать;
• и/или мы хорошо размазываем нагрузку горизонтально по стойкам, поэтому наши сервисы никогда не прыгнут к максимальному потреблению в одной стойке все вместе.

И тогда в стойку на 6кВт влезает уже не 16 серверов с P_max = 375Вт, а 20 серверов с P_serv = 375Вт * 0.8 = 300Вт. Т.е. на 25% больше серверов. Это очень большая экономия — ведь и стоек нам сразу надо на 25% меньше (а там еще и на PDU, свитчах да кабелях сэкономим). Серьезный минус такого решения — надо постоянно мониторить, что наши предположения все еще верны. Что новая версия прошивки не меняет существенным образом работу вентиляторов и потребления, что разработка вдруг с новым релизом не начала использовать сервера гораздо эффективней (читай добились большей загрузки и большего потребления на сервер). Ведь тогда и наши первоначальные предположения, и выводы сразу становятся неверными. Это риск, который надо ответственно принимать (или избегать и тогда платить за очевидно недогруженные стойки).

Важное замечание — стоит пытаться распределять сервера из разных сервисов по стойкам горизонтально, если это возможно. Это надо, чтобы не случались истории, когда одна партия серверов для одного сервиса приходит, стойки вертикально забиваются ею для повышения «плотности» (потому что так проще). В реальности же получается, что одна стойка забита одинаковыми низконагруженными серверами одного сервиса, а другая — одинаково высоконагруженными. Вероятность падения второй существенно выше, т.к. профиль нагрузки одинаков, и все сервера вместе в этой стойке начинают потреблять одинаково много в результате повышения нагрузки.

Вернемся к распределению серверов в стойках. Мы рассмотрели физические ограничения по месту в стойке и ограничения по электропитанию, теперь взглянем и на сеть. Можно использовать свитчи на 24/32/48 портов N (для примера у нас 48-портовые ToR свитчи). Вариантов, к счастью, не так много, если не задумываться о break-out кабелях. Рассматриваем сценарии, когда у нас есть один свитч на стойку, один свитч на две или три стойки в группе R_net. Мне кажется, что больше трех стоек в группе — уже перебор, т.к. проблема кабелирования между стойками становится сильно больше.

Итак, для каждого сетевого сценария (1, 2 или 3 стойки в группе) распределяем сервера по стойкам:

Таким образом, для варианта с 2 стойками в группе:

S_rack 2 = min(21, rounddown(6000/300), rounddown(48/2)) = min(21, 20, 24) = 20 серверов на стойку.

Аналогично считаем остальные варианты:

И мы практически у цели. Считаем количество стоек для распределения всех наших серверов S (пусть будет 1000):

R₁ = roundup(1000 / (20 * 1)) * 1 = 50 * 1 = 50 стоек

R₂ = roundup(1000 / (20 * 2)) * 2 = 25 * 2 = 50 стоек

R₃ = roundup(1000 / (16 * 3)) * 3 = 21 * 3 = 63 стойки

Дальше считаем TCO для каждого варианта на основании количества стоек, необходимого количества свитчей, кабелирования, etc. Выбираем тот вариант, где TCO меньше. Profit!

Заметим, что хотя необходимое количество стоек для вариантов 1 и 2 одинаково, их цена будет разной, т.к. количество свитчей для второго варианта вдвое меньше, а длина необходимых кабелей больше.

Форм-фактор сервера

Если требуется указать форм-фактор сервера, то придется использовать специальные единицы, предназначенные для обозначения типовых размеров технического оснащения — юниты (U). Данные единицы созданы для того, чтобы было проще было размещать техническую инфраструктуру например в серверных стойках или телекоммуникационных шкафах.

Юниты

Это ни что иное, как монтажные единицы. Наверняка встречали размеры серверного оборудования, обозначенные следующим образом:

• 1U;
• 2U;
• 3U;
• 4U;
• 5U.

И даже больше. Юниты предназначены только для обозначения высоты, ширина у серверов типовая. Конечно, за исключением нестандартных устройств или предназначенных для напольного размещения.

1 юнит = 44,45 миллиметрам, соответственно при размере 2U умножаем на два, при 3U на три и далее по нарастающей. Но в случае серверного оборудования всегда есть отступ. Размер корпуса с форм-фактором 1U будет составлять 43,7 мм. Этот зазор сделан для того, чтобы устройство можно было без проблем разместить в телекоммуникационном шкафу. Для примера разместим фото типовых размеров серверного оборудования.

Пожалуй, стоит показать размеры оборудования наглядно.

alt=»Форм-фактор 1U» width=»818″ height=»402″ /> Сервер с форм-фактором 1U
alt=»Форм-фактор 2U» width=»768″ height=»473″ /> Сервер с форм-фактором 2U
alt=»Форм-фактор 3U» width=»768″ height=»563″ /> Сервер с форм-фактором 3U
alt=»Форм-фактор 4U» width=»768″ height=»659″ /> Сервер с форм-фактором 4U

Соответственно, чем дальше, тем больше будет высота сервера. Ширина не меняется.

Нестандартные форм-факторы серверов

Есть и другие типы размеров. Например, банальный вариант Tower. Фактически, обычный корпус, напоминающий внешне аналогичные для персональных компьютеров. Могут быть разнообразных размеров. Здесь нет четкой сетки, ведь их не требуется устанавливать в стойки или шкафы.

alt=»Рабочая станция на базе Supermicro» width=»749″ height=»500″ /> Сервер с форм-фактором Tower

Второй тип — мини и микро. Маленькие боксы, сделанные максимально компактно, подходят для маленьких офисов и в ситуация, когда важна мобильность технической инфраструктуры.

alt=»Сервер для малого бизнеса» width=»523″ height=»262″ /> Сервер с форм-фактором mini
alt=»Microserver» width=»423″ height=»271″ /> Микросервер

Блейд-серверы

Как правило, сами лезвия могут иметь размеры ½ U или даже ¼ U. Но сама платформа обычно заточена под целочисленный размер, например, 4U. Подобные платформы для напольного размещения встречаются крайне редко, зато все больше внедряются в ЦОД и прочих крупных инфраструктурах, так как в результате получается довольно компактный кластер серверов.

alt=»Модульный сервер 4U» width=»768″ height=»576″ /> Блейд-сервер с форм-фактором 7U

Модульные серверы

Единственное отличие от «лезвий» заключается в отсутствии коммутации на уровне платформы. Внешне выглядят как блейд-серверы, питание также общее, так что можно легко перепутать. Форм-факторы также разнятся. От 2U до 7U. Бывают нестандартные размеры, если корзина выполнена под заказ, но индивидуальные проекты прорабатываются только под крупных заказчиков.

/> Модульный сервер с форм-фактором 4U

Многообразие

Да, при такой вариативности бывает трудно определиться, но готовы помочь. Вы можете обратиться за консультацией через форму обратной связи и получить исчерпывающие ответы на вопросы.

Что такое юнит, размеры юнита

Юнит (Unit) – неофициальная единица измерения, используемая в IT-индустрии для стандартизации размеров оборудования. Обозначается латинской буквой U и вычисляется в отношении высоты приборного блока. Обязательно указывается в техническом паспорте оборудования. Например: источник бесперебойного питания, высота 5U.

Зачем понадобилось изобретать юнит?

Изобретение особой единицы измерения «юнит» – это вторая волна глобальной (буквально всемирной) стандартизации. Первая была связана с повсеместным внедрением метрической резьбы, что позволило поставить на конвейер сборку машин и изготовление взаимозаменяемых деталей для них.

Сейчас никого не удивляет, что гайку от карьерного грузовика можно использовать на легковом автомобиле, хотя еще в начале прошлого века каждая деталь могла быть уникальной..

То же самое произошло в конце века XX, когда IT-технологии перестали быть уделом узкого круга профессионалов и стали достоянием миллионов. Оказалось, что единственно возможным способом расположить на единице площади максимально большое количество блоков аппаратуры является их размещение «в стопочку» и формирование аппаратных стоек.

Из этого вытекло разумное требование, что высота кубиков (аппаратных блоков) в стойке должна быть или одного размера, или кратна какому-то целому числу.

Кто изобрел единицу измерения высоты аппаратного блока, и почему он избрал именно такой размер – достоверно неизвестно. Но благодаря этому человеку компьютерный блок, произведенный на Тайване, без проблем встает в аппаратную стойку в Москве, Нью-Йорке или на исследовательской станции в Антарктиде.

Юнит – это сколько? Чему равна высота одного юнита в сантиметрах

Юнит – условная единица измерения. Наподобие архаичного «локтя», которым наши предки пользовались не задумываясь. Просто потому, что это было им удобно. Если юнита соотнести с привычными единицами измерения, то получится, что в нем 1,75 дюйма, или 4,45 сантиметра.

Правда, жизнь немного подкорректировала этот параметр. Ведь блок нельзя поставить друг на друга, как ящик. Какой-то зазор между ними должен остаться. Поэтому реальный юнит меньше изобретенного на 0,7 мм (одну тридцать вторую дюйма) и равен 43,7 мм. Наши услуги:
Аренда SSD VPS серверов;
Аренда выделенного сервера.

Юнит — удобный способ посчитать стоимость места в стойке

Использование стандартной единицы измерения имеет 2 основных преимущества. Во-первых (и прежде всего), имея эту единицу измерения, очень удобно монтировать оборудование в дата-центрах. От пола до потолка ставятся стойки с отверстиями. Каждые три дырочки в стойке – это один юнит. Монтаж серверной стойки похож на сборку детского конструктора.

Во-вторых, и это уже коммерция, с помощью юнита хозяину дата-центра удобно указывать цену за предоставление услуги размещения оборудования (сколько будет стоить цена размещения 1 сервера). Он объявляет цену юнита, а хозяин оборудования точно знает, во что ему обойдется его размещение на площадке провайдера.

Длина юнита в стойке

06 мая 2015 г. | Стивен Бигалоу | Категория: Обсуждаем статью

Повышение физических требований к современному IT-оборудованию может вызвать проблемы в ходе использования классических корпусов стоек. В процессе покупки новых стоек или оборудования рекомендуем обратить внимание на следующие факторы.

Стойки изготавливаются на основе стандартов, однако габариты IT-оборудования варьируются, а количество кабелей, необходимых для питания и сетевого подключения современных серверов, коммутаторов и хранилищ может стать причиной возникновения неожиданных проблем при развертывании.

Большая часть оборудования дата-центра устанавливается в стойки, которые поставляются в стандартных типоразмерах. Стоечные модули (или юниты, обозначаемые буквой U) вмещают различное оборудование — системы управления воздухотоком, управление кабелями, а также устройства доступа в стойку — съемные двери или направляющие.

Когда вы устанавливаете в стойку сервер, проверьте габариты и физическую совместимость между стойкой, направляющими и сервером, а также прочим IT-оборудованием, которое вы собираетесь там разместить. Если вы выполняете развертывание своими силами, проведите предварительную проверку, чтобы убедиться, что все подходит.

Скрытые проблемы размещения сервера в стойке

Стойка обычно вмещает серверы шириной 19 дюймов (482,6 мм). Высота стойки складывается из множества ячеек высотой 1,752 дюйма (44,5 см), и это и есть стандартный размер одного юнита (U). Например, стойка 42U имеет пространство шириной 19 дюймов и высотой 73,6 дюймов (1,8669 м).

Девятнадцатидюймовая стойка подходит для любого оборудования шириной 19 дюймов: сервера, коммутатора, панели распределения питания, ИБП, и прочего стандартного оборудования. Прибавьте сюда высоту по вертикали и убедитесь, что проем стойки достаточно высок для размещения всех планируемых устройств. Например, если вам надо развернуть 14 новых серверов высотой 2U каждый, одну распределительную панель 4U, и источник бесперебойного питания 8U, то понадобится стойка шириной 19 дюймов и высотой как минимум 40U. Более высокая стойка также сгодится, особенно если вы не исключаете дальнейшей реконфигурации.

Два плюс два

Двухопорная стойка — это пара вертикальных рейлингов. Каждый рейлинг соединяется со средней частью каждого сервера (или иного оборудования). Как правило, двухопорные стойки подходят для небольших развертываний, для облегчения доступа без затрагивания вопросов воздушного коридора.

Стойка на четырех опорах – это корпус с четырьмя углами или шкаф. Каждый сервер (или иное устройство) устанавливается вдоль горизонтальных направляющих, закрепляется с помощью винтов или зажимов через отверстия на передней панели. Стойка на четырех опорах обеспечивает безопасность IT-оборудования, защищает систему сетевых и электрических кабелей и обеспечивает поток воздуха для горячего/холодного коридора.

Самая большая проблема со стойками – это их глубина. Такие производители серверов, как Dell, HP, IBM и прочие выпускают модели, глубина которых варьируется от 28,5 до 29,125 дюймов. Более новые серверы могут не встать в направляющие старых стоек до конца, и вам придется заменить шкафы на новые, чтобы иметь возможность безопасно и надежно установить новое оборудование.

Иногда сам сервер помещается, но не остается места для электрической проводки и сетевых кабелей. Проблемы умножатся, если вы рассчитаете, что стойка размером 42U вместит 42 сервера (или иных устройств) размером 1U, при этом каждое устройство имеет шлейф кабелей. Без достаточного свободного пространства массивный клубок кабелей может затруднить ток воздуха или помешать закрытию задней двери стойки.

Большинство производителей серверов предлагают линейку опций кабеля питания для моделей стоечных серверов, либо вы можете сами приобрести низкопрофильные кабели от сторонних вендоров, например, YP-12L-9 от Signal & Power Delivery Systems, чтобы освободить место.

Существуют специальные рукава для организации электрических и сетевых кабелей в механических контейнерах позади серверной стойки. С их помощью можно привести стойку в аккуратный вид, однако они затрудняют обнаружение конкретного кабеля, предотвращение неполадок и его замену. Некоторые рукава довольно глубоки и скорее будут мешать серверам большой глубины. Пользователь может снять рукава, хотя это может привести к образованию «гнезд» из кабелей. Выбирайте рукава небольшого размера, или узкие рукава от производителя стойки, снижайте количество серверов в стойке, чтобы освободить место, или замените всю стойку на более глубокую модель, в которой будет достаточно пространства сзади.

Ширина стойки, высота и глубина (как внутренние, так и внешние) варьируются в зависимости от производителя. Как эти габариты впишутся в ваш план этажа? Слишком большие стойки могут изменить параметры вашего ряда с точки зрения герметизации коридоров, либо придется сместить другие стойки, и вместе с ними поменять весь план воздухотока. Небольшое отклонение в размерах может показаться несущественным, однако любое увеличение размера стойки может привести к полному хаосу в строгом проекте размещения оборудования ЦОДа.

Отверстия и снова отверстия

Стойки имеют ряд отверстий для монтирования серверов, коммутаторов и прочих устройств. Однако, производители не придерживаются какого-либо стандарта для таких отверстий, поэтому отверстия с резьбой, без резьбы или прямоугольные отверстия могут стать настоящей проблемой.

Отверстия для креплений с резьбой используются на сравнительно толстых опорах с отверстиями, подготовленными для стандартных винтов, включая 10-32, 12-24 или метрическую резьбу M6. Сервер устанавливается на место, а техник выравнивает отверстия на его передней панели так, чтобы они совпадали с соответствующими резьбовыми отверстиями стойки. Более глубокие и длинные корпуса без направляющих довольно трудно установить на резьбовых отверстиях, но задача облегчается, если корпус относительно невелик.

Безопасность стойки

Сервер, закрепленный зажимами на направляющих, может быть отключен и изъят из стойки в течение считанных секунд. Это замечательно для целей обслуживания, но вместе с тем подвергает риску дорогое IT-оборудование и данные, содержащиеся в нем. Если стойка не имеет запирающихся дверей, следует использовать запирающий механизм, например, Secure Server Unit. Это устройство требует пространства в стойке высотой 3U, и на него может не найтись места, если стойка плотно упакована.

Поскольку резьбовые отверстия могут срываться и нужен более толстый лист металла для нанесения резьбы, многие производители стоек используют отверстия без резьбы. Это подходит для оборудования, располагающегося в основном на направляющих или иных механических средствах поддержки – корпус проскальзывает на поддерживающих его рейлингах. Сервер можно в этом случае легко вынуть для осмотра или обслуживания. Если нужно, можно использовать специальные клипсовые гайки, которые вставляются в отверстия для «нанесения резьбы» на безрезьбовых отверстиях.

Необходимость привинчивать сервер к стойке – задача обременительная и увеличивает время, необходимое для технического обслуживания. Многие современные стойки используют линейку квадратных отверстий с блокирующими зажимами, чтобы техник мог быстро снять или поставить сервер. Если же владелец сервера желает, чтобы он был привинчен, то он может установить гайки с квадратным внешним контуром в квадратные отверстия.

Будьте осторожны при выборе или установке комплектов направляющих держателей для сервера. Некоторые имеют различные типы отверстий в одном комплекте и требуют направляющих с вращающимся сегментом. К сожалению, направляющие и стойки не полностью комплектуются друг с другом, и такие многофункциональные комплекты направляющих иногда нельзя использовать. Проверьте длину направляющих: комплект может оказаться слишком длинным для вашей стойки, особенно, если речь идет о старых, неглубоких стойках.

Никогда не надейтесь, что стойки и IT-оборудование автоматически соответствуют друг другу. Проверьте габариты, изучите план вашего дата-центра и проведите тест на совместимость нового оборудования прежде, чем вы его приобретете.

Чтобы оставить свой отзыв, вам необходимо авторизоваться или зарегистрироваться