Данный материал представляет собой вольное изложение рассказов представителей компании «Билайн» во время экскурсии в строящийся технический центр «Билайн» и личные впечатления автора.
Вступление
Компания «Билайн» в настоящее время готовит к официальному вводу в эксплуатацию первый модуль нового центра обработки данных (ЦОД) в Ярославле.
Здание построено, основные инженерные системы (включая аварийное питание от дизелей, охлаждение, вентиляция и др.) установлены, сейчас идет отделка внутренних помещений и монтаж оборудования.
Представители «Билайн» пригласили несколько журналистов на экскурсию по новому объекту, в которой принял участие и я.
Экскурсию проводили Александр Трикоз, директор Ярославского технического центра, его заместитель Иван Прокофьев (он взял на себя основной рассказ), а также Василий Середа, директор всего ярославского филиала «Билайн».
Новый ЦОД «Билайн»
Основной целью строительства Ярославского технического центра (ЯТЦ) было создание мощного центра обработки данных, достаточного для обслуживания всей деятельности компании в России в десятилетней перспективе. Сейчас у компании есть 2 крупных ЦОД и около 500 мелких, разбросанных по всей стране.
Впрочем, центр можно назвать многофункциональным: в главном здании, помимо ЦОД, будет размещаться федеральный центр мониторинга сети ОАО «ВымпелКом» и офис, куда частично будут выведены функции ОЦО (объединенный центр обслуживания, т. е. бухгалтерия, административный персонал и пр., отвечающий за существенную часть деятельности «Билайн»), а также вся необходимая инфраструктура.
Почему выбрали Ярославль
При выборе, где именно строить крупнейший российский дата-центр, компания рассматривала несколько городов (например, в «финал» вышли Ярославль и Ростов-на-Дону), но в результате все же выбрала Ярославль.
По следующим причинам:
- более холодный климат, чем в Москве позволяет 90% времени в году использовать охлаждение наружным воздухом;
- более дешевая, чем в Москве, электроэнергия и большая доступная мощность;
- Ярославль находится на расстоянии менее 280 км от Москвы (3,5 часа на поезде) и является крупным транспортным узлом на пересечении важнейших ж/д, а/м и водных путей;
- также город удачно расположен на «малом кольце» собственной оптоволоконной сети ОАО «ВымпелКом» и имеет прямые линии связи до большинства крупных городов центрального региона;
- много технических вузов — бизнес имеет хорошие перспективы по поиску и обучению будущих сотрудников;
- Хорошая строительная площадка в индустриальном парке «Новоселки», достаточно обустроенная, с подведенными коммуникациями — в первую очередь, электричеством
- хорошие условия для резидентов активно развивающегося индустриального парка «Новосёлки»: обустроенная территория с подведёнными коммуникациями, гостиницей и пунктами питания;
- Готовность администрации области к эффективному взаимодействию.
Строительство выгодно не только компании, но и городу и области. Во-первых, теперь, когда объем инвестиций и оборот компании на территории области существенно вырастет, она будет платить в местный бюджет больше налогов. Во-вторых, увеличение занятости. В ЦОД будет создано 100 рабочих мест, всего же в центре будет работать порядка 500 сотрудников «Билайн».
Строительство технического центра. Основные приоритеты
Само здание ЦОД может использоваться долгие десятилетия — например, до ста лет. Срок жизни обслуживающего оборудования гораздо меньше, порядка 10 лет. За этот срок оно морально и физически устаревает и нуждается в замене. Срок эксплуатации серверов может быть еще меньше, в среднем 3-5 лет. Поэтому относительно часто возникает нужда в замене того или иного оборудования, но при этом остановка в работе ЦОД абсолютно недопустима. Один из способов решения проблемы — модульная структура, позволяющая независимо менять часть оборудования с сохранением работоспособности центра в целом.
Модульность стала одним из главных принципов, положенных в основу проектирования и строительства технического центра «Билайн». Все системы здания состоят из нескольких независимых блоков, которые работают параллельно и могут включаться и отключаться независимо друг от друга. В центральной части здания располагаются 6 независимых модулей для размещения серверного оборудования. Каждый модуль представляет собой, по сути, отдельный ЦОД, который независимо подключен к внешним инженерным коммуникациям. Инженерное оборудование, те же системы охлаждения и обогрева, тоже сделано в виде нескольких модулей — один из них можно отключить для ремонта или замены, при этом другие будут продолжать работать и обслуживать ЦОД. Система питания также состоит из нескольких параллельных независимых модулей, каждый из которых может включаться и выключаться из работы отдельно.
Как правило, ЦОДы строятся в уже существующих зданиях с определенным окружением — соответственно, параметры ЦОДа подстраиваются под возможности здания и окружающей инфраструктуры. Это накладывает очень много ограничений на его работу, в частности, крайне сложно реализовать модульную структуру. Это, кстати говоря, стало одной из основных причин, по которым было принято решение строить новый ЦОД с нуля. Строительство отдельного здания со своей инфраструктурой позволило изначально, на стадии проектирования, учесть все особенности функционирования ЦОД и адаптировать здание под решение его специфических задач.
Модульность позволяет устанавливать только то оборудование, которое реально нужно на текущий момент для решения существующих задач. В то же время, конструкция здания дает возможность быстро наращивать мощность центра по мере развития бизнеса. Сейчас идет монтаж серверного оборудования в первом серверном модуле, поэтому инженерные системы и системы резервного питания установлены только под него. Например, смонтировано только два резервных дизель-генератора. Однако по мере того, как количество модулей ЦОД будет расти, можно легко установить дополнительное обслуживающее оборудование — т. к. установочные места, подводка и пр. уже заложены в проекте и построены.
Полный список приоритетов строительства технического центра выглядит так.
- Экологичность. Использование современных материалов, учет и минимизация ущерба, наносимого окружающей среде. Это касается как строительства, так и эксплуатации центра.
- Энергоэффективность. Использование современных технологий, направленных на уменьшение потребления энергии.
- Оптимизация под ЦОД. Отдельное здание, специально спроектированное под ЦОД с учетом особенностей строения дата-центров и рассчитанное на долгую и бесперебойную работу.
- Модульность. Все системы сделаны в виде отдельных модулей, которые можно отдельно устанавливать, модифицировать и заменять, не нарушая работу ЦОД в целом. Модульность обеспечивает минимальный срок ввода в эксплуатацию дополнительных модулей ЦОД;
- Высочайшая надежность. При строительстве было принято решение о том, что ЦОД должен соответствовать нормам резервирования по уровню надёжности Tier III по классификации Uptime Institute (http://uptimeinstitute.com/). Такое соответствие требует специфических дорогостоящих решений при строительстве и дополнительного оборудования, в результате заметно растет стоимость проекта (из-за этого во многих случаях отказываются от этого уровня).
- Резервирование систем связи с внешним миром. 4 независимые оптические линии данных, выходящих на разные магистральные направления. Две независимые линии подачи электроэнергии Двойное резервирование электропитания с помощью мощных дизель-генераторов, отдельная линия питания для офиса и других нужд;
- Использовании системы охлаждения Free Cooling — охлаждение окружающим воздухом, что позволяет меньше работать кондиционерам. 90% времени в году — Free Cooling.
- Высококлассное оборудование дата-центра. Например, оптика подведена аж к каждой серверной стойке, преобразование на обычный интерфейс идет внутри стойки.
Первый камень был заложен летом 2012 года, но собственно стройка началась позже, в декабре, так что строительство идет меньше двух лет. Инвестиции в проект на текущий момент составляют порядка 2,5 млрд. руб., по итогу (при установке полного комплекта оборудования) сумма достигнет примерно 4 млрд. руб.
Как устроен технический центр
Система электропитания, аварийные генераторы
Рядом со зданием, где располагается ЦОД, находятся два довольно приличных по размерам домика, где расположены все системы электропитания комплекса.
К площадке техцентра подведены две линии питания от разных источников, так что одновременный выход из строя обеих линий крайне маловероятен. Максимальная мощность каждой линии — 10 мегаватт. На случай, если поступление внешнего питания прекратится вообще, запасная схема предполагает использование дизель-генераторов. Если одна из линий отключается, центр переходит на питание от второй. Если отключается и она, то питание переключается на дизель-генератор. Если и он отказывает, то запускается второй дизель-генератор.
Дизель-генераторы, расположенные в этих же зданиях, используют дизельные двигатели мощностью 3300 л. с. с КПД 98% (согласно предоставленной компанией информации). При работе такой дизель потребляет около 500 л. в час. На станции хранится запас топлива в 30 тыс. л, которого хватит на 12 часов автономной работы. За это время, даже если внешнее питание не будет восстановлено, можно организовать подвоз топлива. Кстати, по регламенту дизельное топливо должно заменяться 2 раза в год, чтобы не преподнести неприятных сюрпризов.
Проблема с дизельной схемой питания в том, что дизель запускается и выходит на рабочий режим в течение 2-3 секунд. Если питание резко пропадет, этого времени достаточно для аварийного отключения серверов со всеми печальным последствиями.
В техцентре «Билайн» в схеме аварийного питания используются мощные маховики (кинетические модули). В штатном режиме работы они постоянно вращаются на высоких скоростях и используются, в частности, для стабилизации напряжения и «очистки» поступающего тока, а также для компенсации краткосрочных перебоев в поступлении электричества. Если электричество пропадает на длительный срок, то они поддерживают питание ЦОД до момента запуска дизеля и выхода его на рабочий режим. Система с использованием маховиков и дизельных генераторов называется дизель-динамический источник бесперебойного питания, ДДИБП.
Использование ДДИБП позволяет убрать накопление электрической энергии (накапливается механическая) и, следовательно, избежать использования в ИБП батарей. Срок жизни ДДИБП — 20 лет, а батареи изнашиваются и подлежат регламентной замене раз в три года. Во-первых, это дорого, во-вторых, батареи нужно утилизировать — а это сложный и дорогой процесс. Если их просто выкинуть, они наносят сильный ущерб окружающей среде, что противоречит приоритету экологичности.
Полная справка об организации системы резервного питания с помощью ДДИБП в техническом центре «Билайн», предоставленная компанией.
Инженерное оборудование здания. Охлаждение и обогрев
В ЦОД «Билайн» используется система free cooling (фри кулинг) — т. е. сервера охлаждаются внешним воздухом без кондиционеров.
Подробно о том, как эта система работает, можно прочитать в справке, предоставленной компанией «Билайн».
Такой системы охлаждения хватает в подавляющем большинстве случаев — но все же не всегда. И в средней полосе, в Ярославле, тоже иногда бывает жаркая погода. И ради этих кратких и радостных для нас моментов все равно приходится устанавливать кондиционеры. Система активного охлаждения должна включаться, когда температура окружающей среды превышает 24 °C. Учитывая, что ночью, как правило, даже летом прохладнее, для климатической зоны Ярославля охлаждение с помощью кондиционеров должно работать где-то 3% от всего времени. При неблагоприятных сценариях — до 10% от общего времени работы в год. Остальное время работает охлаждение наружным воздухом, что значительно сокращает расходы на электроэнергию. С другой стороны, организация системы Free Cooling требует больших изначальных капитальных затрат. Общая экономия в течение жизненного цикла должна составлять до 10%.
Систему охлаждения как раз недавно тестировали на способность отводить большое количество тепла. В серверном модуле до сих пор стоят тепловые пушки, с помощью которых создавали нагрузку.
До этого я несколько раз слышал о концепции (которая много где считается перспективной) — задействовать отводимое от серверов дата-центра тепло для обогрева помещений зимой. Несмотря на то, что в теории эта идея выглядит здравой (ну согласитесь, глупо — с одной стороны здания мы выбрасываем тепло в атмосферу, а другую сторону при этом нагреваем, тратя свои ресурсы), на практике при ее реализации неизбежно возникнут технические сложности, да и регулирующие органы вряд ли разрешат такой нестандартный способ поддержания температуры. В общем, увы, но пока здравый смысл побеждает смелые идеи. Для обогрева ЦОД и офиса на заднем дворе стоит вполне традиционная котельная.
В качестве примера энергоэффективности технического центра сотрудники «Билайн» рассказывали о том, что все освещение реализовано на диодах. В связи с этим мне вспомнилась сакраментальная фраза одного друга: «зачем менять 10 лампочек по 60 ватт на энергоэффективные по 18, если параллельно с ними работает обогреватель на 1500 ватт?!».
В общем, перспективных и интересных технологий использовано много, но экономический эффект пока можно только предсказывать и прогнозы могут быть разными. Во всем мире снижение энергопотребления выходит на первый план, особенно это касается таких энергоемких решений, как дата-центры. В Западной Европе использование современных технологий, пусть не всегда экономически оправданных, стимулируют нерыночными мерами, у нас этот вопрос отдан на откуп каждой конкретной компании. Компания «Билайн» обещает выпустить подробный отчет с результатам через год, так что подождем.
Серверные модули
В ЦОД сделано 6 независимых модулей для установки серверного оборудования, каждый площадью 500 м2. В каждом модуле будет размещаться 236 стоек, ЦОД рассчитан на 1416 стоек. Полностью отделан и оборудован пока один модуль, в нем уже есть системы обеспечения и идет монтаж серверного оборудования. Остальные пять модулей пока доделываются.
Внутри модуля сделана разводка питания и линий связи, причем к каждой стойке должна подходить собственная оптическая линия, т. е. переход на медный кабель происходит уже внутри стойки. Так что проблем с пропускной способностью быть не должно.
Система вентиляции позволяет создавать «холодные коридоры» — изолированные группы стоек, внутрь которых подается прохладный воздух.
На случай пожара предусмотрена система пожаротушения. В случае пожара в помещении распыляется газ Novec, безвредный для человека. Так вот, если системы пожаротушения сработали в одном модуле, то остальные все равно могут продолжать работу, пока этот модуль тушат. Огнестойкость помещения — 120 минут.
Офис. Информационный центр. Проходная
Как мы уже говорили, Ярославский технический центр разделен на три основных блока. Задняя часть — инженерная, там находятся системы жизнеобеспечения здания. В середине — помещения для ЦОД. В передней части — офис.
Просторное помещение-опенспейс для сотрудников, несколько переговорных комнат, столовая и уютные кухни для неформального общения… Все три этажа выглядят примерно одинаково. Здесь будет располагаться часть объединенного центра обслуживания, который занимается обеспечением деятельности компании «Билайн».
В другой части этого блока — центр мониторинга сети ОАО «ВымпелКом». Это большой ситуационный центр «с большими экранами на стене», в который поступает и обрабатывается информация о работе сети «Билайн».
Охрана, проходная и пр.
Об информационной безопасности пока говорить рано (хотя, уверен, эти вопросы в компании решают), поговорим немного о безопасности физической. Территория техцентра огорожена и охраняется, так же, как и все здания на территории. Проход осуществляется через проходную, где находится пост охраны, для пропуска используется распространенная система с магнитными карточками. Кстати, на проходной организованы переговорные комнаты, т. е. в некоторых случаях для встреч даже не надо проводить гостей на территорию комплекса. Из интересных особенностей сотрудники «Билайн» упомянули, например, об особой организации въезда. Он должен быть устроен так, чтобы, например, грузовик на полной скорости не мог его протаранить и прорваться на территорию.
Но стандартных мер безопасности хватает не всем. Например, некоторые из компаний, которые рассматривают возможность размещения в одном из модулей своих серверов, требуют, чтобы эти сервера находились в отдельной огороженной зоне и с отдельной охраной.
Как будет работать ЦОД
В первую очередь технический центр строится для решения внутренних задач компании «Вымпелком» по хранению и обработки данных.
Потребности компании неизбежно будут расти, причем по объективным экономическим причинам. На сегодня акцент все больше смещается от голосовой связи на интернет-трафик, а в этой ситуации сотовые операторы превращаются просто в «трубу», по которой прокачиваются данные других операторов, размещающих контент. Поскольку расчеты между крупными провайдерами идут, исходя из пропуска трафика, то при «прокачке» чужого трафика доход существенно меньше, чем при использовании своего. Очевидный путь повышения прибыльности сегодня — это увеличивать количество «своего» трафика, т. к. удельная стоимость трафика постепенно снижается, и единственный способ зарабатывать больше — это увеличивать его количество, уходящее «наружу».
В то же время сейчас, бóльшая часть мощностей не востребована, компания рассматривает возможности по предоставлению оборудования в аренду своим клиентам или размещения их оборудования. Многим клиентам компании услуги ЦОД интересны в первую очередь в дополнение к услугам связи. «Билайн» предоставляет корпоративным клиентам услуги сотовой и фиксированной связи, а также доступа в интернет. Услуги хранения и обработки данных выглядят вполне логичным дополнением к пакету и выгодны как компании (предоставляет больше услуг), так и клиентам (проще управление и оплата, возможны скидки на пакетные приложение).
Некоторые замечания касательно оборудования ЦОД
Что касается серверного оборудования, то тут нужно соблюдать правильный баланс: с одной стороны, иметь определенный выбор для решения разных задач, с другой — минимизировать и стандартизировать набор используемого оборудования, чтобы не получился «зоопарк» из большого количества разных решений. «Билайн» в этом плане не исключение: компания старается максимально упростить парк для облегчения обслуживания. В идеале это одна «большая модель» под сложные задачи и одна «маленькая» под текущие. Используются решения и RISC, и х86.
Что касается ПО, то пока приходится использовать проприетарные версии. Тот же Linux, например, использовать сложно: мало какие компании готовы на подписание соглашения уровня SLA. Исторически пользовались продукты Sun в первом случае и HP во втором, но, как говорится, возможны варианты. Впрочем, разумно иметь для каждого класса оборудования двух производителей, с которыми работаешь постоянно — если у основного что-то случится или изменится ценовая политика, это позволит безболезненно переключиться на другого. Если соблюдать этот принцип, то во многих случаях вообще можно отказаться от контракта на обслуживание, т. к. можно поддерживать склад запчастей с нужными наименованиями, а персонал имеет необходимые навыки и опыт.
