ЭФФЕКТИВНЫЕ ИНВЕСТИЦИИ В ЦОД

Нужно идти по своему пути

ЦОД никогда не остается прежним и никогда не уменьшается в размерах. Изменения происходят постоянно и требуют постоянных инвестиций. При этом вложенные деньги должны работать эффективно на протяже­нии всего его жизненного цикла.

Не претендуя на полный анализ всех точек оптимизации инвестиций в дата-центр, мы хотели бы поде­литься некоторым опытом принятия решений в ходе создания и развития ЦОДа «ТехноГород».

Выбор площадки

Вопрос об эффективности инвестиций встает уже на этапе выбора помеще­ния. В начале 2000-х для нужд нашего телекоммуникационного холдинга по­надобилось организовать техническую площадку. Нам был предложен на рас­смотрение блок помещений на двух эта­жах здания, принадлежавшего одной из структур Федерального космического агентства «(Роскосмос). Прежде в этом комплексе располагался один из самых первых вычислительных центров Рос­космоса. И хотя морально устаревшие артефакты в помещениях были, плюсы все же перевешивали, и в 2002 году мы выкупили предложенные площади.

Изначально на данной техплощадке мы планировали разместить свое те­лекоммуникационное оборудование. В то время тема строительства ЦОДов на рынке еще не стояла: отсутствовали четкие стандарты и, рекомендации, не было опыта по организации серверных помещений. Было лишь общее понима­ние основных требований к непрерывной подаче электроэнергии, микрокли­мату в помещении и к безопасности информационных ресурсов. Например, возникла проблема с навесным потол­ком в серверной: для помещения с вы­числительным оборудованием он не го­дился, так как собирал и выделял пыль, что крайне вредно для серверов.

Тогда нам не с кем было даже про­консультироваться, поэтому приходи­лось тщательно продумывать каждый шаг, ведь изменения в ЦОДе с работа­ющим оборудованием — задача нетри­виальная, а зачастую и невозможная.

Начали мы с двух маленьких комнат общей площадью порядка 100 м², по­строив серверное помещение — по сути, небольшой корпоративный дата-центр. Он был довольно скромным и не отве­чал тем требованиям, которые предъяв­ляются сегодня. Но по мере развития мы наращивали площади, добавляя поме­щения и совершенствуя сам ЦОД.

С выбором площадки мы не оши­блись, на тот момент это было самое оптимальное решение с перспективой на расширение. Однако если бы сегод­ня встал вопрос о выборе идеального помещения для ЦОДа, мы остановились бы на отдельном, независимом здании. Даже если управляющая дата-центром компания является собственником по­мещения, расположенного в крупном здании, в любом случае есть головная административная организация, в чьем управлении находятся общие поме­щения, центральные коммуникации. И именно к ней приходится обращаться за разрешением таких важных вопро­сов, как прокладка трассы, введение кабеля, установка дизель-генератора и проч. От позиции головной органи­зации здесь зависит очень многое, и в этом есть некоторый элемент риска. Поэтому положение полноправного собственника здания ЦОДа намного более выигрышно, при этом снимаются многие проблемы и сводятся к миниму­му всевозможные согласования, допол­нительные переговоры и уточнения.

Свято место пусто не бывает

Итак, мы разместили у себя в ЦОДе собственное оборудование. Посколь­ку наша компания работает в области телекоммуникаций, у нас сложились прочные отношения с партнерами — операторами связи. Узнав о создании у нас собственной площадки, многие наши партнеры выразили заинтересо­ванность в том, чтобы разместить здесь свое оборудование. Причем предложе­ний поступало так много, что мы задума­лись — а почему бы не изменить модель бизнеса, превратив дата-центр из кор­поративного в коммерческий?

И сейчас на нашей площадке более сорока ведущих операторов связи. Со­единив их единой сетью, мы получили собственный Exchange-узел по обмену трафиком, а территориальная близость к М10 и собственная оптоволоконная сеть позволили заявить о себе как о мощном узле связи. Партнеры стали на­зывать нас М40.

Заполнился ЦОД стремительно. Мы даже сами не ожидали, что процесс пойдет так быстро — к нам пришли се­рьезные игроки, крупные компании. Свою роль в этом сыграла совокуп­ность таких факторов, как транспортная и телекоммуникационная доступность, приемлемая цена и репутация. Послед­ний фактор весьма важен: когда клиент приходит в новый ЦОД, который еще никто не проверил в деле, он испыты­вает вполне понятное недоверие. А мы были уже известны как оператор связи, с которым комфортно работать.

Транспортная доступность — очень важный фактор для ЦОДа. По опыту общения с клиентами можно уверенно отметить, что они не готовы ездить да­леко, и здесь мы в плюсе: в пределах Третьего транспортного кольца ника­ких ограничений нет. На тот период, да и сейчас основная часть коммерческих ЦОДов в России концентрируется в Москве, за ее пределы клиенты долгое время выезжать не хотели.

Однако сейчас и за кольцевой дорогой появились интересные проекты, причем появление ЦОДов за пределами Москвы зачастую объясняется финансовыми условиями. Основная затратная статья в ЦОДе — это энер­гообеспечение. А вне Москвы частные разовые компании могут предложить привлекательную цену за киловатт-час, при этом в качестве бонуса предоставляется тепло. В итоге собственнику Фактически не нужно платить больших денег за подключение к теплоцентрали и выделение мощностей, как это проис­ходит в столице. Таким образом, строительство дата-центров в регионах может казаться оправданным. Особенно если региональный ЦОД предложит клиен­там соответствующую цену за размещещие — скажем, не 60-70 тыс. рублей, как а Москве, а 40-50 тысяч. Для клиента, который арендует 20-30 стоек, разни­ца может оказаться существенной. Да и компании, которой нужны три-четыре стойки, есть смысл пойти по такому пути.

Инвестиции в модернизацию

К вопросу модернизации нашего ЦОДа: чтобы из корпоративного превратить его в коммерческий, с технической точ­ки зрения мы подошли очень серьезно. Даже строя площадку для собственных нужд, мы не экономили на качестве, не старались искать китайские аналоги или модели б/у, а вкладывались в достойную технику, т.к. функционирование ЦОДа напрямую зависит от надежности обо­рудования. Для системы кондициониро­вания выбирали проверенные марки — Emerson, Weiss Klimatechnik, Uniflair, для системы электропитания — дизель-гене­раторы английской марки Wilson.

При этом, занимаясь оснащением, мы не избегали и инновационных ре­шений. Одними из первых, еще в 2009 году, применили в своих серверных газ Novec 1230 для системы пожаротуше­ния. На российском рынке это было до­рогое новшество, но вопрос безопас­ности людей был первичен.

«Инженерную инфраструктуру надо создавать под задачи, а не наоборот, так как экономически более оправданно использовать дата-центр именно для тех задач, ради которых он проектировался»

Как было отмечено выше, при вы­боре оборудования мы отдавали пред­почтение надежности, разумности и взаимозаменяемости. Это позволило эффективно провести модернизацию системы кондиционирования ЦОДа путем замены компрессоров на более современные. Та система, которая изна­чально была нами установлена, оказа­лась чрезвычайно гибкой: за счет уста­новки новых компрессоров мы снизили энергозатраты и продлили жизненный цикл самих прецизионных кондиционе­ров. Добавив в это помещение конди­ционеры Uniflair и зарезервировав их по схеме N+1, мы вышли на очень хорошие показатели по энергопотреблению.

Заменили и кабельную инфраструк­туру, установив современное кроссо­вое оборудование, проложив новые каналы, лотки и разделив электриче­ство от каналов связи и кроссировок. Навели порядок в кабельном хозяйст­ве, чтобы исключить путаницы, челове­ческий фактор. Эти затраты не так уж и высоки, тем более что они делаются плавно и поэтапно.

Не обошлось и без серьезных из­менений: например, в определенный момент меняли электрический кабель от трансформаторной подстанции (ТП). Старые кабели нас полностью устра­ивали ровно до тех пор, пока в нашем дата-центре было 30-50 стоек и не было коммерческих клиентов. Но с по­явлением клиентов мы, чувствуя свою ответственность и понимая, что ресурс этого кабеля не безграничен, приняли решение модернизировать свои элек­трические сети.

Для этого была создана целая про­ектная группа, которая решала, как вы­полнить замену кабеля без отключения питания стоек. Сначала пришлось создать временное переключение на второй ввод, потом запускать дизель. Проект усложнялся тем, что все эти работы требовали многочисленных со­гласований, так как создавали опреде­ленные неудобства окружающим — в непосредственной близости от нашего дата-центра находятся жилые дома… Но усилия стоили того: наша площад­ка получила хороший запас мощности на перспективу развития. Изначально мощность была небольшая, порядка 400 кВт, но за годы эксплуатации она выросла в два раза. После прокладки нового кабеля очень быстро пошел прирост оборудования. Мы даже не рассчитывали на такую скорость за­полнения.

Есть такой важный момент: в ходе модернизации необходимо уведомлять и согласовывать все планируемые ра­боты с клиентами. Дело в том, что ре­шения, которые позволят безболез­ненно модернизировать тот или иной компонент инфраструктуры, подобрать довольно сложно. А когда клиент пре­дупрежден о том, что в определенное время будут проводиться плановые ра­боты, он не воспримет их как аварию. У некоторых клиентов стоят системы удаленного мониторинга, и они ви­дят, что и на каком вводе происходит. Очень хорошо, если график таких ра­бот составлен на год вперед.

Об инцидентах

Конечно же, у наших клиентов возникал вопрос о том, насколько часто в дата- центре были отключения. Мы не скры­ваем информацию об инцидентах — как и в любом ЦОДе, у нас случались иног­да нештатные ситуации. Например, мно­гим памятно жаркое лето 2010-го, когда наружные блоки кондиционеров перегревались. Приходилось их поливать, забираясь на крышу; в критических условиях были организованы системы «орошения». Таким образом удалось избежать серьезных аварий на клима­тическом оборудовании.

А вот серьезных аварий, которые произошли бы по нашему недосмотру или из-за того, что мы что-то пустили на самотек, не было. В какой-то сте­пени это объясняется тем, что мы не строим один большой машинный зал, а наращиваем свою площадку моду­лями — разными по размеру (от 40 до 150 м²) и независимыми друг от друга. Есть клиенты, по запросу которых мы выделили отдельные помещения, с обособленной системой видеонаблю­дения и доступа.

По каждой системе мы ведем журна­лы, совершаем регулярные обходы и имеем точное представление о ресурсе тех или иных компонентов, об актуально­сти ремонта или замены. Соответствен­но ведем планирование, как ежеквар­тальное, так и ежегодное, по сервисным работам и замене оборудования.

Часть таких работ мы проводим си­лами собственного оперативно-техни­ческого персонала, а часть отдаем на подряд. Например, для обслуживания дизеля нет смысла держать своего спе­циалиста — это просто нерентабельно, разумнее передать на аутсорсинг. То же самое и в отношении системы кон­диционирования. Мы рассматривали возможность нанять штат специали­стов по климатической технике. Но по­том поняли, что важно ведь не только ее мониторить, но при необходимости оперативно заменить какую-то деталь. А закупить все, что нужно для тех или иных кондиционеров, и держать на складе ЗИП — неразумно и не нужно. В решении этих вопросов интереснее работать с сервисной компанией.

При выборе сервисной компании мы смотрим не столько на саму орга­низацию, сколько на людей, которые ее образуют. У нас был опыт работы с одной сервисной компанией, которая изначально устраивала нас и по ценам, и по профессионализму. Но потом мы почувствовали, что что-то идет не так, хотя компания осталась та же самая. А пообщавшись с персоналом, выясни­ли, что большая часть команды ушла в другую компанию, и с уходом этих лю­дей многое изменилось.

«Даже если управляющая дата-центром компания является собственником помещения, расположенного в крупном здании, в любом случае есть головная административная организация, в чьем управлении находятся общие помещения, центральные коммуникации»

Приоритет задачи

На сегодняшний день энергопотребле­ние нашего ЦОДа составляет 1 МВт. Мы понимаем, что на развитие нам потре­буется большая мощность, и сейчас пытаемся ее наращивать, преодолевая административные барьеры. Но мы ду­маем и о том, как эту мощность исполь­зовать максимально эффективно.

С этой целью стараемся перенимать опыт зарубежных партнеров из Китая, США, Нидерландов и других стран. Мы посетили дата-центры и смогли по­знакомиться с применяемыми там тех­нологиями. Увиденное вдохновило и побудило изучить вопросы энергосбе­режения и экологии.

Мы стали прорабатывать новые идеи — смотреть, что можно минимизи­ровать, заменить, перераспределить, чтобы не тратить электричество впустую. Современные технологии энер­госбережения — например, того же
освещения — дают эту возможность дата-центру. Ведь в ЦОДе есть све­тильники так называемого аварийного освещения, которые работают кругло­суточно.

Вычислительное оборудование, приобретенное в начале 2000-х, еще не потребляло столько электричества, сколько потребляют его современные серверы. С ростом крупных баз данных и облачных вычислений, с появлени­ем мощных многопроцессорных ком­плексов увеличение мощности растет стремительными темпами. Стойки ста­новятся выше, тяжелее, они больше нагружены и выделяют больше тепла. Поэтому вопрос об удельной плотно­сти мощности рано или поздно возни­кает в любом дата-центре.

Дата-центр «ТехноГород» изначаль­но не проектировался под задачи вы­сокой плотности мощности и не рас­считан на нагрузку, скажем, 15 кВт на стойку. Не желая вводить клиентов в заблуждение, мы честно предупрежда­ем, что в нашем ЦОДе стойки с нагруз­кой выше 8 кВт мы не размещаем, но 8 кВт обеспечиваем гарантированно.

Модернизация ЦОДа под высоко­плотные приложения потребовала бы очень больших вложений, и сейчас нет смысла что-то менять кардинально — переделывать всегда дороже, чем стро­ить с нуля. Инженерную инфраструк­туру надо создавать под задачи, а не наоборот, так как экономически более оправданно использовать дата-центр именно для тех задач, ради которых он проектировался. Инфраструктура ЦОДа, на базе которого планируется предоставлять облачные сервисы, бу­дет отличаться от инфраструктуры для колокейшен. Важно чувствовать свою нишу и точно отвечать на запросы сво­их клиентов.

Распыляться и пытаться обеспечить поддержку услуг, выходя за рамки сво­его бизнес-проекта, нецелесообразно. Нужно идти по своему пути и не только модернизировать оборудование, но и обучать людей. Потому что если пер­сонал развивается, то он развивает и процесс модернизации. Люди и техни­ка работают вместе.

* Взято из журнала «ЦОДы.РФ» Выпуск №12 август 2015

статья «Нужно идти по своему пути» стр.22-24