ЭФФЕКТИВНЫЕ ИНВЕСТИЦИИ В ЦОД
Нужно идти по своему пути
ЦОД никогда не остается прежним и никогда не уменьшается в размерах. Изменения происходят постоянно и требуют постоянных инвестиций. При этом вложенные деньги должны работать эффективно на протяжении всего его жизненного цикла.
Не претендуя на полный анализ всех точек оптимизации инвестиций в дата-центр, мы хотели бы поделиться некоторым опытом принятия решений в ходе создания и развития ЦОДа «ТехноГород».
Выбор площадки
Вопрос об эффективности инвестиций встает уже на этапе выбора помещения. В начале 2000-х для нужд нашего телекоммуникационного холдинга понадобилось организовать техническую площадку. Нам был предложен на рассмотрение блок помещений на двух этажах здания, принадлежавшего одной из структур Федерального космического агентства «(Роскосмос). Прежде в этом комплексе располагался один из самых первых вычислительных центров Роскосмоса. И хотя морально устаревшие артефакты в помещениях были, плюсы все же перевешивали, и в 2002 году мы выкупили предложенные площади.
Изначально на данной техплощадке мы планировали разместить свое телекоммуникационное оборудование. В то время тема строительства ЦОДов на рынке еще не стояла: отсутствовали четкие стандарты и, рекомендации, не было опыта по организации серверных помещений. Было лишь общее понимание основных требований к непрерывной подаче электроэнергии, микроклимату в помещении и к безопасности информационных ресурсов. Например, возникла проблема с навесным потолком в серверной: для помещения с вычислительным оборудованием он не годился, так как собирал и выделял пыль, что крайне вредно для серверов.
Тогда нам не с кем было даже проконсультироваться, поэтому приходилось тщательно продумывать каждый шаг, ведь изменения в ЦОДе с работающим оборудованием — задача нетривиальная, а зачастую и невозможная.
Начали мы с двух маленьких комнат общей площадью порядка 100 м2, построив серверное помещение — по сути, небольшой корпоративный дата-центр. Он был довольно скромным и не отвечал тем требованиям, которые предъявляются сегодня. Но по мере развития мы наращивали площади, добавляя помещения и совершенствуя сам ЦОД.
С выбором площадки мы не ошиблись, на тот момент это было самое оптимальное решение с перспективой на расширение. Однако если бы сегодня встал вопрос о выборе идеального помещения для ЦОДа, мы остановились бы на отдельном, независимом здании. Даже если управляющая дата-центром компания является собственником помещения, расположенного в крупном здании, в любом случае есть головная административная организация, в чьем управлении находятся общие помещения, центральные коммуникации. И именно к ней приходится обращаться за разрешением таких важных вопросов, как прокладка трассы, введение кабеля, установка дизель-генератора и проч. От позиции головной организации здесь зависит очень многое, и в этом есть некоторый элемент риска. Поэтому положение полноправного собственника здания ЦОДа намного более выигрышно, при этом снимаются многие проблемы и сводятся к минимуму всевозможные согласования, дополнительные переговоры и уточнения.
Свято место пусто не бывает
Итак, мы разместили у себя в ЦОДе собственное оборудование. Поскольку наша компания работает в области телекоммуникаций, у нас сложились прочные отношения с партнерами — операторами связи. Узнав о создании у нас собственной площадки, многие наши партнеры выразили заинтересованность в том, чтобы разместить здесь свое оборудование. Причем предложений поступало так много, что мы задумались — а почему бы не изменить модель бизнеса, превратив дата-центр из корпоративного в коммерческий?
И сейчас на нашей площадке более сорока ведущих операторов связи. Соединив их единой сетью, мы получили собственный Exchange-узел по обмену трафиком, а территориальная близость к М10 и собственная оптоволоконная сеть позволили заявить о себе как о мощном узле связи. Партнеры стали называть нас М40.
Заполнился ЦОД стремительно. Мы даже сами не ожидали, что процесс пойдет так быстро — к нам пришли серьезные игроки, крупные компании. Свою роль в этом сыграла совокупность таких факторов, как транспортная и телекоммуникационная доступность, приемлемая цена и репутация. Последний фактор весьма важен: когда клиент приходит в новый ЦОД, который еще никто не проверил в деле, он испытывает вполне понятное недоверие. А мы были уже известны как оператор связи, с которым комфортно работать.
Транспортная доступность — очень важный фактор для ЦОДа. По опыту общения с клиентами можно уверенно отметить, что они не готовы ездить далеко, и здесь мы в плюсе: в пределах Третьего транспортного кольца никаких ограничений нет. На тот период, да и сейчас основная часть коммерческих ЦОДов в России концентрируется в Москве, за ее пределы клиенты долгое время выезжать не хотели.
Однако сейчас и за кольцевой дорогой появились интересные проекты, причем появление ЦОДов за пределами Москвы зачастую объясняется финансовыми условиями. Основная затратная статья в ЦОДе — это энергообеспечение. А вне Москвы частные разовые компании могут предложить привлекательную цену за киловатт-час, при этом в качестве бонуса предоставляется тепло. В итоге собственнику Фактически не нужно платить больших денег за подключение к теплоцентрали и выделение мощностей, как это происходит в столице. Таким образом, строительство дата-центров в регионах может казаться оправданным. Особенно если региональный ЦОД предложит клиентам соответствующую цену за размещещие — скажем, не 60-70 тыс. рублей, как а Москве, а 40-50 тысяч. Для клиента, который арендует 20-30 стоек, разница может оказаться существенной. Да и компании, которой нужны три-четыре стойки, есть смысл пойти по такому пути.
Инвестиции в модернизацию
К вопросу модернизации нашего ЦОДа: чтобы из корпоративного превратить его в коммерческий, с технической точки зрения мы подошли очень серьезно. Даже строя площадку для собственных нужд, мы не экономили на качестве, не старались искать китайские аналоги или модели б/у, а вкладывались в достойную технику, т.к. функционирование ЦОДа напрямую зависит от надежности оборудования. Для системы кондиционирования выбирали проверенные марки — Emerson, Weiss Klimatechnik, Uniflair, для системы электропитания — дизель-генераторы английской марки Wilson.
При этом, занимаясь оснащением, мы не избегали и инновационных решений. Одними из первых, еще в 2009 году, применили в своих серверных газ Novec 1230 для системы пожаротушения. На российском рынке это было дорогое новшество, но вопрос безопасности людей был первичен.
«Инженерную инфраструктуру надо создавать под задачи, а не наоборот, так как экономически более оправданно использовать дата-центр именно для тех задач, ради которых он проектировался»
Как было отмечено выше, при выборе оборудования мы отдавали предпочтение надежности, разумности и взаимозаменяемости. Это позволило эффективно провести модернизацию системы кондиционирования ЦОДа путем замены компрессоров на более современные. Та система, которая изначально была нами установлена, оказалась чрезвычайно гибкой: за счет установки новых компрессоров мы снизили энергозатраты и продлили жизненный цикл самих прецизионных кондиционеров. Добавив в это помещение кондиционеры Uniflair и зарезервировав их по схеме N+1, мы вышли на очень хорошие показатели по энергопотреблению.
Заменили и кабельную инфраструктуру, установив современное кроссовое оборудование, проложив новые каналы, лотки и разделив электричество от каналов связи и кроссировок. Навели порядок в кабельном хозяйстве, чтобы исключить путаницы, человеческий фактор. Эти затраты не так уж и высоки, тем более что они делаются плавно и поэтапно.
Не обошлось и без серьезных изменений: например, в определенный момент меняли электрический кабель от трансформаторной подстанции (ТП). Старые кабели нас полностью устраивали ровно до тех пор, пока в нашем дата-центре было 30-50 стоек и не было коммерческих клиентов. Но с появлением клиентов мы, чувствуя свою ответственность и понимая, что ресурс этого кабеля не безграничен, приняли решение модернизировать свои электрические сети.
Для этого была создана целая проектная группа, которая решала, как выполнить замену кабеля без отключения питания стоек. Сначала пришлось создать временное переключение на второй ввод, потом запускать дизель. Проект усложнялся тем, что все эти работы требовали многочисленных согласований, так как создавали определенные неудобства окружающим — в непосредственной близости от нашего дата-центра находятся жилые дома… Но усилия стоили того: наша площадка получила хороший запас мощности на перспективу развития. Изначально мощность была небольшая, порядка 400 кВт, но за годы эксплуатации она выросла в два раза. После прокладки нового кабеля очень быстро пошел прирост оборудования. Мы даже не рассчитывали на такую скорость заполнения.
Есть такой важный момент: в ходе модернизации необходимо уведомлять и согласовывать все планируемые работы с клиентами. Дело в том, что решения, которые позволят безболезненно модернизировать тот или иной компонент инфраструктуры, подобрать довольно сложно. А когда клиент предупрежден о том, что в определенное время будут проводиться плановые работы, он не воспримет их как аварию. У некоторых клиентов стоят системы удаленного мониторинга, и они видят, что и на каком вводе происходит. Очень хорошо, если график таких работ составлен на год вперед.
Об инцидентах
Конечно же, у наших клиентов возникал вопрос о том, насколько часто в дата- центре были отключения. Мы не скрываем информацию об инцидентах — как и в любом ЦОДе, у нас случались иногда нештатные ситуации. Например, многим памятно жаркое лето 2010-го, когда наружные блоки кондиционеров перегревались. Приходилось их поливать, забираясь на крышу; в критических условиях были организованы системы «орошения». Таким образом удалось избежать серьезных аварий на климатическом оборудовании.
А вот серьезных аварий, которые произошли бы по нашему недосмотру или из-за того, что мы что-то пустили на самотек, не было. В какой-то степени это объясняется тем, что мы не строим один большой машинный зал, а наращиваем свою площадку модулями — разными по размеру (от 40 до 150 м2) и независимыми друг от друга. Есть клиенты, по запросу которых мы выделили отдельные помещения, с обособленной системой видеонаблюдения и доступа.
По каждой системе мы ведем журналы, совершаем регулярные обходы и имеем точное представление о ресурсе тех или иных компонентов, об актуальности ремонта или замены. Соответственно ведем планирование, как ежеквартальное, так и ежегодное, по сервисным работам и замене оборудования.
Часть таких работ мы проводим силами собственного оперативно-технического персонала, а часть отдаем на подряд. Например, для обслуживания дизеля нет смысла держать своего специалиста — это просто нерентабельно, разумнее передать на аутсорсинг. То же самое и в отношении системы кондиционирования. Мы рассматривали возможность нанять штат специалистов по климатической технике. Но потом поняли, что важно ведь не только ее мониторить, но при необходимости оперативно заменить какую-то деталь. А закупить все, что нужно для тех или иных кондиционеров, и держать на складе ЗИП — неразумно и не нужно. В решении этих вопросов интереснее работать с сервисной компанией.
При выборе сервисной компании мы смотрим не столько на саму организацию, сколько на людей, которые ее образуют. У нас был опыт работы с одной сервисной компанией, которая изначально устраивала нас и по ценам, и по профессионализму. Но потом мы почувствовали, что что-то идет не так, хотя компания осталась та же самая. А пообщавшись с персоналом, выяснили, что большая часть команды ушла в другую компанию, и с уходом этих людей многое изменилось.
«Даже если управляющая дата-центром компания является собственником помещения, расположенного в крупном здании, в любом случае есть головная административная организация, в чьем управлении находятся общие помещения, центральные коммуникации»
Приоритет задачи
На сегодняшний день энергопотребление нашего ЦОДа составляет 1 МВт. Мы понимаем, что на развитие нам потребуется большая мощность, и сейчас пытаемся ее наращивать, преодолевая административные барьеры. Но мы думаем и о том, как эту мощность использовать максимально эффективно.
С этой целью стараемся перенимать опыт зарубежных партнеров из Китая, США, Нидерландов и других стран. Мы посетили дата-центры и смогли познакомиться с применяемыми там технологиями. Увиденное вдохновило и побудило изучить вопросы энергосбережения и экологии.
Мы стали прорабатывать новые идеи — смотреть, что можно минимизировать, заменить, перераспределить, чтобы не тратить электричество впустую. Современные технологии энергосбережения — например, того же
освещения — дают эту возможность дата-центру. Ведь в ЦОДе есть светильники так называемого аварийного освещения, которые работают круглосуточно.
Вычислительное оборудование, приобретенное в начале 2000-х, еще не потребляло столько электричества, сколько потребляют его современные серверы. С ростом крупных баз данных и облачных вычислений, с появлением мощных многопроцессорных комплексов увеличение мощности растет стремительными темпами. Стойки становятся выше, тяжелее, они больше нагружены и выделяют больше тепла. Поэтому вопрос об удельной плотности мощности рано или поздно возникает в любом дата-центре.
Дата-центр «ТехноГород» изначально не проектировался под задачи высокой плотности мощности и не рассчитан на нагрузку, скажем, 15 кВт на стойку. Не желая вводить клиентов в заблуждение, мы честно предупреждаем, что в нашем ЦОДе стойки с нагрузкой выше 8 кВт мы не размещаем, но 8 кВт обеспечиваем гарантированно.
Модернизация ЦОДа под высокоплотные приложения потребовала бы очень больших вложений, и сейчас нет смысла что-то менять кардинально — переделывать всегда дороже, чем строить с нуля. Инженерную инфраструктуру надо создавать под задачи, а не наоборот, так как экономически более оправданно использовать дата-центр именно для тех задач, ради которых он проектировался. Инфраструктура ЦОДа, на базе которого планируется предоставлять облачные сервисы, будет отличаться от инфраструктуры для колокейшен. Важно чувствовать свою нишу и точно отвечать на запросы своих клиентов.
Распыляться и пытаться обеспечить поддержку услуг, выходя за рамки своего бизнес-проекта, нецелесообразно. Нужно идти по своему пути и не только модернизировать оборудование, но и обучать людей. Потому что если персонал развивается, то он развивает и процесс модернизации. Люди и техника работают вместе.
* Взято из журнала «ЦОДы.РФ» Выпуск №12 август 2015
статья «Нужно идти по своему пути» стр.22-24