Пишет Алексей Надёжин: Мы уже не можем представить свою жизнь без средств мобильной связи, но почти никто не задумывается, как работает и как управляется такая сложная штука, как мобильная сеть. Миллионы базовых станций, сотни тысяч километров линий связи, несметное количество компьютеров и сетевого оборудования обеспечивает работу всей этой махины.

На прошлой неделе я побывал в самом главном месте мобильной сети - Едином Центре Управления Сетью.

Весной 2015 года «МегаФон» завершил создание Единого Центра Управления Сетью (ЕЦУС, GNOC), ставшего одним из самых крупных и современных подобных объектов в России и в мире. ЕЦУС имеет две площадки - в Самаре (ЦУС «Восток») и Санкт-Петербурге (ЦУС «Запад»). Центр осуществляет круглосуточный мониторинг состояния сети по всей России и управляет всем оборудованием: голосовой и пакетной коммутацией, транспортной сетью, сервисными платформами, всего более 350 тысяч объектов. Специалисты центра могут дистанционно обращаться ко всему оборудованию сети, включая базовые станции сети, находящееся в любой точке России.

Вся сеть поделена пополам и обычно каждая площадка ЕЦУС обслуживает свою половину сети, но в случае аварийных ситуаций любая из площадок за 15 минут может принять на себя полное управление сетью.

За сутки ЕЦУС обрабатывает более 17 миллионов сообщений о состоянии сети, решается более 5 тысяч инцидентов, проводится более 200 сложных модернизаций сети.

На прошлой неделе я побывал на Самарской площадке ЕЦУС, работающей на базе ЦОД Мегафон.

Директор ЦУС «Восток» Александр Быков рассказал о том, как работает центр управления.

Главный зал ЦУС - амфитеатр, с каждого из 50 рабочих мест которого видна видеостена, на которой отображается состояние сети и все происшествия.

За каждым рабочим местом закреплены 5 специалистов, сменяющих друг друга. Начальник смены имеет очень большие полномочия, включая прямую связь с генеральным директором компании. Здесь же располагаются инженеры, осуществляющие техподдержку в самых сложных случаях. Они не общаются с абонентами, а консультируют специалистов основной службы поддержки.

ЦУС расположен на верхнем, пятом этаже здания. Четыре нижних этажа занимает Центр Обработки Данных (ЦОД), запущенный в 2010 году и до сих пор остающийся одним из крупнейших data-центров России. 

Шесть больших автозалов рассчитаны на работу более семисот стоек с оборудованием. 

Ряд систем хранения данных.

Рассмотрим поближе. Вся стойка "забита" жёсткими дисками.

В ширину - 24 диска, в высоту – 20 рядов. Стоек 8. Итого 24x20x8=3840 дисков. Общий объём систем хранения ЦОД сейчас 3600 Тб. Просто представьте себе этот объём.

Рядом обнаружилось удивительное устройство. 

Это роботизированный стриммер. Внутри у него полки с 700 кассетами по 1.5 Тб каждая. Заглядываем в окошко.

Ещё пара фотографий из залов ЦОД.

Часть ресурсов ЦОД Мегафон предоставляет в аренду другим компаниям.

В соответствии с требованиями стандарта TIER III, ЦОД представляет собой отдельно стоящее здание, располагается в незатопляемой местности. Система бесперебойного питания обеспечивает работу всего ЦОД в течение 4.5 часов на аккумуляторах и более двух суток на дизель-генераторах.

Весь подвальный этаж занимает аккумуляторная система бесперебойного питания.

На стойках установлено несколько тысяч аккумуляторов 2 V 2000 Ah.

На улице - собственная электропитающая установка, к которой идут две отдельные вводные линии общей мощностью 8 МВт. Четыре дизель-генератора по 1.2 Мвт (три основных и один резервный) потребляют 1000 литров топлива в час каждый. Запас топлива - 150000 литров хранится в двух, закопанных в землю, железнодорожных цистернах и обеспечивает 50 часов автономной работы ЦОД.

Большую часть задней стены ЦОД занимают внешние блоки кондиционеров.

В центре действует комплексная интегрированная система безопасности: круглосуточная физическая охрана, видеонаблюдение по периметру территории и внутри объекта. Есть уникальная система пожаротушения.

Многое гораздо нагляднее выглядят на видео, поэтому я снял и смонтировал небольшой ролик.

Мне было очень интересно побывать в ЕЦУС и ЦОД Мегафон в Самаре. Надеюсь, интересно было и вам.

И еще близко по теме рассказ понравился:

Я сделаю эту игру еще больше похожей на наш мир

Я и Эндрю взялись за масштабный проект. Платили много, но и задача у нас была не из легких — заказчик хотел, чтобы мы сделали что-то на подобии симулятора реальной жизни Sims, но гораздо круче. Представьте себе старый добрый Симс, только с искусственным интеллектом, самообучением и геймплеем, настолько приближенным к реальности, что если бы у нас не было возможности привлекать сторонних разработчиков со своими готовыми наработками, на реализацию этого проекта у нас ушла бы вечность. Но богатый спонсор (мы даже шутили, что это, наверное, правительство одной большой и густонаселенной страны решило порадовать своих граждан новой ММОРПГ) не жалел денег — у нас было все: ферма суперкомпьютеров, доступ к любым алгоритмам искусственного интеллекта, разработанных учеными всего мира, команда девелоперов, менеджеры проекта, мальчики на побегушках и даже свой собственный клоун (Эндрю настоял на том, чтобы в комнате отдыха обязательно должен быть клоун) и в случае чего, мы бы могли запросто купить еще пару тройку фирм, разрабатывающих игры со штатом сотрудников по тысяче человек в каждой. У нас было все! Все, кроме времени.

Перед нами была поставлена задача выпустить игру в продакшн максимум за две недели. Как нам объяснил заказчик, предыдущий исполнитель взялся за разработку год назад, но так и не справился с задачей в положенные сроки. Проект находился в таком состоянии, что разобраться в нем, и не сойти с ума, было крайне сложно. И проект поручили нам.

Да, я не спорю, что мы самые настоящие гуру в геймдеве, что никто кроме нас и все такое. А еще нам платили очень много денег. Я в жизни не видел столько денег, даже во сне. В общем, отказаться от этого проекта мы просто не могли. По культурно-этическим соображениям. Если бы все получилось, мы бы стали известны по всему миру, как самые креативные разработчики компьютерных игр, к тому же работающие только за суммы с большим количеством нулей в конце. Но, к сожалению, вышло все совсем иначе, теперь я сейчас сижу в комнате с мягкими белыми стенами, совсем без окон, и благодарю санитара, за то, что разрешил мне немного порисовать фломастерами. Порисовать чертовыми фломастерами!

Конечно, ничего рисовать я не собираюсь, но единственный мой шанс выйти из психушки – это рассказать все как было на самом деле. У меня есть пара листов бумаги, оранжевый и синий фломастер и большое количество свободного времени, поэтому, пожалуй, начну свой рассказ.

День первый.

Разбираться с проектом было весело! Предыдущий разработчик прикрутил к игре движок от космического симулятора, поэтому со Вселенной в общих чертах было все хорошо. Лишь для красоты были внесены пара-тройка изменений – мы подвигали планетки, где надо и где не надо налепили спутников и лун, для пущей красоты создали периодически залетающие в обитаемую часть космоса гигантские астероиды. Эндрю хотел запрограммировать атмосферу и геофизические данные на всех планетах солнечной системы пригодными для обитания виртуальных персонажей нашей игры, но я сказал, чтобы он не тратил на это время. Доверили генерацию характеристик генератору случайных чисел. В итоге получился полный швах – где нитратные дожди, где воздух состоит из оксида серы, но, в общем-то, нас это устраивало.

Наконец-то мы сосредоточились на главной игровой планете-локации, на которой и будет существовать “жизнь”. Физику и химию процессов перенесли из реальной жизни, но с оговорками. Алгоритмы слишком сложные, пришлось упрощать, ибо даже наши мейнфреймы не располагают такой мощностью обработки игровых процессов. Хорошо, что игра получилась четырехмерной, это сильно упростило нам жизнь и расчеты. Пока что у нас неплохо получалось.

День второй.

Эндрю спроектировал персонажей. Персонажи были созданы по нашему образу и подобию, но мне показалось это не интересным. Вторую часть работы, а именно заселение планеты животными, выполнял я, и тут уж я оторвался на полную. Вы когда-нибудь видели гигантских рептилий, людей покрытых с ног до головы белой шерстью, или львов с человеческой головой? Или девушек, у которых нижняя часть заканчивается рыбьим хвостом? Ну, в общем, фантазировал я на славу. И это был мой маленький секрет. Эндрю же считал, что ничего кроме проектных животных в игре не было и быть не должно, поэтому я точно знал, что он не оценит мою шутку. А еще я изменил цвет кожи у некоторых персонажей на желтый и даже черный. Ржачно получилось! В конце концов, моих химер можно будет убрать в релизе, или с последующим обновлением.

День третий.

Настало время реализовывать возможности искусственного интеллекта и самообучения. Так как в игре присутствовало разделение персонажей по гендерам, Эндрю взялся за проектирование интеллекта и рефлексорно-психологических функций мужского персонажа, которого я в штуку назвал Адам, в честь мартышки из моего любимого мультика. Женский персонаж я проектировал, взяв за основу работу Эндрю. Слегка изменил алгоритмы искусственного разума мужского персонажа, повысил интуицию, снизил логичность, в общем, менял переменные и смотрел, что же получится. Поначалу получалось нечто среднее между интеллектом обычного человека, и разумом моей морской свинки Евы. Спустя некоторое время результат меня полностью устроил, и мы перешли к программированию социальных связей и взаимодействию между персонажами и животными.

День четвертый.

Запустили игровой мир. Начали тестировать взаимодействие искусственного интеллекта между собой, не привлекая игроков. Случайным образом карта была заселена персонажами обоих полов, и, в зависимости от природных условий и количества материальных ресурсов, популяция персонажей в отдельных локациях планеты либо полностью угасала, либо множилась очень быстро. А так как многих навыков за такой небольшой промежуток времени у этой популяции просто не сформировалось, популяция также быстро погибала, либо от голода, когда все ягоды съедены, а что делать с кокосами еще не понятно, либо от недостатка ума в принципе. Например, некоторые персонажи могли охотиться на слона, имея из оружия только кулаки, или же замерзать от холода, тогда когда рядом горит подожженное молнией дерево.

День пятый.

Исправив недоработки искусственного интеллекта, мы с Эндрю решили, наконец, надеть костюм виртуальной реальности, и стать первыми геймерами, которые смогли окунуться в игру с головой. Эндрю решил очень тщательно подойти к созданию своего персонажа – просканировав себя 3D сканером, он перевел текстуры в игру, тем самым получив его полную копию. Бородатый дядя с длинными волосами в белой футболке и светло серых брюках, подпоясанных тонким кожаным ремнем неплохо смотрелся на фоне уже начавших развиваться персонажей с искусственным интеллектом, которые ходили в лохмотьях примерно того же фасона что и Эндрю. Я тоже просканировал себя 3D сканером, но решил что этого не достаточно, поэтому вместо своих текстур я натянул на голову моего персонажа текстуры козла. Получилось и правда забавно – тяжелые ботинки, черные джинсы, ремень с шипами, черная же футболка с логотипом моей любимой рок группы, в котором переплетены две буквы R и T… и блестящие глазки на козлиной роже. Красота!

Побегав среди персонажей с искусственным интеллектом, я вдруг понял, что они абсолютно унылы. Не смотря на то, что сервер запущен уже вторые сутки, что в игровом мире равняется паре сотен лет, и самообучение искусственного интеллекта идет полным ходом, игровые персонажи так и не научились даже половине того, что умеет трехлетний ребенок. А ведь трехлетний ребенок может сам закрывать рекламу на планшете. Показал им как добывать огонь, и главное что с ним потом можно делать. Стало гораздо интереснее.

Эндрю же заметил, что персонажи с искусственным интеллектом мрут в основном из-за несоблюдения элементарных правил. Жрут падаль, живут в антисанитарии, совокупляются без разбора, вызывая жуткое перенаселение, а впоследствии и голод. Не закладывая эти правила жестко в искусственный интеллект на этапе разработки, Эндрю решил обучить персонажей, непосредственно взаимодействуя с ними. За хорошим разговором персонажи вроде как усвоили около десятка элементарных правил. И вроде даже записали их на каком-то камне.

Разговорный язык, кстати, хоть и был прописан в алгоритме игры, но овладеть им персонажи могут лишь на определенном этапе развития. То, что у них это получилось, говорит о неплохом прогрессе.

Но внезапно от заказчика пришли поправки в техническом задании для игры. Вид планеты надо бы переделать, сделав ее не так сильно похожей на географический глобус. А еще необходимо внести изменения в разговорный язык – у каждой популяции язык должен различаться. Гениальная идея – для того чтобы живым игрокам взаимодействовать с персонажами, необходимо будет “учить” язык каждой популяции. Естественно за игровую валюту. Не плохо. Мы, конечно, учли все пожелания заказчика, особенно изменения внешнего вида игровой планеты. Для этого пришлось устроить на планете небольшой потоп, тем самым внешне сильно изменив очертания материков. А вот с разговорным языком возились долго – после того как популяции персонажей, находящихся в соседних локациях, перестали понимать друг друга, получилась дикая путаница в социальном взаимодействии, и развитие популяций в целом шло теперь гораздо медленнее.

Решили, что надо повысить рейты сервера, и за каждый день реального времени, в игровом мире будут проходить более половины тысячелетия. Потом поправим. А пока сойдет и так.

День шестой.

За то время, пока мы с Эндрю спали и видели сны, игровой мир неплохо эволюционировал. Правда обнаружились и косяки – внезапно нам на глаза попались персонажи с искусственным интеллектом, которым я шутки ради поменял цвет кожи. Их было так много, что просто так исключить их из игры теперь уже не представлялось возможным. Перекрасить их обратно было тоже нельзя: персонажи в своих социальных отношениях ориентировались теперь не только на гендерные отличия, но и на пигментацию кожных покровов представителей другой популяции. Убрав пигментацию, мы бы сломали причинно-логические цепочки, которые уже выработались практически у всех представителей персонажей с искусственным интеллектом. Теперь придется выкручиваться перед заказчиком, но думаю, что все обойдется. В конце концов, всегда все можно списать на эволюцию и влияние климатических условий на развитие персонажа в игровом мире. Не плохо бы, кстати, это еще чем-нибудь доказать, но теоретически ко мне будет не подкопаться.

После пары часов игры на наших рожах под костюмом виртуальной реальности можно было различить улыбки идиотов, которые наконец-то сами сделали домик из кубиков. Игра реально работала, искусственный интеллект оправдал все наши ожидания!

Эндрю телепортировался между локациями, и как мог участвовал в игровом процессе. С админской консолью вообще играть гораздо интересней чем без нее – легко и непринужденно Эндрю повышал урожайность полей и садов понравившихся ему персонажей. А тем, кто уж совсем сетовал на житье-бытье, Эндрю дарил вообще улетные штуки – скатерть-самобранку, сапоги-скороходы, наделял рыб речью и возможностью исполнять желания, и, внезапно, устроил дождь из манной каши! Игровой мир перед запуском в продакшн все равно будет вайпнут. Можно развлекаться как угодно.

Я тоже не упустил своей возможности поглумиться над искусственным интеллектом: мой персонаж с головою козла то и дело вмешивался в скучную и однообразную компьютерную симуляцию реально-нереального мира. Так, например, я наделил некоторых персонажей умением летать на предметах домашнего обихода – метлах и коврах. И даже научил варить пиво. 

Чтобы остальные персонажи не испытывали повышенный интерес к моей персоне, я в обязательном порядке брал слово “о неразглашении” с каждого, кто получил от меня плюшку, запугивая бедный искусственный интеллект тем, что я заберу его душу. А вот Эндрю не повезло – слава о его деяниях распространилась по всем континентам, и многие персонажи только увидев его, сразу просили явить чудо, сделать их богатыми, великими воинами и даже родить от него ребенка. А те, кто ни разу не видел Эндрю, все равно просили у него благ реально-виртуальных, закатывая глаза к небу и тихо шепча свои пожелания, надеясь, что он услышит.

Нам очень быстро надоело делать что-то для других, поэтому мы изменили внешний вид своих персонажей. На этот раз Эндрю создал себе образ человекоподобного слона с четырьмя руками, а я решил немного побыть в своем человеческом обличье.

Понизив рейты сервера до нормальных, мы снова погрузились в созданный нами виртуальный мир, и поразились, на сколько же сильно он похож на наш собственный. Даже культурные ценности в игровом мире были настолько схожими с ценностями мира реального, что вместо гордости за наше общее творение меня вдруг объял непонятный страх… Эндрю же решил, что все идет как задумано, и предложил пойти домой, хорошенько отоспаться и с новыми силами взяться за допиливание проекта, но уже завтра. 

Я сказал Эндрю, что не поеду домой, а переночую в комнате отдыха, на втором этаже. Махнув на меня рукой, Эндрю оставил меня в гордом одиночестве. Остальные сотрудники давно уже разбрелись по домам, ведь время было уже за полночь. Добравшись до комнаты отдыха, я плашмя упал на кровать, и мгновенно вырубился.

День седьмой.

Проснулся я от кошмарного сна. Мне виделось, как я стою в клубах дыма, а у моих ног лежит женщина в черном платье, и громко зовет меня по имени. В голове отчетливо слышался ее голос, который приказывал мне явиться. Даже проснувшись, я никак не мог избавиться от этого голоса, он не давал мне покоя. Голова начала болеть, перед глазами поплыли круги, и, не понимая зачем, я встал и пошел по направлению к залу виртуальной реальности. А потом я потерял сознание.

Очнулся я от запаха едкого дыма. Открыв глаза, я увидел ту самую женщину, которая звала меня во сне. Мы находились в комнате с черными как сажа стенами, на которых чем то красным были нарисованы переплетенные между собой буквы R и T, а вокруг меня стояли длинные горящие свечи. Женщина подошла ко мне, и, снова назвав меня по имени, глядя мне в глаза прошептала: “Зачем ты сотворил этот мир? Для чего мы страдаем от войн и голода? Почему большая часть мира умирает в нищете, а богатые негодяи живут долго и счастливо?”

Перед моими глазами открылась навигационная карта игрового мира, где сами по себе стали мигать красные точки по всей планете. Выбрав одну из них, я увидел ужасные последствия лесного пожара. В другой точке на игровой карте зверствовала чума, в третьей точке от города не осталось ничего, кроме оплавленных стен…

А потом я снова потерял сознание. 

Эпилог.

Очнулся я уже в палате с белыми мягкими стенами, со связанными за спиной руками. Когда медсестра заметила, что я открыл глаза, она тут же вышла из комнаты, не сказав ни слова. Потом пришел Эндрю.

— Что на тебя нашло, друг? Ты вчера уничтожил все результаты нашей совместной работы. Ты крушил огнетушителем мейнфреймы, ты поджег СХД, используя бумажные документы, касающиеся нашего проекта в качестве хвороста. Ты смог даже удалить большую часть информации, а также алгоритмы искусственного интеллекта.

Я пытался ответить ему, но не смог открыть рта.

— Даже не пытайся сейчас ничего говорить. Все равно не сможешь. Охранники не могли тебя остановить, поэтому вкололи в тебя несколько шприцов с релаксантами. Да, да. Несколько. Точнее шесть. Ты даже после трех инъекций проявлял дикое упорство.

— Не знаю, что же все таки на тебя нашло, но думаю тебе пойдет на пользу провести пару месяцев под присмотром врачей, — продолжал Эндрю, — И я должен тебя расстроить. С тобой разорвали контракт. Но мне снова предложили взяться за этот проект, поэтому пожелай мне удачи. Я сделаю эту игру еще больше похожей на наш мир. 

— Извини, Фаланд, я должен идти. Поправляйся.

А пока мы имеем лишь жалкое подобие симулятора жизни :)