В принципе, почти рядовое событие, если бы в результате него офисный центр, в котором расположена наша компания, с самого утра не остался без телефонной связи. Естественно, я не смог удержаться от того, чтобы провести собственное расследование того, как Билайн взаимодействует с внешним миром во время существенного инцидента. Я сознательно не стал пользоваться никакой инсайдерской информацией и контактами, и пошел путем честного рядового пользователя. Моей задачей было понять, что случилось, и когда это закончится. WTF, как говорят наши англоязычные коллеги. Уточню сразу, этот пост не будет затрагивать вопросов, почему не был зарезервирован канал, почему не произошло оперативной перемаршрутизации трафика, и т.п. – это отдельная большая тема, и здесь надо уже смотреть на технические детали. Мы смотрим сейчас  только на коммуникации с пострадавшим клиентом.

Канал первый, традиционный. Звонок в техподдержку. Не получилось – сначала телефоны техподдержки не отвечали вообще (похоже, их тоже задела эта авария), потом у клиентов появилась возможность послушать музыку в колл-центре сколь угодно долго.  Коллегам из других компаний удалось дозвониться в поддержку ближе к обеду и узнать печальную историю про сгоревший коллектор.  У меня не получилось.

Канал второй, инновационный. Твиттер.
Как видно из картинки, ответ пришел примерно через час после моего запроса, что, на мой взгляд, не очень оперативно для твиттера, но в целом приемлемо.  А вот к содержанию ответа у меня есть вполне четкие претензии. Я же спрашиваю не любопытства ради, а чтобы принимать какие-то дальнейшие решения – например, начать обзванивать клиентов, рассылать им мейлы с альтернативными номерами телефона и т.п. Мне нужна реальная информация и прогноз, причем по худшему сценарию. И поэтому оптимистичные и несодержательные заявления типа «связь практически восстановлена», на мой взгляд, неуместны. Забегая вперед, скажу, что в последующие 6 часов связь восстановлена не будет. Когда точно была восстановлена связь, я не знаю – вечером ее еще не было, а утром следующего дня уже была.

Канал третий, e-mail. Письмо, посланное на pomogite@beeline.ru дало мне наиболее качественный, хотя и не очень быстрый, результат. Письмо было отправлено в 13:08, и примерно в 15:30 мне на мобильный телефон отзвонился Владимир П. из Дирекции по обслуживанию клиентов, и это было самой конструктивной частью нашего взаимодействия, потому что:

1. Владимир честно рассказал мне, что произошел пожар на коллекторе, и это задело их сеть.
2. Не менее честно он сказал, что сейчас они только проводят оценку повреждений, и он не может назвать мне сроков ликвидации аварии.
3. Он извинился от лица компании за все происходящее, и пообещал, что они приложат все возможные усилия к скорейшей ликвидации аварии.
4. После телефонного разговора он дополнительно прислал мне письмо.

Все было четко и по делу.

По совокупности, я бы оценил взаимодействие с клиентом на очень слабую четверку, и то только благодаря  звонку Владимира.

Минусы:

• Вся коммуникация носила только односторонний характер – не было информации на сайте оператора, мы не получали ни электронных писем, ни звонков на мобильные телефоны о происшедшей аварии;
• Дозвониться в поддержку у меня не получилось;
• Ответ в твиттере был несодержательным.

Плюсы:

• Через 6 часов после аварии я все-таки получил требуемую информацию

Извлекая уроки из данного конкретного случая, на  что стоит обратить внимание при разработке планов коммуникации с клиентами в случае чрезвычайной ситуации.

1. Коммуникация должна быть по возможности проактивной. Собирайте заранее контактные данные (разные – мейлы, фиксированные, мобильные телефоны, твиттер) ваших клиентов, информируйте их о происходящем, не дожидаясь звонков в поддержку. Извинившись первым, вы сможете снять существенную долю негатива в ваш адрес.
2. Коммуникация должна быть отказоустойчивой. Неработающий телефон техподдержки – это как-то несерьезно.
3. Информация должна быть содержательной, честной и не должна быть излишне оптимистичной. Гораздо правильнее сказать, что связи не будет до вечера, чем каждый час говорить, что «еще чуть-чуть, и все починим».
4. Коммуникация в социальных сетях, в силу ее видимости для широкой аудитории, должна быть очень четко продумана и спланирована заранее.

Несмотря на наличие резервирования по питанию, удар молнии и последовавший за ним взрыв на трансформаторной подстанции вывел из строя не только основную систему электроснабжения, но и резервные генераторы. В результате,электроснабжение удалось восстановить через 3 часа, но такое жесткое выключение ЦОДа привело к необходимости серьезного ручного вмешательства при восстановлении серверов. На момент написания этого текста процесс восстановления продолжался, и, по оценке Amazon, может занять 24-48 часов.

Неприятной особенностью данного сбоя AWS оказалось то, что те европейские пользователи AWS, которые по требованиям законодательства не могут хранить свои данные за пределами EU, оказались лишены возможности перенести свои приложения в другие ЦОДы Amazon – это был единственный ЦОД европейской зоны.

Возможно, это событие заставит многих пересмотреть оценку надежности облачных провайдеров и задуматься о необходимости резервирования наиболее критичных приложений в облаках альтернативных провайдеров. Учитывая модель ценообразования для облаков, эта задача может оказаться менее затратной, чем в «дооблачном мире», т.к. резервная инфраструктура, хотя и требует существенных объемов для хранения данных, но может оказаться существенно дешевле в части аренды вычислительных мощностей в «мирное время».

Update 1. По уточненной информации, недоступна была только часть европейской availability zone. См. также историю о том, как поднимались коллеги из Битрикса, расположенные на этой площадке.

По обрывочным сведениям, причина где-то в электроснабжении, что в наши дни звучит по-меньшей мере странно, уж операторы всегда делают достаточное резервирование.

Так что ждем новостей, следим за апдейтами…

Update 1. (18:30 МСК). Судя по всему, prepaid-платформа в Риге обслуживала также абонентов Эстонии и Литвы. Эстония поднялась в течение 20 минут, про Литву информации нет. Общее число затронутых аварией абонентов – превысило 2 миллиона.

Update 2. (18:40 МСК). Начали приходить сообщения о восстановлении работы сети.

При этом PlayStation Network по-прежнему не работает, и остается только предполагать, что тому виной – либо в процессе атаки вся инфраструктура была сознательно сильно порушена (но где же тогда оффлайн бекапы?), либо дыра в безопасности оказалась столь серьезной, что Sony предпочла прекратить предоставление сервиса до устранения этой проблемы.

Тем временем, судя по реакции в блогосфере, пользователи (а их число превосходит 75 млн) разделились на три группы – наиболее взрослые пошли блокировать карты и менять пароли на других сервисах, другие, не выдержав столь долгого «одиночества» пошли покупать XBox’ы и т.п., а третьи ждут восстановления сервиса и сильно волнуются за сохранность своих виртуальных активов- примерно вот так.

Не владея информацией о том, как была построена инфраструктура PSN, довольно тяжело комментировать столь затянувшееся восстановление, но, на мой взгляд, неделя (плюс еще неизвестно сколько) – это в любом случае неприлично много для онлайн-сервиса с таким количеством пользователей. Коммуникация с пользователями также была крайне неспешной и малоинформативной.

Впрочем, это первая оценка происшедшего, посмотрим, чем закончится эта история…

Update 1: 27 апреля Sony разместила в своем блоге относительно подробные Q&A по ситуации. Согласно официальной позиции, сервисы были сознательно отключены из соображений безопасности (читай, обнаружена такая дыра, закрыть которую оперативно не получается), и появились первые прогнозы по срокам восстановления – одна неделя, отсчитывая с 26 апреля (не гарантированные, но «we expect to have some services up and running »). Тем временем за два торговых дня 26 и 27 апреля котировки Sony на NYSE упали на 3.3%.

Update 2: За 28 апреля никаких видимых существенных изменений не произошло. Еще 2.2% вниз.

К размышлению о том, как резервировать облачные сервисы – в разных зонах, у разных провайдеров, в частных облаках….

Америка тем временем потихоньку обсуждает право президента иметь Internet «Kill Switch»

(к сожалению, ролик не доступен для встраивания, но его можно посмотреть на Youtube)

Похоже, наряду с резервированием каналов в Интернет пора на полном серьезе рассматривать альтернативные способы коммуникации с внешним миром и своими контрагентами.

1. Кого можно было эвакуировать из предполагаемой зоны разрушений – эвакуировали. Не забыли про пациентов местных госпиталей, пожилых людей и т.п. – для них все организовали. И дороги перекрывали для того, чтобы беспрепятственно могли проехать автобусы с людьми, а не для того, к чему мы привыкли.
2. Когда наступил час Х, после которого эвакуироваться уже поздно – эвакуация была четко остановлена, и людям было настоятельно рекомендовано воспользоваться убежищами или максимально защищенными помещениями в собственных домах.
3. Циклон еще не подошел, но власти уже понимали, что в результате будут нарушены электроснабжение и связь.  Логично же? Стихию не остановишь. Что было сделано? Две простых, но чертовски разумных вещи. Во-первых, людей об этом предупредили. Во-вторых, в Квинсленд из других штатов направили дополнительные восстановительные бригады, которые ждут, когда пройдет циклон, чтобы сразу заняться восстановительными работами.
4. Информирование людей осуществляется просто идеально. Начиная с того, что каждый час премьер выступает по ТВ с абсолютно конкретными, содержательными обращениями к народу, и заканчивая информированием через Интернет (про это я уже писал, и по прежнему страничка полиции Квинсленда на Facebook служит для меня отличным источником информации о происходящем), и по радио (которое с большей вероятностью будет продолжать работать и после удара стихии). Людям не только рассказывают что происходят, им дают четкие инструкции, что делать.

Обратите внимание на предыдущее наводнение. Разрушения были очень серьезными. Человеческих жертв – менее 50. Для такого масштаба бедствия – очень хороший показатель.

Так что есть чему поучиться. А жителям Австралии – удачи, сейчас им это не помешает.

Update (02.02.2011) : Интернет сегодня включили. 6 дней страна прожила почти без Интернета.

Достойный пример для подражания.

И, на самом деле, это не самый страшный пример того, что происходит при отключении электричества. Нет электричества – перестают работать системы видеонаблюдения, контроля доступа и т.п. Может быть не сразу, может быть через несколько часов, когда разрядятся батареи в ИБП. «Заходи кто хочешь, бери что хочешь». Повод задуматься и лишний раз проверить, какие системы отнесены к разряду критических и обеспечены гарантированным электропитанием.