Итак, немного истории. То извержение вулкана, после которого начались серьезные перебои с авиасообщением, случилось 14 апреля.  Утром 15 апреля начали закрываться европейские аэропорты (историю развития событий можно освежить в памяти здесь). Через какое-то время люди начали понимать, что помимо неожиданно исчезнувшего  способа перемещаться в пространстве, они начали  сталкиваться с такими проблемами, как задержки грузов, и т.п.

Любопытства ради я решил посмотреть, как компании, занимающиеся экспресс-доставкой, планируют выполнять свои обязательства. Заглянув 17 апреля на сайты основных игроков рынка, только у UPS я обнаружил какую-либо  информацию на данную тему. К сожалению, я не знаю, было ли это прописано в планах обеспечения непрерывности бизнеса UPS, или было просто продиктовано здравым смыслом (если этот пост читают коллеги из UPS – буду признателен за комментарий), но представители компании сделали сразу несколько правильных вещей:

1. Признали наличие проблемы, ее серьезность, и подтвердили, что занимаются снижением последствий путем перестройки логистических цепочек.
2. Обозначили локализацию проблемы – отправки в, из и внутри Европы.
3. Проинформировали, что сбор отправлений по прежнему продолжается.
4. Четко обозначили, что гарантийные обязательства UPS не распространяются на ситуации, вызванные подобными чрезвычайными обстоятельствами – неприятно, но честно.

В итоге, учитывая то, что крайне нелогично было бы обвинить UPS в извержении вулкана, компания сделала все возможное, чтобы минимизировать негатив, возникающий у клиентов по поводу сложившейся ситуации. Рецепт был прост:

1. Трезво оценивать ситуацию.
2. Управлять ситуацией и предпринимать шаги для уменьшения негативных последствий происшедшего.
3. Говорить правду.

По мере изменения ситуации, компания также держала своих клиентов в курсе, и, на момент публикации данного сообщения, утверждала, что все в порядке.

P.S. Тема данного поста была осознанно ограничена только вопросами коммуникации во время чрезвычайной ситуации, чтобы не мешать все в одну кучу.

Часть 1. Резервные копии

Что происходит с резервными копиями после того, как вы их сделали? Существует несколько вариантов – носитель лежит под замком в том же офисе,  носитель регулярно выносится за пределы помещения, либо отчуждаемого носителя как такового нет, потому что резервное копирование делается на СХД внешнего провайдера, либо на СХД на другой площадке организации, т.н. cross-site backup. В большинстве случае, надо исходить из того,  что уровень защиты этих данных на «периметре» практически нулевой.  Чтобы не быть голословным – несколько заметных примеров хищения лент с резервными копиями.

Итак, правило №1 – обязательное шифрование резервных копий, предназначенных для хранения на отчуждаемых носителях.

Где шифрование, там и управление ключевой информацией. Давайте посмотрим, что надо учесть при выработке правильного подхода к управлению ключами.

1. Ключи должны храниться отдельно от самих резервных копий
2. Ключи не должны быть бесконтрольно доступны людям, имеющим физический доступ к резервным копиям, в противном случае все данные могут легко покинуть организацию в обход любых DLP-систем, а обнаружить факт такой утечки будет крайне сложно.
3. Паранойя должна быть под контролем. В час X ключи должны оказаться доступны на той площадке, на которой будет выполняться восстановление данных, и время их доставки туда не должно [существенно] увеличивать целевое время восстановления RTO.
4. ЧС любого масштаба (в разумных пределах, естественно), затрагивающая основную площадку, не должна приводить к безвозвратной потере ключей шифрования.

Отдельного внимания заслуживает резервное копирование информации, изначально обладающей определенным уровнем защиты (например ресурсы, хранящиеся на зашифрованной файловой системе). Поскольку зачастую целью построения таких решений является защита от неправомерных действий третьих лиц, получивших доступ к оборудованию, важно построить управление ключами таким образом, чтобы доступ к инфраструктуре резервного копирования не давал возможности провести расшифровку резервных копий.

Часть 2. Средства шифрования.

У средств шифрования есть две особенности, которые делают задачу резервного копирования одновременно и более сложной, и более важной. Во-первых, порой резервирование ключевых носителей может быть нереализуемо (например, в случае генерации ключевой пары на токене), либо, возникновение второго экземпляра ключевого носителя делает нелигитимным первый (например, ЭЦП).  С другой стороны, утеря или повреждение ключевых носителей может лишить вас всей информации, поэтому пренебрегать резервным копированием ключевой информации – недопустимо.  Поэтому соблюдение нескольких рекомендации позволит вам обеспечить сохранность данных и там, где используются средств шифрования.

1. При шифровании данных всегда делайте резервные копии ключевой информации, и храните их в надежном месте, вдали от основной площадки. Схемы, в которых нельзя сделать резервную копию ключа для шифрования данных (или, как вариант, мастер-ключа), вам не подходят. Это замечание относится к сценарию, когда вам надо впоследствии расшифровывать данные с использованием  своего закрытого ключа. Для сценария, например, подписи платежных поручений, потеря ключа приведет к некоторому простою, но не приведет к потере информации.
2. Убедитесь (опытным путем) в том, что вы знаете, как восстановить всю необходимую ключевую информацию из резервных копий
3. Кроме собственно ключевой информации, важно иметь дистрибутивы/серийные номера/лицензии для используемых программных средств шифрования данных.
4. При использовании ЭЦП – разработайте четкий регламент, как в случае утери ключевой информации вы будете восстанавливать ключи. Как правило, в этих регламентах нет ничего сложного, важно только, чтобы вы смогли выполнить эти действия в разумные сроки. Иногда, впрочем, технически вполне реально сделать копии контейнера с ключами, и если потеря ключей не привела к их компрометации, то можно просто восстановить их из резервной копии.
5. Для аппаратных решений типа HSM – прислушайтесь к рекомендациям производителя по резервированию.

Очевидно, сегодня мы рассмотрели не весь спектр проблем, но даже следование этим рекомендациям поможет вам избежать ряда проблем, связанных с обеспечением сохранности информации.

С декабря прошлого года линейка SunGard CMS заметно расширилась, и про все решения  в комплексе мы  еще ни разу не рассказывали.

Из новых решений речь пройдет про три  продукта, дополнивших BIA Professional:

• Risk Assessment
• Vendor Assessment
• Work Force Assesment

Кроме того, будет рассказано и про функциональность, появившуюся в новых версиях продуктов LDRPS и BIA Professional.

Как всегда, Вебинар проходит на русском языке и абсолютно бесплатен

Update 1: Запись Вебинара доступна здесь.

Не претендуя на то, чтобы в одном посте дать комплексный набор рекомендаций, постараюсь обозначить основные области, заслуживающие внимание.

Для простоты рассмотрим персонал, основная деятельность которого не связана ни с непосредственным взаимодействием с клиентами, ни с производством, т.е. типичных обитателей офиса. Для других категорий сотрудников задача более сложна, хотя тоже имеет решение.

Сценариев ЧС, при которых может понадобиться экстренное восстановление рабочих мест, несколько.

1. Самый простой сценарий – сотрудники целы, офис цел, но сотрудники не могут попасть в офис. Например, в городе случился теракт и метро не работает.  Или наводнение. Или эпидемия.
2. Более сложный сценарий – люди целы, а вот офис – не совсем.  Если ИТ-инфраструктура и связь сохранилась, то задача сводится к п.1. Если же офис [частично] разрушен/обесточен/аппаратура конфискована, но – есть резервный ЦОД, задача тоже имеет решение.
3. Совсем тяжелый случай – когда часть людей по тем или иным причинам не может выполнять свои функции или участвовать в восстановительных работах. Это может быть вызвано как непосредственно проблемами (болезнь, повреждения или даже смерть), так и проблемами родных и близких, которые требуют неотложного участия.

Итак, как же быть?

На самом деле, задача (на верхнем уровне) сводится к двум подзадачам:

1. Тем, кто есть – дать возможность работать либо удаленно, либо на рабочих местах других сотрудников [в других,  не попавших под воздействие ЧС офисах].
2. Тех, кто не может выполнять свои функции – заменить другими, либо перераспределить их обязанности между теми, кто остался «в строю».

В любом случае, по итогам анализа воздействия на бизнес вам надо определить минимальный уровень производства, который должна обеспечить ваша организация после ЧС. Основываясь на этом показателе, можно оценить минимально необходимое количество персонала. Соответственно, уже для этого количества персонала необходимо обеспечить альтернативные рабочие места, и, по возможности, обеспечить взаимозаменяемость людей.

У задачи обеспечения альтернативных рабочих мест есть большая ИТ-составляющая. Если ваша ИТ-инфраструктура позволяет обеспечить удаленную работу, то 80% задачи решено. При этом важно убедиться в том, какое количество сотрудников может одновременно пользоваться удаленным доступом. Это ограничение может быть обусловлено пропускной способностью каналов к ЦОД организации, лицензионными ограничениями, либо мощностью оборудования. Подразумевается, что необходимая для этого инфраструктура зарезервирована и доступна даже в случае потери основного ЦОДа. С другой стороны, необходимо проверить, что у сотрудников есть доступ в Интернет и компьютер, удовлетворяющий требованиям для удаленной работы.

Взаимозаменяемость людей требует более серьезной проработки, и подразумевает, кроме перекрестного обучения персонала, четкое отчуждение знаний от сотрудников. Впрочем, как и многие требования непрерывности бизнеса, это требование может очень сильно помочь вам и в обычной жизни – например, в случае недружественного расставания с сотрудником.

Ну и наконец, планирование и учения – пока переход на альтернативные способы работы не будет четко спланирован и протестирован, вряд ли вы сможете полагаться на это в критических ситуациях.

Но сначала – небольшой экскурс в события недавних  дней – пожар у украинского хостинг-провайдера hosting.ua. Как правило, выбирая внешний хостинг, мы подразумеваем, что наш провайдер уделяет серьезное внимание безопасности своей (и нашей) инфраструктуры, обеспечивает надежное резервное копирование и т.п. – волшебная формула  »аутсорсинг – теперь ваши проблемы становятся нашими». Человеку вообще по природе своей свойственно надеяться на лучшее и верить в сказки .  27 марта случилось то, чего точно не ожидали клиенты провайдера – ЦОД сгорел. Не дотла, но сильно.  При этом система газового пожаротушения не сработала (оставим этот факт на совести строителей ЦОДа), а приехавшие пожарные водой довершили то, что не успел сделать огонь.

Информация о происшедшем имеется крайне обрывочная. Вечером 27 марта в ЦОДе случился «крупный пожар и серьезные повреждения».  Фотографии с места пожара можно посмотреть тут. С 31 марта на сайте провайдера стали появляться отрывочные сообщения о происходящем, в которых произошедший пожар был объявлен форс-мажором, по поводу наличия резервных копий была дана довольно противоречивая информация – от «все данные виртуального хостинга остались на не поврежденных бэкап серверах» до «Информация с серверов, индексы которых начинаются на E и F восстановлению не подлежит».

Это еще одна тема, достойная отдельного обсуждения – как коммуницировать с внешним миром после ЧС, оставим ее пока за кадром.

А поговорим мы о том, как добавить уровень обеспечения непрерывности бизнеса ваших поставщиков в перечень критериев выбора поставщиков, чтобы не оказаться потом у разбитого корыта по чужой вине.  Ведь является абсолютно нормальной, и почти повсеместной для крупных компаний, практика контроля надежности поставщиков службами экономической безопасности, так почему же непрерывность бизнеса остается в стороне? Давайте посмотрим, какой подход практикуется крупными западными компаниями.

1. Оценка системы обеспечения непрерывности бизнеса поставщика.

На этом этапе поставщиков просят предоставить необходимые материалы, касающиеся обеспечения непрерывности бизнеса. В зависимости от глубины анализа может запрашиваться различный объем материалов из следующих областей:

• Общая информация о системе обеспечения непрерывности бизнеса
• Управление рисками в организации
• Кризисное управление/оповещение
• Основные бизнес-процессы
• Основные технологии
• Тестирование системы обеспечения непрерывности бизнеса/учения
• Возможность доступа к документации системы обеспечения непрерывности бизнеса/участия в тестах.

Полученная информация оценивается, и на ее основе определяется уровень обеспечения НБ в организации. Как строить скоринговую модель – дело тонкое. Можно разработать свою систему оценки в зависимости от важности определенных параметров, можно взять готовую систему, как например SunGard Vendor Assessment, можно выбрать компромиссный вариант – подстроить существующую скоринговую модель под себя.

При анализе данных важно  обращать внимание на два момента.

1. Верификация данных. У вас должна быть возможность и процедура верификации предоставляемых вам данных, полностью (что вряд ли целесообразно), либо выборочно.

2. Периодическое обновление информации. Высокий уровень обеспечения НБ год назад еще не означает, что это качество автоматически перенеслось и на новые услуги организации.

2. Документально закрепленный перенос рисков на сторону поставщика.

Одна из привлекательных сторон аутсорсинга заключается как раз в том, что вместе с бизнес-функциями вы передаете вовне и все ассоциированные с ними риски. Логично ожидать, что в случае внезапной неспособности самостоятельно выполнять возложенные на него функции, ваш поставщик либо сможет в кратчайшие сроки привлечь дополнительные ресурсы для выполнения этих функций (с соблюдением требований безопасности и конфиденциальности, что достаточно важно), либо будет вынужден выплачивать вам серьезную неустойку. Соответственно, в ваших договорах вы должны очень четко ограничивать круг «форс-мажорных ситуаций», и во всех остальных ситуациях требовать выполнения своих обязательств.

Резюме:  как правило, если ваша организация достаточно велика, чтобы быть важным клиентом для поставщиков, то получить от поставщиков все то, о чем говорилось выше – вполне реально, а выстроить процесс оценки поставщиков в области непрерывности бизнеса – не такая уж неподъемная задача.

Внимательно прочитать еще не успел, но даже при беглом просмотре наткнулся на новые слова, такие как CRA – Continuity Requirements Analysis, MTDL – Maximum Tolerable Data Loss – методология не стоит на месте .

Впрочем, не буду заниматься пересказом документа – читайте на здоровье.

Update 1: Теперь BCI берет деньги за этот документ… бесплатно дают «highlights».

Важной  задачей в коммуникациях после ЧС является обеспечение достаточного уровня открытости, чтобы ваши клиенты, пресса, и прочие заинтересованные лица обладали достоверной информацией о том, как проходят восстановительные работы. В противном случае слухи и домыслы с большой вероятностью будут гораздо хуже, чем реальное положение дел (если вы, конечно, занимаетесь процессом восстановления).  И здесь Твиттер может оказаться весьма неплохим подспорьем. Очевидно, что как у любого решения, у него есть плюсы и минусы.

Плюсы:

1. Получать твиты легко, для этого может использоваться масса устройств, в том числе мобильных.
2. Завести учетную запись в Твиттере, даже если у ваших клиентов ее нет – дело 5 минут.
3. Это абсолютно бесплатно и не зависит от вашей инфраструктуры.
4. Вы можете использовать Твиттер также и как инструмент обратной связи. По крайней мере для части ваших клиентов (например VIP, пресса).
5. Сохраняется история коммуникаций, что важно как для пользователей, которые начали отслеживать происходящее не с начала событий, так и для последующего «разбора полетов».

Минусы:

1. Практически полное отсутствие конфиденциальности информации (впрочем, иногда это может являться и плюсом).
2. Относительно невысокий (пока) уровень использования Твиттер массами.
3. Негарантированная доставка сообщений (пока пользователь его сам не прочтет).

Глядя на эти плюсы и минусы, можно отвести для Твиттера достаточно четкую нишу – один из каналов информирования широкой общественности о ходе восстановительных работ. При этом вы не выходите за рамки вашей целевой аудитории (сообщения читают только те, кто подписался), и можете избирательно устанавливать двухсторонние коммуникации.

Для внутренней же коммуникации (команды восстановления, сотрудники) лучше все-таки использовать классические способы, позволяющие убедиться в том, что сообщение доставлено – телефон (с использованием иерархических списков обзвона), либо специализированные решения, которые будут пытаться  использовать все доступные каналы (телефоны,  почта, SMS и пр.) для того, чтобы найти человека и получить подтверждение о том, что сообщение получено.

Оговорюсь сразу – я не планирую разводить у себя в блоге дискуссию о том, случится что-нибудь в 2012 году, или нет, основываясь на предсказаниях индейцев Майя, Нострадамуса, пересказа статей из желтой прессы и проч.  Более того, такого рода флейм будет безжалостно вычищаться. Тем не менее, есть два направления, которым я буду уделять внимание. Это:

1. Достоверная статистика, касающаяся чрезвычайных происшествий природного характера – землетрясения, наводнения, сели, ураганы  и прочая нечисть.  Такая информация позволяет оценивать ситуацию максимально объективно, и взвешенно определять стратегию собственного поведения.
2. Методология того, как противостоять масштабным чрезвычайным происшествиям природного характера. К сожалению, вне зависимости от близости к «концу света», такие происшествия случаются, и лучше, если вы (как отдельный человек, семья, или организация в целом) окажетесь к ним готовы. Если предчувствие «конца света» поможет вам, например,  убедить руководство компании уделять больше внимания вопросам непрерывности бизнеса  - ну что же,  будет хоть какая-то польза от этого ажиотажа.