Бардак в телекоме России

Деятели телекома как на ладони. Занимательные зарисовки.

Previous Entry Share Next Entry
Стратегия развития СХД и резервного копирования ИТАР-ТАСС
Бардак
telecom_bardak
Ниже мы рассмотрим рабочий пример модернизации системы хранения данных (СХД) и резервного копирования (РК) для крупного новостного агентства ИТАР-ТАСС. Агентство давно и плотно работает с огромным массивом данных и непрестанно уделяет внимание ее надежному хранению, являясь крупным заказчиком систем СХД и РК.
В этом году ИТАР-ТАСС в очередной раз решило провести серьезную (и довольно дорогостоящую) модернизацию своих разрастающихся хранилищ данных и заказало у ЗАО «Ай-Теко» апгрейд своего вычислительного комплекса. Целями работ являются консолидация хранения данных, повышение отказоустойчивости и катастрофоустойчивости вычислительного комплекса и файловых ресурсов, а так же обеспечение комплекса дополнительным объемом дискового пространства.

Задачи, подлежащие решению
В ходе модернизации инфраструктуры виртуализированного вычислительного комплекса предлагается  решить следующие задачи:
- Консолидировать хранение данных на единой отказоустойчивой СХД уровня предприятия;
- Повысить надежность хранения данных;
- Повысить отказоустойчивость подсистемы хранения данных;
- Обеспечить инфраструктуру системой резервного копирования;
- Обеспечить катастрофоустойчивость информационных сервисов;
- Разделить модернизацию подсистемы хранения данных и резервного копирования на три этапа.

Предлагаемое решение
Планируется строить решение в три этапа на основе оборудования и технологий NetApp. В решении предлагается использовать следующие технологии NetApp:

  • Системы хранения данных NetApp FAS

  • RAID-DP

  • Технология Thin Provisioning

  • Дедупликация и компрессия

  • Мгновенные резервные копии Snapshot

  • Мгновенные клоны данных FlexClone

  • Функция управления приоритетами томов

  • Архивации мгновенных резервных копий Snapshot  на удаленную систему

  • Системы управления, в том числе командная строка (COM port, telnet, SSH,  RSH); Windows MMC;  Web интерфейс; ПО NetApp System Manager

  • Средства интеграции с приложениями

  • Средства интеграции с VMware

  • Система автоматического оповещения NetApp Autosupport

Этап 1 – Консолидация хранения данных

На первом этапе планируется решить следующие задачи:
- консолидация хранения данных;
- обеспечение надежности хранения данных;
- увеличение скорости дисковых подсистем;
- обеспечение элементарных средств по защите данных – резервное копирование данных.
В ходе реализации первого этапа предлагается внедрить высокоскоростную отказоустойчивую СХД NetApp FAS8060 на основную площадку. Данная система будет «Основной СХД» и будет хранить все оперативные данные, в том числе виртуальные машины и файловые данные с прямым доступом пользователей по протоколу CIFS.
Основная СХД подключается к существующим серверам виртуализации через конвергентную сеть 10 Gb Ethernet, которая позволяет подключать хранилище виртуальных машин Datastore по протоколу FCoE или NFS.
Для создания Datastore предлагается использовать протокол NFS, использование которого позволит получить ряд преимуществ:

  • Упрощается схема файловых систем – отсутствует промежуточная файловая система VMFS). Вся нагрузка по обслуживанию файловой системы перекладывается с серверов на СХД;

  • Упрощается (ускоряется) работа при большом количестве серверов ESXi, обращающихся к одному и тому же Datastore;

  • Все метаданные находятся на СХД. Сбой в соединении сервера и СХД не приводит к потере консистентности файловой системы;

  • Изменение размера тома осуществляется на лету одной командой как в большую так и в меньшую сторону;

  • Максимальный размер тома NFS – 100 ТБ (максимальный размер тома VMFS 2 ТБ, VMFS5 64 ТБ);

  • При удалении виртуальной машины из NFS Datastore освободившееся дисковое пространство немедленно готово для использования как внутри самого тома NFS так и глобально на всем массиве (при удалении виртуальной машины в VMFS высвобождается дисковое пространство только внутри самой VMFS, возврат освободившегося дискового пространства массиву осуществляется отдельной операцией Space Reclamation);

  • Функции дедупликации и клонирования виртуальных машин работает более эффективно при использовании NFS Datastore;

  • При использовании NFS Datastore можно легко получить доступ к файлу конкретной виртуальной машины (vmdk) внутри резервной копии Snapshot.


Доступ к файлам и папка осуществляется на основе разграничения прав доступа. Системы хранения NetApp серии FAS полностью совместимы с Windows Active Directory.
Поддерживаются все стандартные функции файлового доступа, включая квоты, автоматическое создание home directories, ограничение на возможность сохранения того или иного контента (видеофайлов, музыки,…)  и т. д.
Защиту данных на Этапе 1 предлагается осуществлять процессом резервного копирования. При этом необходимо разделять два типа задач резервного копирования:
1) Защита данных от логических повреждений
2) Защита данных от физического повреждения (разрушение RAID группы и т. п.)
Для защиты данных от логических повреждений в первую очередь необходимо использовать технологию мгновенных резервных копий Snapshot на СХД NetApp FAS8060. На Этапе 1 предлагается управлять мгновенными резервными копиями и восстановлением данных из Snapshot-а в ручном режиме.
Для защиты данных от физического повреждения предлагается выполнять резервное копирование виртуальных машин с помощью ПО Veeam Backup и существующего дискового массива EMC VNXe. ПО Veeam Backup может быть установлено на физический или виртуальный сервер.
Дисковый массив EMC VNXe предлагается расположить на резервной площадке, тем самым обеспечивая сохранность данных резервных копий в случае катастрофы на основной площадке.
Решение на Этапе 1 имеет следующие параметры отказоустойчивости и катастрофоустойчивости:
Стоимость поставки оборудования NetApp и ПО NetApp и Veeam на Этапе 1 составляет 615 600 долларов США, с НДС 18%.

Этап 2 – Повышение отказоустойчивости информационных сервисов

На втором этапе предлагается решить следующие задачи:
- дальнейшее повышение отказоустойчивости информационных систем;
- усовершенствование системы резервного копирования;
- обеспечение элементарных средств катастрофоустойчивости - запуска наиболее критичных информационных сервисов на резервной площадке в случае аварии на основной площадке.
Для решения данных задач предлагается внедрить на резервной площадке систему хранения данных NetApp FAS2554 с дисками NL-SAS 7,2k, предназначенную для хранения резервных копий. Она же будет частично выполнять функции резервной системы хранения, позволяющей запускать наиболее критичные сервисы в случае аварии на основной площадке.
Так же на втором этапе предлагается расширить функциональные возможности основной СХД FAS8060 на основной площадке следующими функциями:

  • Мгновенные клоны

  • Интеграция с VMware, MS Hyper-V, MS SQL, MS Exchange, MS SharePoint, Oracle, SAP

  • Архивирование мгновенных резервных копий Snapshot на удаленную площадку.

Phase 2
СХД NetApp FAS2554 подключается в 10 Гб конвергентную сеть или сеть 1Gb Ethenet. При необходимости к СХД могут быть подключены дополнительные серверы по FC.
На втором этапе резервное копирование snapshot-ами осуществляется в автоматическом или полуавтоматическом режиме с применением ПО SnapManager. Данное ПО предоставляет удобный интерфейс для управления операциями резервного копирования, автоматизирует процессы и обеспечивает консистентность данных в резервных копиях.
Репликация проходит по любому имеющемуся IP каналу – 10 Гб или 1 Гб.
Решение на Этапе 2 имеет следующие параметры отказоустойчивости и катастрофоустойчивости:

Стоимость поставки оборудования и ПО NetApp на Этапе 2 составляет 338 000 долларов США, с НДС 18%.

Этап 3 – Обеспечение катастрофоустойчивости информационных сервисов

На третьем этапе предлагается решить следующие задачи:

  - обеспечение катастрофоустойчивости для всех информационных систем – исключение простоев информационных сервисов в случае аварий и катастроф;
На третьем этапе предлагается внедрить технологию NetApp MetroCluster, а именно, преобразовать основную СХД NetApp FAS8060 в территориально распределенную катастрофоустойчивую СХД.

Phase 3
Для создания катастрофоустойчивой схемы контроллеры СХД разносятся по двум территориально удаленным площадкам. В нашем случае, один контроллер основного массива NetApp FAS8060 остается на основной площадке, а второй контроллер перемещается на резервную площадку. Система оснащается дополнительным комплектом дисковых полок в точности дублирующим существующий комплект полок, т.е. количество дисковых полок удваивается. Таким образом обеспечивается хранение двух зеркальных копий данных на двух площадках.
В технологии NetApp MetroCluster подключение дисковых полок осуществляется через Fibre Channel коммутаторы и FC to SAS Bridges. Подключение контроллеров между собой осуществляется через Fibre Channel коммутаторы и Inter Switch Link (ISL) – каналы связи между площадками.
Таким образом, благодаря такой схеме коммутации, каждый контроллер в любой момент времени имеет доступ к любому диску, как на локальной, так и на удаленной площадке. Однако же, в штатном режиме работы, у каждого контроллера имеются диски, которые являются для данного контроллера основными. Кроме своих основных дисков, контроллеры «видят» диски зеркала на удаленной площадке и «чужие» диски (диски контроллера партнера).
В момент какой-либо аварии на одной из площадок, если часть массива на этой площадке перестала работать, второй контроллер автоматически берет на себя все ресурсы вышедшего из строя контроллера и таким образом продолжает предоставлять полноценный доступ ко всем имеющимся данным.
Систему хранения резервных копий NetApp FAS2554 предлагается разместить на третьей площадке, тем самым еще больше увеличить уровень катастрофоустойчивости информационных сервисов. Мгновенные резервные копии все так же будут реплицироваться на систему хранения резервных копий с использованием технологии SnapVault.
Решение на заключительном Этапе 3 имеет следующие параметры отказоустойчивости и катастрофоустойчивости:
Table-3
Стоимость поставки оборудования и ПО NetApp на Этапе 3 составляет 726 700 долларов США, с НДС 18%.

Основные преимущества предлагаемого решения
По мнению «Ай-Теко», предложенное ими для ИТАР-ТАСС решение обладает следующими преимуществами:

  • Консолидация задач по хранению данных в одном решении. Обеспечение надежности хранения данных.

  • Обеспечение катастрофоустойчивости информационных систем - исключение времени незапланированных простоев и обеспечение сохранности данных даже в случаях локальных катастроф (пожары, потопы, обрушение, отключение электропитания и т. д.);

  • Увеличение объемов доступного дискового пространства;

  • Увеличение производительности дисковой подсистемы информационных сервисов;

  • Повышение эффективности хранения дискового пространства (эффективная дедупликация)  – сокращение расходов на хранение информации;

  • Внедрение эффективных средств резервного копирования данных на дисках. Значительное сокращение окна резервного копирования и времени восстановления данных из резервной копии;

  • Простота администрирования системы. Использование одного интерфейса управления для всех этапов и для всех компонентов решения – основной СХД, СХД для хранения резервных копий, катастрофоустойчивой СХД, блочного доступа, файлового доступа;

  • Гибкое распределение дискового пространства между файловым и блочным доступом;

  • Широкие возможности масштабируемости решения.


  • 1
красиво. нечто похожее (по сути - один-в-один) я пытался пропихнуть в одной из контор, пока там работал.

  • 1
?

Log in

No account? Create an account