ИТ-симуляторы: СХД, серверы, сетевое оборудование

Приведены ресурсы некоторых симуляторов аппаратных платформ. Полезно для подготовки к экзаменам и проверки проектных решений.

Системы хранения данных

EMC® VNX™ for File Simulator

https://community.emc.com/docs/DOC-4092
http://techhead.co/emc-vnx-simulator-vsahow-to-download-the-latest-version/

http://www.massarach.com/?p=218 - как установить

Симулятор EMC VNXe 3200
As this is a Adobe Flash base simulator you are unable to create and present out storage to other machines/VMs.
http://www.emc.com/collateral/demos/microsites/vnxe/vnxe-demo.exe
Default EMC Unisphere Logon Credentials:
Username: admin
Password: Password123#

FAST - Fully Automated Storage Tiering

Fully Automated Storage Tiering - технология, применяемая в системах хранения данных компании EMC - Symmetrix V-Max, CLARiiON CX4, Celerra NS. Позволяет автоматически в реальном времени перемещать тома данных на дисковые группы с разной производительностью (EFD, FC, SATA) в зависимости от нагрузки.

Перемещение томов данных происходит при помощи технологии Virtual LUN.

Для настройки FAST следует настроить:
Storage type - объединение однотипных дисков с определенным уровнем защиты RAID, например Flash storage with RAID 5.
FAST Policies - правила расположения томов на уровнях хранения.
Storage group - набор томов, к которым будет применен определенный вид FAST Policies.

Применяется 3 типа алгоритмов, по которым определяется перемещать ли тома:

• EFD promotion/demotion algorithm
• Capacity-based algorithm
• FC/SATA cross-tier algorithm
  

EFD promotion/demotion algorithm - определяет какие тома испытывают большую нагрузку и перемещает их на уровень EFD. При этом после полной загрузки емкости EFD постоянно проводится мониторинг за оставшимися томами и если появляется более загруженный том, он меняется местом с менее загруженным томом, находящимся на уровне EFD. Количество максимальных миграций томов в день определяется при настройке FAST.
Capacity-based algorithm - способствует более равномерному распределению томов по уровням хранения. При этом принимается во внимание объем занимаемого пространства.
FC/SATA cross-tier algorithm - равномерно распределяет нагрузку ввода/вывода по уровням FC и SATA. Тома сортируются по уровню нагрузки и более нагруженные тома перемещаются на менее загруженные дисковые группы.

Сейчас единицей перемещение является том. В будущем EMC обещает: "Future FAST capabilities for Symmetrix V-Max and CLARiiON CX4 will deliver greater efficiencies through a more granular sub-LUN approach. This approach will provide you with even greater total cost of ownership benefits by identifying and moving very small amounts of really active or “hot” data to Flash and the majority of data to lower-cost SATA drives."

В Symmetrix технология FAST поддерживается OE Enginuity Version 5874 Enhancements for Symmetrix V-Max.

Показатели быстродействия дисковой подсистемы массивов CLARiiON

При проектировании дисковой подсистемы для серьезного безнес-приложения важно не упустить из вида производительность этой подсистемы при различных вариантах нагрузки и скорость восстановления при сбоях. Показатели очень меняются в зависимости от состояния самой системы, наличия сбоев в работе массива или конкурентных заданий. Ниже приводятся значения, взятые из документации на дисковые массивы CLARiiON CX4.

Восстановление RAID c наивысшей скоростью (ASAP) для типов RAID c контролем четности и зеркалированием и дисков Fibre Channel без внешней нагрузки:

• Mirrored RAID - 70 MB/s
• Parity RAID-5 - 50 MB/s
  

Ограниченные скорости восстановления RAID c c контролем четности и зеркалированием и дисками Fibre Channel:

• Low - 2 MB/s
• Medium - 6 MB/s
• High - 13 MB/s

Влияние размера группы RAID c контролем четности на восстановление:

• группа из 6 дисков: RAID-5 50 MB/s, RAID-6 50 MB/s;
• группа из <= 9 дисков: RAID-5 34.1 MB/s, RAID-6 27.3 MB/s;
• группа из <= 12 дисков: RAID-5 24.4 MB/s, RAID-6 22.2 MB/s;
• группа из >=15 дисков: RAID-5 17.9 MB/s, RAID-6 17.4 MB/s.

Количество операций ввода\вывода для операция с маленькими блоками для различных дисков:

• Fibre Channel 15k rpm 180 IOPS,
• SAS 15k rpm 180 IOPS,
• Fibre Channel 10k rpm 140 IOPS,
• SATA 7.2k rpm 80 IOPS,
• SATA 5.4k rpm 40 IOPS,
• EFD 2500 IOPS.

Скорость передачи данных для случайной нагрузки большими блоками для различных дисков:

• Fibre Channel 15k rpm: блоки 64 KB - 8.0 MB/s, блоки 512 KB - 32.0 MB/s,
• SAS 15k rpm: блоки 64 KB - 6.0 MB/s, блоки 512 KB - 32.0 MB/s,
• Fibre Channel 10k rpm: блоки 64 KB - 8.0 MB/s, блоки 512 KB - 24.0 MB/s,
• SATA 7.2k rpm: блоки 64 KB - 4.0 MB/s, блоки 512 KB - 16.0 MB/s,
• SATA 5.4k rpm: блоки 64 KB - 2.5 MB/s, блоки 512 KB - 12.0 MB/s,
• EFD: блоки 64 KB - 100 MB/s, блоки 512 KB - 100 MB/s.

Определение количество операций ввода\вывода на дисковую подсистему для разных типов RAID:

• Parity RAID 5 and 3: Disk IOPS = Read IOPS + 4*Write IOPS,
• Parity RAID 6: Disk IOPS = Read IOPS + 6*Write IOPS,
• Mirrored RAID: Disk IOPS = Read IOPS + 2*Write IOPS.
  

Источник - "EMC CLARiiON Performance and Availability: Release 28.5 Firmware Update Applied Best Practices".

Заметки по СХД EMC CLARiiON CX4

• Ax4-5 при использовании одного процессора отключает кэш записи, используется только кэш чтения (доступно 200 МБ).
• Ax4-5 является "канальным" продуктом и на него EMC практически не делает скидок.
• Количество высокодоступных хостов, которое указывается в характеристиках массивов не совсем соответсвует реальности. Указывается количество хостов с 2 инициаторами. При подключении через 2 коммутатора каждый хост представляется массиву как 4 инициатора. Поэтому следует количество высокодоступных хостов делить на 2.
• Предел по инициаторам сейчас довольно просто достичь при использовании виртуальных инициаторов, выдаваемым виртуальным машинам.
• В гипервизоры VMWare встроен host-agent который регистрирует гипервизор в дисковых массивах, отдельно доставлять это ПО не надо.
• В CX4 модули ввода/вывода устанавливаются всегда парами, невозможно разное количество и состав модулей в процессоры.
• Пропускная способность модуля ввода/вывода составляет 2 ГБ/с. Сейчас к заказу доступны модули FC 8 Гб/с (720 МБ/с).
• Твердотельные накопители хотя и являются дорогими в абсолютном выражении, являются самыми дешевыми в расчете на одну операцию ввода/вывода. Сейчас доступны к заказу накопители в 73 и 400 ГБ. Изготовителем заявляется гарантированная работа накопителей в течении 5 лет при постоянном цикле перезаписи. Накопители имеют запас порядка 30% от своего объема для восстановления поврежденных секторов.
• В CX4 кэш на запись отключается только в случае исчезновения питания, в отличие от CX3.
• Питание на кэш подается отдельно, перезагрузка процессора не влияет на кэш.
• Navishpere Off-array manager обладает встроенным help, который доступен на управляющей станции без подключения к массиву, в отличие от обычного Navisphere.
• Сессии MirrorView можно настраивать между массивами, находящимися в разных доменах. Для этого следует настроить мультидоменную конфигурацию на одном из мастеров.
• Кэш чтения работает, в основном, при последовательном чтении большими блоками.
• Считывание данных логирования дискового массива возможно и без Navisphere Analyzer. Для этого нужно забрать логи через naviseccli -archiveretrive или Navisphere из File Transpher Manager. Это файлы с расширениями .nar или .naz. Для анализа этих данных следует использовать ПО "Off-array analyzer".
• В FLARE 28.5 не рекомендуется объединять диски с разных полок одной шины в одну RAID-группу. В FLARE 26 такой вариант объединения был приемлем.
• Virtual LUN создается быстрее чем MetaLUN stripe.
• При использовании MetaLUN можно склеить много R5 5+1 при этом потеря диска не вызовет долгого и опасного ребилда.
• MetaLUN объединяется с MetaLUN, но только способом конкатенации.
• Первоначальную подготовку LUN после их создания лучше не убирать и подождать, пока она закончится.
• При опрациях SnapView, таких как rollback, следует обязательно сбрасывать буферы ОС, удалить букву диска, отмонтировать диски.
• SnapView поддерживает до 8 снимков с источника.
• Без сброса буферов снимки и клоны делать не стоит, иначе они будут неконсистентны.
• Перед операцией fracture стоит также сбросить буферы.
• Protected restore - запрет записи на клон при его восстановлении на источник.
• При старте SnapView сессии подтверждение записи к хосту приходит только после того, как чанк будет перенесен в RLP. Это сильно сказывается на производительности, особенно БД, при этом не используется кэш.
• Locality of reference - повторная запись в измененный чанк. При этом переноса данных не происходит.
• MirrorView работает на расстояниях 10-20 км, при задержке в 10 секунд зеркало разрушается и наступает запись в fracture log. При этом запись для хоста на 10 секунд замораживается.
• Write Intent Log запоминает синхронные записи. Хранится в кэше.
• FULL SanCopye не умеет отслеживать изменения на основном LUN после начала сессии, поэтому стоит делать копию со снимка.
• Incremental SC отслеживает изменения блоков.
• Для миграции данных используют EMC Live Migrator или PowerPath Migration Enabler на стороне хоста.
• MirrorView/A лучше RecoverPoint по цене и является объединением технологий SC, MV/S, SV.
• QoS позволяет объединять до 32 классов лимита в одну политику.
• Круиз-контроль возможно использовать только один.
• Virtual Provisionig плохо работает в потоковых операциях. IO проседают примерно на 30%, Response time на 10 %
• CX4 120 и 240 потенциально могут выдавать до 60000 IOPS.
• При проектировании рекомендую оставлять запас в 50% по дисковой емкости массива.

Интеллект-карта с фактическим материалом по экзамену EMC e20-340 - EMC CLARiiON Solution Implementation Exam

При подготовке к экзамену создал интеллект-карту в веб-сервисе http://mindomo.com/.

Думаю, может быть кому-то полезной при подготовке к экзамену или для обобщения своих знаний по массивам CLARiiON. Картинка в формате .png наглядна, но нет возможности читать заметки, сделанные к некоторым веткам.

Так как файл изображения получился большой, выкладываю его вместе с интеллект-картой на народе -

http://narod.ru/disk/9749793000/e20-340.rar.html

Полная интеллект-карта доступна если зарегистрироваться на ресурсе и установить off-line редактор Mindomo Desktop. Тогда можно получить доступ ко всей карте по ссылке -
http://mindomo.com/text.htm?m=2f8931e516ff49d0b9e5cbec05da99d6

Заметки к экзамену EMC CLARiiON Solutions Implementation Exam e20-340

• Что надо знать для назначения адреса порту управления инициализируемому массиву? serial number.
• На что влияет включение фильтрации ip в нависфере? i/o paths between system and client are not affected.
• Какая утилита проверяет установку софта аварийного переключения на хосте и наличие избыточных путей между массивом и хостом? Navisphere Server Utility
• Пользователь не может подключиться к нависфере, что ему следует проверить, если пароль и логин верные. Verify case of username and password.
• Где и какими утилитами можно назначить ipv6 адрес процессорам массива? SP properties and navisphere storage initialization utility.
• Как отобразить ошибки клариона через командную строчку? naviseccli -h array_address faults -list.
• Какое максимальное число коммутаторов fc допустимо для cx4? 16.
• Какие два условия должны быть соблюдены для разрушения сторидж группы. No SANCopy connections (count like a host connections) and connected hosts.
• Какая информация выдается после вывода в кли инфо об ошибках? Enclosures, disks, power supplies, storage processors, SPS, MirrorView/Asyncronous sessions.
• Когда информация об хосте отсылается всем подключенным кларионам? Shortly after Navisphere host agent starts up.
• Какая версия PowerPath поддерживает алуа? 5.1 or later.
• Что надо знать для создания офсета на вновь создаваемом металуне? Exact size of the private information on the LUN.
• Какая команда отключает ограничение на подключение хостов только к лунам из их сторидж группы (отключает Access Logix)? naviseccli -h host sc_off
• Какая причина ошибка авторизации - management server:caller not privileged? User has not created a user security file on the host.
• В коммутируемой фабрике какая функция отвечает за распределение лунов по хостам? Access Logix.
• По лучшим практикам где должны быть созданы клоны, на каких дисках? On the separate physical disks.
  
• Сколько максимально хопов должно быть по лучшим практикам между всеми узлами в фабрике? 3
• Где в Солярисе выставляется таймаут для команд ? /etc/system
• Какой командой выравнивают партиции в линуксе? fdisk
• Сколько scsi устройств поддерживаются максимально в SUSE? 256
• Какой максимальный размер луна в hp-ux 11i v3 c испоьзованием LVM? 16 ТБ
• Что произойдет с алуа софтом если путь к СП, владеющему луном, выйдет из строя? Upper redirector will route the I/O to the SP owning the LUN.
• Когда в серверной утилите нависферы запущен дисковер iscsi и он выдает что ничего нет, что это означает? Chap authentication is enabled on all target ports.
• Где в линуксе прописывается уникальное имя iscsi инициатора? /etc/initiatorname.iscsi.
• Какая макс конфигурация резерв лун пулов для снепов со 100 гб луна когда надо менять снеп? 4 LUN of 50 ГБ
• Сколько макс лунов в резерв лун пуле для сх3-40? 256
• Сколько переписывается после восстановления соединения данных? 250 ГБ
• Как в мдс называется транковый межкоммутаторный порт через который можно пропускать множество VSAN по ISL? TE-port
• Какой брокейд поддерживает fcip? MP7500
• Какие дополнительные функции нависфер сервер утилита, ? Запускает регистрационную утилиту.
• Как передавать сертификаты x509 в нависфере? В html-форму.
• В коммутаторах Cisco поддерживаются 3 активных туннеля FCIP на один порт GigEthernet, но устройства EMC принимают только 1 туннель на 1 порт.
• На хосте Соляриса при конфигурировании системных файлов в /ect/system следует изменить значения параметров sd_max_throttle and sd_io_time.
• При использовании Microsoft Initiator Service следует отключить data and header digest.
• Минимальный размер данных, который может отслеживаться на изменение - в FLARE 19 и выше это 2 КБ, в FLARE до версии 19 - 64 КБ.
• The first part being the WWNN and second part being WWPN. So for a given SPE, the WWNN is the same for all ports but WWPN is unique for each port (see the middle digits of WWPN - 60,61,62,63 for SPA0, A1, A2, A3 and 68,69,6A,6B for SPB0, B1, B2,B3 respectively).

Смещение логического тома дискового массива EMC CLARiiON в среде Microsoft Windows 2000/2003

Операционные системы Microsoft Windows Server 2000/2003 не определяют корректно геометрию дисков в логических томах, находящихся на дисковых массивах (например, EMC Symmetrix или CLARiiON). ОС резервирует 63 сектора (31.5 КБ) в начале тома для служебных данных (наследие старой геометрии дисков архитектуы Intel - Master Boot Record) и начинает записывать полезные данные с 64 сектора. В результате этого немодифицированные тома записывают данные неоптимально и производительность дискового массива снижается. Возникающий эффект называется "disk crossing".

Из-за ошибочного определения геометрии дисков происходит разбиение одного записываемого блока на два. Это встречается со следующей частотой:

• Any I/O of 32 KB or larger will always cause a boundary crossing.
• Any random I/O of 16 KB will cause a boundary crossing 50 percent of the time.
• Any random I/O of 8 KB will cause a boundary crossing 25 percent of the time.
• Any random I/O of 4 KB will cause a boundary crossing 12.5 percent of the time.
  

Для исправления ситуации необходимо изменить размер зарезервированной области до оптимального. В случае массива EMC CLARiiON этот размер равен 128 блокам (64 КБ), что одинаково корректно для записи блоков Windows в 4 КБ (стандартный размер блока для форматирования разделов NTFS), так и для записи элементов массива CLARiiON в 64 КБ. В результате этого данные будут записываться во второй дисковый элемент первого страйпа массива.

Оптимизировать тома можно как средствами дискового массива, так и инструментами ОС. Последний вариант является более предпочтительным, т.к. при изменении настроек LUN в дисковом массиве это отразится на работе встроенных приложений, таких как SnapView, SanCopy, т.д.

Для оптимизации в среде Windows доступно 2 программы - diskpar (позволяет оптимизировать тома на всех версиях Windows NT, 2000 и 2003, находится в Windows 2000 Resource Kit) и diskpart (позволяет оптимизировать тома в Windows 2003 SP1 и выше). Применение этих утилит необходимо запланировать до разметки диска, т.к. они удаляют все данные, если они находились на томе.

Улучшение производительности после выравнивания томов может достигать 20 процентов и более.

C:\ diskpart
Microsoft DiskPart version 5.2.3790.1830
Copyright (C) 1999-2001 Microsoft Corporation.
On computer: W3K-LAB
DISKPART> select disk 1
Disk 1 is now the selected disk.
DISKPART> create partition primary align=64
DiskPart succeeded in creating the specified partition.
DISKPART> exit
Leaving DiskPart...


C:\> diskpar -s 1
Set partition can only be done on a raw drive.
You can use Disk Manager to delete all existing partitions
Are you sure drive 1 is a raw device without any partition? (Y/N) y
---- Drive 1 Geometry Information ----
Cylinders = 1174
TracksPerCylinder = 255
SectorsPerTrack = 63
BytesPerSector = 512
DiskSize = 9656478720 (Bytes) = 9209 (MB)
We are going to set the new disk partition.
All data on this drive will be lost. continue (Y/N)? y
Please specify starting offset (in sectors): 128
Please specify partition length (in MB) (Max = 69044): 4000
Done setting partition.
---- New Partition information ----
StatringOffset = 65536
PartitionLength = 4194304000
HiddenSectors = 128
PartitionNumber = 1
PartitionType = 7
You should now use Disk Manager to format this partition

В Windows 2008 разделы имеют отступ в 1 МБ по умолчанию. Это обеспечивает хорошую совместимость для систем хранения данных:
http://www.itcommunity.ru/blogs/mamyshev/archive/2008/11/14/36335.aspx.

EMC training – CLARiiON

Статья содержит заметки, сделанные на семинаре, посвященном системам хранения данных среднего класса EMC CLARiiON.

При использовании дисков больших емкостей (от 750 ГБ) рекомендуется использовать RAID-6, т.к. при перестроении группы после сбоя одного из дисков может выйти из строя второй диск из-за высокой нагрузки.
Из-за наличия кэша на запись в массиве, для хоста быстрее проходит операция записи.
У EMC владельцем LUN является один SP. Для переноса LUN на другой SP нужно заметить перекос нагрузки, и инициировать перенос на незагруженный SP.
Почти всегда желательно иметь 2 изолированные фабрики.
Коммутаторы не надо соединять друг с другом для избежания пересбора всей фабрики при крахе одного из коммутаторов.
Предполагается, что в последних SAN-OS и FOS фабрику между ними собрать не получится из-за ограничений, введенных вендорами.
У Microsoft есть драйверы для store-port, работает лучше чем iscsi драйвер.
Обсчет в FC коммутаторах идет в ASIC, даже у Cisco – данные передаются в IVR после инициализации в ASIC.
FC работает быстрее scsi.
Trafic isolation zone у Brocade позволяет указывать путь для устройств в фабрике.
Ошибка 1 бит происходит на 4 GB - 1 раз в 16 минут.
Технология Cisco FCC препятствует переполнению буферов. Притормаживает посылку данных источником. У Brocade есть Traffic isolation c аналогичным функционалом. Вместе технологии не работают.
Wwn это аналог mac, используется для маскинга. Fc_id для роутинга. Wwn есть для порта и для устройтсва. Софтзонинг и хардзонинг. Есть 64 и 128 бит. Чаще используется 128 бит. Есть Fabric-id 24 bit, switch id, port id, id ноды. Fc id делает роутинг на 2 уровне.
OE FLARE – это среда на основе Windows Storage Server. В устройствах NetApp находится переработанная FreeBDS.
Nx4 позволяет реализовать nas, FC и iSCSI – дешево и функционально. Таргеты iSCSI Celerra работают быстрее чему у CLARiiON CX3.
CLARiiON AX4 поддерживает диски SAS и SATA. Диски стоят горизонтально, 12 дисков на полке. Всего до 60 дисков на 5 полках. Системных дисков 4.
Серия CX3 Ultra point – 4 Gb скорость.
Cx4-960 может переводить внешние порты во внутренние.
У HP EVA XP есть vraid – вопрос с производительностью.
Металун позволяет расшириться страйпингом или конкатенацией.
Виртуал лун – миграция данных. Виртуал лун позволят мигрировать только в LUN аналогичного объема. Миграция проходит без остановки ввода/вывода для конечного хоста.
Navisphere Analyzer это камень в огород HP - у их систем данных такого функционала нет. Снепшот нельзя присоединять к тому серверу, с которого делали снепшот. Иначе снесет ОС.
SnapView делает снепшоты и клоны. Когда создается клон, рвется связь между pfs и клоновой системой. Клон требует первичной синхронизации.
В паре MirrorView FLARE не должна отставать более чем на 2 версии.
SanCopy делает снепшот и переносит данных с этого снепшота.
Hot Spare диск надо привязывать к LUN обязательно! Операция выполняется в 2 действия. При настройке не забытвать проверять сообщения предупреждений.
Максимальная группа RAID может содержать 16 дисков. Рекомендуется для RAID-5 группа из 9 дисков (8+1).
Offset – рекомендуют сдвигать блоки LUN для Windows систем. Связано с записью служебной информации в первые байты диска в обычной файловой системе. Сдвиг около 64 КБ.
Часто выходит из строя кабель COM от SP до батарейки.
Брокейд ставит теперь только свои SFP.
Ставить драйверы для HBA следует только из раздела по вендорам СХД. Специальные драйверы для EMC. Ставить советуют и драйверы и утилиты HBA.
На хост надо ставить NaviCli, NaviAgent, перестартовать агент и через минуты агент зарегистрирует хост. "Logged by" в Naivsphere у хоста означает что выполнена операция PLOGI.
Для драйвера HBA ставить storport miniport, а не scsiport miniport, иначе будет хуже работать.
Для сервера LUN клариона видится как lunz (такое название).
В свойствах SP можно прописать адрес и пользователя для управления массивом – нужно для доступа по NaviCli.
Следует драйвер интегрировать энлайтом в Windows, если мы делаем бездисковую станцию. При SANboot надо чтобы хост видел только один массив по одному пути. Надо создать зону на коммутаторе и прописать в нее порт массива и сервер для загрузки из SAN.
MirrorView работает только с портами дискового массива самых высоких номеров.
CLARiiON Сх3 отключается кнопкой на SPS. После этого сбрасывается кэш и устройство отключается в течении 3-10 мин. Бывают сервисные процедуры перезагружающие массив несколько раз. Следует проверять по индикатору сбоя на SP.
128.221.1.250 и 128.221.1.251 с маской 255.255.255.252 - это сервисные адреса по-умолчанию.
Обновление FLARE ведет к дополнительному обновлению LCC на дисковых полках. Надо дождаться обновления этого firmware при общем обновлении FLARE.
Логи надо смотреть с двух процессоров от одного времени. Spcollect.
Диски выходят из строя в 90% всех сбоев. CLARproc_3.8.7 – процедур генератор.
При замене диски вытаскивают с интервалом 1 минуту. Пустые дырки не оставляют, вставляют диск или заглушку.
Серийный номер массива на SP слева внизу на шасси.
ClarAlert рекомендуют ставить когда в организации много массивов . Если мало массивов, то достаточно оповещения по e-mail.
На iscsi настраивают на 3 портах миррорвью.
После создания зон в SanCopy надо сделать update connection, после этого массивы должны увидеть друг друга в connection status.В SanCopy надо делать группы хранения в обоих массивах.
При загрузке сп мигание лам означает следующее

• один раз в 4 секунды – POST,
• раз в секунду – extended POST,
• четыре раза в секунду – Windows boot.