Смещение логического тома дискового массива EMC CLARiiON в среде Microsoft Windows 2000/2003

Операционные системы Microsoft Windows Server 2000/2003 не определяют корректно геометрию дисков в логических томах, находящихся на дисковых массивах (например, EMC Symmetrix или CLARiiON). ОС резервирует 63 сектора (31.5 КБ) в начале тома для служебных данных (наследие старой геометрии дисков архитектуы Intel - Master Boot Record) и начинает записывать полезные данные с 64 сектора. В результате этого немодифицированные тома записывают данные неоптимально и производительность дискового массива снижается. Возникающий эффект называется "disk crossing".

Из-за ошибочного определения геометрии дисков происходит разбиение одного записываемого блока на два. Это встречается со следующей частотой:

• Any I/O of 32 KB or larger will always cause a boundary crossing.
• Any random I/O of 16 KB will cause a boundary crossing 50 percent of the time.
• Any random I/O of 8 KB will cause a boundary crossing 25 percent of the time.
• Any random I/O of 4 KB will cause a boundary crossing 12.5 percent of the time.
  

Для исправления ситуации необходимо изменить размер зарезервированной области до оптимального. В случае массива EMC CLARiiON этот размер равен 128 блокам (64 КБ), что одинаково корректно для записи блоков Windows в 4 КБ (стандартный размер блока для форматирования разделов NTFS), так и для записи элементов массива CLARiiON в 64 КБ. В результате этого данные будут записываться во второй дисковый элемент первого страйпа массива.

Оптимизировать тома можно как средствами дискового массива, так и инструментами ОС. Последний вариант является более предпочтительным, т.к. при изменении настроек LUN в дисковом массиве это отразится на работе встроенных приложений, таких как SnapView, SanCopy, т.д.

Для оптимизации в среде Windows доступно 2 программы - diskpar (позволяет оптимизировать тома на всех версиях Windows NT, 2000 и 2003, находится в Windows 2000 Resource Kit) и diskpart (позволяет оптимизировать тома в Windows 2003 SP1 и выше). Применение этих утилит необходимо запланировать до разметки диска, т.к. они удаляют все данные, если они находились на томе.

Улучшение производительности после выравнивания томов может достигать 20 процентов и более.

C:\ diskpart
Microsoft DiskPart version 5.2.3790.1830
Copyright (C) 1999-2001 Microsoft Corporation.
On computer: W3K-LAB
DISKPART> select disk 1
Disk 1 is now the selected disk.
DISKPART> create partition primary align=64
DiskPart succeeded in creating the specified partition.
DISKPART> exit
Leaving DiskPart...


C:\> diskpar -s 1
Set partition can only be done on a raw drive.
You can use Disk Manager to delete all existing partitions
Are you sure drive 1 is a raw device without any partition? (Y/N) y
---- Drive 1 Geometry Information ----
Cylinders = 1174
TracksPerCylinder = 255
SectorsPerTrack = 63
BytesPerSector = 512
DiskSize = 9656478720 (Bytes) = 9209 (MB)
We are going to set the new disk partition.
All data on this drive will be lost. continue (Y/N)? y
Please specify starting offset (in sectors): 128
Please specify partition length (in MB) (Max = 69044): 4000
Done setting partition.
---- New Partition information ----
StatringOffset = 65536
PartitionLength = 4194304000
HiddenSectors = 128
PartitionNumber = 1
PartitionType = 7
You should now use Disk Manager to format this partition

В Windows 2008 разделы имеют отступ в 1 МБ по умолчанию. Это обеспечивает хорошую совместимость для систем хранения данных:
http://www.itcommunity.ru/blogs/mamyshev/archive/2008/11/14/36335.aspx.

Настройка IVR на Cisco MDS

Технология маршрутизации сетей хранения данных Inter-VSAN Routing используется, как правило, для подключения удаленных сетей хранения данных в катастрофоустойчивых решениях и виртуальной изоляции фабрик внутри одного устройства. При внедрении катастрофоустойчиового решения рекомендуется создавать транзитную сеть VSAN, объединяющую порты ISL. Это позволит избежать переходных процессов в рабочих сетях хранения при временном или постоянном отключении канала между сетями хранения данных.


Команды, используемые при конфигурировании IVR.

• show running- Displays the current running-configuration.
• copy run start - Copies the current running-configuration to the startup-configuration.
• show fcns database [ vsan vsan-id ] -Displays a list of all the ports that are logged in to the FCNS.
• Show interface fc slot/port - Displays the status of and statistics for interface fc slot/port.


• show interface gigabitethernet slot/port - Displays the status of and statistics for interface gigabitethernet slot or port.
• fcip enable -Enables FCIP on that switch.
• fcip profile [value] - Creates a profile for the FCIP connection; the valid range is from 1 to 255.
• interface fcip [value] - Creates an FCIP interface.
• no shutdown - Enables an interface.
• show interface fcip interface-number - Displays the status of and statistics for FCIP interface interface-number.
• show fcip profile -Displays the FCIP profile configuration.
• clear ivr session -Frees the IVR session lock.
• ivr abort -Discards the pending configuration changes and frees up the session lock.
• ivr commit -Commits a pending configuration change.
• show fcns database - Displays the name server entries for all VSANs.
  
• show fcns datab vsan vsan-id - Displays the name server entries for the specified VSAN.
• show fcip profile -Displays the configured fcip profiles.
• show ivr - Displays IVR configuration information.
• show ivr session status - Displays the status of the IVR session.
• show ivr zoneset active - Displays all active IVR zonesets.
• show ivr vsan-topology -Displays the current IVR topology.
• show ivr internal vsan-rewrite-list - Displays IVR fcid rewrite entries.
• show port-channel database - Displays PortChannel database information.
• vsan database - Enters VSAN database configuration mode.
• switchport trunk mode [on | off] - Enables / disables trunking on an ISL interface.
• show interface trunk vsan - Displays the trunking status of all VSANs.
• enable ivr - Enables IVR on the switch.
• ivr distribute - Enables CFS distribution of IVR configurations.
• ivr commit - Commits the IVR changes.
• ivr nat -Enables IVR NAT on the switch.
• ivr vsan-topology auto - Configures IVR topology automatic mode.
• ivr zone name name - Creates an IVR zone.
• ivr zoneset name name -Creates an IVR zone set.
• ivr zoneset activate name name force - Forcefully activates the specified IVR zone set.
• show ivr internal fcid-rewrite-list - Displays IVR NAT translation rewrite table entries.

Пример конфигурации одного из коммутаторов. На втором делается похожая настройка с его адресным пространством.

vsan database
vsan 10
vsan 20
vsan 100 name "Transit-100"
vsan 200 name "Transit-200"
fcdomain domain 11 static vsan 10
fcdomain domain 21 static vsan 20
fcdomain domain 101 static vsan 100
fcdomain domain 201 static vsan 200
vsan database
vsan 10 interface fc1/5
vsan 20 interface fc1/6
vsan 100 interface fc1/7
vsan 200 interface fc1/8
vsan 10 interface fc1/10
ip default-gateway 10.0.29.254
switchname P29-MDS-1
ivr enable
ivr distribute
ivr nat
ivr vsan-topology database
autonomous-fabric-id 1 switch-wwn 20:00:00:0b:fd:d0:68:80 vsan-ranges 30,40
,100
autonomous-fabric-id 1 switch-wwn 20:00:00:0d:65:6a:17:c0 vsan-ranges 10,20
,100
ivr vsan-topology auto
ivr service-group name IVR_SG_1
autonomous-fabric-id 1 vsan-ranges 10,40,100
ivr service-group name IVR_SG_2
autonomous-fabric-id 1 vsan-ranges 20,30,200
ivr service-group activate
zoneset activate name nozoneset vsan 10
zoneset activate name nozoneset vsan 20
58 Implementing Advanced Cisco Storage Networking Solutions (IASNS) v3.0 © 2007 Cisco Systems, Inc.
ivr zone name host_1
member pwwn 21:00:00:e0:8b:07:2f:5b vsan 10
member pwwn 21:00:00:04:cf:8c:53:26 vsan 40
ivr zone name host_2
member pwwn 21:00:00:e0:8b:05:d0:a7 vsan 30
member pwwn 22:00:00:04:cf:8c:5b:2a vsan 20
ivr zoneset name IVZS1
member host_1
member host_2
ivr zoneset activate name IVZS1 force
ivr commit
interface fc1/5
no shutdown
interface fc1/6
no shutdown
interface fc1/7
no shutdown
interface fc1/8
no shutdown
interface fc1/10
no shutdown
interface mgmt0
switchport speed 100
ip address 10.0.29.5 255.255.255.0


Опробовать настройку IVR можно в лаботарорных работах на сайте Cisco в разделе Partner Education Connection - http://www.cisco.com/go/pec. Ключевые слова для поиска - SAN-OS 3.0.2 LAB 19 - Implementing IVR. Сейчас там доступно 27 лабораторных работ, посвященных конфигурированию коммутаторов Cisco MDS. Интерфейс очень удобный, правда, иногда эмулируемые устройства работают некорректно.

Немного о SUN

Привожу заметки, сделанные на тренинге Sun Microsystems для новых партнеров.

Линейка серверов на процессорах SPARK выпускается с 1996 года. Серверы на архитектуре X64 SUN выпускает с 2004 года.

Серверы SunFire выпускаются на базе подразделения, выкупленного у компании Cray. Первые модели - 10K.

У OCS есть демооборудование, возможно проводить удаленное тестирование.
SUN регистрирует проекты с защитой партнера - выдают спеццены для тех, кто с заказчиком работает больше других.

У SUN есть программы для ВУЗов - matching grant. На все идет скидка 50% при соблюдении требования - все покупается в двойном размере ("второй бесплатно").

На portal.sun.com выложено много документации, например Field Engineering Handbook.

SUN делает сайзинг своих систем самостоятельно, выдается анкета на нескольких страницах, ее надо заполнять.

Иногда возможно продление кредитных линий. На сайте sun.com есть оценочные цены в США. Для нашей страны надо прибавлять около 25 %. Цены указаны без НДС.

Есть возможность купить восстановленное оборудование (RFB).

Руководитель отдела SUN в OCS - Леонид Циклин.

SUN делает ежегодные инвестиции в R&D около 2 млрд. $. SUN владеет технологиями Lustre, ZFS. За 2008 FY доход SUN 14 млрд. $. В SUN работают 43 тыс. сотрудников.
SparcEnterprise - делает Fujitsu, цена от 14 тыс. $.

Есть линейка серверов с повышенной защищенностью - Netra.

Специализированные серверы для хранения данных - "Thumper" x4500 - до 48 ТБ.

SparcEnterprise T5440 - ок. 80 тыс. $, по производительности сравнимы с SunFire 10K.

Рынок серверов в России - 803 млн. $ за прошлый год.

Деление на объемы бизнеса - 1-9 small office, 10-99 - small business, 100-499 medium business, 500-999 large business, 1000 и более - very large business.

Для севреров SUN x64 характерна большая консолидация возможностей - 4 встроенных сетевых интерфейса, 64 - 128 ГБ памяти, низкое энергопотребление (иногда более эффективны чем блейд-системы), более компактные. Единственные в отрасли с 4 CPU AMD в корпусе 2RU.

Коды моделей XX40 - AMD, XX50 - Intel

Сервер x4540 Storage Server - до 48 дисков, ZFS, программный RAID.

Материалы - ftp://ftp.ocs.ru/pub/sun/Presentations/

Семинар НР для клиентов по блейд-системам

Статья содержит заметки, сделанные на семинаре HP по серверам высокой плотности, который проходил 05 марта в Центре Высоких Технологий НР.


Процессоры Intel.

Самый мощный суперкомпьютер в России на данный момент содержит 1984 процессора. Второй по мощности находится в МГУ - Skif-MSU.

В 2009 году ожидается переход на технологию 32 нм. В 2007 году ввели технологию 45 нм. С 1999 по наше время уменьшение размеров технологического процесса происходит каждые 2 года. 45 нм гафний + металлический затвор. Диэлектрик High-K. Название нового семейства процессоров с технологией 32 нм - Westmere.

Xeon 7400 - 4-6 ядер.
Nehalem - Core i7 - 10 Вт при простое, имеет встроенный контроллер памяти.
Tukwilla - следующее семейство Itanium.
VT - Flex Migration - перенос с 2 ядерного процессора виртуальное приложение на 4 ядерный процессор. Возможен перенос приложений между процессорами разных поколений. Линейка Nehalem обозначается как 5500.
На 2 процессора можно использовать 18 слотов памяти, до 8 ГБ в слот - на процессор приходится 3 канала по 3 планки.
Harpertown - 2-процессорные системы - 5400, подходят для блейдов благодаря низкому тепловыделению.
Dunnington - 4 и более процессоров 7300 (7400) на систему.


Серверы высокой плотности HP - платформа с3000.

В полке с3000 4/8 слотов. Допустима внешняя температура функционирования до 36 градусов Цельсия.
БП оборудованы бытовой вилкой С13. Каждый блок питания по 1,2 КВт.
Есть полка с 6 дисками SAS, максимально можно установить диски SAS 300 ГБ. Есть ленточный накопитель.
BL460 - это тоже что и DL360 - только другое название и другая компоновка. Начинка аналогичная. Все вычислительные характеристики одинаковые. BL680 - DL580.
В индексе названия лезвия последняя цифра означает:

• 0 - Intel,
• 5 - AMD.

В шасси с3000 обе сетевые карты из блейда приходят в один коммутатор. В шасси с7000 каждая карта идет в отдельный коммутатор.
3 БП тянут все шасси. БП лучше работают на большой нагрузке. Лучше КПД и меньше рассеивают тепло.

В шасси размещены 2 отдельные шины PCI.
Есть SAS коммутатор - используется пока только для подключения внешних массивов HP MSA2000.

Плата управления шасси находится ниже (с экраном) - Module On-board Administrator. OA - On-board Administrator. В с7000 их 2 штуки. В с3000 - одна. Без него нельзя включить серверы. Если OA вынуть или он выйдет из строя, работающие лезвия продолжат работать а выключенные будет невозможно включить.

В шасси с3000 можно вставить до 4 коммутаторов. В с7000 можно вставить до 8 коммутаторов. С одного блейда можно вывести максимум 8 гигабитнрых интерфейсов. 2 уже встроены.

Модификация полки с3000 "Tower" не трансформируется в "Desktop".
FAN - минимум нужно 4 модуля. Вентиляторы тихие, с хорошими звуковыми характеристиками, без раздражающих частот.

FC в блейде не требует патчкордов и лазеров в картах, т.к. передает сигнал по медным проводам - следовательно нет дорогих оптических портов. Это удешевляет решение.
Иногда шасси плюс коммутатор FC стоят дешевле просто коммутатора FC.
FC карты для блейдов поставляются в виде мезанинов. Все с 2 портами.

В блейд можно подключить провода расширения портов и подлкючать для диагностики монитор, клавиатуру, мышь, com порт, usb.
В блейдах есть внутренние порты USB - надо разобрать лезвие. Используются для установки аппаратных ключей защиты или для флешек с гипервизорами.

OA управляет FAN, ps, ilo. OA module может объединить несколько с3000 кабелем подключаются до 20 шасси. Рекомендуют ограничить объединение одним шкафом для удобства управления. На одном из интерфейсных сетевых портов OA module установлена APIPA для простоты подлкючения и конфигурирования. Есть модуль KVM - маленькое лезвие.

DVD на шасси работает через iLO. Можно записать iso-образ загрузочного диска на флешку или usb жесткий диск и вставить в управляющий модуль, после этого образы будут доступны для всех серверов.

Рекомендуют и используют Altiris для разливки OS.
На LCD-дисплее полки можно вести чат с обслуживающим специалистом. Можно выбирать варианты ответа.

Жизненный цикл шасси с3000 и с7000 был продлен до 2014 года.
ILO в блейде бесплатное, идет в базовой цене.

Шасси стоит около 7,5 кило долларов, с 4 вентиляторами и 2 блоками питания.

Информация по серверам высокой плотности от HP лежит по адресу ftp://cclass:hpinvent@hprc.external.hp.com

В HP Product bulletin указаны цены, действующие в США. В России надо прибавить около 30%. Обязательно надо запрашивать диллеров о ценах при подготовке спецификации.

Isolated VSAN

В коммутаторах FibreChannel Cisco MDS используется понятие изолированного VSAN (isolated VSAN). Это виртуальная сеть хранения данных, куда попадают бывшие нетранковые участники других VSAN после удаления этих VSAN из коммутатора. По умолчанию номер isolated VSAN 4094 и попавшие в него участники оказываются изолированы от других участников и других VSAN.
В коммутаторе может быть сконфигурировано до 256 VSAN, из которых 2 являются зарезервированными -

• VSAN 1 - назначаемамя по умолчанию виртуальная сеть хранения данных,
• VSAN 4094 - изолированная виртуальная сеть хранения данных.

Пользовательским VSAN могут быть присвоены номера от 2 до 4093.

Просмотреть порты, находящиеся в isolated VSAN можно командой show vsan 4094 membership.

Конференция ЕМС и Cisco "Центр обработки данных - ядро корпоративных информационных систем"

Статья содержит заметки, сделанные на конференции по решениям ЕМС и Cisco: "Центр обработки данных - ядро корпоративных информационных систем."
Программа мероприятия была довольно интересной. Мероприятие прошло в гостинице Holiday Inn Sokolniki.

Cisco

В коммутаторах Cisco Catalyst 6500 сейчас применяется технология объединения 2 шасси в одно виртуальное устройство VSS 1440. Позволяет реализовать ряд новых технологий, среди которых MEC (MultiChassis EtherChannel).

Коммутаторы для датацентров серии Nexus 7000, 5000, 2000, 1000V.
Nexus 7000 обладает потенциальной пропускной способностью в 15 Тб/с (потенциальная скорость шасси Catalyst 6500 - 2 Тб/с). Коммутационные матрицы, вставляемые в задней части устройства, позволяют реализовать от 92 до 230 Гб/с коммутационную пропускную способность на слот. Есть линейные карты в 32 порта по 10 Гб/с и 48 портов по 1 Гб/с.
Появилась модель Nexus 7000 с 18 слотами. Модель с 10 слотами обладает 8 разъемами для линейных карт и 2 разъемами для супервизоров.
Коммутатор позволяет реализовать технологию VDC (Virtual Device Context) - полностью виртуализовать устройства, получить несколько независимых виртуальных коммутаторов внутри одного аппаратного Nexus.
Коммутатор Catalyst 4948 рекомендуют ставить парой в стойку (тип размещения - top of rack), на уровень доступа в ЦОДах.
Catalyst 6500 рекомендуют савить для разнородного парка серверов в отдельный шкаф (тип размещения - end of raw).

Коммутатор Catalyst 4948 основан на Supervisor V и V-10G от коммутатора Catalyst 4500. Обладает 2 сменными блоками питания. Коммутатор неблокируемый, позволяет использовать jumbo-frame (до 9 КБ в кадре). Есть модель 4900M c восемью встроенными интерфейсами 10-GE и расширением до 8 10-GE c неблокируемой шиной или 16 10-GE c блокируемой шиной.

VBS Virtual Blade Switch - технология, позволяющая объединять до 8 blade switch в один virtual Switch.

Коммутатор Nexus 5000 - консолидирует порты ввода/вывода. Поддерживает FCoE, DCE, Priority-based Flow Control (аналог Buffer to buffer credit у Fibre Channel - отсылает паузу при заполнении буфера кадров), ETS (гарантия пропускной полосы). Позволяет реализовать MultiPath на втором уровне. Кадр FCoE размером 2197 байт, позволяет упаковывать кадр FC без фрагментации. В этом коммутаторе цена за порт нтерфейс 10-GE является одной из самых низких - около 900 $).

SFP+ (трансиверы с кабелем)- в кабель поставляется уже с запаенными трансиверами, поэтому получается сократить цену, самый короткий стоит 150 долларов.

Устройство Nexus 2000 - Fabric Extender. Используется только для расширения количества портов коммутатора Nexus 5000. Локально в Nexus 2000 коммутация не происходит, все идет через 5000. Размер Nexus 2148 - 1 RU. Все порты - 1 GE.

Nexus 1000V - программный коммутатор, устанавливается в ESX VMWare вместо штатного программного коммутатора. Ставится Virtual Ethernet Switch и Virtual Supervisor, управляется полноценная ОС NX-OS.

WAAS 4.1 позволяет оптимизировать WAN трафик путем создания кэша DRE, компрессии LZ, снижения количества транзакций у CIFS, NFS, MAPI, VIDEO, HTTP, SSL, Windows print.

2 устройства WAAS обнаруживают друг друга самостоятельно, специальной настройку друг под друга не требуют.

Кэш данных, сохраняемый на встроенном диске устройства, шифруется.
Есть решение WAAS mobile, позволяющее установить на ноутбуке пользователя клиентское приложение.

Линейка устройств - NME 302, 502, 522; WAE 512, 612, 7341, 7371.

EMC

NAS система Celerra с массивами CLARiiON CX4 нового поколения. Можно ставить EFD. Поддерживает WORM. Поддерживает диски SATA II с низким энергопотреблением. Модельный ряд - NS 120, 480, 960 и NS-G8.

Blade в презентации называют по-русски "файловым сервером", Virtual provisioning - "виртуальное выделение ресурсов".

В Celerra дедупликация идет как бесплатная функция. Но дедуплицирует на уровне файлов, а не блоков. Файл, не имеющий дубликатов, сжимается.
Текущие реализации технологии NDMP позволяют восстанавливать отдельные файлы, а не файловую систему.

Решение для резервного копирования Avamar. Позволяет сократить передаваемый трафик и занимаемое пространтство на дисках благодаря дедупликации данных на стороне клиентов. Быстро устанавливается. Используется для филиалов и подключений по WAN. Дедупликация осуществляется на основе анализа блоков переменной длины. Решение поставляется в следующих комплектациях: на сервере Dell или HP; в виде настроенной и готовой виртуальной машины; в виде ПО.
Ноды могут объединяться в RAIN. Скорость резервного копирования, которую удалось реализовать - 50-70 МБ/с. Лицензируется по объему хранения, а не по количеству клиентов.

InVista - виртуализует несколько массивов. Установлена в SAN коммутаторе или на отдельном сервере. Out-of-band. Позволяет использовать оборудование разных изготовителей (Cisco, Brocade). Хорошо масштабируется.

Материалы конференции - http://info.emc.com/mk/get/AMA00011681_AGENDA