NetApp: вид сзади (окончание)
??так, в понедельник я показал вам как выглядит сзади то, что видят сравнительно немногие, либо только специалисты-инженеры, но что всегда привлекает любого гика.
Вы себе не представляете насколько я мучаюсь подбирая слова, чтобы хотя бы свести к минимуму сексуальную двусмысленность. ;D
На сегодня у нас остались дисковые полки расширения.
Классическая дисковая полка, переживающая с незначительными модификациями уже третье поколение (свыше 7 лет!) контроллеров NetApp – DS14. Цифра 14 указывает на 14 дисков в полке. Нынешняя ее версия называется DS14mk4, “четверка” указывает на подержку внутреннего интерфейса 4Gb FC для дисков. До нее были полки типа DS14mk2 (с поддержкой дисков FC с интерфейсом 2Gb), а ранее DS14-“просто”. До DS14 были совсем древние варианты – DS7 и полки на шине SCSI.
На рисунке две модифкации – сверху полка под диски SATA, так называемая DS14mk2-AT, с интерфейсным модулем AT-FCX, внизу – DS14mk4 с интерфейсным модулем ESH4.
В остальном внешне они идентичны: справа и слева – redundant блоки питания, посередине, друг над другом – сменные интерфейсные модули. Полки имеют идентичный конструктив, но отличаются с “морды”, полка DS14mk2-AT имеет bezel (пластиковую переднюю панель) черного цвета (черного цвета и frame для крепления дисков SATA), полка под диски FC имеет серый bezel и пластик frame для дисков FC). Обратите внимание, что, несмотря на сходство внешнего конструктива, внутри полки отличаются, и не “взаимозаменяемы”, отличаются разъемами backplane. Ни диски FC в полку SATA, и диски SATA в полку FC, несмотря на сходство полок и дисковых фреймов, поставить нельзя.
Посередине, между интерфейсными модулями расположены (слева направо) переключатель идентификатора полки (должен быть уникален в пределах FC-петли, и изменяется от 1 до 7), прямоугольная кнопка отключения зуммера, срабатывающего в случае какой-либо неполадки, на полке FC там же находится механический переклчатель скорости портов FC (может быть необходимо сменить скорость при подключении “новой” полки mk4 к старой системе с портами 2 или 1Gb) и индикаторы отказов.
Кроме того, сами модули имеют свои индикаторы отказов и сигнализации (например скорости подключения и состояния линка). На модулях находится по два порта FC. Полки с дисками SATA также подключаются к контроллерам по интерфейсу FC, однако полки с дисками SATA приходится выносить в отдельную петлю FC подключения к контроллеру, чтобы не ограничивать быстродействие полок с дисками FC.
Кроме того, на интерфейсных модулях находятся специальные порты для тестовой консоли. К сожалению подробностей их использования я не знаю, в эксплуатации исправных систем они никак не задействованы.
По индикации ошибок на контрольных светодиодах можно по приданному полке “хелпу” (находится на выдвижном пластиковом “языке”, снизу, с “морды” полки) быстро проанализировать ситуацию и определить причину неисправности или нештатного состояния.
После многих лет беспорочной службы полкам серии DS14 пришли на смену полки DS4243 для дисков SAS и SATA, подключаемые по SAS.
Это новый мэйнстрим, в будущем все системы NetApp перейдут на использование этих полок и интерфейса SAS взамен FC.
Я уже писал подробно про эту полку в одной из статей в этом блоге. Цифровой код означает: Disk Shelf 4U, 24 диска, интерфейс wide-SAS 3Gb/s.
Сегодня только модель FAS2040 имеет “набортный” интерфейс SAS, к остальным системам такие полки подключаются через карту расширения с портами SAS, двух- (для 2050) и четырех-портовые (для всех остальных систем).
На картинке изображена полка под диски SAS. Полка под диски SATA полностью идентична, но комплектуется не четырьмя, а двумя модулями блоков питания. Также как и в случае полок DS14 нельзя смешивать в пределах одной полки диски разных интерфейсов (однако, в случае DS4243, не требуется выделять диски SATA в отдельную “петлю”).
В качестсве инерфейсных модулей используются унифицированные модули IOM3, имеющие по два порта wide-SAS 3Gb каждый (итого 4 порта), способные работать на передачу данных одновременно. Левее их расположены два порта специальной сети управления ACP – Alternate Control Path. Обратите внимание, что это сеть только для передачи сигналов интерфейса управления, данные по ним не передаются, и отказ их, или отсутствие подключения не влияет на передачу данных собственно полки по SAS. Через эту сеть считывается диагностика, снимается POST, можно залить прошивку, и совершить прочие такие же действия. Данная сеть включается непосредственно в порт контроллера системы хранения (специальный такой порт есть у 2040, впоследствии будет на всех системах).
Ниже каждого контроллера IOM3 находится пустой слот такого же размера, что и модуля IOM3. В настоящий момент он никак не используется, и планы о его использовании мне неизвестны.
А вот интересно: есть ли далеко идущие планы по использованию пустого пространства под интерфейсными модулями на DS4243?
К сожалению никакого упоминания мне на этот счет найти не удалось.
Вполне возможно, что это место вообще не планировалось ничем заниматься. Дело в том, что модуль IOM3 создан по спецификации, разработанной организацией SBB, и, возможно, для обеспечения соответствия спецификации, пришлось соответствовать и габаритным параметрам, и просто “осталось место”.
Нет ли каких-нибудь слухов - не появится ли полка SAS с интерфейсом FC? ??ли нет ножек (порта SAS) - нет конфетки?
Уверен, что с FC “покончено”. Причина - график в прошлой заметке про DS4243. FC как интерфейс сремительно “свертывается”.
Влепить SAS экспандер дешевле. Тем более там производительность выше: 4 x 3Gbit = 12Gbit.
Btw инересно было бы почитать обзор про других вендоров, что у них есть. Например HP.
У них есть массивы Lefthand P4000, EVA.
В свое время была такая фирма Lefthand, делающая стореджи. HP их купила, интегрировала в свою линейку.
Чем интересна эта линейка. Оно при обьединении в кластер нескольких стореджев делает Network RAID (например RAID10) из групп RAID5, расположенных на каждой ноде кластера.
Такого похоже ни у кого нет.
У стореджа 4 медных интерфейса, которые используются для соединения в кластер и iSCSI target. Умеет multipath, агрегировать интерфейсы в etherchannel (lacp).
Причем стореджи могут быть раскиданы где угодно, главное чтобы были обьединены в сеть и задержки были не более 2ms. Можно интерфейсы заменить на 10Gbit.
Таким образом, в дефолтной конфигурации оно по 2-м гигабитам в eth channel делает репликацию и раздачу дисков.
Но, стореджи не наращиваются полками, хотя есть несколько вариантов комплектаций дисками.
Для увеличения места просто покупается еще один сторедж, где-нибудь подключается в сеть и все.
Умеет снепшоты, thin provision, асинхронную репликацию, CIFS с помощью отдельного сервера на Windows 2008 Storadge.
??нтересное решение и позиционируется для виртуализации. На HP есть документ по тестированию данной конфигурации в кластере в разных вариантах с использование Windows 2008 R2 CSV и просто single volume.
??нтересно, что там внутри (rt linux) ?
??нтересно послушать про EVA 4400.
> Оно при обьединении в кластер нескольких стореджев делает Network RAID (например RAID10) из групп RAID5, расположенных на каждой ноде кластера.
Такого похоже ни у кого нет.
Нету, да. “Расплата” за этот Network RAID довольно суровая. Usable space получается от общего объема дисков менее трети. Это должно быть ОЧЕНЬ нужно, чтобы такую цену платить.
> Причем стореджи могут быть раскиданы где угодно, главное чтобы были обьединены в сеть и задержки были не более 2ms.
Это уже не “как угодно”, это в общем довольно жесткое требование для гигабита по меди.
> ??нтересно послушать про EVA 4400.
Да ладно, скоро будем про 3Par F-Series слушать, “EVA - все”(с)
Btw по поводу того, что SATA полку можно вешать на ту же петлю. Это должно очень сильно затормозить работу стореджа. Если будет большая нагрузка на SATA диски, то вся производительность петли (в которой скажем несколько SAS полок) скатится до уровня 4х SATA дисков.
Как они решают эту проблему ?
??ли просто забивают в надежде, что к SATA-полке не много обращений ?
Ну если самим не получается сделать и занять рынок, то проще купить.
Всех конкурентов так и убирают в цивилизованном мире :)
Молодец HP. А то их чуть Dell не сделал.
Нет, не тормозится, они изолированы от интерфейса собственно SAS. В отличе от FC-AL.
Но рекомендуется не перемешивать SATA и SAS слишком уж часто (пример: вместо SAS-SATA-SAS-SATA делать SAS-SAS-SATA-SATA).
Кстати сказать, производительность дисков SATA в DS4243 получается выше чем в DS14mk2-AT примерно на 20-25%
>> Причем стореджи могут быть раскиданы где угодно, главное чтобы были обьединены в сеть >>и задержки были не более 2ms.
>Это уже не “как угодно”, это в общем довольно жесткое требование для гигабита по меди.
Да, вот интересно, как оно работает. Как часто разваливается RAID в реальной жизни и себя фиксит.
>Нет, не тормозится, они изолированы от интерфейса собственно SAS
Это как ? Соединение полок это же последовательное соединение экспандеров 4мя lane. Если на SATA пойдет больша нагрузка, то lane на контроллере не будет отпускаться пока не выполнится операция конкретным SATA диском. Вот и получаем производительность 4х дисков в худшем варианте.
1.
HOW MANY CROSSOVER POINTS BETWEEN SATA AND SAS CAN I IMPLEMENT IN MY DS4243 STACK?
The term “crossover point” refers to the number of times a DS4243 storage shelf makes the transition from SATA to SAS (or vice versa) within a single stack. Although multiple crossover points are supported within a single stack, NetApp recommends that a stack contain no more than a single crossover point. By reducing the number of crossover points in your stacks, you reduce the variability of the storage configuration. As is
true in all computer systems today, increased variability can add difficulty when troubleshooting issues and also raises the possibility of encountering unknown issues.
2.
Картинка ничего не обьясняет.
In contrast, SATA is designed for PC applications where the lowest possible cost per GByte with
acceptable performance is the design goal. SATA protocol assumes that a single drive is connected to
a single host. Because of the relatively low cost disk drive mechanism employed, the very high data
density on the disk and the relatively simple communications protocol, SATA drives take much longer
to respond to a data request than SAS disk drives. Another important aspect of the SATA protocol is
that the drive assumes that it “owns” the connection. Once a transaction is started, the drive will
maintain ownership of the connection until the transaction is completed, even though it may take a
long time to prepare for the actual data transfer. When a large number of drives are configured in a
single domain, this feature limits overall throughput by preventing other disk drives from moving data
until the transaction is completed. The recent introduction of Native Command Queuing (NCQ)
capability in SATA drives has improved drive performance by as much as twenty percent in some
applications.
The SAS protocol defines a mechanism that has been implemented in the SAS Expanders to guarantee
fair access between drives in a domain. In practice, this works quite well when a SAS domain is made
up of all SAS or all SATA drives. When both drive types co-exist in a single domain, the large
differences in response time combined with the tendency of SATA drives to lock up a connection can
play havoc with performance expectations.
А какое отношение ваш текст имеет к тому, как все устроено в оборудовании NetApp?
Это общие слова про протокол. Я же вам цитирую Best Practices Guide по DS4243 самого NetApp.
Картинка не обьясняет, как NetApp решил проблемы связанные с падением производительности, если на экспандере еще будет висеть полка SATA.
@Andrey, как я понимаю никак:
“When using the DS4243, SAS and SATA drives can be mixed in the same stack but not in the same shelf.”
http://communities.netapp.com/docs/DOC-9216
Осталось еще посмотреть что такое “same stack” в нотации NetApp.
Vitaliy:
Это значит, что для полок с дисками SATA не надо выделять отдельный порт, выделяя их в отдельную “петлю”, как было с полками DS14.
То есть можно сделать так:
DS4243-SATA == DS4243-SAS == DS4243-SAS == NetApp-FAS