NetApp: вид сзади
Я заметил, что экстраординарной популярностью в моем блоге пользуются посты “с картинками”.
Сегодня у любителей картинок большой праздник. Картинок будет много.
Я решил устроить сеанс geekporn, и показать как выглядят задние панели большинства систем NetApp. Возможно тем, кто не видел ни одной “живой” системы это будет любопытно.
Вот так выглядит сзади контроллер “старой” midrange-серии, в данном случае это FAS3040 (или же FAS3070, внешне они идентичны). На сегодня эти системы уже не продаются, но они были весьма популярны несколько лет назад, и все еще часто встречаются и продолжают счастливо работать.
Это один контроллер, в кластерной системе таких блоков два. Справа вы видите два redundant блока питания, далее расположен блок собственно контроллера. Отвинтив винт по центру вы тянете и отклоняете на себя черную скобу, и контроллер целиком выезжает по направляющим для ремонта и замены. Кроме ремонта и замены извлекать контроллер необходимо при установке плат контроллеров в имеющиеся слоты расширения. По умолчанию один из четырех всегда занимает плата так называемого NVRAM, вы ее видите в слоте PCI-3. Снаружи на ней находятся два разъема Infiniband, с помощью которых, двумя кабелями, она объединяется с NVRAM во втором контроллере. Два таких блока могут быть разнесены на расстояние от 1,5 до 5 метров (штатными кабелями) и на большее расстояние специальными кабелями. В дальнейшем от идеи разноса контроллеров кластера отказались, и в серии 3100 они расположены в одном chassis (впрочем, например при построении Metocluster, просто следует взять два chassis, с одним контроллером в каждом).
Снизу расположены в ряд разъемы встроенных интерфейсных портов (слева направо):
Консольный разъем типа RJ45 (совместим с распайкой консольного кабеля Cisco), два порта FC (4Gb у FAS3040/3070 и 2Gb у FAS3020/3050), которые могут работать или как target, то есть к ним могут быть подключены сервера-хосты, либо как initiator, и тогда к ним подключаются “FC-петли” дисковых полок.
Далее два порта Gigabit Ethernet, порт контроллера RLM (Remote LAN Management, специального автономного микроконтроллера out-of-band администрирования), если он установлен внутри контроллера, два порта Gigabit Ethernet, и еще два порта FC.
У FAS3020 еще левее был распложен порт UW-SCSI, в дальнейшем “в базе” от него отказались, и, если он нужен, SCSI доступен в виде порта на плате расширения.
На смену серии 3000 пришла несколько лет назад серия 3100.
??нженеры NetApp много поработали, и создали новый конструктив, высотой 6U, в котором размещаются оба контроллера кластерной системы. Теперь доступны все 4 слота PCIe, так как NVRAM теперь располагается внутри и не требует внешнего соединения, соединяясь по backplane. Также сокращено до двух на контроллер число портов Gigabit Ethernet. На приведенном рисунке в слоты расширения вставлены платы 4-портового Gigabit Ethernet и двухпортовый FC-адаптер.
Слева расположены один над другим два redundant блока питания, затем, друг над другом, два контроллера.
Внизу, слева направо: консольный порт, два порта Gigabit Ethernet, порт RLM (e0m), четыре универсальных (initiator/target) порта FC.
Классу highend принадлежат системы серии 6000 (6040/6080, а также ранее выпускавшиеся 6030/6070).
На рисунке изображен один контроллер FAS6080, высотой 6U. В двухузловом кластере таких, соответственно, два.
В FAS6080 четыре 2-х ядерных процессора AMD Opteron в каждом контроллере, 6 слотов расширения PCIe-8x, и 3 – PCI-X, “в базе” 6 портов Gigabit Ethernet, 8 портов 4Gb FC, и 32GB памяти.
В слотах расширения на рисунке стоят, слева направо: Карта NVRAM6, 2-портовый Gigabit Ethernet с оптическими портами LC, Карта iSCSI HBA target, и карта 10Gb Ethernet.
Ниже, в интерфейсном блоке, два порта Gigabit Ethernet, под ними порт RLM, далее правее две пары Gigabit Ethernet и консольный порт. Ниже две группы по 4 универсальных (initiator/target) портов FC 4Gb.
Системы малого класса, така называемый low-enterprise class, это FAS2050 и FAS2020, а также FAS2040.
От уже рассмотренных выше систем они отличаются тем, что в базовом конструктиве также находятся жесткие диски SAS или SATA, 20 у FAS2050 и 12 у FAS2020 и 2040.
На рисунке – задняя панель FAS2050. Справа и слева – блоки питания большого размера, питающие и контроллер, и диски, посередине между ними, друг над другом, два контроллера.
На них, слева направо: два универсальных порта FC 4Gb, к которым можно подключать или серверные хосты, или дисковые полки расширения, консольный порт, порт BMC (Baseboard Management Console, другой вариант ранее упоминавшегося RLM, удаленное out-of-band администирование), затем два порта Gigabit Ethernet.
В слоте расширения данной системы находится карта 4-port Gigabit Ethernet.
Система FAS2040 это “маленькая” (всего 2U) но весьма удаленькая система.
О ней я уже писал в этом блоге. На ней впервые появились “в базе” порты SAS для подключения полок DS4243 (разъем правее портов FC). Далее уже знакомый нам порт консоли, а дальше пара специальных портов: e0P это порт управления для своеобразной “сети управления” дисковой полки DS4243, затем уже упомянуый BMC, аналогичный всему семейству FAS2000, а затем 4 порта Gigabit Ethernet.
На следующий пост нам остались устройства дисковых полок DS14mk4 и DS14-AT, а также универсальной SAS-полки DS4243.
Спасибо! У NetApp с этим беда - у Fujitsu, например, на сайте в специальном разделе все их сервера в высоком разрешении под всеми углами внутри и снаружи отсняты, а не далее как вчера я сходу фото ds14mk2-at так и не нашёл…
Опечатка: “полок DS4243 (разъем _левее_ портов FC).” Должно быть “правее”.
Да, спасибо, всегда у меня с этими лево-право проблемы, поправил.
А картинки, кстати, взяты из свободно доступной библиотеки стенсилов на visiocafe.com
Лучше бы фотки кишок :)
По поводу заднего вида — не соответствует действительности :)
Оптические модули — это SPF модули/гнезда. Туда можно и медные кабели вставлять для подключения дисковых полок.
> Лучше бы фотки кишок :)
Вы, я посмотрю, любитель хардкорного geek porn ;)
> По поводу заднего вида — не соответствует действительности :)
соответствует-соответствует.
> Туда можно и медные кабели вставлять для подключения дисковых полок.
Можно, только никто уже давно не вставляет.
Полки между собой в петлю иногда включают “по меди”, но обычно в котроллер всегда оптикой.
Как всегда-архиполезно!
Мой первый netapp 2040 никак включить не могу-инженер из NetAPP никак не подтянется, а без него нельзя, ждемс
интересно узнать порядок цен на 6000 серию(чисто для инфы). Глядя на нафаршировку-слюнки текут,
с 3100 доведется поработать-даже в виде метрокластера-а с этим аппаратом вряд ли
А я бы еще что-то типа sg247840.pdf рекомендовал заинтересованным лицам глянуть (:
> а без него нельзя
Да ладно, что вы такое говорите, всю жизнь NetApp был customer serviceable и customer installable.
Хотя конечно, если не горит, то лучше дождитесь, чтобы не допускать какой-нибудь дурацкой ошибки прямо на старте.
В принципе же вся инсталляция это подключение терминальной консоли (9600-N-1) и включние в сеть. Сразу после загрузки OS запускается встроенный мастер установки, задающий в целом вполне понятные вопросы, типа установки даты, времени, часовог пояса, IP-адреса, DNS, после чего система завелась и может быть сконфигурирована по сети либо из FilerView (веб-интерфейса), либо через System Manager.
> интересно узнать порядок цен на 6000 серию
Цена, как и всегда, зависит от количества дисков и набора лицензий.
Могу похвастаться наличием у себя постера NetApp Hardware Universe. По-моему он доступен для заказа всем желающим участникам коммюнити NetApp.
Вот там очень подробно про железо расписано :)
Можно немного offtop в тему DS4243?
“e0P это порт управления для своеобразной “сети управления” дисковой полки DS4243″
Много читал довольно общих слов о данной штуке (ACP), а есть ли где-то подробная информация как это работает и реально ли она нужна?
Спасибо.
Про ACP напишу, что знаю, в ближайшее время.
UPD: Написал. Читайте в понедельник.
Цены на прайсовые позиции можно взять с http://storagemojo.com/storagemojos-pricing-guide/. Там конечно “средняя температура по больнице” но прикинуть можно. Плюс замучаешься догадываться о соотвествии прайсовой позиции и реальной железки.
Не надо их оттуда брать.
Во первых они устарели на пару эпох примерно.
Во вторых из цены партномеров цену продукта без помощи конфигуратора собрать, кроме примитивных вариантов, не сможет даже опытный пресэйл.
Поэтому я бы даже не рекомендовал вообще это смотреть и в чем-то себя обманывать. Эти цифры имеют отношения к ценам Нетапп не больше, чем цифры из розыгрыша Спортлото к ним же.
Написано что цены на январь 2010. Собрать систему конечно не выйдет, но админу испугаться хватит 5-ти и 6-значными цифрами в долларах :)
А, он “обновил”, я помотрел. Но я уже писал это, напишу еще. Все это “артель “Напрасный труд”. Пользы, особенно в России, от цен на партномера североамериканского рынка - даже меньше чем ноль.
>А я бы еще что-то типа sg247840.pdf рекомендовал заинтересованным лицам глянуть (:
Да, на IBM RedBooks ( _http://blog.aboutnetapp.ru/archives/315 )