about NetApp

У нас тут на этой неделе и далее, в ближайшее время, ожидается много интересного, поэтому традиционный сегодняшний, понедельничный пост я потрачу на общекультурную тематику.
Давно у меня зреет тема поговорить о бурно цветущей в наше время так называемой IT-мифологии.
Удивительным, казалось бы на первый взгляд, образом, такая высокотехнологичная отрасль, на мой взгляд, пропитана суевериями и обрядами, которые мы, подчас, просто не замечаем, считая нормой.
Впрочем, этот парадокс присущ не только одному IT, столь же парадоксальным образом дико суеверны и подвержены обрядам космонавты (почти все знают про “Белое солнце пустыни”, меньше про “пописать на колесо автобуса”, про запретные даты и ракету ТАНЯ) и летчики, хотя, казалось бы, “технологическое острие прогресса” и все дела. Лично у меня есть теория, что таким образом человеческое сознание и восприятие защищается от переизбытка нового и необычного, увязывая это, по своей природе с какими-то привычными простыми обрядами. Так что погодите негодовать, видя батюшку, брызгающего на ракету. :) Батюшки там только надводная часть айсберга и “магическое мышление” косит направо и налево.

Неудивительно, что в IT у нас также полно типичных культов и обрядов, которые мы отчего-то называем proven solution. :)
Отдельной темы, однако, достоен Культ карго в российском IT (в форме “если мы будем делать все в точности как у крутых, то от этого сами тоже станем крутыми” и “Раз у них есть мэйнфреймы, джава и файберченнэл, то нам тоже надо мэйнфрэймы, джаву и файберченнэл, потому что, любому ясно, именно это вывело их в Fortune Top, и ничто иное.”), но эта тема все же стоит отдельного исследования.

А сегодня я бы хотел остановиться на небольшом мифе, который, в последнее время, довольно часто попадается мне на глаза, то тут, то там.
Миф этот звучит как: “Апаратное = хорошо, программное = плохо!”
Я даже понимаю, откуда все это проросло. Конечно же из времен трудного детства IT и восьмибитных игрушек процессоров, когда в самом деле для высокой производительности каких-то процессов было необходимо применять специализированные решения “в кремнии”.
Однако с той поры прошло уже лет 20, а миф этот, сформировавшись и набрав силу в сознании, не думает уходить.
Совсем недавно шумно перезапустивший маркетинговую компанию стораджей HP, в хвост и в гриву эксплуатирует этот миф, глубоко укорененный в сознании пользователей, для своих стораджей 3Par.

- У нас внутри ASIC, - говорят они многозначительно поднимая палец, - Заказные микросхемы!
- АППАРАТНОЕ решение, вы понимаете, да?
- Ну-у, и… что? - все еще не поддается обрабатываемый пользователь
- Ну как, “что”, - нервничает пресейл, - Аппаратное, это ж круто, по определению, мощь! Не то что у этих, как их, у них вообще (понижая голос и кривясь), софтверный рэйд… Вы понимаете?
- Ну, конечно, - колеблется кастомер, - софтверный RAID… это - да, это удар, как же это я пропустил, конечно, тут - ASIC, вещь редкая, цены немалой, крутая, а там какой-то программный RAID, м-да…

А несколько месяцев назад мне в одном читаемом мной блоге попалась интересная заметка о том, как устроен parity engine, то есть механизм работы с parity RAID, например RAID-5 или -6 в “традиционных” блочных дисковых массивах NetApp E-series.
Внутри контроллера у них, разумеется, как и у всех, процессор. Процессор на контроллере там Intel Xeon x86, на котором работает OS RT (realtime OS) VxWorks. Для обсчета XOR и Galois Field Multiply контроллер использует аппаратные возможности, встроенные в процессоры Xeon, и специально для этого предназначенные Intel - Crystal Beach 3 DMA.
Однако, при разработке новых систем хранения с этой архитектурой выяснилось, что производительность его недостаточна для производтельности многодисковых систем хранения, в особенности использующих flash/SSD, и поэтому в новых версиях он, честный аппаратный вычислитель XOR был дополнен софтверным механизмом, выполняющемся в среде VxWorks, и считающим XOR и CRC для RAID 5/6 программно, на процессоре, а совсем не в загадочном “аппаратном” Crystal Beach.

Впрочем, следует признаться, что с подобной ситуацией мне уже приходилось сталкиваться, когда я видел попытки пользователей приспособить, допустим, пятилетней давности RAID-контроллер на сервер с новыми, современными процессорами. Парадоксальным, для пользователя, образом, программый RAID на LVM и mdadm вдруг оказывался в разы (буквально) производительнее этого заслуженного и проверенного многолетней службой (и стоившего сумасшедших денег тогда) аппаратного RAID.
Доводилось мне видеть и Hardware iSCSI Accelerator, который в полтора раза тормозил передачу данных по сравнении с Software iSCSI Initiator “из коробки” OS.

Близко к описываемому стоит еще один характерный IT-миф, который я бы назвал “миф про кровь девственницы в полнолуние”, или, в знакомых словах, что для совершения чудесного (”волшебного”) успеха обязательно необходимы редчайшие компоненты, или волшебное, недоступное простым смертным оружие, меч-кладенец, волос из ноздри висельника, глаз белой жабы, процессор Power6, невиданная никем архитектура системы (уж само собой не плебейский x86), а также, обязательно, ??нфинибэнд и HP-UX.
??менно тогда, мистическим образом, эта редкость, никем не виданная, даст ее использующему супер-силу великих свершений, недоступную простым обывателям.
Что любопытно, по мере расширения IT-кругозора, это суеверие меняет набор чудесных ингридиентов, но, обычно, никуда так и не уходит. ?? если в начале пути молодой IT-шник истово молится на малодоступные ему ленточные библиотеки, fibre channel и секретные, открытые только посвященным высокой ступени, ключи компиляции софта, то, взрослея, он лишь меняет набор колдовских итемов на другие (менее доступные в данный момент), однако, фактически, так и не отказываясь о них.

Но погодите смеяться, считая, что вы-то уж точно open-minded, и не подвержены никаким нелепым мифологическим заблуждениям. Может быть я просто не все перечислил? ;) Увы, человеческий мозг все время ищет себе опору для незнакомого и сложного в знакомом и привычном.
А с какими мифами и суевериями в IT встречались вы?

Постепенно происходит обновление для линейки SSD в системах серии E/EF.
Теперь это 24nm eMLC диски с двухпортовыми SAS контроллерами, емкостью 400GB, 800GB и 1,6TB.
Причем первых две емкости имеют толщину корпуса 7mm, а третий - 15mm.
Все три используют внутренний контроллер SSD Marvell TC58NC9036GTC.
Надежность по объему перезаписей нормирована по уровню: для модели 400GB - 7.3PB; для 800GB - 14.6PB; и для 1.6TB - 29.2PB, что примерно соответствует 10 перезаписям всего диска в день (Drive Writes Per Day, DWPD), и обеспечивается MTBF, равное 2 миллионам MTBF. К слову, это ВЫШЕ, чем для обычных HDD.
На диски предоставляется гарантия 3 года, с расширением до пяти лет, то есть как на любое другое “железо” дискового массива. При этом SANtricity предоставляет инструменты для контроля и анализа “износа” ячеек flash.

??нтересно, что для этих дисков поддерживается новый способ sanitization, то есть полной очистки данных с дисков перед тем как, например, отправлять из на замену по гарантии или списывать, чтобы гарантировать невозможность утечки данных стораджа. Дело в том, что на большинстве таких дисков записываемые данные на лету шифруются с помощью AES-256, и непосредствено на flash-чипах уже находятся в криптостойко-зашифрованном виде (это так даже для многих современных “бытовых” SSD, так как это функция контроллера). Обычно sanitization происходит путем неоднократной перезаписи секторов диска случайными данными, что отнимает много времени при проведении этой операции. Однако для SSD эту процедуру можно реализовать просто сменив ключ шифрования, что сделает все уже записанные данные недоступными для прочтения, и что может быть выполнено значительно быстрее, экономя время админа и стоража, если такая процедура требуется по соображениям информационной безопасности компании.

Недавно на глаза попалось видео, пусть 2008 года, но по-прежнему убедительно показывающее, насколько непросто обстоит дело с конструированием больших систем хранения, и с какими специфическими особеностями и сложностями приходится сталкиваться их конструкторам, совсем неочевидными тем, кто в данной теме новичок, и считает, что сделать нетапп задешево, своими руками ничего не стоит, надо только взять много дисков, болгарку и сварочник, материнку, с достаточным количеством портов и установить туда линукс..

Двухминутное видео на английском, но понятное и без перевода. Человек демонстрирует, что просто вибрации от крика внутрь коробки из 24 дисков, даже в условиях оглушительно шумящего вокруг датацентра, приводит к заметному скачку латенси операций ввода-вывода с этих дисков. Что уж говорить об обычной взаимной вибрации пары десятков дисков и вентиляторов охлаждения в одном, неправильно спроектированном корпусе! Так, в одной старой презентации Seagate показывал такие графики:

OnCommand Insight это, кто не помнит, специаьный и особенный продукт NetApp, он предназначен для “руления” инфраструктурой в целом, а не только некоторыми устройствами, например системами хранения самого NetApp, Таким образом, этот программный продукт может наблюдать и управлять инфрастурктурой в целом, стораджами EMC, NetApp, IBM, HP, комутаторами Brocade, Cisco, и так далее.

Он состоит из нескольких функциональных компонентов, например Insight Assure для мониторинга, compliance audit, и оценки рисков; Insight Perform, для оптимизации использования ресурсов имониторинга производительности инфраструктуры в целом; Insight Plan, для общего вида всех IT-активов, использующихся в инфраструтуре, и оценке потребностей при расширении.

Это, безусловно, решение для больших компаний и больших IT-инфраструктур, именно на таких сложность и стоимость обслуживания их может сделать покупку такого дорогостоящего и комплексного решения по настоящему выгодным.

?? вот, недавно, в рамках идущего сейчас, как вы заметили, активного обновления поколений программных продуктов у NetApp, вышла новая мажорная версия OnCommand Insight, версии 7.0

??з новинок прежде всего в глаза бросается переработанный UI, написанный на HTML5, причем идет постепенный отказ от “старого” варианта с Java (хотя он еще встречается в некоторых местах в модулях, и оставлен для совместимости со сторонними разработками для 6.х), и, соответственно, появились расширенные возможности работать с Insight через мобильные устройства, планшеты, и так далее. Также радикально переработан основной дашборд системы.

Для радикального улучшения ситуации с производительностью используется NoSQL  база (Cassandra), с перспективой, повидимому, постепенного перехода в нее от классического SQL-решения. В результате объявлено о 300%-улучшении производительности работы по сравнении с версией 6.4

Расширена поддержка оборудования вендров, так, появилась расширенная поддержка IBM XIV, а также больше возможностей для систем EMC, HP 3Par, HDS, IBM SVC.

Появилась поддержка возможности работы с Data Warehouse  и IBM Cognos, что позволяет генерировать общие отчеты по инфраструктуре, с использованием данных, предоствляемых OnCommand Insight.