about NetApp

В связи с выходом новых стораджей, о которых мы начали говорить вчера, и продолжим еще, надеюсь, так как пока мы не говорили еще про FAS8080ES и про AFF, NetApp собирает в Москве народ на так называемый BreakFASt, это технический семинар на полдня, на котором инженеры вендора расскажут о новых продуктах, и, возможно, ближайших планах. Также можно будет пообщаться и со специалистами российского NetApp, и с “себе подобными”. Так, например, можно будет аккуратно потыкать пальцем в автора этого блога. :)

Участие, разумеется, бесплатное. Нужна регистрация, которая проводится тут.
Объявлена программа.

Происходить все будет 25 июня, в следующую среду, в первой половине дня, в DI Telegraph, это центр Москвы, на Тверской, здание бывшего Центрального Телеграфа.

Рекомендую не откладывать с решистрацией и занести событие в свои календари и напоминальники.

Несмотря на то, что многие уже догадались о том, что будет объявлено этим летом, а некоторые даже не удержались от утечек, сегодня, 17 июня, официально объявляется о выходе новой линейки в low-enterprise, систем хранения на замену популярным FAS2200.

Не секрет, что в свете новой стратегии NetApp по переходу на Clustered Data ONTAP для всей своей линейки стораджей, FAS2200 выглядели не очень привлекательными. Несмотря на довольно мощный по процессору контроллер, на нем явственно недоставало портов ввода-вывода. Ведь даже система 2240 с полной набивкой имеет всего 2 портв 10G Ethernet, а это, по сути, минимум для Clustered ONTAP, и все они будут заняты под кластерный интерконнект, оставляя для подключения хостов только Gigabit Ethernet, что не очень круто. Вдобавок, наличие всего одного слота для Mezzanine Card expansion, заставляло выбирать “на старте” систему с 10G Ethernet, или же с FC-портами, и никак не вместе. Наконец, хотя вскоре и самая младшая система FAS2220 получила возможность использовать 10G на Mezzanine card, это были дорогие SFP+ порты, стоимость подключения к которым была ну совсем небюджетной. ?? это все не считая памяти на контроллере, которой было ну совсем впритык по нынешним временам, когда VST-сторадж с flash SSD и Flash Pool становится почти стандартной конфигурацией даже в младших системах.

Вот все эти недостатки и были призван устранить новые системы, в серии, получившей название FAS2500: FAS2520, FAS2552  и FAS2554. Прямо из названия видно, что модели заменяют имеющиеся FAS2200 “одна в одну”, то есть FAS2220 меняется в линейке продуктов на FAS2520, и так далее. По слухам, остающимся без комментариев, FAS2200 ухдит из продажи (EOA) уже этой осенью.

Таким образом, в “век Clustered Data ONTAP”, начинающийся этой осенью, NetApp въезжает с полностью обновленной линейкой стораджей, линейкой обновленной и упрощенной. Теперь у него есть ровно два семейства: FAS2500 для так называемого low-enterprise, то есть нижнего сегмента энтерпрайз-клиентов, и FAS8000 для всех остальных, в которую входят системы как mid-range, так и high-end. Давайте посмотрим внимательнее на технические особености и детали, тем более, что их много и они интересные.

Контроллеры FAS2500, хотя и используют те же процессоры Intel Xeon C (dual core x64 1,73 GHz), что и FAS2200, получили в три раза больше памяти, чем FAS2200 (по 18GB на контроллер, 16GB RAM + 2GB NVMEM), и, соответствено, в два раза увеличилась емкость NVMEM. Увеличение NVMEM, как уже было проверено на FAS8000, крайне положительно сказывается на производительности на линейных, sequental-нагрузках, на которых у NetApp ранее было не все хорошо. Пусть они были не слишком частым профилем использования в реаллайф, но когда они были, на них можно было бы работать и побстрее. Вот сейчас это узкое место устранено. Память нынче дешевая, и теперь не проблема ее ставить побольше.

Больше памяти, в свою очередь, позволило поднять лимиты на число дисков SSD в Flash Pool, не секрет, что именно емкостью памяти на контроллере объем Flash Pool был так ограничен в FAS2200, так как Virtual Storage Tier во flash крайне любит память при работе. Так что теперь в FAS2500 допустимая емкость SSD в FlashPool увеличена в пять раз, до 4TB.

Память нужна не только для Flash Pool, она нужна и для собственно кластерных операций в Clustered Data ONTAP. Ограниченный объем памяти также ограничивал и размеры кластера по числу нодов-контроллеров, если в нем были “слабые” участники. Теперь допустимый размер кластера с участием FAS2500 увеличился вдвое.

Наконец, самое интересное. в контроллерах FAS2550 (то есть в моделях FAS2552 и FAS2554) установлены уже знакомые по FAS8000, так называемые UTA2, или Unified Target Adapters (AKA CNA – Converged Network Adapter), по 4 UTA2-порта на контроллер. Это порты, которые, в зависимости от настройки на стороне OS (и установленного SFP в него) могут быть или портом 10G Ethernet, или же портом FC 16G/8G. Единственное ограничение тут состоит в том, что, так как для CNA используются двухпортовые чипы, изменить его режим можно только для чипа в целом, то есть для пары, двух соседних портов. Таким образом, режим работы “10G Ethernet или FC” меняется на пару портов. Впрочем, это не слишком серьезное ограничение.

Кроме UTA2-портов на контролерах FAS2500 также осталось 2 порта Gigabit Ethernet для данных (e0a и e0b), порт ACP для управления полками и порт управления Service Processor, выделенным микроконтроллером out-of-band управления. Левее этой группы находится порт консоли. На левом краю контроллера – уже знакомые порты SAS для подключения дисковых полок.

Есть радость и для покупателей FAS2520, самой младшей системы. У нее такой же контроллер по процессору и памяти, что и в FAS2550, но у них тоже есть 4 порта 10G Ethernet на контрллер, правда это порты 10GBase-T, недорогие и пригодные для включенияв столь же недорогие свитчи.

В остальном – это тот же самый контроллер, с тем же процессором, памятью и возможностями.

Как и в случае FAS2200, системы FAS2552 и FAS2254 могут быть переделаны в дисковые полки, заменой контроллера на disk enclosure IOM3(IOM6), но также как и ранее, нельзя переделать FAS2520 в такую полку, что связано с иным, неподдерживаемым конструктивом последней.

Увы, пока нет планов апгрейда уже существующих у клиента FAS2200 в новые FAS2500, заменой контроллера, несмотря на то, что, формально, технически, как я понимаю, такая возможность есть, так как контроллеры и конструктивы системы совместимы. Возможно это будет и пересмотрено, появились же спустя какое-то время Mezzanine cards на FAS2220.

В Clustered Data ONTAP поддерживаются все возможные конфигурации, то есть dual-node switchless, switched и single-node cluster, а также mixed node configuration, то есть из “разнопородных” контроллеров. Допустимый размер кластера с участием FAS2550 составляет 8 нод, то есть 4 HA-пары, для FAS2520 – 4 ноды (2 HA-пары). Поддержка кластерных режимов, кроме switchless dual-node и single node, для FAS2520 объявлена с DOT 8.3.1, то есть к концу года/ первому кварталу 2015.

FAS2550 поддерживают все имеющиеся у NetApp протоколы, включая FCoE, его раньше не было у FAS2200. Однако FAS2520, с другими сетевыми интерфейсами, FCoE на 10G-портах  не поддерживает, также, как и FC, по понятной причине. Однако все остальные протоколы на 10G есть, например можно их использовать для 10G iSCSI, или по NFS. Все лицензии на все протоколы – включены по умолчанию в поставку.

Схема лицензий осталась примерной той же, что вам уже знакома по FAS2200. В базовую поставку включены все протколы, а также SyncMirror, FlexShare, OSSV, Snapshots, Thin provisioning, Deduplication, Multistore. За отдельные деньги идут все SnapManager в составе SnapManager Suite, SnapMirror, SnapRestore, FlexClone, SnapVault.

Ну и, конечно, у FAS2500 теперь новая “морда”-bezel, такая же, как у старших братьев – FAS8000 :)

Пользуясь случаем, хочу пригласить всех интересующихся за более подробным рассказом на так называемый NetApp BreakFASt, технический семинар на полдня, с утра, который состоится 25 июня, с 9 до 14 часов в Москве. В программе не только FAS2500, но и кое-что новое, о чем еще пока не рассказывалось.

Кстати, буду рад “развиртуализации” и встрече с моими читателями там.

В обсуждении хранилок не раз сталкивался с тем, что многие пользователи, знакомые с продукцией других вендоров, пищут: “А что это он так похож на … (IBM Storwise V3700, HP MSA 1020, Dothill 3450, whatever)?”
Недавно, я, кажется, нашел простой и, кстати, похожий на правду ответ.
Дело в том, что нашем мире всеобщей международной интеграции и кооперации уже редко кто производит какой-то продукт целиком, от начала и до конца. Есть специалисты, которые производят некий “конструктор”, например у ноутбуков он называется barebone, он покупается промышленной партией, а затем дополняется выбранным процессором, памятью, контроллерами, и так далее, и выпускается уже под именем сборщика.

Нет смысла заниматься разработкой такого баребона “с нуля”, если компания-специалист, умеющий такие железки проектировать правильно (см недавний пост про вибрации, например), и делающий их хорошо и много, продает их дешевле, чем сможете “на круг” разработать и произвести вы своими силами. Ну вот и замечательно, это позволит снизить еще на несколько тысяч себестоимость полного стораджа, все в плюсе, в результате.
Ваша задача, как разработчика интеллектуального продукта - разработать “мозги”, например контроллер. В железке, которую вы покупаете как barebone для стораджа, есть слот под установку контроллера, в становящемся общепринятым формат-факторе SBB - Storage Bay Bridge.
В итоге, вы получаете barebone конструктив, разрабатываете и производите (или заказываете специализированным компаниям) производство контроллера по вашим спецификациям и чертежам, пишете софт, и получаете недорогой сторадж. А уж что он будет похож на несколько других стораджей, barebone-шасси для которых разработал какой-нибудь всеобщий Xyratex (хорошо известный OEM-бренд в отрасли стораджей), ну так суть-то стораджа не в креплении дисков и блоков питания, а в контроллере и софте.

Российскому рынку NetApp E-series знакомы, главным образом, через продукты IBM, так как бешено популярная не только в России IBM DS3512/3524 это как раз NetApp E-series прежего поколения, E2600. Но, так как сегодня IBM стал китайским переживает сложные времена, среди прочего, в ходе реорганизации, они отказались и от своей серии DS, в пользу типа более родной им Storwise V. Без сомнения, Storwise V – это прекрасные в своей области системы, но бывают случаи, когда нужны более простые и дешевые варианты.

NetApp E2700 – это классические блочные стораджи, которые можно использовать например как прямо-подключаемые хранилища (DAS) по протоколу SAS, или же используя SAS-коммутаторы, или установив в них HIC – Host Interface Card, включить в SAN по протоколам FC 8/16Gb или же iSCSI 10Gb. Они, конечно, лишены большинства интересных возможностей систем NetApp FAS, но они дешевы, и если вам требуется в чистом виде блочный DAS-сторадж, то E2712/2724/2760 это хороший вариант.

Так уж сложилось в нашей отрасли, что, по разным причинам, о которых я не буду еще раз рассказывать, компании-партнеры избегают называть цену для конечного покупателя. Часто такая позиция “конечника” раздражает, да, в общем, его позицию можно понять. Тем приметнее исключения их этого правила. Так, например, давний и надежный партнер NetApp в Петербурге, компания IT-Град, которая, к слову, не только “продаваны”, но и сертифицированный региональный сервис-партнер NetApp, а также облачный провайдер на платформе тех же стораджей NetApp, на своем сайте объявили промо-программу по продаже NetApp E2700 с твердыми, объявленными ценами.

Программа объявлена до 27 июля, и в ней предлагаются 6 фиксированых конфигураций E2712, с 12 дисками большой емкости (2 и 4 TB SATA), в двух- и одноконтроллерных вариантах, с разными вариантами интерфейсных модулей, как просто SAS 12Gb/s, так и FC 8Gb и iSCSI 10G, за крайне привлекательную для рынка цену.

Подробности и самый свежий вариант предложения и предлагаемых конфигураций –
на сайте IT-Град.

Несколькими месяцами ранее я уже проводил опрос, на тему перспектив перехода пользователей на Clustered Data ONTAP на их стораджах. Опрос это обозначил несколько основных групп пользователей по отношению к Clustered Data ONTAP.

Если с примерно третью, теми, кто ответил, что они уже перешли, или переходят до конца этого года (ну или в обозримое время, главное, что решение уже принято), все понятно, я могу их только поздравить с их решением, то вот с оставшимися двумя третями все сложнее. Конечно, я трезво понимаю, что среди оставшхся некоторое (значительное) количество составляют владельцы младших и старых систем, для которых переход на Clustered Data ONTAP закрыт по техническим причинам (например – старости, слабости и непригодности контроллеров предшествующих поколений стораджей). Но наверняка среди них также есть и люди, которые, возможно, могли бы перейти на Clustered Data ONTAP, но либо не понимают как и когда это проделать, либо недостаточно осведомлены о том, от каких плюшек они, в результате, отказываются. Мне бы хотелось, в серии постов, котрые я запланировал и написал для ближайших нескольких недель, детально разобрать эти новые и полезные возможности Clustered Data ONTAP.

Continue reading ‘Переход на Clustered Data ONTAP. Часть 1’ »

Постепенно происходит обновление для линейки SSD в системах серии E/EF.
Теперь это 24nm eMLC диски с двухпортовыми SAS контроллерами, емкостью 400GB, 800GB и 1,6TB.
Причем первых две емкости имеют толщину корпуса 7mm, а третий - 15mm.
Все три используют внутренний контроллер SSD Marvell TC58NC9036GTC.
Надежность по объему перезаписей нормирована по уровню: для модели 400GB - 7.3PB; для 800GB - 14.6PB; и для 1.6TB - 29.2PB, что примерно соответствует 10 перезаписям всего диска в день (Drive Writes Per Day, DWPD), и обеспечивается MTBF, равное 2 миллионам MTBF. К слову, это ВЫШЕ, чем для обычных HDD.
На диски предоставляется гарантия 3 года, с расширением до пяти лет, то есть как на любое другое “железо” дискового массива. При этом SANtricity предоставляет инструменты для контроля и анализа “износа” ячеек flash.

??нтересно, что для этих дисков поддерживается новый способ sanitization, то есть полной очистки данных с дисков перед тем как, например, отправлять из на замену по гарантии или списывать, чтобы гарантировать невозможность утечки данных стораджа. Дело в том, что на большинстве таких дисков записываемые данные на лету шифруются с помощью AES-256, и непосредствено на flash-чипах уже находятся в криптостойко-зашифрованном виде (это так даже для многих современных “бытовых” SSD, так как это функция контроллера). Обычно sanitization происходит путем неоднократной перезаписи секторов диска случайными данными, что отнимает много времени при проведении этой операции. Однако для SSD эту процедуру можно реализовать просто сменив ключ шифрования, что сделает все уже записанные данные недоступными для прочтения, и что может быть выполнено значительно быстрее, экономя время админа и стоража, если такая процедура требуется по соображениям информационной безопасности компании.

Недавно на глаза попалось видео, пусть 2008 года, но по-прежнему убедительно показывающее, насколько непросто обстоит дело с конструированием больших систем хранения, и с какими специфическими особеностями и сложностями приходится сталкиваться их конструкторам, совсем неочевидными тем, кто в данной теме новичок, и считает, что сделать нетапп задешево, своими руками ничего не стоит, надо только взять много дисков, болгарку и сварочник, материнку, с достаточным количеством портов и установить туда линукс..

Двухминутное видео на английском, но понятное и без перевода. Человек демонстрирует, что просто вибрации от крика внутрь коробки из 24 дисков, даже в условиях оглушительно шумящего вокруг датацентра, приводит к заметному скачку латенси операций ввода-вывода с этих дисков. Что уж говорить об обычной взаимной вибрации пары десятков дисков и вентиляторов охлаждения в одном, неправильно спроектированном корпусе! Так, в одной старой презентации Seagate показывал такие графики:

OnCommand Insight это, кто не помнит, специаьный и особенный продукт NetApp, он предназначен для “руления” инфраструктурой в целом, а не только некоторыми устройствами, например системами хранения самого NetApp, Таким образом, этот программный продукт может наблюдать и управлять инфрастурктурой в целом, стораджами EMC, NetApp, IBM, HP, комутаторами Brocade, Cisco, и так далее.

Он состоит из нескольких функциональных компонентов, например Insight Assure для мониторинга, compliance audit, и оценки рисков; Insight Perform, для оптимизации использования ресурсов имониторинга производительности инфраструктуры в целом; Insight Plan, для общего вида всех IT-активов, использующихся в инфраструтуре, и оценке потребностей при расширении.

Это, безусловно, решение для больших компаний и больших IT-инфраструктур, именно на таких сложность и стоимость обслуживания их может сделать покупку такого дорогостоящего и комплексного решения по настоящему выгодным.

?? вот, недавно, в рамках идущего сейчас, как вы заметили, активного обновления поколений программных продуктов у NetApp, вышла новая мажорная версия OnCommand Insight, версии 7.0

??з новинок прежде всего в глаза бросается переработанный UI, написанный на HTML5, причем идет постепенный отказ от “старого” варианта с Java (хотя он еще встречается в некоторых местах в модулях, и оставлен для совместимости со сторонними разработками для 6.х), и, соответственно, появились расширенные возможности работать с Insight через мобильные устройства, планшеты, и так далее. Также радикально переработан основной дашборд системы.

Для радикального улучшения ситуации с производительностью используется NoSQL  база (Cassandra), с перспективой, повидимому, постепенного перехода в нее от классического SQL-решения. В результате объявлено о 300%-улучшении производительности работы по сравнении с версией 6.4

Расширена поддержка оборудования вендров, так, появилась расширенная поддержка IBM XIV, а также больше возможностей для систем EMC, HP 3Par, HDS, IBM SVC.

Появилась поддержка возможности работы с Data Warehouse  и IBM Cognos, что позволяет генерировать общие отчеты по инфраструктуре, с использованием данных, предоствляемых OnCommand Insight.

Вот уже несколько лет, как среди программных продуктов NetApp есть такая штука, как SnapCreator. К сожалению, как я обратил внимание, он не только очень плохо известен пользователям, но даже те, кто знает про него, используют его крайне редко. А ведь это штука, которая, благодаря своей гибкости, может решить многие задачи, связанные с защитой данных на системе хранения и в прикладных системах, ее использующих.

SnapCreator первоначально был разработан в 2007 году как “служебный”, внутренний продукт, внутри подразделения Professional Services и Rapid Responce Engineering Group, для того, чтобы облегчить построение систем защиты данных в снэпшоты системы хранения для пользовательских прикладных систем, не входящих в список поддерживаемых “официальным” продуктом NetApp - SnapManager.
То есть, если у вас используется MS SQL Server, MS Exchange, Sharepoint, Oracle, SAP, Hyper-V или vSphere (и у вас есть деньги на лицензию SnapManager), то все относительно просто. Вы устанавливаете SnapManager для соответствующего программного продукта, и дальше он делает все сам.

Зачем нужен SnapManager, и почему нельзя обойтись просто командой snap create из консоли, или переданной через ssh или rsh? Ну, например потому, что некоторые программы требуют некоей согласованной последовательности действий на своей стороне, чтобы состояние данных, записанных на дисках системы хранения, было корректным, или еще говорят “консистентным”. Ведь, например, какие-то данные могут оказаться в буферах кэша сервера, как на стороне программы, так и файловой системы, базы SQL могут иметь незавершенные транзакции, и так далее. Все это требует, чтобы перед тем, как будет сделан “снимок”, снэпшот состояния данных, эти данные на дисках уже находились какое-то время в некоем стабильном, непротиворечивом состоянии, то есть все равно нужен некий “агент” на стороне программного продукта, умеющий с ним взаимодействовать.

Таким образом, если у вас используется какой-нибудь MySQL, Sybase, Xen, KVM или что-то подобное, вам нельзя так просто взять и сделать снэпшот. Нужно написать какую-то систему-посредник, между вашим софтом, и софтом Data ONTAP. Вот для того, чтобы облегчить такую задачу для специалистов Professional Services и был написан SnapCreator.

SnapCreator - это платформа, или, иначе говоря, фреймворк, для написания скриптов и агентов, взаимодействующих с вашей прикладной программной системой, с системой хранения, обеспечивающий автоматизацию взятия корректных, консистентных снэпшотов для данных этой программной системы. Вначале, первые несколько своих версий, это была закрытая внутренняя разработка, начиная с версии 3 она стала ограниченно доступна всем желающим. В настоящий момент для скачивания и использования доступна уже версия 4.1

Официально в настоящее время существуют две линейки, официальная, и так называемая Community Edition. Последняя это, так сказать, unstable, developers edition, где обкатываются все мульки, которые потом деплоятся в официальную поддерживаемую компанией ветку.

Архитектурно SnapCreator является клмент-серверным приложением. Существует так называемый SnapCreator Server, выполняющий код компонента Workflow Engine, который многопоточно обрабатывает поступающие от Агентов и собственного GUI и/или CLI запросы. Так как API открыт, то использовать SnapCreator могут любые внешние системы, например это могут быть коммандлеты PowerShell, другие продукты NetApp, такие как Unified Manager (для него есть свой собственный API), и даже собственные самописанные системы клиентов.

“Другим концом” Snap Creator Server взаимодействует с внутренним API Data ONTAP, обеспечивая все нужные вызовы и отдачу команд.
Конфигурации, jobs, и метаданные плагинов хранятся в специальной структуре - Репозитории (Repository / Extended Repository). Расписания задач, сами задачи (jobs), пользователи и их права доступа (RBAC) хранятся в базе данных (Database).

Наконец, специальный API есть для “клиентов”, агентов SnapCreator.

Посмотрим теперь подробнее на систему SnapCreator со стороны Агента.

Агент - это программный продукт, написанный на Java, чтобы многопоточно выполняться на всех поддерживаемых OS. В ранних версиях в качестве транспорта использовался обычный HTTP, начиная с версии 4.1 взаимодействие Агента и Сервера полностью шифруется в HTTPS.
Основным компонентом, ядром SC Agent является Operation/Execution Manager.
Ядро выполняет запросы от плагинов, которые могут быть как нативными на Джава, так и поддерживаться ранее написанные плагины “не-Java” (значительное их количество для разных программных систем было написано для версий SC 3.6 и 4.0, существовавших ранее), в том числе и на разных скриптовых языках, Perl, PowerShell, даже на UNIX Shell.

В следующих постах разберем то, как пишутся собственно плагины для SnapCreator.

Я чуть было не прошел мимо интересной новости, на которую в конце концов указали мне мои читатели. А именно, в семействе VSC, к уже существующим проектам VSC for vSphere и VSC for Citrix XenServer, в конце февраля добавился VSC for RHEV.

Напомню, для новоподключившихся, что Virtual Storage Console - это плагин для администратора виртуальной инфраструктуры, который позволяет ему удобнее управлять использованием системы хранения NetApp из привычной ему среды управления, в VMware это, например, vSphere Client и WebClient. Основной идеей при создании VSC являлось дать администратору виртуальной инфраструктуры возможность управлять нижележащим хранилищем данных из привычного ему интерфейса, в привычных ему терминах, и с минимальным задействованием для его рутинных операций специального администратора систем и сетей хранения.

До недавних пор у NetApp был VSC для VMware vSphere, чуть позднее появился VSC for XenServer, и вот теперь, как знак того, что RHEV начал играть заметную роль на рынке, теперь есть VSC for RHEV. Этот плагин разрабатывался в NetApp около полутора лет, и, наконец, после периода бетатестирования, вышел в свет и бесплатно доступен всем желающим, использующими KVM/RHEV с системами хранения NetApp, для всех тех возможностей, которые ранее уже получили пользователи vSphere и XenServer.

Кстати поддерживаются как системы 7-Mode, так и Clustered Data ONTAP.

Официальный релиз о RedHat

Видео с демонстрацией preview тогда еще беты v0.7 на Youtube.