about NetApp

В сделанном в марте 2012 года опросе российских хостеров, предоставляющих “облачные” услуги обнаружились любопытные факты.

??з 12 опрошенных провайдеров (список и подробные данные можно посмотреть по ссылке выше), по меньшей мере четыре (Cloud4Y, IT-Grad, Clodo и Parking.ru) используют различные системы NetApp. Это самый высокий показатель для одного вендора.

Среди остальных систем хранения облачных провайдеров встречаются: HP MSA2312 (1 раз), Supermicro с DRBD (2 раза), IBM DS5300 и DS3524, а также DotHill 3330, HP P2000, Huawei S5600 и локальные диски (по разу).

Опрос был сделан одним из читателей Хабра путем методичного опроса компаний-хостеров личными письмами с уточнениями аппаратных конфигураций их платформ.

UPD: Есть также неподтверждаемые сведения (из личного разговора), что заинтересовался (до состояния покупки) системами NetApp и Selectel, который является очень крупным облачным хостером на платформе Xen, и до недавних пор бывший убежденным сторонником опенсорса, commodities и “самопила” на базе DRBD.

Посмотреть на меня, поговорить, и попить пива можно будет в ресторане Дурдин на Большой Полянке, в Москве. Завтра, 26.07, в четверг, с 17:00. Пока предварительно я заявил три стола на 12 человек, будет больше - как-нибудь разместимся, поди.

Я не обещаю полноценную “пресс-конференцию”, и не ждите от этой встречи каких-то откровений :) Но наверное можно будет посмотреть друг на друга, и, возможно, кому-то удастстя обменяться опытом, как я понимаю, соберутся в основном все нетапп-юзеры и эксплуатанты.

Может быть в будущем я смогу такие встречи для Russian Users Group продвинуть на уровне вендора или дистрибутора, и сделать более организованными, этакий “народный нетапп инновейшн” :) Вон в Америке это, собрания User Group штатов, почти официальные встречи, с массой интересного материала на них.

Но для начала - еда, пиво, разговоры за жизнь в неформальной обстановки - наша цель на завтра.
Финансовая организация вечера: каждый платит за себя.
Место: Ресторан Дурдинъ, Большая Полянка, 56с11, от метро “Полянка” по соответствующей улице, мимо Банка Москвы и Пилснера, смотрите на указатель. В нем на второй, некурящий, этаж, на входе хмурому мальчику говорите, что там уже налито :)
Время: 26.07.2012, четверг, с 17:00.

UPD: Прошу признать симпозиум состоявшимся.. ик!
Осталось теперь проассоциировать лица с никами :)

UPD2: Симпо́зиум (лат. symposium от др.-греч. συμπόσιον (симпозий) — «пиршество», ритуализированное пиршество в Древней Греции, сопровождавшееся буйным весельем) — совещание, научная конференция по какому-либо научному вопросу.

Сходил в Москве в офис российского Нетаппа.

??звините за пропущенный в четверг пост, российская бюрократия, с которой я тут, по приезду в Россию, сражаюсь, штука довольно утомительная.

В июле-августе случится редкая возможость посмотреть на автора этого блога живьем, так сказать live ;). Произойдет это в Москве, куда я приеду на небольшой срок по личным делам, а потом, вскоре, уеду вновь (те, кто заглялывал в about знают, что я живу и работаю не в России, удаленно). Если у вас есть какие-либо идеи на эту встречу (например: попить хорошего пива в приличном месте, узнать “как оно вообще”, поговорить за жизнь, и/или не только “про нетаппы”, выяснить, как живется “на чужбине”, сколько я зарабатываю на блоге ;), и как бы такое тоже смутить, например), то пишите в комменты.

??ногда просто жаль, что я так волюнтаристски ограничил тематику блога только системами FAS, потому что сейчас очень интересные дела творятся в сегменте их новых E-series. NetApp E-series это, если кто пропустил, бывшие LSI Engenio, который были некоторое время назад куплены NetApp-ом, и активно развиваются уже под его крылом. В компании это отдельный продукт и отдельная группа разработчиков, которые делают на его базе специализированные решения под сегмент Big Data, HPC, Full Motion Video, LustreFS, Hadoop, и прочее такое же, на базе высокопроизводительного и высокоемкого блочного стораджа, первоначально разработанного в Engenio. На российский рынок NetApp свои E-series не поставляет (однако вы можете купить их проданные как OEM через каналы IBM, например. DS35xx и DS37xx это как раз они, стораджи бывшего Engenio, ныне NetApp).

Но невозможно объять необъятное, и так как я не занимаюсь областью E-series, и спецфическими задачами, для которых они предназначены, я новости о них чаще всего обхожу. Но бывают среди них весьма впечатляющие.

Так, например, в сентябре 2011 было объявлено, что систему хранения E-series выбрали для хранения данных в Lowrence Livermore National Laboratory для работы с наболее производительным в мире на сегодня суперкомпьютером. LLNL это научное учреждение, подчиняющееся U.S. Department of Energy и National Nuclear Security Administration, и занимающееся атомной энергией (нет, не только “бомбой”, хотя работы по математическому моделированию процессов атомных взрывов это, несомненно, значительная часть их задач).

Поставленная дисковая система для суперкомпьютера IBM Sequoia имеет емкость 55PB (петабайт), работает под LustreFS, и обеспечивает пропускную способность передачи данных на уровне 1,3TB/s.

Подробнее о том, как это было сделано – в посте блога Recovery Monkey:

http://recoverymonkey.org/2012/02/10/netapp-delivers-1tbs-performance-to-giant-supercomputer-for-big-data/

Любопытный пост с фотографиями про распаковку и разборку-сборку FAS2240-4 найден тут: http://jnet.kz/company/hoster/blog/2517.html

К сожалению, фотографий нетапповской техники всегда не хватает, и уж тем более всегда интересна новая техника, и “клиентские” впечатления.

Как вы знаете, в состав ПО для стораджа, которое доступно вам для новых систем NetApp, входит полезный инструмент наблюдения, управления, диагностики и рисования красивых графиков –  OnCommand Core 5 (ранее – DFM, Data Fabric Manager). Для его работы необходимо использовать протокол SNMP. NetApp Data ONTAP поддерживает SNMP вплоть до версии 3. Вот как включить и настроить использование аутентифицируемого SNMPv3 для работы с DFM/OnCommand Core.

Начнем с того, что в админской консоли NetApp включим отключенный по умолчанию в сторадже протокол SNMP.

> options snmp.enable on

Хотя с NetApp и можно работать под root-ом, но тут это такая же “плохая практика” как и в обычном UNIX-like. Поэтому сразу начнем учиться жить “по-правильному”. Воспользуемся имеющимися средсвам RBAC – Role-based Access Control (кстати про использовани RBAC вы можете почитать перевод руководства на сайте Netwell в переводах Best Practices).

Создадим роль (snmpv3role), которой назначим определенную доступную ей функцию (login-snmp). Затем создадим группу, которой присвоим созданную роль с функцией, а затем добавим в эту группу созданного пользователя, которому назначена роль, с присвоенной роли функцией (“…в доме, который построил Джек”). Вот в таком порядке это создается:

> useradmin role add snmpv3role -a login-snmp

> useradmin group add snmpv3group -r snmpv3role

> useradmin user add snmpv3user -g snmpv3group

> Enter password:

Введем, в заключение процесса, пароль на пользователя snmpv3user. Это будет наш пользователь для операций SNMPv3. Протокол v3 отличается от традиционного и привычного v1 как раз наличием средств аутентификации.

Включим трапы SNMP.

> snmp traps enable

> snmp init 1

?? разрешим аутентификацию.

> snmp authtrap 1

А затем добавим хост, с которого будут происходить обращения к SNMP. В нашем случае это хост с установленным DFM или OnCommand Core 5.0, или же любым другим средством, работающим по SNMP, например собирающем со стораджа статистику. Можно добавить и несколько хостов.

> snmp traphost add <DFM server hostname>

Укажем расположение стораджа, для административных нужд, чтобы можно было легко его обнаружить и идентифицировать, в случае необходимости.

> snmp location <filer location> (если в строке есть пробелы – окружите строку кавычками; snmp location “ДЦ2, комн.5, стойка 8”)

Все готово на стороне стораджа. Переходим на сторону хоста DFM/OnCommand 5.0

• Если вы настраиваете из GUI, то проследуйте сюда:

Control Center tab | Setup | Options | SNMP Trap Listener. Щелкните Yes для включения листенера и щелкнитеk Update.

Control Center tab | Setup | Network Credentials.

Если вы использовали SNMPv1, найдите сеть вашего стораджа, которую вы хотите изменить на использование SNMPv3 в списке внизу страницы, и щелкните Edit справа.

В Edit Network Credentials, выберем SNMPv3.

В SNMPv1 Settings, убираем все, что указано в этом поле.

В SNMPv3 Settings, введем имя пользователя и пароль, созданные выше (snmpv3user) и щелкнем Update. НЕ ВВОД??ТЕ ничего в поле Privacy password. Это пока не используется, если вы туда что-то напишете, то получите сообщение об ошибке “snmpd:error Encryption not enabled” на стороне стораджа.

• Если вы настраиваете из командной строки:

C:\> cd c:\Program Files\Network Appliance\DataFabric\DFM\bin

> dfm host list (чтобы посмотреть ID стораджа и его IP)

> dfm host set <storage ip> prefsnmpVersion=3

> dfm host get -q <ID стораджа, который вы подключаете по v3> (для проверки версии snmp)

> dfm host diag <имя хоста стораджа>

Вы получите следующий диагностический вывод:

SNMP Version in use SNMPv3

SNMPv1 Failed (это правильно)

SNMP Community <пусто> (так и должен быть пустой, см. ниже)

SNMPv3 Passed (297ms)

SNMPv3 Auth Protocol MD5

SNMPv3 Privacy Enabled No (Так и должно быть, это зарезервировано для будущего использования Privacy password, и сейчас не работает)

SNMPv3 Username root (OK, диагностика использует root, а не нашего созданного snmpv3user)

SNMP sysName <…> (какие-то значения, указанные в настройках)

SNMP sysObjectID <…>

SNMP productID <…>

Диагностика использует выполнение от пользователя root, поэтому мы видим выше упоминание root.

Если вы не очистите строку read only community в DFM GUI, то DFM будет использовать SNMPv1 в том случае, если строка  ro community определена на сторадже. Для ее удаления выполните команду в консоли стораджа:

> snmp community delete ro <community ro string>

??мейте ввиду, что System Manager v1.x и 2.x пока не поддерживают SNMPv3. Это означает, что если вы отключите использование SNMPv1, у вас перестанет работать функция обнаружения стораджей в сети, однако вы сможете добавить их вручную по IP-адресу (не Discover, а Add, затем введите IP-адрес стораджа, затем щелкните на иконку стрелки вниз, следующей за More, и введите логин и пароль административного аккаунта). Ели вам нужно продолжать использовать System Manager вместе с DFM, то оставьте  строку ro community на сторадже, удалив ее в DFM. DFM будет работать по v3, а System Manager по v1, без аутентификации.

Думаю, что все мои читатели уже относятся к категории “уже делающих бэкапы”. Однако остается вопрос: как именно он их делают? Какой метод создания резервных копий данных вы выбрали для вашей системы хранения NetApp?

[poll id="6"]

Опрос, как и всегда, анонимен.
Возможны множественные ответы.
Если у вас есть вариант, не перечисленный выше, и который вы хотите указать - не стесняйтесь привести его в комментариях.

Все предшествующие опросы в блоге можно посмотреть в рубрике Опрос

На днях на глаза попался очередной quarterly отчет по market share и изменениям долей в сегменте Западной Европы, наверное наиболее интересного и влиятельного в России участка мировых рынков. В виде публичного “пересказа” его результаты можно посмотреть тут: http://www.storagenewsletter.com/news/marketreport/western-european-external-disk-idc-1q12

Первая “шестерка” брендов, с изменениями Year-to-Year и Quarter-to-Quarter в данном отчете за первый квартал 2012 по Западной Европе выглядит сейчас так:

Следует также отметить, что за прошедший год рынок Enterprise External Storage Systems (EESS) в целом практически не рос, в отчете показан рост всего в 1,4% за год, с учетом курсовых колебаний (3,2% quarterly). На фоне такой общей неактивной картины (связанной отчасти с финансовым кризисом Европы, отчасти с повышением цен на HDD) очень эффектен рост NetApp более чем на 12%. ??, конечно, ужасно выглядит катастрофическое падение IBM. Ну, IBM не умрет, понятное дело, они не только стораджами живы, а вот для NetApp, у которого продажа стораджей есть основной бизнес, это очень хорошие темпы, просто выдающиеся. ??, в общем, в таблице хорошо видно, за счет кого именно этот рост стал возможен.