about NetApp

Я чуть раньше уже упоминал о выходе нового продукта в семействе OnCommand - OnCommand Performance Manager (OPM). Несколько слов про него подробнее.
Это - Virtual Appliance, то есть образ преконфигуренной виртуальной машины, запускаемой в среде VMware ESXi, на базе ядра Linux (2.6.32) и с веб-интерфейсом, и предназначен для анализа и слежения за производительностью кластерной (clustered Data ONTAP) системы хранения. Обратите внимание, системы 7-mode - не поддерживаются, только для Clustered ONTAP.

OPM следит и анализирует состояние производительности кластерной системы хранения, отображая ее состояние на веб-дашборде.

Анализируется и отслеживается несколько ключевых точек и компонентов системы.

На рисунке выше показана потенциальная проблема в data processing.
Тут же можно посмотреть отчет о соответствующем инциденте.

?? посмотреть рекомендации по устранению.

В заключение следует отметить, что OnCommand Performance Manager бесплатен для клиентов NetApp, не требует покупки лицензий, и бесплатно доступен для загрузки из support.netapp.com.
Отметьте, что для многовендорных, больших инсталляций сходные задачи решаются другим продуктом, OnCommand Insight, который, будучи значительно более мощным и объемным, а также поддерживающим оборудование разных вендоров в составе IT-инфраструктуры, уже стоит существенных денег. Однако если ваши задачи ограничиваются анализом и контролем производительности одного кластера из контроллеров NetApp FAS, то этот продукт - прекрасный вариант решения.

UPD: В блоге Видада Коснока очень детальный Quick Install Guide, который поможет разобраться с установкой.

Коллеги из украинского дистрибутора (вы, кстати, обратили внимание на то, что у меня тут появился новый раздел - Дистрибуторы в Украине?) провели очень интересный подсчет того, сколько экономится денег на электропотреблении при использовании не дисковой, а диски+SSD/Flash Cache системы.
Ну то есть все мы знаем, что экономия, типа, есть, а вот во что эта экономия выливается в “деньгах”?
Оказывается экономия - весьма и весьма существенна, даже для пессимистически настроенных.
Посчитали просто две объявленных на SPEC SFS2008 конфигурации, о которых мы говорили раньше, то есть “чисто-HDD” FAS3250, и HDD+Flash Cache FAS8020, идущая ей на замену, и имеющая производительность даже чуть выше.
Оказывается, за три года эксплуатации, экономия на энергопотреблении составляет около 17 с половиной тысяч долларов, а за пять лет - около 30 тысяч долларов, при цене “за киловатт” - около 0,1-0,09$/kWh (для промышленных предприятий в Москве - так примерно и стоит, как я знаю.)

При этом следует помнить, что экономия также идет при охлаждении, за счет энергии, потребляемой кондиционерами, и в данном подсчете пока не учитывается, но тоже может составлять довольно существенную величину.

Следует также помнить, что экономия существенно растет с увеличением размеров системы по числу дисков, и если на небольших стораджах, типа 2240, она будет сравнительно невелика, то для больших систем, с несколькими полками дисков, она может выливаться в реальные десятки тысяч долларов.

Обсуждая и отмечая выход FAS8000 как аппаратных устройств, мы совсем выпустили из внимания их “программную” часть. 19 февраля вышла Data ONTAP 8.2.1, и новые контроллеры будут поставляться с самой новой ее версией - 8.2.1RC2.
Напомню, вновь, что в номенклатуре NetApp версия RC, хотя и расшифровывается как “Release Candidate”, тем не менее не является какой-то там недопроверенной и неготовой “бетой”, это официальная production-ready версия, пригодная и устанавливаемая на продакшн-системы, просто вот такая вот схема нумерации версий принята. С этим разобрались, пойдем теперь deeper. :)

Что нового появилось в Data ONTAP 8.2.1

• Дальнейшее улучшение и развитие NDO - Non-Disruptive Operations, процедур, выполняющихся без прерывания работы системы. В перспективе _все_ операции с Cluster Environment будут NDO. Пока же идет планомерное улучшение и расширение.

1. Таковой стала операция удаления из системы дисковых полок. Теперь доступ к данным системы хранения не прерывается даже в процессе замены или удаления дисковых полок (конечно, не с дисков на этих полках, но тем не менее). Удаление, а также замена дисков и полок на другие, например более новые, теперь может осуществляться “на ходу” кластера.
2. Замена контроллеров в кластере ранее требовала некоторых ручных процедур. Теперь, с помощью инструмента NetApp OnCommand Workflow Automation (WFA), эти шаги могут быть автоматизированы. Это ускоряет процедуру и снижает возможность операторских ошибок в процессе.
3. Поддерживается MS SQL Server, работающий по SMB3.0 с шарами в CA (Continuous Available) режиме.

• Вернулся встроенный антивирус.

Вы помните, возможно, что встроенный антивирус в DOT 8.x уже был в ранних версиях ее, но потом был удален для доработки. Доработка проведена, и вот теперь, надеюсь окончательно, в Data ONTAP 8.2.1 появился встроенный антивирусный сервис. Это крайне важно для всяческих “файловых” применений и крупных NAS. До сих пор такие системы строились с внешним антивирусным сервером, возможность подключения которого существовала у систем хранения NetApp всегда. Теперь появилась возможность, в дополнение или же как замена такому, использовать антивирусный сервис внутри контроллера.

Спасибо читающим и комментирующим за важную поправку, действительно, я неправильно прочитал, это не встроенный, а внешний антивирус, просто улучшили некоторые моменты его работы, но антивирус по-прежнему является внешним по отношению к процессору контроллера системы хранения.

1. Поддерживаются антивирусные службы, разработанные специально для NetApp несколькими антивирусными вендорами, в частности это McAfee, TrendMicro и Symantec.
2. Служба поддерживает интеграцию с приложениями корпоративного менеджмента, например McAfee ePO
3. Поддерживается сканирование в памяти, с использованием кэша, что существенно ускоряет проверку и снижает нагрузку на диски при повторной проверке одних и тех же файлов.
4. Появились средства мониторинга процесса антивирусной проверки.
5. Теперь сканирование может осуществляться несколькими сканерами одновременно, во много потоков.

• Automated Workflow Analyzer (AWA) теперь умеет анализировать и сайзить Flash Pool.

• Data ONTAP Edge, “NetApp в виде виртуальной машины”, в среде vSphere, предназначенный, в первую очередь, для инфраструктур remote and btach offices, то есть филиалов и распределенных офисов (ROBO), умеет теперь работать в режиме single-node cluster. Это сравнительно новый режим cluster-mode, в котором можно включить его для одного отдельного контроллера. Это применяется, в первую очередь, для систем-получателей репликации, бэкапов через SnapVault, и прочих таких же применений, где не требуется “доступность пять девяток”, и это позволяет снизить затраты на систему в целом. Теперь вы можете использовать DOT-Edge как компонент в Clustered-системе, включенный туда как single-node cluster, например реплицировать в нее бэкапы.

• Некоторые изменения и улучшения в NFS и CIFS/SMB. Кому важно - смотрите в release notes.

• Обновились программы семейства OnCommand

• Появилось новый инструмент - Performance Manager 1.0, выделенный, как понимаю, из Unified Manager.

• Появилась впервые поддержка UTA2 - Unified Target Adapter, что это такое мы уже рассматривали в статьях о FAS8000 ранее, это таргет-порты, которыми штатно оснащены все контроллеры 8000-серии, которые программно могут быть включены и настроены в системе или как FC 16G, или как 10G Ethernet.

В Tech ONTAP (это, если вы не получаете, ежемесячный newsletter у NetApp), статья Стивена Миллера, старшего технического директора NetApp и архитектора платформ, фактического “создателя”, на протяжении 6 лет, всех платформ NetApp, начиная от FAS3100.
Статья техническая, и, как всегда, “по делу”, посвященная подробностям и деталям устройства новых контроллеров FAS8000.

Вот вам, для затравки, картинка задней панели новых контроллеров, 8020 и 8040/8060:

Некоторые факты и реплики, показавшиеся интересными и выдернутые из текста:
“Мы используем специальные инструкции, появившиеся в семействе процессоров Sandy Bridge, и сотрудничаем с Intel, чтобы использовать (в будущих релизах софта? romx) инструкции для шифрования, компрессии, а также Advanced Vector Extensions, которая позволяет одной инструкцией обрабатывать множественные фрагменты данных”

“Мы используем схему с одним DIMM на канал памяти, чтобы максимально расширить полосу пропускания и увеличить производительность памяти. FAS8060 дает до 85Gb/s пропускной канала от ядер к памяти”

“Новый дизайн NVRAM. Нынешний NVRAM9 имеет вдвое шире полосу пропускания, чем NVRAM8 (в 3200/6200, romx)”
“Увеличенный NVRAM улучшает производительность записей большого объема последовательного доступа. Многие нагрузки произвольного характера также имеют значительную последовательную компоненту, например в OLTP последовательно пишутся логи.”

“NetApp - первопроходец технологии PCIe Gen3, на протяжении двух лет мы вылавливали баги и нестабильности, чтобы обеспечить стабильную работу новой платформы. Все FAS8000 построены с использованием PCIe Gen3. В FAS8060 используется 80 каналов Gen3 (вместо 72 Gen2 каналов в 6220), что удвоило полосу пропускания ввода-вывода. В FAS8040 и FAS8020 используется по 40 каналов Gen3, что в 10 раз расширяет их внутреннюю полосу пропускания, в сравнении с предшественниками.”

“Каждый контроллер FAS8000 оснащен четырьмя основными типами “набортных” портов: GbE, SAS, 10GbE, и Unified Target Adapter 2 (UTA2). В FAS8020 по два порта каждого типа (четыре на HA-пару), а в FAS8040 и FAS8060 по четыре порта каждого типа (восемь на HA-пару).”

“Порты UTA2 применены впервые в индустрии. Порты, сконфигурированные как FC 16G оптимальны для подключения внешних, виртуализуемых систем хранения, через FlexArray. Если у вас нет FC, то вы можете сконфигурировать эти порты как 10Ge, для FCoE, iSCSI, NFS или SMB, так что ничего не пропадет.”

“Порты UTA2 также доступны в виде карт расширения PCIe Gen3, они также могут быть установлены в FAS3220, 3250 и во все модели 6200″

“Порты onboard 10Ge используются для cluster interconnect в Clustered ONTAP, а также для подключения клиентов. Могут быть использованы вместе с портами UTA2.”

“Появились карты расширения 10Gbase-T, работающие по Cat6А и выше. Порты поддерживают 10G и Gigabit Ethernet”

“Контроллеры FAS8000 поддерживают all-flash конфигурацию. Поставляются SSD емкостью 200GB, 400GB, 800GB, и 1.6TB.”

Ну вот, и результаты SPC-1, то есть для “тяжелого” блочного доступа, подоспели.
Правда, пока не готов Full Disclosure Report, а есть только Executive Summary, в котором многие важные детали опускаются.
Но посмотреть все равно интересно. Ждем выкладки детального отчета. - Опубликован и Full Disclosure Report

Вчера NetApp объявил новую серию моделей NetApp FAS - FAS8000. Вопреки банальной логике, выработанной принятой схемой нумерации моделей и линеек, это НЕ суперпупер-системы, стоящие НАД FAS6200, что было бы логично исходя из номера линейки, напротив, это “сайд-линейка”, заменяющая ряд моделей в мидрендже и нижнем-среднем хайэнде:
FAS8020 планируется как перспективная замена FAS3220, FAS8040 - FAS3250, а FAS8060 - замена для FAS6220. Почему NetApp решил перепахать всю схему нумерации моделей, и чем их не устраивали цифры 4000 и 5000, расположенные как раз в нужном и привычном диапазоне - непонятно.
Но, закончим с бухтежом, посмотрим же, что нам подготовили с технической стороны.
Continue reading ‘Обновление линейки FAS - FAS8000’ »

На днях вышла новая версия относительно нового продукта NetApp - системы flash-кэширования данных непосредственно на хост-сервере виртуальных машин - Flash Accel. Если вы следите за этим продуктом, то должны помнить, что это бесплатный для клиентов NetApp программный продукт (это НЕ код Data ONTAP, и он работает НЕ внутри стораджей NetApp, а устанавливается на хост-сервер VMware vSphere). Flash Accel постепенно обрастает функциональностью, и ему стоит поторопиться, так как на рынок локального SSD-кэщирования выходят разнообразные игроки, в том числе и сам VMware со своим vSAN vFlash.

В новой версии, доступной для бесплатного скачивания клиентам NetApp с обычного места получения нетапповского софта, появилось:

• Поддерживается до 4TB SSD-кэша на сервер
• Поддерживается sTEC SSD PCI-e
• Наконец поддерживается Windows Server 2012 и 2012 R2, а также vSphere 5.5
• Поддерживается Windows Server baremetal caching (2008 R2, 2012, 2012 R2) для FC и iSCSI.
• Существенно уменьшился объем занимаемый FlashAccel в физической памяти хоста. Например для v1.2.0 он был равен 0,006GB физической памяти хоста на каждый его гигабайт памяти, плюс 0,006GB памяти VM на каждый гигабайт используемого SSD-кэша, то в этой версии эта величина снизилась почти вдвое, до 0,0035GB.
• Увеличился также размер блока кэша по умолчанию, с 4 до 8 KB.

Flash Pool - это способ использовать установленные в систему хранения SSD в качестве кэша для операций записи и чтения. При этом они составляют с обычными жесткими дисками так называемый hybrid aggregate, и активные операции, как записи, так и чтения, могут эффективно кэшироваться на пространстве этих SSD, позволяя использовать все преимущества flash на обычных дисковых системах хранения.
Об этой технологии я писал в блоге не раз, однако за эти несколько лет, что Flash Pool доступен к использованию на системах хранения NetApp, у некоторых потенциальных клиентов NetApp Flash Pool сложилось мнение, что для полноценного, эффективного использования возможностей Flash Pool нужно иметь достаточно мощный контроллер сам по себе, и что широко распространенные и очень популярные контроллеры класса FAS2200 не дают существенной выгоды от использования Flash Pool, просто потому что “силенок у них его раскачать не хватает”.
Для того, чтобы раз и навсегда ответить на этот вопрос, аналитическая компания ESG провела по просьбе NetApp сравнительное тестирование двух систем:

1. FAS2240-2, c 48 2.5″ 900GB 10Krpm дисками SAS, с общей емкостью 42TB raw
2. FAS2240-4, c 32 3.5″ 2TB 7.2Krpm дисками SATA, плюс 4 дисками SSD 200GB, и общей емкостью 64TB raw

В качестве нагрузки были протестированы типовые нагрузки, характерные для:

1. OLTP database (100% random, 66/33 read/write, мелкими блоками, чувствительный к responce time) MS SQL Server 2010.
2. Нагрузка, характерная для Exchange Server (2010).
3. Нагрузка файлового сервера (переменные размеры блоков, большой объем работы с метаданными)

Физический сервер, на котором под VMware vSphere 5.1 были развернуты две тестовые VM (Windows Server 2008R2), и которые были подключены одним каналом 10G Ethernet к системе хранения по протоколам iSCSI и NFS. Все три рабочих нагрузки генерировались с помощью IOmeter на тестовых VM вперемешку, одновременно.

Результат (слева - all-SAS FAS2240-2, справа - FAS2240-4 (SATA +4xSSD):

Резюмируя же “в цифрах”:

Система с Flash Pool вида SATA+SSD, показала существенно лучшую производительность, чем точно такой же контроллер, но работающий с 48 SAS-дисками. Величина выигрыша была различной для разных профилей, но выигрыш был всегда. (максимально - 48% - на OLTP, минимально - 15% - на fileserver). Одновременно с этим на 31% улучшился responce time.
При этом система с Flash Pool имела на 48% больше емкости хранения, и, одновременно, была на 18% дешевле, чем система с SAS-дисками.

Цена за GB и на IOPS улучшилась, соответственно, на 45 и 40 процентов, а общая пропускная способность улучшилась на 34%, причем при использовании более медленных “по природе” дисков SATA.

Как вы видите, даже на таком, сравнительно слабом контроллере, как контроллер самой младшей не сегодня системы хранения NetApp FAS, результат использования Flash Pool является более чем впечатляющим.

Подробно о методике тестирования и деталях можно прочитать тут: http://www.esg-global.com/lab-reports/netapp-fas2200-series-with-flash-pool/

А вот вы знаете, что у нас тут есть русскоязычный форум, с участием же русскоязычных специалистов, работающих в NetApp? Не знали? А он - есть :)
Это я к чему, к тому, что недавно там был обнаружен интересный топик, который будет полезен тем, кто пытается разобраться с непростой темой аггрегации etherchannel и балансировки по нескольким линкам.
https://communities.netapp.com/thread/32967

Если вы занимаетесь NetApp, и при этом еще не там - рекомендую зарегистрироваться (читать можно и так), и подписаться на rss. ??ногда там бывают полезные для жизни темы. Да и возможность спросить на русском тоже бывает порой неоценима.

??так, долгожданный Virtual Storage Console, основной продукт для интеграции стораджа NetApp и виртуальной инфраструктуры vSphere, добрался до public beta.
Напомню, что VSC 5.0 будет первой версией, с интеграцией в vCenter web client. Вы знаете, что в планах VMware вскоре отказаться полностью от старого, классического “толстого” клиента, и перейти на web-client полностью, уже сейчас все новые фичи добавляются уже только через web-client.
Однако главная проблема тут - в плагинах к vCenter console, например VSC существует пока только для “толстого клиента”. Вот для того, чтобы это исправить, производится переход на новую платформу плагинов, ну и за компанию много всего перетрясено.
Новый VSC радикальным образом переделан и обновлен. Теперь нет отдельного таба для плагинов в клиенте, функции его будут интегрированы непосредственно в дерево inventory. Например для бэкапа датастора нужно будет щелкнуть правой клавишей непосредственно по нужному датастору в инвентори и выбрать нужное действие в контекстном меню.

??з основных особенностей текущей беты:

• VSC требует vSphere 5.5 (но работающие под vSphere 5.5 ESXi 5.х и даже 4.х - поддерживаются)
• ??меет только х64 инсталляцию
• Не поддерживает апгрейд со старой версии VSC (например с действующей 4.2.1)

Специально, отдельной строкой отмечу, что public beta это все же еще не то, что можно ставить на продакшн, по крайней мере как единственный инструмент управления. Но посмотреть уже можно.