about NetApp

После выхода FAS8000 и Data ONTAP 8.2.1, обновилась рекомендация NetApp по использованию и числу портов 10G Ethernet, задействованных в кластерном интерконнекте, закрытой внутренней сети обмена данными между контроллерами, входящими в один кластер (тот, что именно кластер, в терминах clustered Data ONTAP, или, по старому, C-mode).
Если раньше для подключения в Interconnect использовались два порта 10G на каждом контроллере (каждый - в свой коммутатор, конечно, для надежности и отказоустойчивости, то новая рекомендация - использовать для старших систем по два таких порта, итого - четыре на контроллер. Так как onboard портов у FAS8040/8060 как раз четыре на контроллер, то эта рекомендация не будет создавать особенных сложностей.

Связана эта рекомендация с увеличившейся мощностью контроллеров, способных загрузить трафиком один порт “с горкой”, и упереться уже в производительность интерконнекта быстрее, чем в ограничения по пропускной внутри контроллера и его процессор.

Трафик интерконнекта состоит, в первую очередь, из трафика между LIF, то есть логического интерфейса SVM, Stotage Virtual Machine (или, по старому, VServer), и ее данными, которые могут оказаться, например в результате миграции SVM, на дисках, обслуживаемых другими контролерами. В этом случае трафик, входя через физические порты, привязанные к LIF с одного контроллера, достигнет своих данных, расположенных на дисках другого контроллера, пройдя через кластерный интерконнект (в терминах NetApp это называется remote workload).
А так как увеличившаяся мощность контроллера и объем NVRAM существенно лучше обрабатывают ряд “трудных” для контроллеров NetApp нагрузок, например linear-типа, способных нагрузить интерконнект трафиком, возникла необходимость рекомендовать решение, снимающее это потенциальное узкое место.

Конечно, если вы используете 7-mode и младшие модели, то вас это все пока не очень касается, но если вы строите по настоящему мощную систему, то советую заранее присмотреться к этой рекомендации. Кстати, следует отметить, что сама процедура добавления дополнительных портов в интерконнект сравнительно проста, доступна для уже построенной системы, и никаких значительных перенастроек в ней не требуется, все внутренние компоненты Data ONTAP, использующие интерконнект, самостоятельно перебалансируются, обнаружив дополнительный интерфейс.

Что называется, новость из серии “срочно в номер”.
??так, вышел в релиз долгожданный Virtual Storage Console 5.0, или VSC, работающий с vSphere Web Client, после выхода vSphere 5.5 - основного средства администрирования vSphere.
Как вы, наверняка, знаете, вот уже пару лет, как VMware объявила, что она отказывается в новых выпусках vSphere от управления многим привычным, так называемым “толстым”, клиентом, устанавливаемым на компьютер админа и работающим локально, а переходит полностью на web-клиент, “тонкий”, работающий в браузере.

Казалось бы, с одной стороны, все хорошо, веб-интерфейс, браузер, все дела. Стильно, модно, молодежно. Проблемы, однако, начались у многочисленных разработчиков дополнений и плагинов, ранее работавших через “толстого” клиента. Всем им пришлось переписываться, причем так как, кроме внешнего изменения клиента, поменялось многое и в общем представлении данных в клиенте, то переход затянулся довольно надолго. Затянулся он и для NetApp. Основной, и очень важный инструмент для работы с хранилищем NetApp в среде VMware, плагин VSC версии 4, работал только с толстым клиентом и это, безусловно, мешало многим пользователям NetApp начать переход на веб-клиент vSphere. С одной стороны - вот он, в версии 5.5 уже объявлен основным, более того, некоторые функциональные возможности управления уже есть только в нем, так как “толстый” клиент официально год как deprecated, а использовать веб-клиент без VSC, при наличии NetApp - довольно бессмысленно.

?? вот, наконец, релиз VSC 5, совместимого с веб-клиентом. Благословясь, можно начинать полный переход на веб-клиента vSphere, сперва в тестовых системах, если они у вас есть, например на симуляторе и в лабе.

Размер VSC 5.0 для скачивания остался примерно тем же, 268 мегабайт, однако вместе с VSC как таковым (он теперь существует только под x64) выпущен также и VASA Provider в виде OVA-модуля, удобного к развертыванию, этот вариант больше. Качайте то, чем в реальности пользуетесь.

??з новинок - конечно же полная поддержка Clustered ONTAP. Также для cDOT выпущен и VASA Provider, позволяющий управлять ОЧЕНЬ большими инфраструктурами. Я немного писал про него тут.

Также хочу отметить, что если вы используете vSphere 5.5, но при этом НЕ переходите по каким-то причинам на web-клиент (например используете также какие-то старые, до-5.5 фермы в своей инфраструктуре), то тогда выш выбор - VSC 4.2.1 полностью совместимый с vSphere 5.5, с одной стороны, и работающий в “толстом” клиенте, обычным образом, с другой. Качается там же.
Но помните, что 5.5 - последняя версия vSphere, поддерживающая “толстый” клиент управления.

Я чуть раньше уже упоминал о выходе нового продукта в семействе OnCommand - OnCommand Performance Manager (OPM). Несколько слов про него подробнее.
Это - Virtual Appliance, то есть образ преконфигуренной виртуальной машины, запускаемой в среде VMware ESXi, на базе ядра Linux (2.6.32) и с веб-интерфейсом, и предназначен для анализа и слежения за производительностью кластерной (clustered Data ONTAP) системы хранения. Обратите внимание, системы 7-mode - не поддерживаются, только для Clustered ONTAP.

OPM следит и анализирует состояние производительности кластерной системы хранения, отображая ее состояние на веб-дашборде.

Анализируется и отслеживается несколько ключевых точек и компонентов системы.

На рисунке выше показана потенциальная проблема в data processing.
Тут же можно посмотреть отчет о соответствующем инциденте.

?? посмотреть рекомендации по устранению.

В заключение следует отметить, что OnCommand Performance Manager бесплатен для клиентов NetApp, не требует покупки лицензий, и бесплатно доступен для загрузки из support.netapp.com.
Отметьте, что для многовендорных, больших инсталляций сходные задачи решаются другим продуктом, OnCommand Insight, который, будучи значительно более мощным и объемным, а также поддерживающим оборудование разных вендоров в составе IT-инфраструктуры, уже стоит существенных денег. Однако если ваши задачи ограничиваются анализом и контролем производительности одного кластера из контроллеров NetApp FAS, то этот продукт - прекрасный вариант решения.

UPD: В блоге Видада Коснока очень детальный Quick Install Guide, который поможет разобраться с установкой.

На Хабрахабре замечен интересный обзор “корпоративных облачных провайдеров”, то есть работающих “на организации”, с SLA, VMware, и прочими серьезными штуками.
Меня там, понятно, интересовала моя область.
Я уже как-то писал про представленность систем NetApp в облачном хостинге, летом 2012 года.
Теперь же можно посмотреть на “динамику”.

??з 12 подробно рассмотренных в обзоре хостеров - половина использует NetApp.

В остальном же вендоры и модели систем хранения распределяются так:
5 - разные модели NetApp FAS, от 6240 у IT-Град, до 2240 у SoftLine.
1 - NetApp E-series у Depo
Два разных EMC VNX.
и далее всех по одному. Один HUS, один EVA и MSA, 3PAR, XIV и Storwise.
Разброд и шатание. Впрочем, если посмотреть на имена, становится понятно, что преимущественно NetApp выбирают компании-исключительно-хостеры, сосредосточенные именно на облачном хостинге как таковом, а вот все прочие вендоры систем хранения, скорее всего, представлены в качестве “своих” партнерами, хостерами-одновременно-интеграторами. Подозреваю, что просто им свои, “партнерские” железки использовать банальнко дешевле выходит.
Немного странно тут выглядит Ай-Теко, который является интегратором-партнером NetApp с наивысшим статусом в России, но при этом набрал у себя наибольший “зоопарк” :).

Тем не менее, объективно видно то, что среди облачных провайдеров NetApp FAS имеет подавляющую популярность и успех.

??менно так, 31 марта празднуется Всемирный День Бэкапа.
А что ты сделал сегодня, чтобы бесцельно провести этот день не остаться первого апреля главным дураком года?

Давай-давай, закрой уже блог, завтра придешь почитать, никуда он от тебя не денется, он-то как раз еженедельно дампает базу, а вот ты, да-да, ты, что ты сделал сегодня полезного, если завтра придет песец жареный петух?

??зредка в этом блоге появляются частные объявления. Сегодня - как раз такой случай.
Друзья продают готовый сет, использовавшийся для построения private cloud в компании. ??спользовалась VMware vSphere Essential Plus, которая также имеется (железо специально подогнано под лицензионные требования 5.0 Essential Plus)

Полный состав лота:
Система хранения:
NetApp FAS2040A с Complete License Pack (то есть ?? все протоколы, ?? FlexClone, ?? SnapMirror, ?? неограниченные лицензии на SnapDrive и SnapManagers для всех платформ, в общем полный all incliusive всего, что у NetApp для этой платформы есть).
12x 1 TB SATA “в базе”.
Цена - 20000 USD
плюс к этому полка
DS4243 с 24 дисками SAS 300GB 15K

Цена - 10000 USD

Серверы Cisco UCS-series C250 (1U 19″ rack)
2 штуки:
CISCO C250 Rack Svr, 2x X5650,24×4 GB DDR3 1333 (96GB total), 2 PS, LSI308. без встроенных дисков, 2х + 4х Gigabit Ethernet ports.
Цена - 5000 USD (за каждый)
1 штука:
CISCO C250 M2 Rack Svr, 2x X5670, 24×4 GB DDR3 1333 (96GB total), 2 PS, HDD 2×1Tb, 2х + 4х Gigabit Ethernet ports.
Цена - 5500 USD

Серверы являются членами семейства UCS, управляются через UCS Manager, могут использовать все фичи UCS, такие как профили загрузки, централизованное управление, и так далее. Много памяти в базе, специально под работу хостами ESXi.

Сетевая фабрика:
2 штуки:
CISCO Catalyst 3560X 24 Port L3 switch
Цена - 1250 USD за каждый.

По фабрике бегает NFS по транкованным гигабитным портам, плюс iSCSI (не используется в текущем сете). FC не используется (в текущем решении), хотя все возможности по его использованию на стороне стораджа есть.

Все оборудование куплено “в белую”, “в белую” же и продается.
На оборудование имеется остаток вендорской warranty и саппорта. На Cisco (Smartnet) до декабря 2014, на NetApp - до июня 2015.

Сразу хотелось бы предупредить, что сет хотелось бы продать целиком, варианты с предложениями раздербанить, вида “А можно нам 8 дисков отсюда достать?” будут рассматриваться в последнюю очередь, также как и то, что объявленные цены действительны только при покупке сета целиком, и не гарантируются при дербанке на компоненты.
В настоящий момент сет работает под VMware vSphere, и может быть продан в настроенном и готовом к включению и продолжению работы состоянии.
??нсталляцию хозяйства проводил ваш покорный слуга, и за правильность ее и всех настроек отвечаю лично. :)

Этот сет был подробно описан в посте на Хабре: http://habrahabr.ru/company/netapp/blog/128301/
Единственное отличие от описанной там конфигурации - вместо Cisco Catalyst 3750X используются C3560X, без стекирования. ?? вместо Virtualisation Pack - Complete pack.

Несколько слов по близкой мне тематике стораджей. FAS2040 это, конечно, не FAS2240, он примерно в полтора-два раза слабее по мощности процессора, но все равно это очень и очень достойная машинка, а в текущей конфигурации - почти идеально подходит. У нее нет 10G Ethernet, но зато в базе по 2 порта FC 4G, и лично знаю людей, которые в свое время кусали локти, упустив последнюю распродажу в 2012 году последних 2040, и пришлось покупать существенно более дорогую FAS2240-4 с FC mezzanine.

Разумеется, вся эта кухня сопровождается бесплатным русскоязычным premium-саппортом от меня, в качестве IT-консалтера. :)

Цены - ориентировочные. Вопросы и предложения - в почту romx@mail.ru.

ЗЫ. Самовывоз из дефолтсити.

Коллеги из украинского дистрибутора (вы, кстати, обратили внимание на то, что у меня тут появился новый раздел - Дистрибуторы в Украине?) провели очень интересный подсчет того, сколько экономится денег на электропотреблении при использовании не дисковой, а диски+SSD/Flash Cache системы.
Ну то есть все мы знаем, что экономия, типа, есть, а вот во что эта экономия выливается в “деньгах”?
Оказывается экономия - весьма и весьма существенна, даже для пессимистически настроенных.
Посчитали просто две объявленных на SPEC SFS2008 конфигурации, о которых мы говорили раньше, то есть “чисто-HDD” FAS3250, и HDD+Flash Cache FAS8020, идущая ей на замену, и имеющая производительность даже чуть выше.
Оказывается, за три года эксплуатации, экономия на энергопотреблении составляет около 17 с половиной тысяч долларов, а за пять лет - около 30 тысяч долларов, при цене “за киловатт” - около 0,1-0,09$/kWh (для промышленных предприятий в Москве - так примерно и стоит, как я знаю.)

При этом следует помнить, что экономия также идет при охлаждении, за счет энергии, потребляемой кондиционерами, и в данном подсчете пока не учитывается, но тоже может составлять довольно существенную величину.

Следует также помнить, что экономия существенно растет с увеличением размеров системы по числу дисков, и если на небольших стораджах, типа 2240, она будет сравнительно невелика, то для больших систем, с несколькими полками дисков, она может выливаться в реальные десятки тысяч долларов.

Обсуждая и отмечая выход FAS8000 как аппаратных устройств, мы совсем выпустили из внимания их “программную” часть. 19 февраля вышла Data ONTAP 8.2.1, и новые контроллеры будут поставляться с самой новой ее версией - 8.2.1RC2.
Напомню, вновь, что в номенклатуре NetApp версия RC, хотя и расшифровывается как “Release Candidate”, тем не менее не является какой-то там недопроверенной и неготовой “бетой”, это официальная production-ready версия, пригодная и устанавливаемая на продакшн-системы, просто вот такая вот схема нумерации версий принята. С этим разобрались, пойдем теперь deeper. :)

Что нового появилось в Data ONTAP 8.2.1

• Дальнейшее улучшение и развитие NDO - Non-Disruptive Operations, процедур, выполняющихся без прерывания работы системы. В перспективе _все_ операции с Cluster Environment будут NDO. Пока же идет планомерное улучшение и расширение.

1. Таковой стала операция удаления из системы дисковых полок. Теперь доступ к данным системы хранения не прерывается даже в процессе замены или удаления дисковых полок (конечно, не с дисков на этих полках, но тем не менее). Удаление, а также замена дисков и полок на другие, например более новые, теперь может осуществляться “на ходу” кластера.
2. Замена контроллеров в кластере ранее требовала некоторых ручных процедур. Теперь, с помощью инструмента NetApp OnCommand Workflow Automation (WFA), эти шаги могут быть автоматизированы. Это ускоряет процедуру и снижает возможность операторских ошибок в процессе.
3. Поддерживается MS SQL Server, работающий по SMB3.0 с шарами в CA (Continuous Available) режиме.

• Вернулся встроенный антивирус.

Вы помните, возможно, что встроенный антивирус в DOT 8.x уже был в ранних версиях ее, но потом был удален для доработки. Доработка проведена, и вот теперь, надеюсь окончательно, в Data ONTAP 8.2.1 появился встроенный антивирусный сервис. Это крайне важно для всяческих “файловых” применений и крупных NAS. До сих пор такие системы строились с внешним антивирусным сервером, возможность подключения которого существовала у систем хранения NetApp всегда. Теперь появилась возможность, в дополнение или же как замена такому, использовать антивирусный сервис внутри контроллера.

Спасибо читающим и комментирующим за важную поправку, действительно, я неправильно прочитал, это не встроенный, а внешний антивирус, просто улучшили некоторые моменты его работы, но антивирус по-прежнему является внешним по отношению к процессору контроллера системы хранения.

1. Поддерживаются антивирусные службы, разработанные специально для NetApp несколькими антивирусными вендорами, в частности это McAfee, TrendMicro и Symantec.
2. Служба поддерживает интеграцию с приложениями корпоративного менеджмента, например McAfee ePO
3. Поддерживается сканирование в памяти, с использованием кэша, что существенно ускоряет проверку и снижает нагрузку на диски при повторной проверке одних и тех же файлов.
4. Появились средства мониторинга процесса антивирусной проверки.
5. Теперь сканирование может осуществляться несколькими сканерами одновременно, во много потоков.

• Automated Workflow Analyzer (AWA) теперь умеет анализировать и сайзить Flash Pool.

• Data ONTAP Edge, “NetApp в виде виртуальной машины”, в среде vSphere, предназначенный, в первую очередь, для инфраструктур remote and btach offices, то есть филиалов и распределенных офисов (ROBO), умеет теперь работать в режиме single-node cluster. Это сравнительно новый режим cluster-mode, в котором можно включить его для одного отдельного контроллера. Это применяется, в первую очередь, для систем-получателей репликации, бэкапов через SnapVault, и прочих таких же применений, где не требуется “доступность пять девяток”, и это позволяет снизить затраты на систему в целом. Теперь вы можете использовать DOT-Edge как компонент в Clustered-системе, включенный туда как single-node cluster, например реплицировать в нее бэкапы.

• Некоторые изменения и улучшения в NFS и CIFS/SMB. Кому важно - смотрите в release notes.

• Обновились программы семейства OnCommand

• Появилось новый инструмент - Performance Manager 1.0, выделенный, как понимаю, из Unified Manager.

• Появилась впервые поддержка UTA2 - Unified Target Adapter, что это такое мы уже рассматривали в статьях о FAS8000 ранее, это таргет-порты, которыми штатно оснащены все контроллеры 8000-серии, которые программно могут быть включены и настроены в системе или как FC 16G, или как 10G Ethernet.

Вновь вынесу коммент, котрый может быт интересен многим.
Вопрос, частично сформулированный в комментах к предыдущему посту, и часто задаваемый многими, звучит примерно так:

Ну вот выпустили вы новый контроллер системы хранения, но почему вы не взяли процессор ХХХХ, ведь у него уже Х ядар и Х гигагерц, не говоря уж про поддержку хххх^(tm)?!

Что интересно, на этот вопрос отвечал сам же Стивен Миллер, которого я цитирую уже не в первый раз, причем отвечал в прошлой статье, после выхода FAS3200/6200.
Дело в том, что ситуация, с которой сталкиваются производители, допустим, систем хранения, как и вообще “ынтерпрайза”, она отличается от той, с которой сталкиваемся мы, допустим, собирая самосборный сервер.
Смотрите сами: для начала, так как контроллер системы хранения, это не general-purpose “материнка”, и разрабатывается отдельно, специально, и, во многом, с нуля, процессор ?? чипсет, выбранный как основа для этого контроллера, должны быть доступны проектантам и разработчикам, хотя бы в виде инженерного, работающего “в кремнии”, сэмпла, минимум за год-полтора (а скорее как бы не за полтора-два года), до даты релиза.
Это время необходимо на то, чтобы разработать плату контроллера, развести ее, изготовить образцы, тщательно протестировать “в железе” все поддерживаемые конфигурации и сочетания с другим оборудованием (например с имеющимися и поддерживаемыми платами расширения, видами портов и прочих интерфейсов, и так далее). Вы себе можете представить, насколько тщательно должна быть протестирована такая материнка. Это ведь не десктопный писюк, который, если заглючил, то, ну, купи другую, переставь винду, и вообще, надо было брать ASUS (MSI, Gigabyte)! Риски для данных пользователя в нашем случае неизмеримо выше.

Затем наступает время релиза этой системы.

Затем контроллер с этим процессором производится и продается несколько лет, допустим, до появления его смены и снятия с продаж (EOS - End Of Sales) - два-три года.

Но даже последняя проданная система должна обеспечиваться гарантированной поддержкой в течении трех лет, плюс возможные два года postwarranty support.

?? только после этого эта система заканчивает свою активную жизнь, и контроллер с данным процессором перестает быть гарантированно доступным для его приобретших клиентов, например если возникнет необходимость заменить “умерший” по гарантии.

Все это время, то есть около 10 лет, процессор ДОЛЖЕН оставаться доступным на рынке в товарных количествах.
А это совсем не всегда возможно, и не со всеми процессорами.
Дело в том, что процессоры, что у Intel, что у AMD, что у многих других вендоров, делятся на две части. Одни - это процессоры bleeding edge, самые-самые, свежак и топ. ?? другие, так называемые LTS, Long Time Support, в отношении которых производитель гарантирует увеличенный цикл поддержки и их выпуска. Обычно эти LTS не являются “самыми-самыми”, так как у самых-самых повышенный риск устаревания, а так как их основная ценность состоит в нахождении их в топе продуктовой линейки, то нет особенного смысла производить их подолгу, ведь их, обычно высокая цена в первую очередь связана с тем, что процент выхода годных чипов ниже, чем для “не таких топовых”.

?? такое существует не только для процессоров.
?? именно это заставляет производителей не гоняться за “разгоном” и самым-самым, а выпускать свои контроллеры на, казалось бы, не самых топовых на момент релиза, процессорах, и не самыми передовыми технологиями. Причина для этого - все та же. Высокие требования к надежности, поддержке, и тому самому supportability систем.

В Tech ONTAP (это, если вы не получаете, ежемесячный newsletter у NetApp), статья Стивена Миллера, старшего технического директора NetApp и архитектора платформ, фактического “создателя”, на протяжении 6 лет, всех платформ NetApp, начиная от FAS3100.
Статья техническая, и, как всегда, “по делу”, посвященная подробностям и деталям устройства новых контроллеров FAS8000.

Вот вам, для затравки, картинка задней панели новых контроллеров, 8020 и 8040/8060:

Некоторые факты и реплики, показавшиеся интересными и выдернутые из текста:
“Мы используем специальные инструкции, появившиеся в семействе процессоров Sandy Bridge, и сотрудничаем с Intel, чтобы использовать (в будущих релизах софта? romx) инструкции для шифрования, компрессии, а также Advanced Vector Extensions, которая позволяет одной инструкцией обрабатывать множественные фрагменты данных”

“Мы используем схему с одним DIMM на канал памяти, чтобы максимально расширить полосу пропускания и увеличить производительность памяти. FAS8060 дает до 85Gb/s пропускной канала от ядер к памяти”

“Новый дизайн NVRAM. Нынешний NVRAM9 имеет вдвое шире полосу пропускания, чем NVRAM8 (в 3200/6200, romx)”
“Увеличенный NVRAM улучшает производительность записей большого объема последовательного доступа. Многие нагрузки произвольного характера также имеют значительную последовательную компоненту, например в OLTP последовательно пишутся логи.”

“NetApp - первопроходец технологии PCIe Gen3, на протяжении двух лет мы вылавливали баги и нестабильности, чтобы обеспечить стабильную работу новой платформы. Все FAS8000 построены с использованием PCIe Gen3. В FAS8060 используется 80 каналов Gen3 (вместо 72 Gen2 каналов в 6220), что удвоило полосу пропускания ввода-вывода. В FAS8040 и FAS8020 используется по 40 каналов Gen3, что в 10 раз расширяет их внутреннюю полосу пропускания, в сравнении с предшественниками.”

“Каждый контроллер FAS8000 оснащен четырьмя основными типами “набортных” портов: GbE, SAS, 10GbE, и Unified Target Adapter 2 (UTA2). В FAS8020 по два порта каждого типа (четыре на HA-пару), а в FAS8040 и FAS8060 по четыре порта каждого типа (восемь на HA-пару).”

“Порты UTA2 применены впервые в индустрии. Порты, сконфигурированные как FC 16G оптимальны для подключения внешних, виртуализуемых систем хранения, через FlexArray. Если у вас нет FC, то вы можете сконфигурировать эти порты как 10Ge, для FCoE, iSCSI, NFS или SMB, так что ничего не пропадет.”

“Порты UTA2 также доступны в виде карт расширения PCIe Gen3, они также могут быть установлены в FAS3220, 3250 и во все модели 6200″

“Порты onboard 10Ge используются для cluster interconnect в Clustered ONTAP, а также для подключения клиентов. Могут быть использованы вместе с портами UTA2.”

“Появились карты расширения 10Gbase-T, работающие по Cat6А и выше. Порты поддерживают 10G и Gigabit Ethernet”

“Контроллеры FAS8000 поддерживают all-flash конфигурацию. Поставляются SSD емкостью 200GB, 400GB, 800GB, и 1.6TB.”