about NetApp

??так, завершая наш цикл постов про переход с Data ONTAP 7-mode на Clustered Data ONTAP, принципиально новую версию OS Data ONTAP, переход на которую пользователей идет вот уже несколько лет, и вот, наконец, этой осенью выходит на финишную прямую, и компания NetApp, наконец, этой осенью выпускает очередную версию Data ONTAP, в которой уже не будет режима 7-mode, и будет только Clustered Data ONTAP.
Да, уже существующие системы и версии Data ONTAP продолжат поддерживаться, но все новые версии будут уже только Clustered, или C-mode (Cluster-mode).
Это значит, что именно этой осенью вам стоит решить, остаетесь ли вы на текущей версии, и отказываетесь от всех новых фич, которые уже появились, и еще появятся, или же идете вместе с NetApp.

Одной из основных проблем, среди нескольких, которые встают перед решившимся на такой переход, является невозможность перехода такого, который называется data-in-place, то есть с сохранением данных на дисках на их местах. Невозможность простой миграции - довольно привычная ситуация для пользователей систем других вендоров, стоит вспомнить, например, переход с EMC Clariion на EMC VNX, или с HP EVA на HP 3Par. Все такие переходы у большинства вендоров делается с “полной пересборкой” системы. Нельзя взять дисковую полку от EMC Celerra, со всеми лежащими на них данными, и подключить прямо к VNX, и сразу же продолжать с ними работу.
Не так было у NetApp. Много лет как апгрейд у NetApp делался с полным сохранением данных на диске. Вы могли взять FAS3040 с дисками FC в полках DS14MK4, системы, выпущенной лет 10 назад, и просто заменить ее контроллеры, или же установить на нее самую последнюю версию Data ONTAP и все заработает без необходимости делать бэкап данных, и восстанавливать их на новую систему, на новые, или те же самые диски.

К сожалению, для перехода с 7-mode на Clustered Data ONTAP такого простого перехода сделать нельзя. Структуры данных на дисках существенно и сильно поменялись, поэтому просто “сконвертировать” данные “на месте” - невозможно.

Незадолго до начала задуманной серии постов я встречался со специалистами дистрибуторской компании Netwell, компании, с сотрудниками которой меня связывает долгое сотрудничество по “переводному проекту”. Тогда же они мне рассказали, что они оказывают помощь российским пользователям NetApp по переходу на Clustered Data ONTAP, и миграции данных, предоставляя необходимое оборудование и помогая инженерами, то есть осуществляя Professional Service, как это называется “там”.
?? тогда мы договорились, что знакомый многим по нашему форуму Евгений Денисов, сотрудник Netwell, подробно расскажет про эту услугу в моем блоге.
Ниже - наш разговор.

romx: ??так, что же надо сделать, если мы “решились на переезд”?

ED: Вам нужно связаться с вашим партнером, через которого вы покупали систему, и, если вы покупали ее через нас, дистрибутора Netwell, то партнер связывается с нами и передает эту задачу нам. Мы контактируем с вами, узнаем, что за конфигурация у вас сейчас, каков объем мигрируемых данных, и прочие технические детали, согласуем сроки. Затем мы привозим к вам на сайт сторадж, собираем его в кластер, затем мигрируем ваши данные на него, затем разбираем и переконфигурируем ваш сторадж в кластер, затем мигрируем данные назад, очищаем наши диски от ваших данных, проверяем, что миграция успешна, и вы получаете готовую систему в Cluster-mode, и с вашими данными, перенесенными на нее.

romx: Этот сторадж, что это?

ED: Это “подменная” система из нашего демо-пула оборудования, которую мы держим для внутренних нужд, демонстраций у пользователей, и так далее. У нас есть также достаточный объем дисков. Впрочем, для очень больших объемов переноса могут быть сложности, так что - связывайтесь предварительно.

romx: Как все это осуществляется физически? Каким образом переносятся данные?

ED: Если это файловые шары, то есть данные хранятся в NAS-режиме, по протоколам SMB/CIFS или NFS, то есть нетапповский инструмент: 7-Mode Transition Tool, 7MTT. Он в полуавтоматическом режиме переносит все данные с системы в 7-Mode на Clustered Data ONTAP. К сожалению такого средства нет для блочных данных, поэтому их мы мигрируем вручную, копированием через хост. На новой системе создается LUN, затем данные со старого LUN-а копируются в новый, затем, после пересборки пользовательской системы в кластер - назад.

romx: Сколько все это занимает времени?

ED: Мы укладывались в довольно большом проекте за выходные. Так что можно считать, что за два выходных дня и менее можно перенести практически любую систему. Бывают всякие случаи, поэтому нам и нужно заранее согласовать объемы работы и время.

romx: Со временем - понятно. А сколько это стоит?

ED: Для пользователей это бесплатно. Ну, то есть это, как любой professional service, стоит денег, но NetApp покрывает эти затраты нам, так как заинтересован в скорейшем и максимально массовом, беспроблемном переходе. Так что для пользователя это бесплатный сервис и бесплатный процесс.

romx: Это сейчас делаете только вы, из всех дистрибуторов в России?

ED: Насколько я знаю - да. Если вы - наши, то вам повезло. Если вы, допустим, “мерлионовские”, то спрашивайте о такой услуге у них. У них также есть необходимые ресурсы это сделать для вас.

romx: Технический вопрос: Получается, что на дисках системы, которую вы привозите для проведения миграции, после нее остается копия пользовательских данных?

ED: Нет, конечно мы уважаем секьюрность пользовательских данных, после миграции все данные на наших дисках уничтожаются в присутствии клиентов. Это может быть или простое удаление всех томов и LUN-ов после обратной миграции (это уже необратимый процесс), либо, если действуют особые требования по информационной безопасности, то делается процесс disk sanitization, это полное затирание содержимого дисков. Это, впрочем, существенно дольше, чем простое удаление.

romx: ?? у вас уже есть опыт такой миграции, да и вообще быстрой сборки и развертывания кластера? Спрашиваю, потому что для любого сисадмина сломать работающую систему - поступок, причем в нашем случае - необратимый. Вдруг что-то пойдет не так? Не удастся все быстро собрать и мигрировать за “maintenance окно”?

ED: Да, конечно, нам уже много раз приходилось собирать у пользователей кластер, это отработанная и накатанная процедура, которую мы уже не раз проделывали. Конечно же это проще и спокойнее сделать пользуясь нашим опытом. Миграцию мы уже также не раз проделывали.

romx: Спасибо, в целом на все вопросы есть ответы. Если у читателей будут еще какие-то уточнения и конкретные вопросы, то их можно задавать?

ED: Конечно, например в комментарии к посту, я их, да и вообще тебя читаю регулярно.

??так, в прошлый раз мы начали трогать тему перехода с Data ONTAP 7-mode, на Clustered Data ONTAP, и все что с этим связано.

Если вы только подключились, то рекомендую начать с прошлого поста, чтобы мне не повторять все с самого начала, зачем это нужно, почему именно сейчас (этим летом-осенью), кому это нужно, и что предстоит, если таки да.

Если вы уже последовали намеченным путем, то есть прочитали TR-3982 Clustered Data ONTAP 8.2: Введение, доступный в переводе на сайте Netwell. Посмотрели учебные материалы про Clustered Data ONTAP, почитали документацию, поставили и покрутили симулятор, то следующий шаг - планирование перехода.

?? тут я бы хотел напомнить, какие у нас есть сложные моменты.

Прежде всего - это ограничение, которое накладывается на число узлов кластера, с использованием старых и слабых контроллеров.
Как я уже не раз тут говорил и приводил эту пословицу: “Скорость эскадры определяет скорость самого медленного в ней корабля”. Так и в случае кластера. Да, с использованием самых топовых контроллеров, например FAS8060 или FAS6200, вы можете построить кластер вплоть до 24 узлов для NAS и 8 узлов для SAN, верно.
Но если у вас в кластер включены FAS3160 или FAS2200, то тогда максимальные размеры кластера определят эти “медленные корабли”. Это стоит помнить, и сразу здраво оценивать, хотите ли вы пихать в новый кластер старые контроллеры, которые, в теории, может быть, и могут быть в него включены, но своим включением существенно его ограничат.

Например, если у вас сейчас контроллеры FAS2240, а через год вы собираетесь перейти на мидрендж, и, допустим, покупаете четыре FAS8040, намереваясь все их включить в общий кластер, чтобы мигрировать между всеми ними ваши стораджевые задачи, то следует понимать, что вы не сможете включить все их в состав одного кластера, как бы заманчиво это ни выглядело.

Хотя определенный смысл от перехода на Clustered Data ONTAP есть и в этом случае, например облегчается миграция, даже однократная и односторонняя, со старых контроллеров на новые.

Таким образом вот ваши лимиты, по контроллерам разных моделей:

FAS3140 - 2 узла.
Такая же ситуация у FAS2520 - 2 узла максимум.
Это, фактически, ровно HA-пара и все. К этой паре больше никого не подлючить. Но эта пара будет, тем не менее, кластером.
Далее.

FAS2220, FAS2240, FAS3160, FAS3170, FAS3210, FAS3240, - 4 ноды максимум.

FAS2550, FAS3220, FAS3250, FAS3270, FAS6040, FAS6210 - 8 нод - максимум, и под NAS, и под SAN.

Наконец, топовые системы:
FAS6080, FAS6220, FAS6240, FAS6250, FAS6290, FAS8020, FAS8040, FAS8060, FAS8080EX - 24 ноды под NAS и 8 нод под SAN.

Это для нас значит, что мы не можем в нашей гипотетической конфигурации включить в уже собранный кластер из пары FAS2240 еще четыре FAS8040, потому что лимит для кластера с участием FAS2240 равен 4 нодам. Но еще пару FAS8040 - можем, безусловно.

Какой же у нас есть путь “в кластер”, для уже существующей системы?

Наиболее простой вариант - пересборка вашей пары контроллеров, работающей в 7-mode в HA-пару так называемого 2-node switchless cluster. При этом вам не требуется строить Cluster Network с использованием выделенного 10G Ethernet коммутатора, но вы можете его добавить позднее, если вам потребуется перейти на кластер, превышающий 2 узла, это не потребует больших затрат сил, а при использовании отказоустойчивой пары соединений 10G для межнодового кластерного интерконнекта, то и вовсе может быть выполнена без прерывания нормальной работы. Просто одно соединение, идущее из одного контроллера в другой напрямую, разрывается, переключается в подготовленный коммутатор, затем, после того, как ноды увидели друг друга через коммутатор, можно разорвать и перенести в коммутатор и вторую пару соединений Cluster Interconnect.

Конечно, как и всегда, для любой кластерной системы, вам обязательно нужно иметь выделенные порты 10G под Cluster Network, и для стандартной отказоустойчивой схемы с избыточностью их нужно по два порта на контроллер.
Да, для FAS2240 вы, в результате, вынуждены отдать оба имеющихся порта 10G под кластерную сеть. Ну и, конечно, в любых других контроллерах, вам тоже надо будет иметь по паре 10G портов только под эту выделенную сеть.

Как вы видите, в двухнодовый кластер вы можете (при наличии в нем пары 10G-портов) перевести почти любой из “ныне живущих” (в данном случае это понимается как “поддерживаемый”) контроллеров. Нужно ли - отвечать вам.

К сожалению, пока по-прежнему нет решения, которое бы перенесло данные из системы 7-mode в систему Clustered Data ONTAP, в data-in-place, то есть в столь привычном разбалованным юзерам NetApp варианте апгрейда, когда “перетыкаешь кабеля, и поехало”. Напомню, сегодня по-прежнему для перехода на Cluster надо полностью разобрать имеющуюся систему и переинициализировать диски, с потерей data-in-place, то есть либо через “бэкап и рестор”, либо через миграцию.

?? вот как мы будем из этой ситуации выкручиваться, вот про это будет пост “Часть 3″.

Несколькими месяцами ранее я уже проводил опрос, на тему перспектив перехода пользователей на Clustered Data ONTAP на их стораджах. Опрос это обозначил несколько основных групп пользователей по отношению к Clustered Data ONTAP.

Если с примерно третью, теми, кто ответил, что они уже перешли, или переходят до конца этого года (ну или в обозримое время, главное, что решение уже принято), все понятно, я могу их только поздравить с их решением, то вот с оставшимися двумя третями все сложнее. Конечно, я трезво понимаю, что среди оставшхся некоторое (значительное) количество составляют владельцы младших и старых систем, для которых переход на Clustered Data ONTAP закрыт по техническим причинам (например – старости, слабости и непригодности контроллеров предшествующих поколений стораджей). Но наверняка среди них также есть и люди, которые, возможно, могли бы перейти на Clustered Data ONTAP, но либо не понимают как и когда это проделать, либо недостаточно осведомлены о том, от каких плюшек они, в результате, отказываются. Мне бы хотелось, в серии постов, котрые я запланировал и написал для ближайших нескольких недель, детально разобрать эти новые и полезные возможности Clustered Data ONTAP.

Continue reading ‘Переход на Clustered Data ONTAP. Часть 1’ »

Вчерашний пост про striped volume вызвал заметную реакцию. Не секрет, что ситуация с использованием концепции share nothing в NetApp FAS, и необходимостью разбивать диски между двумя контроллерами, это давний butthurt головная боль пользователей NetApp, особенно младших его систем. Да, действительно, когда дисков всего 12, допустим, то очень обидно отдавать половину на RAID и spare, по отдельности на каждый из пары контроллеров. Это не является существенной проблемой для людей, у которых дисков шкафы, сотни хостов, подключенных к системе, и так далее. В таких системах нет особенной необходимости для создания единого ресурса хранения, обычно в них LUN-ов и дисковых шар куда больше чем один. Но сомнение зудит. Все умеют, а нетапп не умеет, значит это проблема NetApp.

?? вот, кажется, что NetApp услышал наши молитвы, вот оно, в точности то, что нужно. Все не так просто, погодите. ?? мне стоит сразу дополнить вчерашний пост рядом фактов, которые являются не просто ложкой дегтя, но порядочным таким ведерком его.

Во-первых, давайте разберемся, что в реальной жизни дает striped volume, какие недостатки имеет, и как те же самые задачи можно решить иным путем, то есть, как можно уже сейчас, без использования striped volume, достичь всего того, что он позволяет делать.

Striped Volume позволяет:

1. Потенциально может помочь увеличить производительность дискового ресурса, особенно если он такой на системе один, и не может быть распределен своими частями между контроллерами естественным образом.
2. Обеспечивает равномерную загрузку несущих его нодов.
3. Позволяет делать cross-bound ресурсы, например очень большие файловые шары (для LUN это, как правило, не столь важно, так как они сами по себе ограничены, например 2TB в MBR-LUN, или же  64TB VMFS5.

Это так, как я уже упомянул выше, прежде всего в случае, когда такой ресурс (том, LUN, сетевая шара) ровно один. Однако в реальной жизни очень редко когда сторадж несет на себе ровно один LUN, датастор, файловую шару. Обычно, в моей практике, таких ресурсов десяток, и не один. ??, в общем, проблема “одного дискового ресурса” на мой взгляд довольно надумана. Вручную, на маленьких системах, или с помощью имеющихся средств, типа Data Motion и OnCommand Balance, для больших, это сравнительно несложно сделать.

Проблема Cross-bound ресурсов сложнее, но тоже, на мой взгляд, довольно “бумажная”. В свое время, во времена ONTAP GX, когда контроллеры были не чета нынешним, ограничения на объем хранения на одном контроллере дествительно иногда создавали проблемы, и требовали найти пути выхода. Сегодняшние контроллеры часто имеют лимиты по объемам, превышающий реально эксплуатируемые, и, что немаловажно, имеющий смысл эксплуатировать на данном контроллере. Я очень редко вижу ситуацию, когда владелец контроллера NetApp добивает его дисками “под крышку”, до его лимита по объемам. Это просто довольно таки недальновидно с точки зрения производительности системы в целом.

??так, какие же есть “подводные камни” для Striped Volume, и какие ограничения с ним связаны.

Во-первых, как мне уже тут указали “за кадром”, это в настоящий момент фича “положенная на холд”, она не развивается и скорее всего будет выпилена вовсе. Почему – ниже.

Во-вторых, striped volume есть объективное ограничение для самой идеи scaled-out архитектуры. например он требует, чтобы все контроллеры в кластере, по крайней мере в пределах striped volume) были однотипны (одинаковые контроллеры было требованием в GX, но это уже не так в Clustered ONTAP, и именно это направление, по моим наблюдениям, активно развивается компанией). Представьте себе, что striped volume оказался на двух узлах кластера: FAS6240 и FAS2240. Что будет с производительностью такого тома?

Соответственно использование striped volume естественным образом убивает возможность миграции тома между узлами кластера, крайне важной и нужной фичи Clustered ONTAP. Как результат, это делает невозможность миграцию такого тома в пределах кластера, например если вам нужно выполнить обслуживание или отключение одного из кластеров, содержащих striped volume. Соответственно это потенциально понижает общую availability кластерной системы в целом.

Наконец, люди, пользовавшиеся striped volume отмечали странное поведение и глюки, в особенности в области производительности, а так как, см. выше, эта фича явно идет в разрез с основным движением Clustered ONTAP в компании, то, вероятнее всего, эта фича будет вскоре просто убрана как таковая, и уж точно доделывать и вылавливать баги из нее не будут.

?? последнее, задача сверхбольших томов в  настоящее время решается с помощью Infinite Volume, и не требует поддержки striped volume.

Таким образом, несмотря на то, что фича striped volume в Data ONTAP Cluster-mode и имеется, использовать ее в реальной жизни, иначе, как  если у вас абсолютносовершенноточноиникакиначе имеется такое требование для ее использования, объективно не стоит.

Как вы уже знаете, архитектура системы хранения NetApp не позволяет, при наличии двух контроллеров, организовать один общий дисковый раздел, доступ к которому имели бы оба контроллера одновременно. Почему так было сделано, отчего, и что это дает полезного – об этом мы уже в блоге говорили, не будем отвлекаться. А сегодня я покажу, как это ограничение может быть снято при использовании Data ONTAP Cluster-mode, новой модели работы со стораджем, которая активно развивается компанией уже не первый год.

В Data ONTAP 8.x Cluster-mode вы можете использовать так называемый режим Striped Volume, при котором доступ к данным на томе может быть осуществлен параллельно с любых контроллеров кластера, в частности с двух контроллеров, составляющих HA-пару.

Для начала надо убедиться, что лицензия Striped Volume введена, что позволяет системе такой том создать.

f3240-sqltest::> license show
(system license show)
Feature Cluster SN Limit Description
————— ———– ——- ———–
Base 1-80-000011 666 Base License w/cluster size limit (nodes)
iSCSI 1-80-000011 666 iSCSI License
Striped_Volume 1-80-000011 666 Striped Volume License
FCP 1-80-000011 666 FCP License
4 entries were displayed.

Раз лицензия есть, то можно создать striped aggregate:

f3240-sqltest::> aggr create -aggregate myAggr -nodes f3240-sqltest-01,f3240-sqltest-02 -diskcount 16 -disktype SAS -raidtype raid_dp -maxraidsize 16
[Job 818] Job succeeded: DONE

Создан aggregate, распределенный (striped) на два узла кластерной системы - f3240-sqltest-01 и fas3240-sqltest-02.

Посмотреть, что получилось можно командой aggr show myAggr.

Данный aggregate распределен на два узла, состоит из 16  дисков, 8 из которых на узле 01, и 8 – на узле 02. Создано также два плекса и две RAID-группы. Это означает, что такой striped aggregate состоит, по сути, из двух “обычных” aggregate. Обратите также, что Volume Style указан как striped.

Понятнее про состав striped aggregate станет после вывода команды aggr member show.

f3240-sqltest::> aggr member show
Aggregate     Size Available Used% State    #Vols Node             RAID Status
——— ——– ——— —– ——- —— —————- ————
myAggr_000 2.15TB    2.15TB    0% online       0 f3240-sqltest-01 raid_dp,normal
myAggr_001 2.15TB    2.15TB    0% online       0 f3240-sqltest-02 raid_dp,normal
2 entries were displayed.

Как видите, striped aggregate myAggr состоит из двух “мемберов”, myAggr_000 и myAggr_001, каждый на своем узле. Если бы мы создали такой aggregate на трех, четырех, и так далее узлах кластера – мы бы получили три, четыре, и так далее под-“аггрегейта”. Созданный же на таком aggregate, поверх него том (volume) и данные на нем, окажутся равномерно распределенными по доступу между несколькими узлами, и операции доступа к ним более или менее равномерно нагрузят все входящие в группу контроллеры.

Я уже пару раз рассказывал в этом блоге о том, что такое и зачем используется такая возможность, как Multistore и vfilers. Вкратце – это изолированные jail-подобные “инстансы”, виртуальные стораджи, создаваемые и работающие поверх физического экземпляра Data ONTAP, каждый из которых работает как изолированный “нетапп”, со своим IP-space, своими настройками, и так далее. ??х можно использовать, например, для создания “партиционированных”, изолированных виртуальных стораджей, например вывесить один в DMZ, а другой – использовать во внутренней IT-инфраструктуре, обеспечив с их помощью полную изоляцию и безопасность данных одного vfiler от другого.

С использованием vfilers реализована такая интересная функциональная возможность NetApp, как Secure Multi-tenancy, то есть возможность использовать один физический сторадж для нескольких независимых клиентов, например для “облачного” хранения данных множества пользователей. Каждый клиент такого облачного стораджа получает виртуальный, независимо управляемый пользователем сторадж, логически изолированный от прочих.

В числе прочих возможностей, такой vfiler можно, не прерывая его работу, мигрировать с одного контроллера на другой, используя функциональность, под названием Data Motion for vfilers.

Однако в версии 8.х NetApp пошла дальше. Если для Data ONTAP 7.x Multistore и vfilers это хитрая опциональная фича, то для Data ONTAP 8.x новая инкарнация vfiler, под названием vserver – стандартный и абсолютно необходимый элемент структуры управления и хранения данных.

Vserver – это виртуальный сервер хранения, который размещается на одном или нескольких контроллерах кластера Data ONTAP 8.x, и который может мигрировать, подобно vfilers в Data Motion for vfilers, а для коммуникации с “внешним миром” имеет так называемые LIFs, или Logical Interfaces, независимые от физических портов контроллеров в кластере.

Таким образом, Vservers в Data ONTAP 8.x – это новое воплощение vfiler из ветки 7.x, поддерживающие Cluster-mode, обеспечивающее Single Namespace, существующие поверх одного или нескольких контроллеров кластера, имеющие для соединения с “внешним миром” “виртуальные сетевые интерфейсы” – LIF, гибко (пере)привязываемые к физическим портам контроллера. LIF поддерживают все протоколы доступа к данным в Cluster-mode. Vservers владеют томами FlexVol, могут мигрировать между контроллерами и поддерживают Role-based Access Control (RBAC).

В следующем посте этой тематики я покажу на примерах, как создается Vserver и настраивается доступ к данным в Cluster-mode.