about NetApp

??так, завершая наш цикл постов про переход с Data ONTAP 7-mode на Clustered Data ONTAP, принципиально новую версию OS Data ONTAP, переход на которую пользователей идет вот уже несколько лет, и вот, наконец, этой осенью выходит на финишную прямую, и компания NetApp, наконец, этой осенью выпускает очередную версию Data ONTAP, в которой уже не будет режима 7-mode, и будет только Clustered Data ONTAP.
Да, уже существующие системы и версии Data ONTAP продолжат поддерживаться, но все новые версии будут уже только Clustered, или C-mode (Cluster-mode).
Это значит, что именно этой осенью вам стоит решить, остаетесь ли вы на текущей версии, и отказываетесь от всех новых фич, которые уже появились, и еще появятся, или же идете вместе с NetApp.

Одной из основных проблем, среди нескольких, которые встают перед решившимся на такой переход, является невозможность перехода такого, который называется data-in-place, то есть с сохранением данных на дисках на их местах. Невозможность простой миграции - довольно привычная ситуация для пользователей систем других вендоров, стоит вспомнить, например, переход с EMC Clariion на EMC VNX, или с HP EVA на HP 3Par. Все такие переходы у большинства вендоров делается с “полной пересборкой” системы. Нельзя взять дисковую полку от EMC Celerra, со всеми лежащими на них данными, и подключить прямо к VNX, и сразу же продолжать с ними работу.
Не так было у NetApp. Много лет как апгрейд у NetApp делался с полным сохранением данных на диске. Вы могли взять FAS3040 с дисками FC в полках DS14MK4, системы, выпущенной лет 10 назад, и просто заменить ее контроллеры, или же установить на нее самую последнюю версию Data ONTAP и все заработает без необходимости делать бэкап данных, и восстанавливать их на новую систему, на новые, или те же самые диски.

К сожалению, для перехода с 7-mode на Clustered Data ONTAP такого простого перехода сделать нельзя. Структуры данных на дисках существенно и сильно поменялись, поэтому просто “сконвертировать” данные “на месте” - невозможно.

Незадолго до начала задуманной серии постов я встречался со специалистами дистрибуторской компании Netwell, компании, с сотрудниками которой меня связывает долгое сотрудничество по “переводному проекту”. Тогда же они мне рассказали, что они оказывают помощь российским пользователям NetApp по переходу на Clustered Data ONTAP, и миграции данных, предоставляя необходимое оборудование и помогая инженерами, то есть осуществляя Professional Service, как это называется “там”.
?? тогда мы договорились, что знакомый многим по нашему форуму Евгений Денисов, сотрудник Netwell, подробно расскажет про эту услугу в моем блоге.
Ниже - наш разговор.

romx: ??так, что же надо сделать, если мы “решились на переезд”?

ED: Вам нужно связаться с вашим партнером, через которого вы покупали систему, и, если вы покупали ее через нас, дистрибутора Netwell, то партнер связывается с нами и передает эту задачу нам. Мы контактируем с вами, узнаем, что за конфигурация у вас сейчас, каков объем мигрируемых данных, и прочие технические детали, согласуем сроки. Затем мы привозим к вам на сайт сторадж, собираем его в кластер, затем мигрируем ваши данные на него, затем разбираем и переконфигурируем ваш сторадж в кластер, затем мигрируем данные назад, очищаем наши диски от ваших данных, проверяем, что миграция успешна, и вы получаете готовую систему в Cluster-mode, и с вашими данными, перенесенными на нее.

romx: Этот сторадж, что это?

ED: Это “подменная” система из нашего демо-пула оборудования, которую мы держим для внутренних нужд, демонстраций у пользователей, и так далее. У нас есть также достаточный объем дисков. Впрочем, для очень больших объемов переноса могут быть сложности, так что - связывайтесь предварительно.

romx: Как все это осуществляется физически? Каким образом переносятся данные?

ED: Если это файловые шары, то есть данные хранятся в NAS-режиме, по протоколам SMB/CIFS или NFS, то есть нетапповский инструмент: 7-Mode Transition Tool, 7MTT. Он в полуавтоматическом режиме переносит все данные с системы в 7-Mode на Clustered Data ONTAP. К сожалению такого средства нет для блочных данных, поэтому их мы мигрируем вручную, копированием через хост. На новой системе создается LUN, затем данные со старого LUN-а копируются в новый, затем, после пересборки пользовательской системы в кластер - назад.

romx: Сколько все это занимает времени?

ED: Мы укладывались в довольно большом проекте за выходные. Так что можно считать, что за два выходных дня и менее можно перенести практически любую систему. Бывают всякие случаи, поэтому нам и нужно заранее согласовать объемы работы и время.

romx: Со временем - понятно. А сколько это стоит?

ED: Для пользователей это бесплатно. Ну, то есть это, как любой professional service, стоит денег, но NetApp покрывает эти затраты нам, так как заинтересован в скорейшем и максимально массовом, беспроблемном переходе. Так что для пользователя это бесплатный сервис и бесплатный процесс.

romx: Это сейчас делаете только вы, из всех дистрибуторов в России?

ED: Насколько я знаю - да. Если вы - наши, то вам повезло. Если вы, допустим, “мерлионовские”, то спрашивайте о такой услуге у них. У них также есть необходимые ресурсы это сделать для вас.

romx: Технический вопрос: Получается, что на дисках системы, которую вы привозите для проведения миграции, после нее остается копия пользовательских данных?

ED: Нет, конечно мы уважаем секьюрность пользовательских данных, после миграции все данные на наших дисках уничтожаются в присутствии клиентов. Это может быть или простое удаление всех томов и LUN-ов после обратной миграции (это уже необратимый процесс), либо, если действуют особые требования по информационной безопасности, то делается процесс disk sanitization, это полное затирание содержимого дисков. Это, впрочем, существенно дольше, чем простое удаление.

romx: ?? у вас уже есть опыт такой миграции, да и вообще быстрой сборки и развертывания кластера? Спрашиваю, потому что для любого сисадмина сломать работающую систему - поступок, причем в нашем случае - необратимый. Вдруг что-то пойдет не так? Не удастся все быстро собрать и мигрировать за “maintenance окно”?

ED: Да, конечно, нам уже много раз приходилось собирать у пользователей кластер, это отработанная и накатанная процедура, которую мы уже не раз проделывали. Конечно же это проще и спокойнее сделать пользуясь нашим опытом. Миграцию мы уже также не раз проделывали.

romx: Спасибо, в целом на все вопросы есть ответы. Если у читателей будут еще какие-то уточнения и конкретные вопросы, то их можно задавать?

ED: Конечно, например в комментарии к посту, я их, да и вообще тебя читаю регулярно.

??так, в прошлый раз мы начали трогать тему перехода с Data ONTAP 7-mode, на Clustered Data ONTAP, и все что с этим связано.

Если вы только подключились, то рекомендую начать с прошлого поста, чтобы мне не повторять все с самого начала, зачем это нужно, почему именно сейчас (этим летом-осенью), кому это нужно, и что предстоит, если таки да.

Если вы уже последовали намеченным путем, то есть прочитали TR-3982 Clustered Data ONTAP 8.2: Введение, доступный в переводе на сайте Netwell. Посмотрели учебные материалы про Clustered Data ONTAP, почитали документацию, поставили и покрутили симулятор, то следующий шаг - планирование перехода.

?? тут я бы хотел напомнить, какие у нас есть сложные моменты.

Прежде всего - это ограничение, которое накладывается на число узлов кластера, с использованием старых и слабых контроллеров.
Как я уже не раз тут говорил и приводил эту пословицу: “Скорость эскадры определяет скорость самого медленного в ней корабля”. Так и в случае кластера. Да, с использованием самых топовых контроллеров, например FAS8060 или FAS6200, вы можете построить кластер вплоть до 24 узлов для NAS и 8 узлов для SAN, верно.
Но если у вас в кластер включены FAS3160 или FAS2200, то тогда максимальные размеры кластера определят эти “медленные корабли”. Это стоит помнить, и сразу здраво оценивать, хотите ли вы пихать в новый кластер старые контроллеры, которые, в теории, может быть, и могут быть в него включены, но своим включением существенно его ограничат.

Например, если у вас сейчас контроллеры FAS2240, а через год вы собираетесь перейти на мидрендж, и, допустим, покупаете четыре FAS8040, намереваясь все их включить в общий кластер, чтобы мигрировать между всеми ними ваши стораджевые задачи, то следует понимать, что вы не сможете включить все их в состав одного кластера, как бы заманчиво это ни выглядело.

Хотя определенный смысл от перехода на Clustered Data ONTAP есть и в этом случае, например облегчается миграция, даже однократная и односторонняя, со старых контроллеров на новые.

Таким образом вот ваши лимиты, по контроллерам разных моделей:

FAS3140 - 2 узла.
Такая же ситуация у FAS2520 - 2 узла максимум.
Это, фактически, ровно HA-пара и все. К этой паре больше никого не подлючить. Но эта пара будет, тем не менее, кластером.
Далее.

FAS2220, FAS2240, FAS3160, FAS3170, FAS3210, FAS3240, - 4 ноды максимум.

FAS2550, FAS3220, FAS3250, FAS3270, FAS6040, FAS6210 - 8 нод - максимум, и под NAS, и под SAN.

Наконец, топовые системы:
FAS6080, FAS6220, FAS6240, FAS6250, FAS6290, FAS8020, FAS8040, FAS8060, FAS8080EX - 24 ноды под NAS и 8 нод под SAN.

Это для нас значит, что мы не можем в нашей гипотетической конфигурации включить в уже собранный кластер из пары FAS2240 еще четыре FAS8040, потому что лимит для кластера с участием FAS2240 равен 4 нодам. Но еще пару FAS8040 - можем, безусловно.

Какой же у нас есть путь “в кластер”, для уже существующей системы?

Наиболее простой вариант - пересборка вашей пары контроллеров, работающей в 7-mode в HA-пару так называемого 2-node switchless cluster. При этом вам не требуется строить Cluster Network с использованием выделенного 10G Ethernet коммутатора, но вы можете его добавить позднее, если вам потребуется перейти на кластер, превышающий 2 узла, это не потребует больших затрат сил, а при использовании отказоустойчивой пары соединений 10G для межнодового кластерного интерконнекта, то и вовсе может быть выполнена без прерывания нормальной работы. Просто одно соединение, идущее из одного контроллера в другой напрямую, разрывается, переключается в подготовленный коммутатор, затем, после того, как ноды увидели друг друга через коммутатор, можно разорвать и перенести в коммутатор и вторую пару соединений Cluster Interconnect.

Конечно, как и всегда, для любой кластерной системы, вам обязательно нужно иметь выделенные порты 10G под Cluster Network, и для стандартной отказоустойчивой схемы с избыточностью их нужно по два порта на контроллер.
Да, для FAS2240 вы, в результате, вынуждены отдать оба имеющихся порта 10G под кластерную сеть. Ну и, конечно, в любых других контроллерах, вам тоже надо будет иметь по паре 10G портов только под эту выделенную сеть.

Как вы видите, в двухнодовый кластер вы можете (при наличии в нем пары 10G-портов) перевести почти любой из “ныне живущих” (в данном случае это понимается как “поддерживаемый”) контроллеров. Нужно ли - отвечать вам.

К сожалению, пока по-прежнему нет решения, которое бы перенесло данные из системы 7-mode в систему Clustered Data ONTAP, в data-in-place, то есть в столь привычном разбалованным юзерам NetApp варианте апгрейда, когда “перетыкаешь кабеля, и поехало”. Напомню, сегодня по-прежнему для перехода на Cluster надо полностью разобрать имеющуюся систему и переинициализировать диски, с потерей data-in-place, то есть либо через “бэкап и рестор”, либо через миграцию.

?? вот как мы будем из этой ситуации выкручиваться, вот про это будет пост “Часть 3″.

Несколькими месяцами ранее я уже проводил опрос, на тему перспектив перехода пользователей на Clustered Data ONTAP на их стораджах. Опрос это обозначил несколько основных групп пользователей по отношению к Clustered Data ONTAP.

Если с примерно третью, теми, кто ответил, что они уже перешли, или переходят до конца этого года (ну или в обозримое время, главное, что решение уже принято), все понятно, я могу их только поздравить с их решением, то вот с оставшимися двумя третями все сложнее. Конечно, я трезво понимаю, что среди оставшхся некоторое (значительное) количество составляют владельцы младших и старых систем, для которых переход на Clustered Data ONTAP закрыт по техническим причинам (например – старости, слабости и непригодности контроллеров предшествующих поколений стораджей). Но наверняка среди них также есть и люди, которые, возможно, могли бы перейти на Clustered Data ONTAP, но либо не понимают как и когда это проделать, либо недостаточно осведомлены о том, от каких плюшек они, в результате, отказываются. Мне бы хотелось, в серии постов, котрые я запланировал и написал для ближайших нескольких недель, детально разобрать эти новые и полезные возможности Clustered Data ONTAP.

Continue reading ‘Переход на Clustered Data ONTAP. Часть 1’ »

В связи с тем, что, постепенно, Cluster-mode Data ONTAP, или как ее теперь правильно называть Clustered Data ONTAP, входит в жизнь, и все больше пользователей задумываются о ее использовании, возникает вопрос, как бы наиболее щадящим и простым способом перенести между двумя этими системами данные.
К сожалению, разница “в потрохах” между этими двумя OS, несмотря на схожесть названий, слишком велика, чтобы просто “запустить скрипт, и все сделается за час”. К сожалению пока нет реально работающего способа преобразовать уже имеющуюся 7-mode систему в C-mode. Поэтому, обычно, о Clustered ONTAP начинают думать в случае появления новой, “чистой” системы хранения, тем более, что сегодня есть возможность сделать Clustered Data ONTAP из всего пары контроллеров. Это интересно тем, что впоследствии вы уже сможете довольно свободно добавлять к этой паре контроллеров новые пары. Например старые (если они поддерживаются) контроллеры, работавшие в 7-mode, после завершения миграции данных с них, могут быть легко добавлены в такой кластер.

Довольно быстро в голову приходит идея использовать SnapMirror, штатную репликацию данных NetApp. Но поддерживает ли она репликацию между двумя “модами”? Да, поддерживает, хотя и с ограничениями. Наиболее существенным является невозможность перенести LUN-ы FCP или iSCSI. Увы, изменения в работе с метаданными LUN-ов в C-mode слишком значительны, чтобы это можно было просто реплицировать. В случае LUN-ов вы получите при попытке репликации сообщение в логах:

wafl.voltrans.lun.exists: Volume vmware_datastore1@vserver:a0cc5791-fd70-11e2-9f1f-123478563412 contains 7-Mode LUNs. It cannot be transitioned to Cluster-Mode.


В случае LUN-ов вам придется воспользоваться ручным переносом данных, либо через хост, либо через какой-то софт создания образа диска, хотя бы Norton Ghost или Acronis True Image.

Для разделов с файловыми данными, однако, можно все сделать собственными средствами SnapMirror.

Допустим, у нас есть две физических системы: 7-mode по имени NETAPP_7MODE (192.168.2.10) и Netapp Clustered ONTAP system по имени NETAPP_CMODE (192.168.1.10).

Создадим SnapMirror peer:
NETAPP_CMODE::> vserver peer transition create -local-vserver NETAPP_CMODE -src-filers-name NETAPP_7MODE

Transition peering created

Создадим том-получатель реплики данных:
NETAPP_CMODE::> volume create -volume vmware_datastore1 -aggregate aggr1 -size 100GB -type DP

[Job 16] Job succeeded: Successful

Создадим межкластерный интерфейс LIF:
NETAPP_CMODE::> network interface create -vserver NETAPP_CMODE -lif intcl_lif1 -role intercluster -home-node NETAPP_CMODE -home-port a0a-10 -address 192.168.1.10 -netmask 255.255.255.0

NETAPP_CMODE::> network routing-groups route create -vserver NETAPP_CMODE -routing-group i192.168.1.0/24 -destination 0.0.0.0/0 -gateway 192.168.1.1


Проверим, что связь есть:
NETAPP_CMODE::> network ping -lif intcl_lif1 -lif-owner NETAPP_CMODE -destination 192.168.2.10

192.168.2.10 is alive

Устанавливаем отношения репликации SnapMirror:
NETAPP_CMODE::> snapmirror create -source-path NETAPP_7MODE:vmware_datastore1 -destination-path NETAPP_CMODE:vmware_datastore1 -type TDP

Operation succeeded: snapmirror create the relationship with destination NETAPP_CMODE:vmware_datastore1

Проводим инициализацию репликации:
NETAPP_CMODE::> snapmirror initialize -destination-path NETAPP_CMODE:vmware_datastore1

Operation is queued: snapmirror initialize of destination NETAPP_CMODE:vmware_datastore1

Ждем завершения начальной полной передачи данных, проверяя статус:
NETAPP_CMODE::> snapmirror show

При необходимости обновляем данные на получателе, если они изменились на источнике:
NETAPP_CMODE::> snapmirror update -destination-path NETAPP_CMODE:vmware_datastore1

Отрезаем реплику от источника (quiesce):
NETAPP_CMODE::> snapmirror quiesce -destination-path NETAPP_CMODE:vmware_datastore1

При необходимость снова восстановить репликацию после отреза (quiesce):
NETAPP_CMODE::> snapmirror resume -destination-path NETAPP_CMODE:vmware_datastore1

Отрываем реплику (break):
NETAPP_CMODE::> snapmirror break -destination-path NETAPP_CMODE:vmware_datastore1

При необходимости повторять репликацию назначаем расписание:
NETAPP_CMODE::> job schedule cron create -name Every15mins -minute 15

NETAPP_CMODE::> snapmirror modify -destination-path NETAPP_CMODE:vmware_datastore1 -schedule Every15mins

После завершения репликации у вас на новой системе окажется копия данных системы с 7-mode, и их можно начинать использовать.

ВАЖНО: После репликации для тома-получателя будет автоматически выставлена опция fs_fixed_size, вы не сможете ее изменить командой vol options fs_fixed_size off, вместо этого воспользуйтесь командой: vol modify -vserver -volume -filesys-size-fixed false

Если вам в скором времени предстоит переход на Clustered Data ONTAP, или если вы админ системы хранения, хорошо знакомый с Data ONTAP 7-mode, которому предстоит администрировать Cluster-mode, то рекомендую посмотреть документ, недавно опубликованный в библиотеке NetApp:

Clustered Data ONTAP® 8.2
Command Map for 7-Mode Administrators

В нем в таблицу собраны команды Cluster-mode, соответствующие, по выполняемым действиям, командам 7-mode. То есть если вы знаете как, допустим, создать том на aggregate в 7-mode, и не знаете какой командой это делается в Clustered ONTAP, то вот этот документ вам поможет.

Брать можно здесь: https://library.netapp.com/ecm/ecm_download_file/ECMP1196780