Системы хранения данных как предмет разговора
Новый документ в техбиблиотеке Netwell:
Microsoft Hyper-V с использованием SMB 3.0 в Clustered Data ONTAP: Рекомендации
Pavel Lobanov, John Reed, NetApp
Май 2013 | TR-4172
Этот документ предлагает основные рекомендации и наилучшие практики для использования Microsoft® Hyper-V™ на системе хранения NetApp® с использованием NAS-протокола SMB 3.0.
Скачать .pdf (21 страница)
Одной из наиболее болезненных и чувствительных тем для любого пользователя энтерпрайзных систем, является вендорская поддержка. В этой и следующих публикациях в блоге я постараюсь раскрыть то, как получать поддержку вендора. Не секрет, что для наиболее эффективной поддержки, для скорейшего получения результата, приходится приложить усилия не только службе техподдержки, но и вам. Я постараюсь перечислить и описать все, что вам, с вашей стороны как клиента, нужно сделать, чтобы поддержка радовала, работала быстро, не “тупила”, и задачи решались максимально быстро.
Начнем с основ. С того, какая поддержка у NetApp есть, и как оно все работает.
Сперва разберемся, что есть Hardware Warranty, и что в нее входит,и что такое Software Subscription, и что входит в нее, и чем одно от другого отличается. Я заметил, что для некоторых моих читателей эти понятия не вполне ясны. ??так.
Новый перевод выложен в Netwell Techlibrary:
Руководство по дизайну, установке и настройке Flash Pool
Skip Shapiro, NetApp
Март 2014 | TR-4070
В этом руководстве рассматривается NetApp® Flash Pool™ - механизм интеллектуального кэширования ввода-вывода данных с использованием гибридных aggregate с твердотельными дисками (SSD). Приведено описание технических деталей работы механизмов кэширования, как и когда оптимальнее использовать его для ускорения работы и удешевления системы хранения, даются рекомендации и «наилучшие практики», рекомендованные дизайны и ключевые аспекты для успешного развертывания Flash Pool aggregates.
Скачать .pdf (29 страниц) можно на странице Библиотеки на сайте Netwell:
http://www.netwell.ru/production/techbiblioteka.php
В блоге компании IT-град в конце июля опубликован фоторепортаж о “анбоксинге” приехавшей к ним на новую площадку системе FAS8040, которая, кстати, будет смонтирована в Cluster-mode.
Буду ждать от коллег из ??Т-града более подробного рассказа про их опыт работы с Clustered Data ONTAP с новой системой “top midrange”-класса, а пока, для затравки, некоторые фото (больше жоского гикпорно – в соответствующем посте в блоге компании).
ClusterNet Interconnect Cluster, 16-port 10GB (part number: X1960-R6) – 16-портовый 10G свитч для построения кластерной сети. Ранее в качестве него шли Cisco Nexus 5000, а сейчас NetApp продает для нее вот такие вот штуки, по видимому чей-то OEM (Qlogic, возможно?):
А это, собственно, призывно открытые контроллеры FAS8040:
??так, пенная вечерика встреча читателей блога и пользователей NetApp состоялась в четверг, при определенном аншлаге и, надеюсь, к удовольствию присутствующих. На первый раз у нас не было образовательной программы, но, надеюсь, на следующий раз мы устроим уже что-нибудь душеполезное, надеюсь, что будет не хуже.
Как минимум мы посмотрели друг на друга, и увидели, что это хорошо. :) Я извлек определенные организационные идеи и мысли из получившегося. Кстати, если у кого-то из присутствующих есть идеи, как сделать встречу (еще) интереснее и полезнее, давайте в комменты, обсудим.
У меня есть ряд тем, которые мне бы хотелось продвинуть как полезные для сообщества пользователей NetApp в России, и о которых мы можем говорить. Мне кажется, нам нужно настойчивее продвигать в NetApp необхимость поддержки на русском языке (если мы этим не позаботимся и не будем на эту тему зудеть, то никто не позаботится об этом, верьте мне), думаю, что было бы очень неплохо активизировать вопрос с обучением для клиентов NetApp, причем не только с официальными фастлейновскими курсами, дорогими и не всегда эффективными, но и с более компактными, например ориентироваными на какие-то “точечные” цели. Простой пример – миграция на Clustered Data ONTAP, про которую я уже прожужжал тут все уши. Думаю, те, кому этот процесс предстоит в ближайшие полгода, с пользой и удовольствием бы прошли однодневный технический тренинг на эту тему на практическом железе.
Думаю, можно подумать и придумать еще какие-то темы, велкам в обсуждение.
Я не любитель съемок на память, но если кому интересно, то фотография самых стойких, сделаная накануне закрытия заведения, с отчетливой печатью четырех-пяти пинт на учетное лицо, сделанную камрадом ivs, можно взять здесь. :) Это уже половина одиннадцатого, и примерно половина-треть от общего числа, собравшися в тот день.
Если кто себя не узнает, то все вопросы к ivs :-P
Привет всем.
Напоминаю, что все желающие встретиться очно, как, я надеюсь, будущая Russian Users Group, приглашаются завтра, после работы, например часов с 6 вечера, в паб “Джон Донн”, метро “Таганская-Кольцевая”. Выйдя из метро, вы увидите перед собой здание театра “На Таганке”, искомое вами место находится левее него, вдоль улицы. Вы переходите улицу, и вдоль нее идете налево, пропускаете стейки, потом “Жан Жак”. Паб “Джон Донн” находится сразу над “Жан Жаком”, на втором и третьем этаже этого здания, куда ведет с улицы лестница слева сбоку. Зайдя в паб можете сразу идти выше, на его “третий”, мансардный этаж, где хватаете за пуговицу первого встречного, и спрашиваете: “Нетапп - рулез?” По его реакции догадываетесь, попали ли вы туда, куда шли :)
Форма одежды - свободная.
Визуально это место выглядит снаружи так:
Вот та лестница слева вам и нужна.
??так, завершая наш цикл постов про переход с Data ONTAP 7-mode на Clustered Data ONTAP, принципиально новую версию OS Data ONTAP, переход на которую пользователей идет вот уже несколько лет, и вот, наконец, этой осенью выходит на финишную прямую, и компания NetApp, наконец, этой осенью выпускает очередную версию Data ONTAP, в которой уже не будет режима 7-mode, и будет только Clustered Data ONTAP.
Да, уже существующие системы и версии Data ONTAP продолжат поддерживаться, но все новые версии будут уже только Clustered, или C-mode (Cluster-mode).
Это значит, что именно этой осенью вам стоит решить, остаетесь ли вы на текущей версии, и отказываетесь от всех новых фич, которые уже появились, и еще появятся, или же идете вместе с NetApp.
Одной из основных проблем, среди нескольких, которые встают перед решившимся на такой переход, является невозможность перехода такого, который называется data-in-place, то есть с сохранением данных на дисках на их местах. Невозможность простой миграции - довольно привычная ситуация для пользователей систем других вендоров, стоит вспомнить, например, переход с EMC Clariion на EMC VNX, или с HP EVA на HP 3Par. Все такие переходы у большинства вендоров делается с “полной пересборкой” системы. Нельзя взять дисковую полку от EMC Celerra, со всеми лежащими на них данными, и подключить прямо к VNX, и сразу же продолжать с ними работу.
Не так было у NetApp. Много лет как апгрейд у NetApp делался с полным сохранением данных на диске. Вы могли взять FAS3040 с дисками FC в полках DS14MK4, системы, выпущенной лет 10 назад, и просто заменить ее контроллеры, или же установить на нее самую последнюю версию Data ONTAP и все заработает без необходимости делать бэкап данных, и восстанавливать их на новую систему, на новые, или те же самые диски.
К сожалению, для перехода с 7-mode на Clustered Data ONTAP такого простого перехода сделать нельзя. Структуры данных на дисках существенно и сильно поменялись, поэтому просто “сконвертировать” данные “на месте” - невозможно.
Незадолго до начала задуманной серии постов я встречался со специалистами дистрибуторской компании Netwell, компании, с сотрудниками которой меня связывает долгое сотрудничество по “переводному проекту”. Тогда же они мне рассказали, что они оказывают помощь российским пользователям NetApp по переходу на Clustered Data ONTAP, и миграции данных, предоставляя необходимое оборудование и помогая инженерами, то есть осуществляя Professional Service, как это называется “там”.
?? тогда мы договорились, что знакомый многим по нашему форуму Евгений Денисов, сотрудник Netwell, подробно расскажет про эту услугу в моем блоге.
Ниже - наш разговор.
romx: ??так, что же надо сделать, если мы “решились на переезд”?
ED: Вам нужно связаться с вашим партнером, через которого вы покупали систему, и, если вы покупали ее через нас, дистрибутора Netwell, то партнер связывается с нами и передает эту задачу нам. Мы контактируем с вами, узнаем, что за конфигурация у вас сейчас, каков объем мигрируемых данных, и прочие технические детали, согласуем сроки. Затем мы привозим к вам на сайт сторадж, собираем его в кластер, затем мигрируем ваши данные на него, затем разбираем и переконфигурируем ваш сторадж в кластер, затем мигрируем данные назад, очищаем наши диски от ваших данных, проверяем, что миграция успешна, и вы получаете готовую систему в Cluster-mode, и с вашими данными, перенесенными на нее.
romx: Этот сторадж, что это?
ED: Это “подменная” система из нашего демо-пула оборудования, которую мы держим для внутренних нужд, демонстраций у пользователей, и так далее. У нас есть также достаточный объем дисков. Впрочем, для очень больших объемов переноса могут быть сложности, так что - связывайтесь предварительно.
romx: Как все это осуществляется физически? Каким образом переносятся данные?
ED: Если это файловые шары, то есть данные хранятся в NAS-режиме, по протоколам SMB/CIFS или NFS, то есть нетапповский инструмент: 7-Mode Transition Tool, 7MTT. Он в полуавтоматическом режиме переносит все данные с системы в 7-Mode на Clustered Data ONTAP. К сожалению такого средства нет для блочных данных, поэтому их мы мигрируем вручную, копированием через хост. На новой системе создается LUN, затем данные со старого LUN-а копируются в новый, затем, после пересборки пользовательской системы в кластер - назад.
romx: Сколько все это занимает времени?
ED: Мы укладывались в довольно большом проекте за выходные. Так что можно считать, что за два выходных дня и менее можно перенести практически любую систему. Бывают всякие случаи, поэтому нам и нужно заранее согласовать объемы работы и время.
romx: Со временем - понятно. А сколько это стоит?
ED: Для пользователей это бесплатно. Ну, то есть это, как любой professional service, стоит денег, но NetApp покрывает эти затраты нам, так как заинтересован в скорейшем и максимально массовом, беспроблемном переходе. Так что для пользователя это бесплатный сервис и бесплатный процесс.
romx: Это сейчас делаете только вы, из всех дистрибуторов в России?
ED: Насколько я знаю - да. Если вы - наши, то вам повезло. Если вы, допустим, “мерлионовские”, то спрашивайте о такой услуге у них. У них также есть необходимые ресурсы это сделать для вас.
romx: Технический вопрос: Получается, что на дисках системы, которую вы привозите для проведения миграции, после нее остается копия пользовательских данных?
ED: Нет, конечно мы уважаем секьюрность пользовательских данных, после миграции все данные на наших дисках уничтожаются в присутствии клиентов. Это может быть или простое удаление всех томов и LUN-ов после обратной миграции (это уже необратимый процесс), либо, если действуют особые требования по информационной безопасности, то делается процесс disk sanitization, это полное затирание содержимого дисков. Это, впрочем, существенно дольше, чем простое удаление.
romx: ?? у вас уже есть опыт такой миграции, да и вообще быстрой сборки и развертывания кластера? Спрашиваю, потому что для любого сисадмина сломать работающую систему - поступок, причем в нашем случае - необратимый. Вдруг что-то пойдет не так? Не удастся все быстро собрать и мигрировать за “maintenance окно”?
ED: Да, конечно, нам уже много раз приходилось собирать у пользователей кластер, это отработанная и накатанная процедура, которую мы уже не раз проделывали. Конечно же это проще и спокойнее сделать пользуясь нашим опытом. Миграцию мы уже также не раз проделывали.
romx: Спасибо, в целом на все вопросы есть ответы. Если у читателей будут еще какие-то уточнения и конкретные вопросы, то их можно задавать?
ED: Конечно, например в комментарии к посту, я их, да и вообще тебя читаю регулярно.
Привет всем.
??так, я обещал сказать, когда все устоится и будет окончательно готово.
Встреча прото-Russian Users Group будет в следующий четверг, 7 августа, после работы, в пабе “Джон Донн”, ул. Верхняя Радищевская, 15, стр. 2, это через дорогу от выхода станции метро “Таганская”.
Сейчас отметились как желающие порядка 40 человек, думаю, что человек 30 точно придет. В пабе идите наверх, на третий его этаж, обещали отдать его в наше распоряжение.
Никакой “образовательной программы” пока не планируется, так что предполагается исключительно знакомство, пивопитие, колбаскожратие. Ну и придумывание, чем мы с Нетаппом можем быть друг другу полезны. От них тоже будут люди, можно будет познакомиться, и, как было хорошо сказано на VMware UG: “Убедиться, что на той стороне сидит не робот, который пишет в ответ на любое сообщение “Пришлите больше логов”.
В общем, если кто еще не отметился - запишитесь, это мне позволит правильнее оценить бюджет и масштабы. Но, конечно, если кто хочет сохранить анонимность, ну, просто приходите, инкогнито, никто не выгонит :)
??так, в прошлый раз мы начали трогать тему перехода с Data ONTAP 7-mode, на Clustered Data ONTAP, и все что с этим связано.
Если вы только подключились, то рекомендую начать с прошлого поста, чтобы мне не повторять все с самого начала, зачем это нужно, почему именно сейчас (этим летом-осенью), кому это нужно, и что предстоит, если таки да.
Если вы уже последовали намеченным путем, то есть прочитали TR-3982 Clustered Data ONTAP 8.2: Введение, доступный в переводе на сайте Netwell. Посмотрели учебные материалы про Clustered Data ONTAP, почитали документацию, поставили и покрутили симулятор, то следующий шаг - планирование перехода.
?? тут я бы хотел напомнить, какие у нас есть сложные моменты.
Прежде всего - это ограничение, которое накладывается на число узлов кластера, с использованием старых и слабых контроллеров.
Как я уже не раз тут говорил и приводил эту пословицу: “Скорость эскадры определяет скорость самого медленного в ней корабля”. Так и в случае кластера. Да, с использованием самых топовых контроллеров, например FAS8060 или FAS6200, вы можете построить кластер вплоть до 24 узлов для NAS и 8 узлов для SAN, верно.
Но если у вас в кластер включены FAS3160 или FAS2200, то тогда максимальные размеры кластера определят эти “медленные корабли”. Это стоит помнить, и сразу здраво оценивать, хотите ли вы пихать в новый кластер старые контроллеры, которые, в теории, может быть, и могут быть в него включены, но своим включением существенно его ограничат.
Например, если у вас сейчас контроллеры FAS2240, а через год вы собираетесь перейти на мидрендж, и, допустим, покупаете четыре FAS8040, намереваясь все их включить в общий кластер, чтобы мигрировать между всеми ними ваши стораджевые задачи, то следует понимать, что вы не сможете включить все их в состав одного кластера, как бы заманчиво это ни выглядело.
Хотя определенный смысл от перехода на Clustered Data ONTAP есть и в этом случае, например облегчается миграция, даже однократная и односторонняя, со старых контроллеров на новые.
Таким образом вот ваши лимиты, по контроллерам разных моделей:
FAS3140 - 2 узла.
Такая же ситуация у FAS2520 - 2 узла максимум.
Это, фактически, ровно HA-пара и все. К этой паре больше никого не подлючить. Но эта пара будет, тем не менее, кластером.
Далее.
FAS2220, FAS2240, FAS3160, FAS3170, FAS3210, FAS3240, - 4 ноды максимум.
FAS2550, FAS3220, FAS3250, FAS3270, FAS6040, FAS6210 - 8 нод - максимум, и под NAS, и под SAN.
Наконец, топовые системы:
FAS6080, FAS6220, FAS6240, FAS6250, FAS6290, FAS8020, FAS8040, FAS8060, FAS8080EX - 24 ноды под NAS и 8 нод под SAN.
Это для нас значит, что мы не можем в нашей гипотетической конфигурации включить в уже собранный кластер из пары FAS2240 еще четыре FAS8040, потому что лимит для кластера с участием FAS2240 равен 4 нодам. Но еще пару FAS8040 - можем, безусловно.
Какой же у нас есть путь “в кластер”, для уже существующей системы?
Наиболее простой вариант - пересборка вашей пары контроллеров, работающей в 7-mode в HA-пару так называемого 2-node switchless cluster. При этом вам не требуется строить Cluster Network с использованием выделенного 10G Ethernet коммутатора, но вы можете его добавить позднее, если вам потребуется перейти на кластер, превышающий 2 узла, это не потребует больших затрат сил, а при использовании отказоустойчивой пары соединений 10G для межнодового кластерного интерконнекта, то и вовсе может быть выполнена без прерывания нормальной работы. Просто одно соединение, идущее из одного контроллера в другой напрямую, разрывается, переключается в подготовленный коммутатор, затем, после того, как ноды увидели друг друга через коммутатор, можно разорвать и перенести в коммутатор и вторую пару соединений Cluster Interconnect.
Конечно, как и всегда, для любой кластерной системы, вам обязательно нужно иметь выделенные порты 10G под Cluster Network, и для стандартной отказоустойчивой схемы с избыточностью их нужно по два порта на контроллер.
Да, для FAS2240 вы, в результате, вынуждены отдать оба имеющихся порта 10G под кластерную сеть. Ну и, конечно, в любых других контроллерах, вам тоже надо будет иметь по паре 10G портов только под эту выделенную сеть.
Как вы видите, в двухнодовый кластер вы можете (при наличии в нем пары 10G-портов) перевести почти любой из “ныне живущих” (в данном случае это понимается как “поддерживаемый”) контроллеров. Нужно ли - отвечать вам.
К сожалению, пока по-прежнему нет решения, которое бы перенесло данные из системы 7-mode в систему Clustered Data ONTAP, в data-in-place, то есть в столь привычном разбалованным юзерам NetApp варианте апгрейда, когда “перетыкаешь кабеля, и поехало”. Напомню, сегодня по-прежнему для перехода на Cluster надо полностью разобрать имеющуюся систему и переинициализировать диски, с потерей data-in-place, то есть либо через “бэкап и рестор”, либо через миграцию.
?? вот как мы будем из этой ситуации выкручиваться, вот про это будет пост “Часть 3″.
Привет всем. Сегодня - организационный пост.
Многие, взбудораженные позапрошлым постом с опросом, и предложенной встречей в нынешний четверг, уже задают вопросы.
Я решил немного сдвинуть дату. Связано это с тем, что компания NetApp, со своей стороны, решила принять посильное участие в намеченном собрании, приглашает* желающих собраться и попить пива, обещает* что ее участие будет полезным и приятным всем, а потому я решил чуть отложить встречу, чтобы как следует подготовить все и подготовиться, найти место, оценить бюджет, и все такое прочее.
Поэтому новая дата сместилась на 7 августа, то есть через две недели.
С нашей стороны, в свою очередь, по сравнению с обычной пьянкой, будет нужно заполнить форму регистрации, чтобы поддерживающие нас сотрудники компании в Москве могли отчитаться. Несмотря на то, что многие все еще страсть как не любят все эти истории с регистрацией и указанием своих емэйлов, считая, что единственное, зачем это делается компаниями - это продать их наутро спаммерам по пяти центов за емэйл, я гарантирую, что эти адреса не будут использоваться для каких-либо рассылок (если вы сами этого не захотите в явном виде).
Также обращаю внимание, что буду рад видеть не только уже, так сказать, действующих клиентов, уже купивших и эксплуатирующих системы NetApp, но также и “просто интересующихся”, тех, кто меня читает (как я знаю, таких довольно много), и пока раздумывает. Возможно, вы найдете какие-то решающие аргументы, или просто ответы на вопросы у людей, которые уже используют NetApp в своей работе.
Еще раз: вот это - форма регистрации, заполните ее, пожалуйста, до 7 августа.
>> Я буду 7 августа на встрече NetApp RUG
* по ряду причин я не имею права употреблять определенные слова, ибо корпоративный anti-bribery check не дремлет. ;)
