about NetApp

Я чуть раньше уже упоминал о выходе нового продукта в семействе OnCommand - OnCommand Performance Manager (OPM). Несколько слов про него подробнее.
Это - Virtual Appliance, то есть образ преконфигуренной виртуальной машины, запускаемой в среде VMware ESXi, на базе ядра Linux (2.6.32) и с веб-интерфейсом, и предназначен для анализа и слежения за производительностью кластерной (clustered Data ONTAP) системы хранения. Обратите внимание, системы 7-mode - не поддерживаются, только для Clustered ONTAP.

OPM следит и анализирует состояние производительности кластерной системы хранения, отображая ее состояние на веб-дашборде.

Анализируется и отслеживается несколько ключевых точек и компонентов системы.

На рисунке выше показана потенциальная проблема в data processing.
Тут же можно посмотреть отчет о соответствующем инциденте.

?? посмотреть рекомендации по устранению.

В заключение следует отметить, что OnCommand Performance Manager бесплатен для клиентов NetApp, не требует покупки лицензий, и бесплатно доступен для загрузки из support.netapp.com.
Отметьте, что для многовендорных, больших инсталляций сходные задачи решаются другим продуктом, OnCommand Insight, который, будучи значительно более мощным и объемным, а также поддерживающим оборудование разных вендоров в составе IT-инфраструктуры, уже стоит существенных денег. Однако если ваши задачи ограничиваются анализом и контролем производительности одного кластера из контроллеров NetApp FAS, то этот продукт - прекрасный вариант решения.

UPD: В блоге Видада Коснока очень детальный Quick Install Guide, который поможет разобраться с установкой.

В связи с тем, что, постепенно, Cluster-mode Data ONTAP, или как ее теперь правильно называть Clustered Data ONTAP, входит в жизнь, и все больше пользователей задумываются о ее использовании, возникает вопрос, как бы наиболее щадящим и простым способом перенести между двумя этими системами данные.
К сожалению, разница “в потрохах” между этими двумя OS, несмотря на схожесть названий, слишком велика, чтобы просто “запустить скрипт, и все сделается за час”. К сожалению пока нет реально работающего способа преобразовать уже имеющуюся 7-mode систему в C-mode. Поэтому, обычно, о Clustered ONTAP начинают думать в случае появления новой, “чистой” системы хранения, тем более, что сегодня есть возможность сделать Clustered Data ONTAP из всего пары контроллеров. Это интересно тем, что впоследствии вы уже сможете довольно свободно добавлять к этой паре контроллеров новые пары. Например старые (если они поддерживаются) контроллеры, работавшие в 7-mode, после завершения миграции данных с них, могут быть легко добавлены в такой кластер.

Довольно быстро в голову приходит идея использовать SnapMirror, штатную репликацию данных NetApp. Но поддерживает ли она репликацию между двумя “модами”? Да, поддерживает, хотя и с ограничениями. Наиболее существенным является невозможность перенести LUN-ы FCP или iSCSI. Увы, изменения в работе с метаданными LUN-ов в C-mode слишком значительны, чтобы это можно было просто реплицировать. В случае LUN-ов вы получите при попытке репликации сообщение в логах:

wafl.voltrans.lun.exists: Volume vmware_datastore1@vserver:a0cc5791-fd70-11e2-9f1f-123478563412 contains 7-Mode LUNs. It cannot be transitioned to Cluster-Mode.


В случае LUN-ов вам придется воспользоваться ручным переносом данных, либо через хост, либо через какой-то софт создания образа диска, хотя бы Norton Ghost или Acronis True Image.

Для разделов с файловыми данными, однако, можно все сделать собственными средствами SnapMirror.

Допустим, у нас есть две физических системы: 7-mode по имени NETAPP_7MODE (192.168.2.10) и Netapp Clustered ONTAP system по имени NETAPP_CMODE (192.168.1.10).

Создадим SnapMirror peer:
NETAPP_CMODE::> vserver peer transition create -local-vserver NETAPP_CMODE -src-filers-name NETAPP_7MODE

Transition peering created

Создадим том-получатель реплики данных:
NETAPP_CMODE::> volume create -volume vmware_datastore1 -aggregate aggr1 -size 100GB -type DP

[Job 16] Job succeeded: Successful

Создадим межкластерный интерфейс LIF:
NETAPP_CMODE::> network interface create -vserver NETAPP_CMODE -lif intcl_lif1 -role intercluster -home-node NETAPP_CMODE -home-port a0a-10 -address 192.168.1.10 -netmask 255.255.255.0

NETAPP_CMODE::> network routing-groups route create -vserver NETAPP_CMODE -routing-group i192.168.1.0/24 -destination 0.0.0.0/0 -gateway 192.168.1.1


Проверим, что связь есть:
NETAPP_CMODE::> network ping -lif intcl_lif1 -lif-owner NETAPP_CMODE -destination 192.168.2.10

192.168.2.10 is alive

Устанавливаем отношения репликации SnapMirror:
NETAPP_CMODE::> snapmirror create -source-path NETAPP_7MODE:vmware_datastore1 -destination-path NETAPP_CMODE:vmware_datastore1 -type TDP

Operation succeeded: snapmirror create the relationship with destination NETAPP_CMODE:vmware_datastore1

Проводим инициализацию репликации:
NETAPP_CMODE::> snapmirror initialize -destination-path NETAPP_CMODE:vmware_datastore1

Operation is queued: snapmirror initialize of destination NETAPP_CMODE:vmware_datastore1

Ждем завершения начальной полной передачи данных, проверяя статус:
NETAPP_CMODE::> snapmirror show

При необходимости обновляем данные на получателе, если они изменились на источнике:
NETAPP_CMODE::> snapmirror update -destination-path NETAPP_CMODE:vmware_datastore1

Отрезаем реплику от источника (quiesce):
NETAPP_CMODE::> snapmirror quiesce -destination-path NETAPP_CMODE:vmware_datastore1

При необходимость снова восстановить репликацию после отреза (quiesce):
NETAPP_CMODE::> snapmirror resume -destination-path NETAPP_CMODE:vmware_datastore1

Отрываем реплику (break):
NETAPP_CMODE::> snapmirror break -destination-path NETAPP_CMODE:vmware_datastore1

При необходимости повторять репликацию назначаем расписание:
NETAPP_CMODE::> job schedule cron create -name Every15mins -minute 15

NETAPP_CMODE::> snapmirror modify -destination-path NETAPP_CMODE:vmware_datastore1 -schedule Every15mins

После завершения репликации у вас на новой системе окажется копия данных системы с 7-mode, и их можно начинать использовать.

ВАЖНО: После репликации для тома-получателя будет автоматически выставлена опция fs_fixed_size, вы не сможете ее изменить командой vol options fs_fixed_size off, вместо этого воспользуйтесь командой: vol modify -vserver -volume -filesys-size-fixed false

http://searchstorage.techtarget.com/news/2240203615/Photobucket-expands-environment-with-NetApps-clustered-Data-Ontap

Расположенная в Денвере веб-компания Photobucket , занимающаяся хранением пользовательских фото и видео, накопила с 2003 года около 17 петабайт данных. Это потребовало от нее, ранее в этом году, запустить новый, уже второй датацентр, который позволит увеличить объемы хранения и обеспечить высокий уровень аптайма для их 100 миллионов зарегистрированных пользователей.

Компания хранит более 13 миллиардов изображений и видеороликов, а еждневно на системы хранения компании загружается еще около 5 миллионов. Компания входит в список 200 крупнейших вебсайтов ??нтернета (по подсчетам Alexa), и является хранилищем по умолчанию для изображений для пользователей сервиса Twitter (tinypic.com - это сервис компании Photobucket) “Одной из серьезнейших проблем, с которой нам пришлось столкнуться при создании системы - это огромное количество файлов, потому что мы, кроме всего, храним по нескольку копий каждого пользовательского изображения: оригинал, копию пониженного разрешения для web, и эскиз-thumbnail” - говорит Майкл Кларк, CTO компании.

Photobucket использует системы хранения NetApp с самых ранних лет работы компании, поясняет Кларк, но решил, что переезд в новый датацентр в Финиксе будет хорошим поводом сделать переоценку решений и поискать альтернативные варианты: “Мы решили, что это время для того, чтобы заново оценить предложения рынка”, - объясняет он. “Мы просто захотели посмотреть, кто сегодня работает с NFS лучше, чем это есть у нас, а также кто позволит нам выполнять репликацию данных лучше и эффективнее с точки зрения затрат”

Датацентры в Денвере и Финиксе практически идентичны, на обоих работают системы хранения NetApp в конфигурации Clustered Data ONTAP и Data ONTAP 8, используются контроллеры NetApp FAS3210, 3240, 6040 и 6240. Системы хранения обеспечивают данными 1100 физических и 500 виртуальных серверов, организованных в соответствии с архитектурой FlexPod, и использующих гипервизор KVM.

Компания использует самописанную объектную файловую систему хранения для сервиса TinyPic.com, в которой хранится сегодня около 2 миллиардов медиа-объектов.

До покупки NetApp Clustered Data ONTAP, Photobucket тестировал системы хранения от Hitachi Data Systems и несколько коммерческих платформ объектного хранения. Но после того, как IT-отдел компании столкнулся с проблемами производительности у объектного хранилища и сравнении общих затрат на датацентр, Photobucket остановился на NetApp.

Кларк пояснил, что Photobucket не мог мигрировать данные со старых томов в новую кластерную систему, и потребовалось переобучение IT-команды компании, так как изменился интерфейс командной строки, и это усложнило внедрение.

Однако наиболее существенной выгодой от кластерной системы для компании стала возможность проводить работы по обслуживанию не останавливая работу сервисов. Кларк пояснил, что эти возможности недавно помогли команде справиться с отказом дисков в системе без остановки работы и даунтаймов. “Мы просто мигрировали данные, разделили тома на несколько других контроллеров, провели все необходимые работы, и потом вернули все на место”. “Мы смогли проделать все это не прерывая работу системы, и весьма быстро. Я был в самом деле удивлен тому, насколько это прошло легко и быстро, для системы прямо “из коробки”.”

Майкл Кларк, CTO компании, также упомянул, что инструмент репликации данных SnapMirror оказался для них очень востребованным и полезным, когда им пришлось делать резервную копию больших объемов данных. “Когда мы пробовали работу других систем хранения в ходе их тестирования, одной из проблем, с которыми мы тогда на них столкнулись было то, что ни одна из имеющихся систем репликации не работала нормально с таким гигантским числом файлов”, рассказал он.

С использованием SnapMirror, Photobucket может реплицировать свои данные как снэпшоты на несколько массивов FAS2240 и FAS3210 каждые 30 минут, и хранить их там все в течение месяца.

В дополнение к продолжающейся миграции данных на Clustered ONTAP, Photobucket также запускает в работу и свою новую инфраструктуру объектного хранилища.

Если вам в скором времени предстоит переход на Clustered Data ONTAP, или если вы админ системы хранения, хорошо знакомый с Data ONTAP 7-mode, которому предстоит администрировать Cluster-mode, то рекомендую посмотреть документ, недавно опубликованный в библиотеке NetApp:

Clustered Data ONTAP® 8.2
Command Map for 7-Mode Administrators

В нем в таблицу собраны команды Cluster-mode, соответствующие, по выполняемым действиям, командам 7-mode. То есть если вы знаете как, допустим, создать том на aggregate в 7-mode, и не знаете какой командой это делается в Clustered ONTAP, то вот этот документ вам поможет.

Брать можно здесь: https://library.netapp.com/ecm/ecm_download_file/ECMP1196780