about NetApp

Некоторое время назад NetApp разработал и начал распространять в составе своего набора полезных утилит под ESX (ESX Host Utilities) специальные утилитки mbrscan и mbralign (в самой последней версии остался один mbralign, который же и scan делает, запускаясь с другим ключом).

Описание процесса выравнивания партиций освещена в документах NetApp не раз. Для примера могу указать на главу 6.3 в переведенном TR-3749 Руководство по наилучшим способам использования систем NetApp с VMware vSphere v4.1 , главу 4.4.8 в TR-3702 Наилучшие методы использования систем хранения NetApp для решений виртуализации Microsoft Hyper-V, а также отдельный документ TR-3747 File System Alignment in Virtual Environments

Отдельной строкой хочу отметить, что проблема с корректным выравниванием партиций виртуальных машин по границам блоков нижележащих структур НЕ есть проблема, характерная только для NetApp! Это общая, “платформонезависимая” проблема, требующая решения вне зависимости от того, что за система хранения у вас используется, даже если используются только лишь локальные диски сервера. Влияние ее на производительность (и загрузку процессора контроллера системы хранения) варьируется в зависимости от характера доступа к данным, и обычно все же не слишком велика (обычно оценивается в 10-15% снижения общей производительности от величины оптимально выравненной партиции), иногда меньше, иногда, в особо критичных редких случаях – больше. Тем не менее, это вполне реальная причина, могущая вызвать заметное на глаз снижение производительности, с которым вы вполне можете столкнуться в практике вашей работы, и которое можно поправить достаточно просто и легко.

Кроме того неверное выравнивание может значительно ухудшить показатели дедупликации.

Почти наверняка с проблемой выравнивания вы столкнетесь для виртуальных машин под Windows XP и 2003(R2), а также для старых (не-текущих) версий Linux. В Windows Vista/7/2008(R2) и новых Linux (RHEL6, например) уже выбраны значения смещения партиции по умолчанию, которые не требуют выравнивания, так как обычно уже удовлетворительно выравнены в большинстве случаев использования.

К сожалению, такая полезная утилитка идет сейчас в составе огромного пакета Virtual Storage Console, и отдельно не отдается.
Посему я и решил их выковырять и положить отдельно. Может кому пригодится.

Еще одна сложность заключается в том, что утилиты эти предназначены для ESX, но НЕ для ESXi, так как устанавливаются в хост-систему ESX, и запускаются из консоли.

Но тут можно сделать вот какой финт. Если у вас есть на нетаппе протокол NFS, то вы можете смонировать датастор по NFS на Linux-машину, и на этой Linux-машине запустить это выравнивание, также, как оно работало из консоли ESX.

Получится что-то типа: 
# mkdir /nfs_esx_export
# mount IP_adress_of_NFS_Server:/vol/nfs_datastore  /nfs_esx_export 
# /usr/bin/mbrscan <path to the -flat.vmdk>

Если вы хотите выполнить сканирование сразу множества vmdk, то можно сделать это так:

# find /nfs_datastore -name "*-flat.vmdk" -maxdepth 3 -exec /usr/bin/mbrscan {}

Затем можно выполнить выравнивание для файлов vmdk, которые mbrscan указал как невыравненные:

[root@rhel1 WinXp2]# /usr/bin/mbralign WinXp2-flat.vmdk

Выравнивание выполняется отдельно для каждого vmdk, которому эта процедура может понадобиться.

Обратите внимание, что VM должна находиться в состоянии power off, и выравнивание невозможно для виртуальных машин со снэпшотами средствами VMware:

Error: WinXp2.vmdk has a snapshot (WinXp2-000001.vmdk).  All snapshots must be removed before using this tool.

Обратите внимание, что если были выравнены партиции Linux с загрузчиком GRUB, понадобится восстановить GRUB обычным для Linux образом.

После окончания процедур не забудьте отмонтировать датастор от Linux-машины, на которой вы проделывали эти операции.

Помните, что, хотя официально mbrscan/mbralign и бесплатны, но требуют, для своего использования, чтобы вы были пользователем NetApp, с действующим контрактом саппорта, и иное есть формальное нарушение правил их использования.

MBRscan/MBRalign из ESX Host Utilities 5.1

Чуть более новый MBRalign (уже с встроенным scan), но чуть глючной, из состава 5.2 и VSC 2.1

При обнаружении глюков вида сообщений при выравнивании ‘cannot find mbralign.pl at line 1667′ в новом, рекомендуется пользоваться предыдущей версией из ESXHU5.1

Если у вас есть логин в NOW с доступом к загружаемыми продуктам NetApp, то вы можете воспользоваться ссылкой:

http://now.netapp.com/NOW/download/software/sanhost_esx/ESX/

Очередной IDC Storage Tracker Q2 2011 опубликован. К сожалению у меня пока нет собственно текста, а только выдержки и интерпретации.

Поставлено за квартал 5353 петабайта емкостей хранения. Рост 10,2% процента относительно того же периода прошлого года. Все вендоры “топа” выросли, кроме Dell и Other, и на сегодня топовая группа вендоров поставляет около 74% всего рынка стораджей. В топ5 впервые вошла HDS, поравнявшись с Dell, и с очень хорошим ростом (HP начинать бояться и грести сильнее;). NetApp с IBM продолжают играть в Ахиллеса и черепаху ;)

Top 5 Vendors, Worldwide External Disk Storage Systems Factory Revenue, Second Quarter of 2011 (Revenues are in Millions)

Source: IDC Worldwide Disk Storage Systems Quarterly Tracker, September 2, 2011

Уже можно считать что прошли времена, когда на рынке фототехники правили бал ”мегапиксели”. Сегодня совсем немногие люди, покупающие фотоаппарат, покупают “мегапиксели”, также как, чуть раньше, производители процессоров перестали продавать им “гигагерцы”. Все больше людей стали осознавать, что этот единственный параметр не является ни определяющим, ни исчерпывающим для того, чтобы выбрать лучший продукт, да и вообще сделать выбор. Но по прежнему я сталкиваюсь с тем, что покупающий систему хранения, покупает “терабайты”. ??ли, по крайней мере, считает, что хочет их купить.

Что на самом деле хочет купить пользователь, пришедший за системой хранения?

• Производительность в random IOPS. Это, пожалуй, определяющий фактор, который по праву занимает первое место в списке. Производительность – решает. В наше время трехтерабайтных дисков на рынке, емкость, как я уже и писал, зачастую, получается как “побочный эффект” достижения определенного уровня производительности в IOPS. Сперва надо удовлетворить требованию по производительности в random IOPS, читай по количеству физических дисков в системе, а там, глядишь, емкость и так получилась порядочная. Опять же, системы хранения, где емкость является определяющим фактором, когда производительность не важна совсем, это довольно узкая ниша архивных хранилищ. Уверен ли спрашивающий про “терабайты”, что ему совсем не нужна производительность в random IOPS на получившемся? Не дал ли он себя заморочить величинами “паспортной” производительности интерфейса SATA-II или Fibre Channel? Что это за задача, где производительность работы на получившемся сторадже не нужна?
• “Фичи”, возможности использования системы хранения. Современные системы хранения уже давно не просто “банки с байтами”. “Хранение” в них всего лишь одна из множества возможностей. Даже сама пресловутая емкость хранилища может сильно зависеть от того, какие возможности системы хранения пользователем задействуются. Дедупликация, снэпшоты, клоны, unified-концепция хранения, thin provisioning, storage tiering, очень часто эти функциональные возможности, позволяет значительно снизить так называемый data footprint, то есть занимаемый данными объем на хранилище. То, что без использования “фич” заняло бы куда больший объем, с “фичами” поместится в куда меньший. Что уж говорить про многие новые возможности использования хранилища, которые эти фичи дают, и о которых пользователь, покупающий “объем” часто еще просто не задумывался?
• Надежность хранения данных и их защиту. Что толку от производительной и фичастой системы хранения, если она при этом ненадежна, если жить с ней вы будете как на пороховой бочке? RAID-0 это, наверное, очень быстро. Но недолго :) “Жить быстро, умереть молодым” это для рокенрола хорошо. Но вряд ли это хорошо для данных вашей компании. А сегодня уже и RAID-5, судя по всему, уже стоит рассматривать в ряду ненадежных (в отличие от RAID-0, который ненадежный, но, хотя бы, быстрый, RAID-5 при этом еще и не быстрый;). Диски SATA, особенно большого размера, уже просто в обязательном порядке должны предполагать использование их в RAID-6. ?? не забывайте – надежность IT инфраструктуры компании, как и скорость эскадры, которая определяется скоростью самого медленного корабля, определяется надежностью наименее надежного ее компонента. ??ли как говорил один мой знакомый: “Неважно, насколько быстра ваша система хранения, если в данный момент она не работает”. Но надежность и защита данных это не только RAID, часто она не исчерпывается локальными возможностями стораджа. Это может быть и репликация, это и средства резервного копирования и восстановления данных, например снэпшоты уровня стораджа или приложения, и так далее. А как насчет гарантийного сервиса в вашем регионе и его стоимости?
• ??нтеграцию с используемым софтом. Несмотря на то, что “настоящий сисадмин пользуется исключительно консолью” на практике все гораздо сложнее. ?? выбор между тремя ничего не успевающими сисадминами, ежемесячно еще и требующими за свою напряженную работу прибавки зарплаты, и одним, который все успевает, пользуясь удобными инструментами, предоставляемыми вендором системы хранения, может также заметно повлиять на итоговую стоимость решения. ??нтеграция это не просто красивые маркетинговые слова. Поддержка специфических возможностей программного решения, в качестве примера могу привести поддержку VAAI для продуктов VMware, или “аппаратную” поддержку deploy/redeploy виртуальных машин на уровне возможностей стораджа, может напрямую отразиться и на производительности, и, в конечном счете, на цене решения.
• Поддержку и совместимость с используемыми софтовыми решениями. Важный аспект – наличие поддержки использования покупаемой системы хранения со стороны производителя программного решения, присутствия в Hardware Compatibility Lists (HCL), Support Matrix, существования описанных Best Practices применения, и так далее. В противном случае вы рискуете остаться со своими проблемами один на один, и пользоваться “помощью” только различных форумов. Наличие подтвержденной поддержки как со стороны разработчика софта данной модели стораджа, так и со стороны производителя стораджа – данного софта, обычно гарантирует минимальные проблемы на этапе внедрения. Также не забывайте, что supported (поддерживаемое) это не то же самое, что functional (работающее).
• Экономические аспекты. Долгосрочные затраты на эксплуатацию, поддержку, администрирование. Несмотря на то, что TCO (Total Cost of Ownership – “совокупная стоимость владения”) в России традиционно игнорируется, все больше пользователей начинает осмыслять тот факт, что заплатить за покупку – это еще не все затраты на систему хранения. Часто это только самое начало трат. Стораджем надо не только “завладеть”, но и “содержать” его. ??, часто, стоимость содержания (куда входят эксплуатационные расходы, сервис и прочее)бывает для пользователя очень неприятным сюрпризом. Это вам подтвердит любой владелец, например, дорогого и редкого (в вашей местности) автомобиля. Не забывайте также, что в сегодняшних датацентрах примерно половина потребляемого ими электричества, это потребление не связанное напрямую с IT-оборудованием. Это потребление кондиционеров и прочих “инфраструктурных элементов”. Половина! Снижение затрат на электропитание, охлаждение, затрат на инсталляцию, сервис, эксплуатационное обслуживание и warranty, отличающихся у разных вендоров и разных моделей, может отлиться во вполне полновесные доллары экономии.

Покупать систему хранения исходя из единственного аспекта – ее емкости, сегодня также нелепо, как покупать автомобиль в автосалоне, исходя из его максимальной скорости. “Мне нужен автомобиль, который может ехать со скоростью 140 километров в час” говорит покупатель в салоне. Даже если оставить в стороне то, что сегодня любой новый автомобиль может ехать со скоростью 140 километров в час, очевидно, что это не является для покупателя основным критерием покупки (даже если он сам, по непониманию темы, пока еще и не догадывается об этом). ??, разумеется, грамотный пресейл сегодня знает, что когда покупатель говорит, что хочет “сторадж на двадцать терабайт”, на самом деле он хотел сказать совсем не это. Он хотел сказать, что:

“Мы хотим развернуть виртуальную серверную инфраструктуру, ориентировочно на 20 серверов. Задачи переносимых в виртуальную инфраструктуру серверов сегодня это два файловых сервера, почта MS Exchange 2010, сервера баз данных MS SQL Server 2005 для бизнес-задач и девелоперский PostgreSQL, контроллер домена и около десятка разнообразных серверов для веб-разработчиков и тестировщиков. Ожидаемая нагрузка на хранилище по вводу-выводу, на этапе запуска, для текущих наших задач, около 7-15 тысяч IOPS в steady random read/write, при оценочном профиле read/write – 75%/25%. Мы ожидаем, в ближайшие год-два, минимум двукратный рост нагрузки по вводу-выводу и примерно 50-75% рост по емкости. Мы планируем использовать гипервизор VMware vSphere, и, возможно Xen Desktop или VMware View для планируемого VDI на 300 рабочих мест. В следующем году мы хотим также развернуть резервный датацентр, куда будем реплицировать данные с основного датацентра, для обеспечения отказоустойчивости и непрерывности бизнеса. Достаточные требования по RPO/RTO для наших бизнес-задач 4 часа RPO и 30 минут RTO.”

Но, против воли, у него вырвалось про “20 терабайт”. :)

PS. Вы должно быть заметили, что ни разу в этом посте я не сказал слово “NetApp”? :)

Вот и почти год прошел с предыдущей ежегодной конференции NetApp Innovation Russia 2011. На носу, меньше чем через месяц, очередная, третья, если мне память не изменяет, конференция, главное live-событий для российского Netapp.

Адрес проведения: Lotte Hotel, Moscow

Если вы пользуетесь для организации своих дел электронным календарем, будь то iCalendar, или Google Calendar, или MS Outlook, то можете импортировать в него напоминалку о событии из этого файла: NetApp-Innovation-2011.ics

Зарегистрироваться можно на сайте NetApp: Регистрация на NetApp Innovation 2011

Уже в общих чертах сформирована программа, из которой можно определить для себя интересные темы. По состоянию на сегодня позволю себе ее прямо здесь и опубликовать.

Программа конференции

Как видите, в этом году ясно прослеживается две цели усилий NetApp на рынке, это, во-первых, виртуализация и “облачные решения” (причем hypervisor-agnostic, как видите, тут и Citrix, и VMware, и MS Hyper-V), а также интереснейший продукт NetApp и Cisco –  NetApp FlexPod – готовый building block для построения “облачного” решения, который, наконец, добрался до России. ?? во-вторых – традиционные для NetApp “бизнес-приложения” с использованием Oracle и SAP, но, как видите, тоже с поворотом в сторону облачности и вируализации.

Ближе к событию я еще раз о нем напишу, особенно если пройдут какие-то изменения в программе.

Знаете ли вы, что NetApp проводит еженедельно специальную серию “вебинаров”-демонстраций с использованием популярной платформы Cisco WebEx, где вы можете познакомиться и посмотреть демонстрацию работы множества интересных продуктов NetApp “вживую”?

Демонстрации проводятся на базе нетапповского демо-центра, и охватывают, в разные дни, большой диапазон различных продуктов. Например для только знакомящихся с продуктами компании читается часовая лекция-демонстрация “NetApp 101”, охватывающая базовый набор фич, таких как RAID-DP, снэпшоты, дедупликация, и так далее. Для “продвинутых” и “продолжающих” можно посмотреть демонстрации OnCommand, SnapManager для различных продуктов, решения виртуализации, Oracle, SnapProtect, Insight Assure и Insight Balance (уверен, два последних продукта вы точно не видели, по моему в России их еще и не продавали даже).

Для того, чтобы подключиться и посмотреть вебинар с использованием WebEx, достаточно браузера с флэшем. Если вы каким-то образом еще не знакомы с темой вебинаров, и вебинаров NetApp, рекомендую познакомиться. А тем, кто уже знаком – будет еще проще: вот PDF с расписанием демонстраций (длина лекций-демонстраций – 60-90 минут) на ближайшие 2 месяца. Рекомендую полюбопытствовать.

К сожалению время там – рабочее США-шное, то есть начало 9 или 11 утра Pacific Time, это 8 или 10 вечера по Москве. Но не думаю, что это серьезная проблема для интересующегося.

NetApp Weekly Demo Series September 2011

NetApp Weekly Demo Series October 2011

Я уже немного писал в этом блоге, что такое OnCommand. В двух словах – это семейство продуктов, или вернее даже некий “бренд”, под которым будут в ближайшем времени собраны все разрозненные продукты для управления и мониторинга, имеющиеся у NetApp (ну и, разумеется, новые появятся тоже).

Любопытно, что некоторые продукты под брендом OnCommand (OnCommand Core) будут теперь бесплатны для пользователей (а которые были бесплатны раньше, они тоже останутся такими).

Но уже начали появляться и новые разработки в рамках этого нового бренда “софтверного NetApp” (вы же помните, надеюсь, что NetApp это не только ценный мех стораджи, но и множество очень интересных программных продуктов, причем, зачастую, не только для своих собственных стораджей, а и для инфраструктуры в целом, в качестве примера хочу назвать onCommand Insight Assure, бывший SANscreen, а также onCommand Insight Balance, бывший Akorri BalancePoint.

А я бы сегодня хотел обратить внимание публики на два новых продукта в семействе. Один называется NetApp OnCommand plugin for Microsoft.

Это плагин, позволяющий интегрировать систему хранения NetApp, и ее возможности, в среду Microsoft System Center Operations Manager (MS SCOM) и System Center Virtual Machine Manager (SCVMM), позволяя администратору серверной инфраструктуры Microsoft удобно управлять всем комплексом из знакомого и удобного окружения System Center.

Второй -  NetApp OnCommand Site Recovery Plug-in 1.0 for Microsoft, который позволяет интегрировать знаменитое нетапповское решение территориально распределенного хранилища – Metrocluster – c Microsoft Windows Server Failover Cluster (WSFC). Этот продукт соединяет возможности отказоусточивого серверного кластера приложений WSFC и возможности NetApp Metrocluster.