Archive for Февраль 2011

Как настроить доступ PCNFS (SFU) на NetApp

Как правило, для файлового доступа к системе хранения NetApp с Windows используется протокол CIFS, однако его можно реализовать и через более традиционный для UNIX-сред протокол NFS. Простейший пример зачем: ну например у вас просто нет лицензии CIFS, но есть NFS, и покупать довольно дорогую лицензию ради нескольких Windows-компьютеров вы не хотите, а NFS – уже есть. ??ли, допустим, ваша задача более подходит под stateless-протокол NFS.

Для поддержки NFS под Windows, Microsoft выпускает бесплатный продукт Services for UNIX (SFU), куда входит и клиент NFS. Рассмотрим как правильно все настроить, в случае использования системы NetApp FAS с лицензией NFS, клиентского компьютера Windows и пакета SFU.

Описание найдено тут, я его просто перевел.

Continue reading ‘Как настроить доступ PCNFS (SFU) на NetApp’ »

PowerShell и администрирование NetApp

Практикующим windows-сисадминам уже довольно неплохо знаком интересный продукт Microsoft – PowerShell – “прокачанная” командная строка. Многие админы уже хорошо освоились с использованием PowerShell в повседневной практике для написания скриптов.

Однако можно использовать средства PowerShell и для администрирования систем хранения NetApp. Для этого была написана специальная объектная библиотека, которую можно скачать с сайта communities.netapp.com, а для того, чтобы разобраться в предоставляемых средствах советую начать с документа:

NetApp PowerShell Survival Guide

PowerShell необходимой версии 2.0 включен в поставку Windows Server 2008 и 2008 R2, и Windows 7, а также может быть скачан и установлен на Server 2003 и XP.

Обратите, однако, внимание, что PowerShell недоступен для версии 2008 Core (но есть в 2008 R2 Core), то есть для Windows 2008 Server без GUI, хотя как раз логично было бы именно там увидеть PowerShell. Однако –  для 2008 Core PS нет. Почему это так, если в двух словах, это это связано с рядом внутренних архитектурных возможностей, которые из 2008 были “выпилены” за компанию вместе с GUI, но которые необходимы для работы PS.

Ссылка для скачивания (требуется логин в communities) библиотеки DataONTAP для PS:
http://communities.netapp.com/docs/DOC-6138

Ссылка не требующая логина, на версию этой библиотеки, скачанной мною 11.02.2011:
http://www.divshare.com/direct/14030272-955.zip

fpolicy – простая блокировка файлов по расширению в NAS

Если вы используете систему NetApp как NAS, то есть как файловое хранилище по протоколу CIFS, то вы можете настроить в ней несложную блокировку нежелательных файлов по расширению (это конечно не сработает при смене расширения, но уже само по себе хоть что-то). Механизм этот назывется fpolicy и описан в документации.

filer> fpolicy create Media screen
File policy Media created successfully.
filer> fpolicy ext inc set Media .mp3
filer> fpolicy monitor set Media -p cifs -f create,rename
filer> fpolicy options Media required on
filer> fpolicy enable Media -f
Thu Feb 10 14:12:52 CST [hounas04: fpolicy.fscreen.enable:info]: FPOLICY: File policy Media (file screening) is enabled.
File policy Media (file screening) is enabled.
filer>

Не забудьте также отдельно включить fpolicy в целом, установив соответствующую опцию системных настроек

filer> options fpolicy.enable on

Далее можно посмотреть на установленные параметры и статистику работы.

filer> fpolicy show Media

File policy Media (file screening) is enabled.

No file policy servers are registered with the filer.

Operations monitored:
File create,File rename
Above operations are monitored for CIFS only

List of extensions to screen:
.MP3

List of extensions not to screen:
Extensions-not-to-screen list is empty.

Number of requests screened          :  0
Number of screen failures            :  0
Number of requests blocked locally   :  0

Правда ли что производительность хранилища NetApp падает со временем из-за фрагментации?

Несколько слов по поводу того, что пост этот случайно появился в понедельник, а затем исчез из блога. Как вы догадываетесь, я не в 8 утра в понедельник пишу посты, они у меня обычно написаны в некотором количестве впрок, обычно на месяц вперед, с “автопостилкой”, которая их “раскрывает” по мере наступления соответствующего дня и времени. Случайно оно взглючило и расскринился пост за четверг. Так что не надо conspiracy theory привлекать, это просто глюки базы блога. Вот вам этот текст, раз уж он все равно в rss-ленту для многих утек.

Любопытный эксперимент провел John Fullbright отвечая на вопрос, являющийся, пожалуй, второй по популярности темой FUD наших конкурентов: “Производительность NetApp (якобы) падает с течением времени, из-за увеличения фрагментации WAFL на дисках, при постоянной случайной записи”.

У него дома стоит сравнительно небольшая система “позапрошлого” поколения – FAS3050, с двумя полками дисков SATA 320GB 5400RPM, которую он использует под домашнюю лабораторию для хранения виртуальных машин MS Hyper-V.

Система эта, к слову, имеет свой собственный твиттер, и пишет туда, с помощью скрипта на Powershell, новости своей жизни :)

Вот каковы были исходные данные:

The Test Platform:

  • FAS3050
  • ONTAP 7.3.4
  • (2) DS14MK2-AT drive shelves – dual looped
  • (28) 320GB Maxtor MaxLine II 5400RPM SATA drives
    • Storage for Checksums ~8%
    • Right-sized (for hot-swap) = ~2% across the industry
    • WAFL Formatted = 26.8 GB per drive (reserved for storage virtualization)
    • 11ms average seek time
    • 2MB buffer
    • Internal data rate 44MBps
    • Drive transfer rate of 133 MBps
  • Storage Efficiency/Virtualization Technologies Employed:
    • Volume-level Deduplication
    • Thin Provisioning
    • RAID-DP
  • RAID-DP RG size = 24
  • Tuning options:
    • optimize_write_once = off
    • read_reallocate = on

??з 28 имеющихся дисков, на 3 расположен root volume, 1 диск hot spare, остальные 24 целиком собраны в одну группу RAID-DP, на которой расположен один aggregate.

Общая usable space системы равна 5,18TB (5.18 TB = 5304 GB = 22 drives * 241.2 GB). Кроме тестовых данных на системе расположены 26 виртуальных машин Hyper-V (показатели дедупликации для данного тома – 78%), а также шара CIFS с образами ISO.

Для теста на пространстве хранения было создано 3 LUN по 1,5TB размером каждый, которые по iSCSI были подключены к трем виртуальным машинам, с запущеным на них IOmeter Dynamo.
Таким образом, пространство хранения системы было заполнено тестировочными LUN-ами примерно на 88%.

В IOmeter был конфигурирован тестовый паттерн с 100% random write блоками по 4KB (также было выставлено выравнивание по границе 4KB, о нужности и смысле чего я писал ранее).
Для тестирования были сконфигурированы три workers, каждый на своей виртуальной машине.

6a00d8341ca27e53ef0148c8700c6b970c-800wi

Каждый worker создал на своем LUN тестовый файл на всю его длину.
Тестирование продолжалось 240 часов (10 суток) для того, чтобы гарантировать полную многократную перезапись содержимого тестового файла.

Спустя 15 часов после начала теста IOmeter демонстрировал следующие результаты:

6a00d8341ca27e53ef0148c87010dd970c-800wi

Вы видите показатель производительности, равный 11248 IOPS при 4,2ms latency.
Довольно неплохо для 24 дисков SATA.

Спустя 60 часов:

6a00d8341ca27e53ef0148c8701996970c-800wi

Результат вырос до 12063 IOPS, а latency незначительно снизилась до 3,97ms.

На протяжении 10 дней тестирования на 4,5TB суммарного объема трех LUN было записано примерно 36TB тестового потока данных. В ходе тестирования был зарегистрирован рост показателя IOPS на 18% при незначительных изменениях latency в районе 4ms.

Общая картина изменений IOPS в ходе тестирования:

6a00d8341ca27e53ef0148c87024dd970c-800wi

По вертикали – IOPS, по горизонтали – часы. В дальнейшем, до конца тестирования, показатели не менялись.

UPD: Также упомяну, что еще в 2008-м году NetApp публиковала в SPC-1 результат 48-hours Sustainability Test системы FAS3040. Результаты и описание можно посмотреть на сайте SPC и по приведенной ссылке на PDF.

FAS2020 – распродажа 2011, УТОЧНЕН??Я!

К сожалению в деталях вчерашнего объявления конфигураций комплектов оказались по моей вине неверные (старые) данные. Действительные данные стартовавшей распродажи указаны ниже. Красным цветов выделены отличия от объявлнных вчера.

  1. 1 контроллер, 6 дисков 1TB SATA.
  2. 1 контроллер, 12 дисков 2TB SATA.
  3. 2 контроллера, 12 дисков 1TB SATA, Windows Bundle, подписка на ПО 36 месяцев
  4. 2 контроллера, 12 дисков 450GB SAS 15К, Windows Bundle, подписка на ПО 36 месяцев.
  5. 2 контроллера, 12 дисков 600GB SAS 15К, Complete Bundle, подписка на ПО 36 месяцев

Как видите, все изменения в “лучшую сторону”: бОльшие диски, больше софта в комплекте 5 (Complete Bundle это вообще все что для данной системы имеется, такой ultra all inclusive), больше срок подписки.

Остальное, кроме конфигураций, действительно из предыдущего поста.

Вынесу из комментариев для лучшей заметности:
Со всеми системами 2020 идет некий Base Pack лицензий и возможностей, который есть всегда. А на верхние варианты - плюс к Base добавляется еще Windows Bundle или Complete Bundle.
В Base входит:
* Все протоколы (FC, iSCSI, CIFS, NFS)
* Дедупликация и Nearstore (для D2D Backup)
* Снэпшоты
* Thin Provisioning
* SyncMirror (синхронная репликация на другой NetApp или локально на другой том того же)
* Operations Manager (лицензия на софт управления)

В Windows Bundle входит содержимое трех других Pack: Foundation, Protection и Application Packs:
* SnapRestore
* SnapVault Primary
* Provisioning Manager (ПО)
* NetApp DSM для MPIO
* SnapDrive
* SnapManager для всех продуктов
* SnapMirror
* SnapVault Secondary
* Protection Manager

В Complete ко всему перечисленному еще добавляется содержимое Advanced Pack
* FlexClone
* MultiStore
* SnapLock

FAS2020 – распродажа 2011

??так, в ноябре я рассказал вам о многообещающих новинках этого года в модельном ряду NetApp, моделях серий FAS3200/6200, а сегодня скажу, наоборот, о "старой-доброй" системе FAS2020, и вот почему.

Дело в том, что, как это уже бывало у NetApp, с выходом обновления модельного ряда, начинается распродажа "моделей старой коллекции", и это реальная возможность купить NetApp пусть и не bleeding edge, но вполне работоспособный и функциональный для ваших задач, к тому же по весьма привлекательной цене.
(Я эти цены видел, они вполне человеческие, то только я их вам не скажу, “потому что у вас документов нет”. Это бизнес партнеров, спрашивайте. Если они не пожадничают, то цены порадуют и вас).

На этот раз у партнеров NetApp в России появилась программа продаж со специальными ценами для покупателей самой младшей модели линейки FAS - NetApp FAS2020.

FAS2020-cover

Кто конкуренты у FAS2020 и какие следует отметить достоинства и недостатки?

NetApp FAS2020 это младшая система линейки хранилищ FAS - Fabric Attached Storage. Несмотря на то, что FAS2020 это самая младшая система линейки, архитектура линейки такова, что даже самая младшая модель имеет полный функционал, присущий более старшим системам. Это является их большим плюсом. ??з имеющихся минусов, ну кроме того, что это все же слабейшая из всех NetApp, следует назвать отсутствие поддержки Data ONTAP 8 для этой модели (что связано с недостаточным для работы G8 объемом памяти в контроллере) и отсуствие возможности подключения полок SAS, так как порты SAS на контроллере отсутствуют, а карту расширения вставить некуда.
В слчае необходимости дальнейшего роста, у вас остается вариант апгрейдить FAS2020 в FAS2040, путем замены контроллера в корпусе, с сохранением данных и конфгурации, что даст вам недостающее – производительность, поддержку Data ONTAP 8 и полок SAS.

Также обязательно перед заказом обратите внимание на получающуюся емкость usable space. Напомню, что диски, которые принято называть “на один терабайт” на самом деле имеют емкость примерно 847 гигабайт (в “правильном” исчислении, минус Zone Checksum), минус RAID parity, минус WAFL overhead, и ряд прочих накладных расходов системы. Поэтому рачитывать, что купив двухконтроллерную систему с 12 дисками “на 1TB”, будет неосмотрительно предполагать, что вы получите 12TB пространства для ваших данных. Вы получите примерно 6TB (то есть ровно столько же, как у RAID-10 систем наших конкурентов). Однако позже сможете часть из них вернуть за счет дедупликации, снэпшотов и thin provisioning (чего, кстати, не сможете сделать с RAID-10 системами наших конкурентов).
Читайте подробнее тут, тут, тут и тут.

FAS2020 конкурирует со следующими продуктами:

  • EMC AX4 и Celerra NX4, а также отчасти продукты семейства Iomega
  • HP MSA2000
  • Dell MDS3000/6000
  • HDS SMS100
  • IBM DS3300/3400

Если у вас в планах стоит покупка каких-то из этих систем, то рекомендую обратить внимание и на NetApp, ему есть что вам предложить.

По "распродажным" ценам предлагаются 5 преконфигурированных комплектов:

  1. 1 контроллер и 6 дисков SATA 1TB
    Минимальная модель. Основная задача - организация файлового хранилища некритичных файлов и хранилище резервных копий на локальном или удаленном сайте.
  2. 1 контроллер и 12 дисков SATA 2TB
    Более емкое файловое хранилище с невысокими требованиями по быстродействию (диски SATA), для некластеризованной конфигурации серверов приложений. Более емкое хранилище резервных копий и реплицированных данных на резервном сайте, в том числе, например, для более мощной "основной" системы NetApp.
  3. 2 контроллера и 12 дисков SATA 1TB, плюс Windows pack лицензий, с поддержкой обновления Software Subscription на 36 месяцев.
    Надежное (два независимых контроллера доступа в кластере) хранилище для виртуальной инфраструктуры с невысоким требованиями по производительности, незагруженные базы данных, хранилище почтовой системы компании, и т.д. Консолидированное хранилище с доступом серверов по iSCSI или FC. Надежный файловый сервис с интеграцией в домен ActiveDirectory.
  4. 2 контроллера и 12 дисков SAS 450GB, плюс Windows bundle лицензий, с поддержкой обновления Software Subscription на 36 месяцев.
    Отказоустойчивая система хранения под виртуальную инфраструктуру на базе Vmware ESX, MS Hyper-V, Citrix Xen. Хранилище под базу данных (MS SQL, MySQL, PostgreSQL) с защитой данных снэпшотами. Хранилище почтовой базы Exchange. Консолидированное SAN-хранилище начального уровня.
  5. 2 контроллера и 12 дисков SAS 600GB, плюс Complete bundle лицензий, с поддержкой обновления Software Subscription на 36 месяцев.
    То же что выше, с бОльшим доступным объемом хранения.

Преконфигурированы они просто для упрощения продаж (и минимизации проблем у продажников и пользователей), но это вовсе НЕ означает невозможности их дальнейшего расширения. Любая из перечисленных систем может быть расширена как аппаратно (например дисками и полками), так и программно (дополнительными лицензиями).
Кстати, сдам "инсайд", на полки расширения, купленные вместе с этими бандлами, также можно претендовать на скидки значительно больше обычного. ;)

Во все комплекты входят SFP для портов FC, стандартные оптические кабели, "рельсы" для установки в 19-дюймовый шкаф. Все системы будут продаваться “со склада в Москве”, с минимальными сроками поставки (еще один плюс преконфигуренных бандлов). Все системы обеспечиваются hardware warranty на 3 года, с доставкой запчастей по месту установки системы, в столичном регионе - Next Business Day, в отдаленных - Best Available Flight (ближайшим до вашего города самолетом), с растаможенного склада запчастей в Москве и Петербурге. Доставку осуществляет компания UPS.

Для указанных комплектов 3, 4 и 5 включена годичная подписка на обновления и вендорскую техподдержку. В течение этого года вы можете обновить любой входящий в поставку софт на его новые версии, а также открывать кейсы в техподдержке NetApp для разрешения ваших проблем при эксплуатации.

Напоминаю о том, что стандартно для всех FAS2020 в базовом функционале идут все протоколы доступа (FC и iSCSI, CIFS и NFS, одновременно),  блочная дедупликация, thin provisioning, Snapshots, что заметно отличается от обычно весьма бедного функционала и комплектации entry-level систем конкурентов.

За дополнительные деньги к любой конфигурации можно получить ПО SnapManager, которое обеспечивает защиту данных путем создания консистентных (логически целостных) "снэпшотов" данных таких приложений, как MS Exchange, MS SQL Server, MS Sharepoint, Oracle, VMware ESX и MS Hyper-V (уже включен в Windows Bundle систем конфигураций 4 и 5).

Кроме того, доступны средства обеспечения синхронной и асинхронной репликации по IP-сети (SnapMirror), для обеспечения надежного удаленного хранения копий данных на "запасной" площадке, а также организации резервного копирования.

Каковы же показатели производительности такой системы? Для того, чтобы ответить на этот вопрос, надо, прежде всего, строго описать характер нагрузки, а также конфигурацию системы, так как не секрет, что от этого сильно зависят и показатели производительности.

Так, например, протестированный FAS2020 был сконфигурирован с 16 LUN-ами по 8GB каждый, на общем томе FlexVol, лежащим на 24 дисках SAS/FC 15KRPM (12 SAS + 14 FC), для доступа к данным со стороны хоста-load generator под Linux использовались два порта 4GB, по одному на каждом контроллере HA-пары (к второму была подключена полка расширения на 14 дисков).

Для генерации трафика использовалась утилита SIO, обеспечивающая генерацию с заданными пользователем параметрами: размер блока - 8KB, 70% random, read/write=40/60.

При указанных условиях, система FAS2020 достигла показателей в 6000 IOPS при характере нагрузки близком к OLTP database или типовой VM.

Таким образом, требованиям небольших задач, типа описанных выше, такие небольшие системы вполне удовлетворяют, а с учетом богатого встроенного, или бесплатного функционала, совместимостью с более старшими системами линейки, и перспективами апгрейда, системы FAS2020 вполне достойны вашего внимания.

UPD: ??справлены (выделены красным) неверно указанные параметры конфигураций систем в первой версии поста. Всего стало значительно больше (за те же деньги ;).

Про рынок

На интересный факт обратили на днях внимание. Оказывается сегодня Market Cap (“Рыночная капитализация” по-русски), у EMC, если отнять из нее Market Cap VMware, уже меньше, чем у NetApp. При этом NetApp – это, по сути, “вендор одного продукта”, в отличие от “коллекции” EMC, где Symmetrix, Clariion, Celerra, Data Domain, Isilon, Iomega, Avamar, Centera,  etc, etc.

А вот так выглядят темпы роста бизнеса компаний за два года.

EMC-vs-NTAP

??сточник: Google

Ничего удивительного, что EMC так нервно реагирует на всякое упоминание слова “NetApp”. ;)

…А про VNX я вам напишу подробнее, когда уляжется поднятая устроенными вокруг него “танцами” пыль, и будет яснее видно детали, ну и когда я таки соберусь дочитать разные технические подробности по продукту, как “за”, так и “против”.

Техническая археология

Когда-то, на диске, который нам раздавали на учебных курсах, обнаружилась папка с фотографиями разнообразных “древностей” производства NetApp. ?? тогда же я делал пост в этом блоге, опубликовав эти фото. К сожалению, те фотографии погибли вместе со всеми фото и картинками первой версии этого блога, а найти тот диск и эту коллекцию я не могу.

Однако в интернете я нашел тоже интересные снимки “исторических” систем.

Вот, например, опубликовавший снимок утвеждает, что на фотографии – хранилище для первой версии Yahoo Mail, в 1998 году, на файлерах F630 (5 контроллеров в дальнем ряду).

NetApp1998

Две системы в ближних стойках – серия F700.

Вот тут более крупным планом аналогичные системы “проекта Годзилла”, вышедшие в 96-97 годах:

Внутри – процессоры DEC Alpha AXP 21164 500MHz, 512Mb RAM, 32Mb NVRAM, 4328 SPECsfs
Видны также “старые” UW-SCSI дисковые полки на 6 дисков каждая.

А вот, например, самая ранняя, из запечатленных на фото – F230 (1997 год), как я понимаю тот самый “проект Бэмби”, о котором упоминает Хитц в своей книге.

F230

Внутри – 90Mhz Pentium I, 256Mb RAM, 8Mb NVRAM и 1610 SPECsfs

LUN на NetApp это НЕ “просто файл”!

Я уже рассказывал в этом блоге отчего, несмотря на то, что на хранилище NetApp вы видите LUN, то есть объект SAN-сети, как “файл”, лежащий на пространстве тома, LUN в NetApp делаются совсем НЕ через “эмуляцию поверх файловой системы”. Однако такая любопытная “оптическая иллюзия” с видимостью LUN-а как файла, часто приводит к определенным (к сожалению распространенным) ошибкам понимания, в частности к соблазну “сбэкапить” такой LUN как файл.

Так вот, обратите внимание, что из того факта, что на “зашаренном” volume вы видите LUN-ы на нем созданные как файлы, не следует, что “LUN-ы это файлы”.

Если вы, допустим, бэкапите такие LUN-ы, то бэкапить их надо ТОЛЬКО как содержимое volume, то есть от “корня”, вместе с томом, либо с qtree, если последний используется. ??наче вы потеряете при таком копировании metadata (они хранятся внутри volume), определяющие внутри NetApp LUN именно как LUN, и не сможете восстановить его на прежнее место как LUN, то есть как устройство с блочным доступом.

То есть, для бэкапа содержимого LUN, например это LUN01, лежащий на томе vol1,  недостаточно просто скопировать “файл”, лежащий по адресу //filer1/vol1/LUN01, нужно копировать целиком vol1!

Аналогична ситуация и с восстановлением. Восстанавливать надо том вместе со всеми LUN-ами на нем, а не просто отдельный “файл” LUN-а, так как, в противном случае, не будут востановлены специфические метаданные SAN-объекта.

То есть, если вы сбэкапили LUN, а затем восстановили, и не можете смонтировать его как LUN, а видите его как “просто большой файл”, то это вот тот самый случай.

Разумеется, все изложенное выше касается только “бэкапа со стороны стораджа” (например по NDMP), а не бэкапа “изнутри” OS, работающей с данным, смонтированным на нее LUN-ом, как своей файловой системой.

Еще читать: https://now.netapp.com/Knowledgebase/solutionarea.asp?id=kb37566

Михаил Михеев - Администрирование VMware vSphere 4.1

Уважаемые посетители, кто приходят с поисковиков в поисках книги “Администрирование VMware vSphere 4.1” Михаила Михеева.
Я понимаю, что вы ищете. Нет. Здесь негде скачать эту книгу. ?? не будет никогда.
Пойдите и потратьте 400 рублей на ее покупку.
Это вам вполне по силам и по карману.
Во-первых это хорошая книга, лучшая из написанных на эту тему на русском языке.
Во-вторых - иметь таку книгу в руках “в бумаге” это удобнее в работе, чем слепые и кривые PDF-сканы.
В третьих, наконец, купив книгу вы стимлируете издательство и автора издать следующую книгу этой тематики.
Вот вам все возможные места, где ее можно купить в интернете:

Озон
Альянс-книга
Spinter
Библио-глобус
Biblio-globus.us

Обратите внимание, что вышло второе, исправленное и дополненное издание, которое внешне, на магазинной полке, отличается от первого цветом обложки. Первое издание имело обложку в зеленых тонах, второе - в синих.

Mихаил Михеев Администрирование VMware vSphere 4.1