about NetApp

На днях вышла новая версия относительно нового продукта NetApp - системы flash-кэширования данных непосредственно на хост-сервере виртуальных машин - Flash Accel. Если вы следите за этим продуктом, то должны помнить, что это бесплатный для клиентов NetApp программный продукт (это НЕ код Data ONTAP, и он работает НЕ внутри стораджей NetApp, а устанавливается на хост-сервер VMware vSphere). Flash Accel постепенно обрастает функциональностью, и ему стоит поторопиться, так как на рынок локального SSD-кэщирования выходят разнообразные игроки, в том числе и сам VMware со своим vSAN vFlash.

В новой версии, доступной для бесплатного скачивания клиентам NetApp с обычного места получения нетапповского софта, появилось:

• Поддерживается до 4TB SSD-кэша на сервер
• Поддерживается sTEC SSD PCI-e
• Наконец поддерживается Windows Server 2012 и 2012 R2, а также vSphere 5.5
• Поддерживается Windows Server baremetal caching (2008 R2, 2012, 2012 R2) для FC и iSCSI.
• Существенно уменьшился объем занимаемый FlashAccel в физической памяти хоста. Например для v1.2.0 он был равен 0,006GB физической памяти хоста на каждый его гигабайт памяти, плюс 0,006GB памяти VM на каждый гигабайт используемого SSD-кэша, то в этой версии эта величина снизилась почти вдвое, до 0,0035GB.
• Увеличился также размер блока кэша по умолчанию, с 4 до 8 KB.

Если вы еще не запутались окончательно в многочисленных Flash-что-то у NetApp, то вы помните, для тех же, кто запутался - вкратце:
Flash Cache - плата с микросхемами flash memory, устанавливаемая внутрь контроллера на его внутреннюю шину PCIe, и НЕ являющаяся SSD. Обрабатывает только чтение, используя write-акселерацию WAFL для ускорения записи.
Я бы хотел специально отметить, так как многие на это не обращают внимание: именно так, в два слова с большой буквы, потому что flashcache это совсем другой продукт, это опенсорсный проект кэша приложений на flash-памяти, разработанный в Facebook.
Flash Pool - ранее назывался Hybrid Pool, расширение структуры aggregate, позволяющее включать в него SSD (в виде дисков в полках) для еще одного варианта кэширования операций. Работает и на чтение, и на запись. Может работать на одной системе в Flash Cache, расширяя его.
Flash Accel - то, о чем я пишу сегодня. Бесплатная для клиентов NetApp программная система, которая устанавливается на стороне сервера, и позволяет использовать установленные на сервере SSD или платы с flash на PCIe, как локальный кэш на стороне этого сервера. Ориентирована она, прежде всего, на работу с гипервизором VMware ESXi.

Flash Accel позволяет улучшить производительность системы, сняв часть операций ввода-вывода с backend стораджа, что заметно и положительно сказывается на производительности VM.
Он обеспечивает "когерентность" данных между локальным кэшем сервера в flash/SSD и содержимым сетевого хранилища.
Независим от используемых в сервере SSD и плат flash на PCIe.
Позволяет сохранять кэш при перезагрузке системы хранения.
Обеспечивает передачу записей в сетевой сторадж, тем самым обеспечивая целостность данных
Работает как с 7-mode, так и Clustered Data ONTAP.

На прошлой неделе вышла новая версия этого продукта - Flash Accel 1.2, и вот что в ней нового:

• Поддерживается VMware vSphere 5.1.
• VM, использующие Flash Accel, теперь могут использовать vMotion и VMware HA.
• Поддерживатся iSCSI LUN-ы, смонтированные в гостевой OS.
• Поддерживается работа с ASUP (AutoSupport).
• Улучшена работа FMC (Flash Accel Management Console).
• Поддерживаются FusionIO ioDrive card.
• Управляется через VSC 4.2 (Virtual Storage Console).
• Появился импорт и экспорт конфигураций.
• Сохраняется лог консоли.

Схема работы и устройства Flash Accel:

Как вы видите, решение состоит из нескольких основных частей. Это:

Flash Accel Host Agent, устанавливаемый на ESXi как VIB, и обеспечивающий управление локально установленными SSD в физическом сервере. Он создает виртуальное логическое устройство, представленное для ESXi как SCSI-устройство. Будучи созданным на нескольких хостах, оно имеет одинаковый WWN, что позволяет гипервизору со своей стороны трактовать его как единое и совместно используемое, и это позволяет использующим его виртуальным машинам работать в vMotion и VMware HA. На одном хосте вы можете кэшировать до 32 VM.

Flash Accel Agent для VM (Windows), в настоящий момент, к сожалению, есть только для Windows Server 2008 R2, поддержка Linux обещана. Этот компонент необходим для включения-выключения кэширования этой VM, добавляет возможности управления с помошью командлетов PowerShell, коммуницирует с Flash Accel Management Console (FMC), и позволяет интегрироваться Flash Accel в SnapDrive и SnapManager.

Flash Accel Management Console (FMC) – это виртуальный appliance, который ставится в среде vSphere, и позволяет управлять всей конструкцией Flash Accel в целом.

Подробнее про работу FMC можно посмотреть на скринкасте:
https://communities.netapp.com/videos/3416

Flash Accel был протестирован на задачах вида OLTP, и показал, что может снять с системы хранения в локальный SSD-кэш до 80% запросов ввода-вывода сервера, после развертывания Flash Accel загрузка системы хранения снизилась на 50%, кроме того, на 60% снизилась загрузка CPU системы хранения, в сравнении с использованием на ней одного только Flash Cache.

На днях NetApp довел до коммерческого использования и выкатил в паблик фишку, которой давно занимался на уровне исследований и перспективных разработок: Flash Accel.
Это софтовая реализация идеи создания и использования кэш-памяти во flash на стороне хост-сервера. В прошлом году я уже немного упоминал о этой штуке, в связи опубликованным Advanced Technology Group, подразделением NetApp, разрабатывающем перспективные направления и идеи, на конференции USENIX FAST’11 докладом о Project Mercury.

Вкратце о том, что это и зачем.
Если о кэшировании во flash на стороне стораджа слышали уже наверное все, и многие уже даже это успешно применяют, то вариант кэшировать обращения к данным поближе к собственно работающим с этими данными процессорам, а не на другой стороне длинного “провода”, сперва кажется еще более интересным, производительным и многообещающим. Но тут же возникает масса вопросов.
Как управлять этим кэшированием? Как обеспечить “когерентность” кэшей между хост-системой и системой хранения, и между данными в таком кэше и данными, хранимыми на дисках системы хранения? Что делать в случае миграции данных между хост-серверами, например при использовании средств High Availability и кластеризации? Наконец, как быть в случае перезагрузки или “падения” сервера с данными в его локальном кэше?

Многие вендоры систем хранения сейчас занимаются этим направлением, это и EMC, и Dell, и, конечно NetApp, в концепцию Virtual Storage Tiering (VST) которого такая схема ложится как нельзя лучше. Так что появление релиза было в даном случае вопросом времени, я уверен, что остальные вендоры быстро подтянутся.

Пока же кратко о Flash Accel, самое важное:

1. Это полностью программная реализация, поддерживающая VMware ESX и MS Windows 2003/2008, которая работает с любым сторонним продуктом, с любой flash-картой PCIe (Например от FusionIO или LSI), а также и с SSD-диском в сервере, вариантом, становящимся сейчас очень распространенным.
2. Это открытая реализация, она не ограничивает пользователя какими-то определенными вендорами flash-устройств, и не требует для своего использования какого-то железного продукта от самого NetApp. ??нтеграция с Flash Accel каких-то дополнительных сторонних продуктов это открытая “экосистема”, сейчас, например, NetApp объявил о партнерстве с FusionIO, и рядом других вендоров (LSI, Virident).
3. В настоящий момент эта фишка явственно нацелена, в первую очередь, на область систем серверной виртуализации, на интеграцию с хост-серверами виртуальных машин (например VMware vSphere: поддерживаются HA, vMotion, DRS).
4. Поддерживается до 2TB кэша flash на хост, с примерно 0,5% оверхедом по памяти для сервера.
5. В публичную доступность Flash Accel выйдет в декабре этого года.
6. Flash Accel объявлен бесплатным продуктом.

Несомненно, Flash Accel не является продуктом “сам по себе”, а будет интегрирован в общую концепцию NetApp Virtual Storage Tier (VST), вместе с Flash Cache и Flash Pool, решениями кэширования на стороне стораджа, и позволит, своим применением, еще улучшить ситуацию с latency и производительностью по IOPS для виртуальных машин.