Posts tagged ‘flash’

NetApp AFF: All-Flash FAS. Комментарии специалиста.

Автор блога NTAPgeek расспросил Ника Триантоса, одного из ведущих инженеров NetApp, по поводу All-Flash FAS систем, стоящих за ними технических решений, и чем AFF отличается от других flash-стораджей, в том числе и тех, что производит сам NetApp, например уже известного вам EF550.

Ник говорит:

“Наибольшая проблема для нас была не в том, как WAFL пишет; на деле это как раз большой плюс архитектуры. Основные проблемы и задачи при разработке были:

Оптимизация под многоядерные процессоры – Долгое время Data ONTAP не умела эффективно использовать многоядерность процессоров. Проект по проведению оптимизации под многоядерность стартовал с версии 7.3 и продолжался вплоть до релиза Data ONTAP 8. Я уверен, что вам доводилось видеть ситуацию, когда один CPU работает с загрузкой 90% и другой - на 20%! Если нагрузка упирается на уровне ONTAP domain, который должен выплняться на одном единственном ядре, то возникает узкое место для роста производительности. ?? при этом неважно, что другие ядра были недозагружены. Эта задача была, в итоге, решена.

Управление метаданными – Когда вы используете маленькие блоки данных, например у NetApp это 4K, то при этом вы получаете множество метаданых, которыми нужно управлять. Для того, чтобы получить максимально быстрый доступ к даным, вам нужно сперва максимально быстро получить доступ к их метаданным. А где быстрее всего доступ к метаданым? В оперативной памяти. Вот почему мы используем так много оперативной памяти на контроллерах серий FAS2500 и FAS8000; мы стараемся как можно больше метаданных при работе держать в быстрой памяти контроллера.

Защита данных – Это связано с темой выше. Системы AFF имеют больше возможностей по защите данных, чем любая другая система c flash (и, кстати, не только flash) на сегодняшнем рынке. Хотя это и полезная штука, есть определенные недостатки. Недостатки состоят в более динных путях ввода-вывода, так как метаданные размещаются и валидируются отдельно от блоков данных.
Как вы защищаетесь от lost writes? Что случится, если вы торговая компания, и на вашей системе хранения SSD сказал, что данные записаны, а на деле он их не записал, или записал не так или не туда? Вы рискуете огромными финансовыми потерями. Data ONTAP не только обнаруживает такие ситуации, но и защищает, а также помогает восстановить данные, испорченые в результате lost writes (это крайне коварная проблема).”

Потерянные операции записи, или “Lost writes”, это редкая, но при этом очень трудно обнаруживаемая ошибка, и самое плохое с ней то, что вы не знаете, что она уже произошла, и  обнаруживаете ее только дни или даже месяцы спустя. Но когда она случилась, она повреждает ваши данные! ?? тут можно только пожелать удачи вам, в поисках бэкапа, снэпшота или точки репликации, в котором эта ошибка еще не проявилась и данные еще не повреждены. Конечно же, любые фичи по зашите данных имеют свои побочные эффекты и недостатки.

Другими словами, хорошая скорость работы и устойчивость к отказам сразу двух дисков – недостаточны для того, чтобы считать, что ваши данные надежно защишены. В особенности, когда flash-хранилища используются для бизнес-критичных приложений. Вам следует проанализировать возможные ситуации отказов, и убедиться, что ваше хранилище устойчиво к ним, а данные - защищены. Более 20 лет мы совершенствеум и развиваем Data ONTAP, и достигли в ней очень высокого уровня надежности и устойчивости против всех видов отказов и различных их комбинаций.”

Напомним, бандлы NetApp AFF имеют:

  1. Больше памяти
    Больший объем кэша чтения-записи в FAS8000, что позволяет держать в нем больше метаданных
  2. Более быстрый NVRAM
    Быстрее отрабатываются ACK, как следствие – ниже отклик и задержки
  3. Значительно оптимизированную многоядерную эффективность OS
    Проводилась начиная с Data ONTAP 7.3
  4. Continuous Segment Size Cleaning (CSS)
    Переменный размер сегмента Data ONTAP  (4K-256K)
  5. ??нтеллектуальные алгоритмы упреждающего чтения, определяющие типовые паттерны операций:
    • Последовательное чтение с тем же (например 32k) и различными размерами блоков (4k,64k,4k,64k)
    • Скачущее (strided) чтение: Начнем с блока N и прочитаем, считая с него, блоки 10 и 12, но пропустим блок 11
    • Обратное чтение: Начнем с блока N, и прочитаем –10 блоков, считая от него
    • Несколько потоков чтения, читающих из разных точек

Бандлы NetApp AFF доступны к заказу с 23 июня 2014 года.

NetApp AFF: All-Flash FAS

??з всей троицы продуктов, появившихся у NetApp этим летом, а именно: FAS2500, FAS8080EX и NetApp AFF, совершенно неожиданно для меня именно последний стал предметом преткновения, пост про который я пишу уже вторую неделю. Если про FAS2500 я написал сразу, и там, в целом, все ясно по прочтении техспек и  Technical FAQ / SE Presentation, если c FAS8080ES тоже все ясно, это “больше, выше, сильнее”, вот, в общем, и все что про него можно рассказать, я даже отдельно про него писать не стану, то вот в отношении All-Flash FAS такая ясность долго не наступала. ?? далее я попробую рассказать, в чем, собствено, состоял предмет затруднения.

Continue reading ‘NetApp AFF: All-Flash FAS’ »

Новые SSD для E/EF-series

Постепенно происходит обновление для линейки SSD в системах серии E/EF.
Теперь это 24nm eMLC диски с двухпортовыми SAS контроллерами, емкостью 400GB, 800GB и 1,6TB.
Причем первых две емкости имеют толщину корпуса 7mm, а третий - 15mm.
Все три используют внутренний контроллер SSD Marvell TC58NC9036GTC.
Надежность по объему перезаписей нормирована по уровню: для модели 400GB - 7.3PB; для 800GB - 14.6PB; и для 1.6TB - 29.2PB, что примерно соответствует 10 перезаписям всего диска в день (Drive Writes Per Day, DWPD), и обеспечивается MTBF, равное 2 миллионам MTBF. К слову, это ВЫШЕ, чем для обычных HDD.
На диски предоставляется гарантия 3 года, с расширением до пяти лет, то есть как на любое другое “железо” дискового массива. При этом SANtricity предоставляет инструменты для контроля и анализа “износа” ячеек flash.

??нтересно, что для этих дисков поддерживается новый способ sanitization, то есть полной очистки данных с дисков перед тем как, например, отправлять из на замену по гарантии или списывать, чтобы гарантировать невозможность утечки данных стораджа. Дело в том, что на большинстве таких дисков записываемые данные на лету шифруются с помощью AES-256, и непосредствено на flash-чипах уже находятся в криптостойко-зашифрованном виде (это так даже для многих современных “бытовых” SSD, так как это функция контроллера). Обычно sanitization происходит путем неоднократной перезаписи секторов диска случайными данными, что отнимает много времени при проведении этой операции. Однако для SSD эту процедуру можно реализовать просто сменив ключ шифрования, что сделает все уже записанные данные недоступными для прочтения, и что может быть выполнено значительно быстрее, экономя время админа и стоража, если такая процедура требуется по соображениям информационной безопасности компании.

Flash и энергопотребление. Какова экономия в деньгах?

Коллеги из украинского дистрибутора (вы, кстати, обратили внимание на то, что у меня тут появился новый раздел - Дистрибуторы в Украине?) провели очень интересный подсчет того, сколько экономится денег на электропотреблении при использовании не дисковой, а диски+SSD/Flash Cache системы.
Ну то есть все мы знаем, что экономия, типа, есть, а вот во что эта экономия выливается в “деньгах”?
Оказывается экономия - весьма и весьма существенна, даже для пессимистически настроенных.
Посчитали просто две объявленных на SPEC SFS2008 конфигурации, о которых мы говорили раньше, то есть “чисто-HDD” FAS3250, и HDD+Flash Cache FAS8020, идущая ей на замену, и имеющая производительность даже чуть выше.
Оказывается, за три года эксплуатации, экономия на энергопотреблении составляет около 17 с половиной тысяч долларов, а за пять лет - около 30 тысяч долларов, при цене “за киловатт” - около 0,1-0,09$/kWh (для промышленных предприятий в Москве - так примерно и стоит, как я знаю.)

При этом следует помнить, что экономия также идет при охлаждении, за счет энергии, потребляемой кондиционерами, и в данном подсчете пока не учитывается, но тоже может составлять довольно существенную величину.

Следует также помнить, что экономия существенно растет с увеличением размеров системы по числу дисков, и если на небольших стораджах, типа 2240, она будет сравнительно невелика, то для больших систем, с несколькими полками дисков, она может выливаться в реальные десятки тысяч долларов.

Оценочное тестирование EF540 и E5460 NL-SAS+SSD

Небольшая аналитическая компания Demartek Lab провела недавно оценочное тестирование ряда технологий и продуктов NetApp, использующих Flash memory, в частности были протестированы и оценены all-flash storage EF540 и система хранения NetApp E5460 с дисками NL-SAS (SATA), дополненных SSD-кэшем (обратите внимание, кстати, что это результат для “предыдущего” поколения, а не для текущего, EF550 и E5500). В другом тесте был померян сравнительный результат Flash Accel и Flash Cache.

Так, например, было установлено, что на 100% random read EF540 с 24 дисками SSD на 800GB достиг результата в 330 000 IOPS при менее 1ms latency.

Не стоит сразу и безоговорочно верить любому такому тесту, но как источник данных “на подумать” - очень интересно.

Flash Accel v1.3.0

На днях вышла новая версия относительно нового продукта NetApp - системы flash-кэширования данных непосредственно на хост-сервере виртуальных машин - Flash Accel. Если вы следите за этим продуктом, то должны помнить, что это бесплатный для клиентов NetApp программный продукт (это НЕ код Data ONTAP, и он работает НЕ внутри стораджей NetApp, а устанавливается на хост-сервер VMware vSphere). Flash Accel постепенно обрастает функциональностью, и ему стоит поторопиться, так как на рынок локального SSD-кэщирования выходят разнообразные игроки, в том числе и сам VMware со своим vSAN vFlash.

В новой версии, доступной для бесплатного скачивания клиентам NetApp с обычного места получения нетапповского софта, появилось:

  • Поддерживается до 4TB SSD-кэша на сервер
  • Поддерживается sTEC SSD PCI-e
  • Наконец поддерживается Windows Server 2012 и 2012 R2, а также vSphere 5.5
  • Поддерживается Windows Server baremetal caching (2008 R2, 2012, 2012 R2) для FC и iSCSI.
  • Существенно уменьшился объем занимаемый FlashAccel в физической памяти хоста. Например для v1.2.0 он был равен 0,006GB физической памяти хоста на каждый его гигабайт памяти, плюс 0,006GB памяти VM на каждый гигабайт используемого SSD-кэша, то в этой версии эта величина снизилась почти вдвое, до 0,0035GB.
  • Увеличился также размер блока кэша по умолчанию, с 4 до 8 KB.

Насколько выгоден Flash Pool для системы класса FAS2200?

Flash Pool - это способ использовать установленные в систему хранения SSD в качестве кэша для операций записи и чтения. При этом они составляют с обычными жесткими дисками так называемый hybrid aggregate, и активные операции, как записи, так и чтения, могут эффективно кэшироваться на пространстве этих SSD, позволяя использовать все преимущества flash на обычных дисковых системах хранения.
Об этой технологии я писал в блоге не раз, однако за эти несколько лет, что Flash Pool доступен к использованию на системах хранения NetApp, у некоторых потенциальных клиентов NetApp Flash Pool сложилось мнение, что для полноценного, эффективного использования возможностей Flash Pool нужно иметь достаточно мощный контроллер сам по себе, и что широко распространенные и очень популярные контроллеры класса FAS2200 не дают существенной выгоды от использования Flash Pool, просто потому что “силенок у них его раскачать не хватает”.
Для того, чтобы раз и навсегда ответить на этот вопрос, аналитическая компания ESG провела по просьбе NetApp сравнительное тестирование двух систем:

1. FAS2240-2, c 48 2.5″ 900GB 10Krpm дисками SAS, с общей емкостью 42TB raw
2. FAS2240-4, c 32 3.5″ 2TB 7.2Krpm дисками SATA, плюс 4 дисками SSD 200GB, и общей емкостью 64TB raw

В качестве нагрузки были протестированы типовые нагрузки, характерные для:

1. OLTP database (100% random, 66/33 read/write, мелкими блоками, чувствительный к responce time) MS SQL Server 2010.
2. Нагрузка, характерная для Exchange Server (2010).
3. Нагрузка файлового сервера (переменные размеры блоков, большой объем работы с метаданными)

Физический сервер, на котором под VMware vSphere 5.1 были развернуты две тестовые VM (Windows Server 2008R2), и которые были подключены одним каналом 10G Ethernet к системе хранения по протоколам iSCSI и NFS. Все три рабочих нагрузки генерировались с помощью IOmeter на тестовых VM вперемешку, одновременно.

Результат (слева - all-SAS FAS2240-2, справа - FAS2240-4 (SATA +4xSSD):

Резюмируя же “в цифрах”:

Система с Flash Pool вида SATA+SSD, показала существенно лучшую производительность, чем точно такой же контроллер, но работающий с 48 SAS-дисками. Величина выигрыша была различной для разных профилей, но выигрыш был всегда. (максимально - 48% - на OLTP, минимально - 15% - на fileserver). Одновременно с этим на 31% улучшился responce time.
При этом система с Flash Pool имела на 48% больше емкости хранения, и, одновременно, была на 18% дешевле, чем система с SAS-дисками.

Цена за GB и на IOPS улучшилась, соответственно, на 45 и 40 процентов, а общая пропускная способность улучшилась на 34%, причем при использовании более медленных “по природе” дисков SATA.

Как вы видите, даже на таком, сравнительно слабом контроллере, как контроллер самой младшей не сегодня системы хранения NetApp FAS, результат использования Flash Pool является более чем впечатляющим.

Подробно о методике тестирования и деталях можно прочитать тут: http://www.esg-global.com/lab-reports/netapp-fas2200-series-with-flash-pool/

Вышел Flash Accel 1.2

Если вы еще не запутались окончательно в многочисленных Flash-что-то у NetApp, то вы помните, для тех же, кто запутался - вкратце:
Flash Cache - плата с микросхемами flash memory, устанавливаемая внутрь контроллера на его внутреннюю шину PCIe, и НЕ являющаяся SSD. Обрабатывает только чтение, используя write-акселерацию WAFL для ускорения записи.
Я бы хотел специально отметить, так как многие на это не обращают внимание: именно так, в два слова с большой буквы, потому что flashcache это совсем другой продукт, это опенсорсный проект кэша приложений на flash-памяти, разработанный в Facebook.
Flash Pool - ранее назывался Hybrid Pool, расширение структуры aggregate, позволяющее включать в него SSD (в виде дисков в полках) для еще одного варианта кэширования операций. Работает и на чтение, и на запись. Может работать на одной системе в Flash Cache, расширяя его.
Flash Accel - то, о чем я пишу сегодня. Бесплатная для клиентов NetApp программная система, которая устанавливается на стороне сервера, и позволяет использовать установленные на сервере SSD или платы с flash на PCIe, как локальный кэш на стороне этого сервера. Ориентирована она, прежде всего, на работу с гипервизором VMware ESXi.

Flash Accel позволяет улучшить производительность системы, сняв часть операций ввода-вывода с backend стораджа, что заметно и положительно сказывается на производительности VM.
Он обеспечивает "когерентность" данных между локальным кэшем сервера в flash/SSD и содержимым сетевого хранилища.
Независим от используемых в сервере SSD и плат flash на PCIe.
Позволяет сохранять кэш при перезагрузке системы хранения.
Обеспечивает передачу записей в сетевой сторадж, тем самым обеспечивая целостность данных
Работает как с 7-mode, так и Clustered Data ONTAP.

На прошлой неделе вышла новая версия этого продукта - Flash Accel 1.2, и вот что в ней нового:

  • Поддерживается VMware vSphere 5.1.
  • VM, использующие Flash Accel, теперь могут использовать vMotion и VMware HA.
  • Поддерживатся iSCSI LUN-ы, смонтированные в гостевой OS.
  • Поддерживается работа с ASUP (AutoSupport).
  • Улучшена работа FMC (Flash Accel Management Console).
  • Поддерживаются FusionIO ioDrive card.
  • Управляется через VSC 4.2 (Virtual Storage Console).
  • Появился импорт и экспорт конфигураций.
  • Сохраняется лог консоли.

Схема работы и устройства Flash Accel:

Как вы видите, решение состоит из нескольких основных частей. Это:

Flash Accel Host Agent, устанавливаемый на ESXi как VIB, и обеспечивающий управление локально установленными SSD в физическом сервере. Он создает виртуальное логическое устройство, представленное для ESXi как SCSI-устройство. Будучи созданным на нескольких хостах, оно имеет одинаковый WWN, что позволяет гипервизору со своей стороны трактовать его как единое и совместно используемое, и это позволяет использующим его виртуальным машинам работать в vMotion и VMware HA. На одном хосте вы можете кэшировать до 32 VM.

Flash Accel Agent для VM (Windows), в настоящий момент, к сожалению, есть только для Windows Server 2008 R2, поддержка Linux обещана. Этот компонент необходим для включения-выключения кэширования этой VM, добавляет возможности управления с помошью командлетов PowerShell, коммуницирует с Flash Accel Management Console (FMC), и позволяет интегрироваться Flash Accel в SnapDrive и SnapManager.

Flash Accel Management Console (FMC) – это виртуальный appliance, который ставится в среде vSphere, и позволяет управлять всей конструкцией Flash Accel в целом.

Подробнее про работу FMC можно посмотреть на скринкасте:
https://communities.netapp.com/videos/3416

Flash Accel был протестирован на задачах вида OLTP, и показал, что может снять с системы хранения в локальный SSD-кэш до 80% запросов ввода-вывода сервера, после развертывания Flash Accel загрузка системы хранения снизилась на 50%, кроме того, на 60% снизилась загрузка CPU системы хранения, в сравнении с использованием на ней одного только Flash Cache.

Опубликованы результаты теста OLTP Oracle RAC 11g на Flash Pool

Наконец-то опубликованы долгожданные результаты тестирования Flash Pool (гибридный aggregate с SSD в полке), показывающие эффект от его использования на задачах OLTP баз данных. Полностью отчет с описанием можно прочитать в соответствующем Technical Report, а для затравки просто картинка (а в отчете есть еще):

image

В работе также приводится подробное описание тестируемой конфигурации и настроек Oracle.

FlashRay

Следует отметить, что новости про flash прошлой недели показывают, что для NetApp это не просто “ну еще один all-flash сторадж, раз у всех есть”, налицо стратегическая линия. Одновременно с EF540 был анонсирован продукт, который пока не выпущен, но о котором, что, в общем, необычно для NetApp, уже рассказывается: FlashRay.

Если вы уже начинаете запутываться в том, что где и для чего у NetApp на flash-рынке предназначено, то давайте посмотрим на схему:

На ней вы видите позиционирование всех на сегодняший момент flash-продуктов NetApp: Flash Cache находится в контроллере, Flash Pool -  во “встроенном” хранилище самого NetApp, его часть, Flash Accel – софтверное решение внутри хост-серверов, использующая их внутренние SSD. EF450 – это standalone-сторадж, никак, архитектурно, не связанный с FAS. А вот что будет в этой картине мира делать анонсированный FlashRay?

FlashRay – это компонент развивающейся силами Clustered ONTAP (Data ONTAP 8 Cluster-mode) архитектуры scale-out, или, если по-русски, “горизонтального масштабирования. Напомню, что такое “горизонтальное” и “вертикальное” масштабирование.

Если вы переросли ваш сторадж,  и меняете его на более мощный – это “вертикальное масштабирование”. Если вы увеличиваете мощность имеющегося стораджа, добавляя непосредственно в имеющуюся инфраструктуру новый контроллер и диски, которые не образуют новую, более мощную “сущность”, а расширяя емкость и производительность уже имеющейся системы – это “горизонтальное масштабирование”. В NetApp “горизонтальное”, или scale-out (в отличие от scale-up, “вертикального”) масштабирование – это Cluster-mode.

Хорошо знакомые с номенклатурой NetApp могут увидеть в FlashRay наследника NetApp SA, специальных кэширующих систем, нацеленных на ускорение работы NFS. Такие системы, представляющие собой контроллер соответствующей системы хранения и небольшой объем дисков, подключенных к нему для хранения закэшированных данных, устанавливаются на пути между клиентским приложением на хост-сервере, и собственно хранилищем данных, и ускоряют доступ к часто обращаемым данным, как, например, в рассмотренном выше по ссылке кейсе.

В отличие от NetApp SA, согласно анонсу, FlashRay это будут all-flash устройства, ускоряющие доступ к бэкэнд-стораджу FAS, он будет поддерживать кластерность, многопротокольность (а не только NFS), inline-компрессию и inline-дедупликацию данных с переменной длинной блока (неужели пригодились-таки разработки для VTL в этой области?), и ряд других, более обычных для NetApp опций, включая репликацию и автобалансировку нагрузки в кластере FlashRay.

Таким образом, если после анонса EF540 вам показалось, что NetApp начала отходить от своей парадигмы “во flash выгоднее кэшировать, чем хранить”, то анонс FlashRay показывает, что концепция жива, здорова, и передает всем пламенный привет с нового уровня своего развития. Ждем более подробных новостей с техническими деталями.