about NetApp

Российскому рынку NetApp E-series знакомы, главным образом, через продукты IBM, так как бешено популярная не только в России IBM DS3512/3524 это как раз NetApp E-series прежего поколения, E2600. Но, так как сегодня IBM стал китайским переживает сложные времена, среди прочего, в ходе реорганизации, они отказались и от своей серии DS, в пользу типа более родной им Storwise V. Без сомнения, Storwise V – это прекрасные в своей области системы, но бывают случаи, когда нужны более простые и дешевые варианты.

NetApp E2700 – это классические блочные стораджи, которые можно использовать например как прямо-подключаемые хранилища (DAS) по протоколу SAS, или же используя SAS-коммутаторы, или установив в них HIC – Host Interface Card, включить в SAN по протоколам FC 8/16Gb или же iSCSI 10Gb. Они, конечно, лишены большинства интересных возможностей систем NetApp FAS, но они дешевы, и если вам требуется в чистом виде блочный DAS-сторадж, то E2712/2724/2760 это хороший вариант.

Так уж сложилось в нашей отрасли, что, по разным причинам, о которых я не буду еще раз рассказывать, компании-партнеры избегают называть цену для конечного покупателя. Часто такая позиция “конечника” раздражает, да, в общем, его позицию можно понять. Тем приметнее исключения их этого правила. Так, например, давний и надежный партнер NetApp в Петербурге, компания IT-Град, которая, к слову, не только “продаваны”, но и сертифицированный региональный сервис-партнер NetApp, а также облачный провайдер на платформе тех же стораджей NetApp, на своем сайте объявили промо-программу по продаже NetApp E2700 с твердыми, объявленными ценами.

Программа объявлена до 27 июля, и в ней предлагаются 6 фиксированых конфигураций E2712, с 12 дисками большой емкости (2 и 4 TB SATA), в двух- и одноконтроллерных вариантах, с разными вариантами интерфейсных модулей, как просто SAS 12Gb/s, так и FC 8Gb и iSCSI 10G, за крайне привлекательную для рынка цену.

Подробности и самый свежий вариант предложения и предлагаемых конфигураций –
на сайте IT-Град.

Постепенно происходит обновление для линейки SSD в системах серии E/EF.
Теперь это 24nm eMLC диски с двухпортовыми SAS контроллерами, емкостью 400GB, 800GB и 1,6TB.
Причем первых две емкости имеют толщину корпуса 7mm, а третий - 15mm.
Все три используют внутренний контроллер SSD Marvell TC58NC9036GTC.
Надежность по объему перезаписей нормирована по уровню: для модели 400GB - 7.3PB; для 800GB - 14.6PB; и для 1.6TB - 29.2PB, что примерно соответствует 10 перезаписям всего диска в день (Drive Writes Per Day, DWPD), и обеспечивается MTBF, равное 2 миллионам MTBF. К слову, это ВЫШЕ, чем для обычных HDD.
На диски предоставляется гарантия 3 года, с расширением до пяти лет, то есть как на любое другое “железо” дискового массива. При этом SANtricity предоставляет инструменты для контроля и анализа “износа” ячеек flash.

??нтересно, что для этих дисков поддерживается новый способ sanitization, то есть полной очистки данных с дисков перед тем как, например, отправлять из на замену по гарантии или списывать, чтобы гарантировать невозможность утечки данных стораджа. Дело в том, что на большинстве таких дисков записываемые данные на лету шифруются с помощью AES-256, и непосредствено на flash-чипах уже находятся в криптостойко-зашифрованном виде (это так даже для многих современных “бытовых” SSD, так как это функция контроллера). Обычно sanitization происходит путем неоднократной перезаписи секторов диска случайными данными, что отнимает много времени при проведении этой операции. Однако для SSD эту процедуру можно реализовать просто сменив ключ шифрования, что сделает все уже записанные данные недоступными для прочтения, и что может быть выполнено значительно быстрее, экономя время админа и стоража, если такая процедура требуется по соображениям информационной безопасности компании.

Как вы знаете (должны знать, по крайней мере), NetApp, вот уже третий год пошел, как владеет бизнесом, ранее принадлежавшем компании LSI/Engenio, и производившим системы хранения “классической блочной архитектуры” для различных OEM-клиентов. Таким образом сегодня NetApp это не только традиционные для него стораджи семейства FAS, то есть unified, NAS+SAN, WAFL-based стораджи “со снепшотами и дедупликацией”, о которых в этом блоге в основном и пишется, но также и “традиционные для рынка” блочные стораджи для FC и iSCSI, которые продает как сам, так и поставляет по OEM-контрактам. Так, например, хорошо знакомые российскому IT системы IBM DS3524 и Dell PowerVault MD3 - это как раз они и есть, NetApp E-series.

Некоторое замешательство вызвало в свое время появление такой, необычной для NetApp, линейки продуктов среди пользователей, как же так, мол, а что же FAS, неужели он теперь не хорош, и вы теперь от него отказываетесь и начинаете заниматься продуктом, всю дорогу с ними конкурирующим?

На самом деле те, кто с NetApp уже давно, они знают, что он, как компания, всегда действует в русле здорового прагматизма, без всякого “идеологического паладинства”, если есть направление, в котором можно заработать деньги - действует простое правило: пойди, дай то, что пользователь хочет, и возьми у пользователя за это его деньги, без всяких “фу, это же не настоящий Fibrechannel!” :). Так, в свое время, NetApp вдруг, неожиданно для всех, перестал заниматься только лишь NAS, и быстро сделал поддержку блочных протоколов SAN в своих системах хранения (оставаясь, впрочем, сторонником своей линии, что NAS есть более интеллектуальный и прогрессивный продукт, сегодня мы все видим, что так оно, во многом, и получилось, смотрите как развивается NAS-направление в виртуализации!).

Точно также получилось и с E-series. На рынке существует ниша, в которой многочисленные интеллектуальные преимущества FAS и Data ONTAP не слишком нужны, а нужна там высокая удельная емкость хранения, высокая линейная скорость записи-чтения, возможность DAS-подключения к серверам, поддержка только блочных протоколов, и так далее. Это, например, системы хранения потокового HD-видео от камер видеонаблюдения, это системы для обработки BigData, например под Apache Hadoop, и ряд других таких же нишевых, но очень деньгоемких систем и областей использования. Ну, вот, отчего не расширить туда присутствие на рынке?

Сперва стораджи E-series продавались только в OEM, потом понемногу NetApp начал производить их и продавать от своего имени, сперва в Америке, а теперь и “в канал”, в том числе и в России.

?? вот, на днях, в семействе E-series вышло большое обновление.
Во-первых, появилась новая линейка в нижнем сегменте, той, чем был тот самый IBM DS3524, он же NetApp E2600. Теперь ему на смену появился E2700.

В линейке будет выпущено три модели, это E2712, E2724 и E2760. Последние две цифры модели, как вы уже поняли, это число дисков в конструктиве. 2712 и 2724 это уже знакомые 2U на 12 и 24 диска 2,5″, а вот 2760 это новый для модели E2 конструктив, уже встречавшийся в семействе E5, это 4U с треями “магазинного” типа, на 60 дисков 3,5″ в корпусе, для “сверхплотных” применений.

Контроллеры E2700 оснащаются в базе портами SAS 12Gb/s, и поддерживают расширение с помощью Host Interface Cards (HIC) с портами FC 16G, iSCSI 10G, а также дополнительными портами SAS 12G.

Будут поддерживаться разные типы дисков: SAS, NL-SAS, а также SSD (кроме 2712). Впрочем, про SSD дальше еще пойдет речь в связи с обновлением All-Flash системы EF5.

В остальном - это наследник E2600, все, знакомое вам по этой модели, в новой осталось.

Обновился контроллер у E5500.

E5500 - это системы еще большей производительности, чем были E2600. Теперь в нем добавились (ранее недоступные) интерфейсы FC 16Gb и iSCSI 10G (ранее были только SAS 12Gb, FC 8Gb и Infiniband). Также как у E2700 будут доступны три конструктива, на 12 и 24 диска в 2U, и на 60 дисков в 4U.
Поддерживаемые диски - SAS и SSD.

Наконец, обновился All-Flash storage, который теперь носит название EF550.

Эта система поставляется в виде 2U корпуса, с вариантами поставки на 12 дисков SSD (9,6TB raw) и на 24 диска SS (19,2TB raw), с общей возможной емкостью системы - 120 дисков.

Поддерживаются интерфейсы:
• 16Gb FC (OM2, OM3, OS1, and OS2 optical)
• 10Gb iSCSI (optical, twinax passive, and RJ-45 Cat 6)
• 6Gb SAS (copper with Mini-SAS cables)
• 40Gb IB (QSFP+ copper and OM3 optical)

Системы поставляются с 800GB SSD дисками технологии SLC, каждый диск оснащен двумя портами ввода-вывода SAS, и имеют пятилетнюю гарантию производителя.
The EF550 ships with 800GB mixed-use multi-level cell (MLC) NAND SSDs from SanDisk with dual (2) full-duplex interface ports. The EF550 actually leverages the dual-active paths from each controller to every SSD as part of its design.
Each SSD is rated at 10 drive writes per day (DWPD), warrantied up to 5 years, but with an endurance lifetime well over 5 years.

На этой неделе NetApp продолжил расширять свою E-линейку, пока еще не слишком известную на российском рынке (впрочем, наверняка вы некоторые продукты оттуда знаете как OEM, например IBM DS, Dell MDS, некоторые другие, менее известные вендоры, такие как SGI и даже Oracle, также продают системы NetApp E-series под своими марками).

Буквально недавно я уже писал про EF540, а вот уже выпущена и E5500, дисковая система классической архитектуры, ориентированная на HPC (High-Performance Computing), и на задачи extra-high bandwidth. Это, обычно, высокопроизводительные вычислительные кластеры, используемые для научных и нженерных расчетов, под задачи области big data, нефтегаз, сейсмика, геофизика, и прочие такие же специализированные штуки.

Основным конкурентом для E5500 в NetApp рассматривают продукты сравнительно малоизвестной в России компании DDN (Data Direct Network), специализированной на перечисленном выше рынке высокопроизводительных, bandwidth-oriented задач, а также столь же “специальный” EMC Isilon.

Отсюда вы уже поняли, как я надеюсь, что это не general purpose сторадж, которыми в линейке NetApp остаются FAS, но если вы работает с вычислительными кластерами, GPFS и Lustre, с big data, с DSS-аналитикой, со всяческими специализированными, скорее научно-инженерными решениями типа геофизики – вот тогда это для вас.

Как вы помните, в прошлом году NetApp активно развивала модели E-series, добавляя в них более привычные для пользователей FASфичи, такие как снэпшоты, thin provisioning, репликацию, и прочее. Всего этого пока, на момент выпуска в марте на E5500 нет, официальный выпуск версии SANtricity для этой модели, с поддержкой всех этих фич, уже доступных для E2600 и E5400, намечен на конец этого года, вероятно еще нужно время на отладку. Однако уже сейчас можно начать использовать с E-series обкатанный на семействе FAS сервис Autosupport.

Не могу также не отметить крайне меня радующий факт, что NetApp, представляя новую модель, очень часто демонстрирует не только маркетинговый булшит общие слова о “крутизне” нового “решения”, но подтверждает их открытыми тестами. В данном случае NetApp опубликовал тест для SGI InfiniteStorage 5600 – это та самая наша E5500, просто продаваемая SGI как OEM-партнером, и ее результаты можно рассматривать как vanilla-E5500. Опубликованы результаты SPC-2. Почему не SPC-1, спросите, возможно, вы? Дело в том, что SPC-2 это high-bandwidth бенчмарк, объемные, но преимущественно последовательные чтения-записи, в то время, как SPC-1 это IOPS-oriented, то есть random чтения-записи. таким образом для general purpose задач, для баз данных OLTP, и прочего, более показательны результаты SPC-1, а для big data, DSS-баз, и прочего, перечисленого выше как рынок E-класса – более показателен SPC-2.

?? результаты там говорят сами за себя:

Тут конечно нет главных игроков, уже упомянутых DDN и Isilon, которые предпочитают не подтверждать маркетинговые заявления открытыми бенчмарками, но и сравнение с уже опубликованными игроками также весьма показательно, в особенности для понимания, почему general-purpose массивы так посредственны и непропорционально дороги на специализированных применениях Big Data и High-bandwidth.

??з интерфейсов подключения поддерживается, как и в случае EF540, такие варианты, как восемь SAS 6Gbit/s, или же шесть Infiniband 40Gbit/s. Для конфигураций, куда нацелен E5500 это все крайне востребовано. С контроллерами E5500 будут также предлагаться несколько различных типов полок расширения, что позволяет стрить различные конфигурации, например много контроллеров для высокопроизводительного ввода-вывода, или же наоборот, много дисков (например уже знакомые вам 60 дисков NL-SAS в 4U полочные конструктивы) для сверхъемких систем. Поддерживаются и SSD для кэширования, как это уже опробовано на E5400.

Отмечу, что многим будет любопытно узнать, что кодовое название проекта E5500 в NetApp было – Soyuz, в честь знаменитой советской, ныне российской ракеты.

Несмотря на то, что я уже не раз в этом блоге обещал не слишком писать про NetApp E-series (по разным причинам, не буду вдаваться в детали, уже писал неоднократно почему), но как-то так, в насмешку над моими словами, жизнь заставляет писать о них почаще. А сегодня есть повод еще раз поднять тему E-Series, потому что в ней появился интересный продукт – Flash Array.

??з названия нетрудно догадаться, что это становящийся сегодня все более популярным так называемый all-flash массив, то есть сторадж сделанный только на flash SSD, без классических, “вращающихся” дисков вовсе. На рынке уже несколько лет как присутствуют такие устройства, прежде всего это системы хранения производства компании Violin Memory, пионера подобных систем, и Texas Memory Systems (ныне принадлежащая IBM).

Если вы читаете этот блог достаточно давно, то вы уже знаете, что в линейке NetApp есть самые разнообразные продукты с использованием Flash, можно даже сказать, что NetApp имеет вообще все возможные варианты, и в этом по своему уникальна. Считайте сами: FlashCache, встроенный в систему хранения кэш на flash memory, Flash Pool, гибридный дисково-flash-евый массив, прозрачный для пользователя и его задач, FlashAccel – софтверное решение, позволяющее использовать диски SSD на стороне сервера интегрировано, в общей инфраструктуре хранения, и вот, наконец, четвертый возможный вариант использования flash, all-flash array, “дисковый” массив состоящий из чистых SSD.

Как показывает нам его название, он построен на базе весьма удачных массивов “классической” архитектуры, досташихся NetApp вместе с приобретенным несколько лет назад подразделением компании LSI под названием Engenio, производящей крайне удачные блочные массивы по OEM-контрактам, вы их, уверен, хорошо знаете как дисковые массивы IBM DS, а также ряд других систем хранения от других компаний. Это все – Engenio, ныне подразделение NetApp.

Под крышей NetApp Engenio получила “второе дыхание” и дисковые массивы “традиционной” блочной архитектуры используются NetApp для ряда специальных проектов, например для grid-систем под Hadoop, или для систем video surveilance, а также поставляются всем прежним OEM-клиентам Engenio.

Вот на базе дисковой полки и контролллеров 5400-серии и был сделан EF540 Flash Array.

Вид контроллеров сзади:

Система поставляется в двух вариантах: с 12 и с 24 дисками MLC SSD на 800GB raw (то есть с суммарной емкостью 9,6 и 19,2 TB raw) и обеспечивает в максимуме около 300 тысяч установившихся IOPS чтения (100% random read, 4K) при менее 1 ms latency (или же около 6GB/s throughput большими блоками, то есть, конечно, не одновременно с 300K IOPS).

На контроллерах в стандартном форм-факторе SBB v2.0, слева направо:

Порт USB для диагностики и обслуживания. Два порта Ethernet для управления (это НЕ для передачи данных! Только для админнистрирования! Ни iSCSI в базе, ни NAS тут нет!), далее 4 независимых порта 8Gb/s FC. Правее находится схемный модуль, так называемый Host Interface card, в котором располагается, на рисунке, последовательная консоль и порт SAS 6Gb/s drive expansion, который в EF540 НЕ ??СПОЛЬЗУЕТСЯ, подключить к EF540 дополнительные полки НЕЛЬЗЯ.

Кроме показанного на рисунке также возможны иные варианты такого Host interface module, например с еще плюс 4x 8G FC, 4x 6G SAS (не для расширения, а для IO, например для подключения в SAS Switch и доступа по ним от сервера), 2x 10G iSCSI или же 2x 40G Infiniband (в последнем случае штатные порты FC отключены). На контроллере также располагается 12GB кэш-памяти. Поддерживаются типы RAID – 0,1,5,6,10.

Нацелены данные системы, прежде всего, как и все E-series в линейке NetApp, на определенную узкую “нишу” крайне высокопроизводительных приложений, это, прежде всего, энтерпрайзные базы данных, где latency играет решающую роль, и за что, следует специально подчеркнуть, компании готовы платить, и платить много. Это НЕ системы “для всех”, это нишевое решение для тех, у кого предельно низкие значения IO latency это решающий фактор.

Ну и, конечно же, как правило, EF540 будет использоваться не столько сама по себе, сколько как компонент более высокоуровневого решения, включающего в себя не только стораджи E-series, но и те же FAS, например уже готов TR, посвященный построению высокопроизводительной базы данных на Sybase ASE, с использованием FAS6200 для хранения данных, и EF540 для ускорения определенных операций, работающих вместе.

??, “чтобы два раза не вставать”, по некоторым слухам, NetApp в России намеревается в ближайшее время начать продавать стораджи семейства E5400 по своему обычному каналу, через партнеров, ранее, напомню, эти системы хранения можно было купить только как OEM-продукт, например через IBM, как  DS35xx, сам NetApp, от своего имени, в России их не продавал.

Как вы знаете, я мало и редко пишу тут про отдельное семейство продуктов NetApp - так называемые системы хранения E-series (они же знакомы многим из вас как IBM DS3500/3700, и ряд других), это продукты бывшего LSI Engenio, пару лет назад перешедшего “под крыло” NetApp. ?? хотя под этим самым крылом развитие их не остановилось, напротив, даже закоренелые скептики вынуждены были признать, что ресурсы NetApp сильно помогли Engenio в разработке новых фич и продвижении продукта, для меня эти системы довольно сторонний продукт, и пишу я о нем тут редко.

Причин этому две. Во-первых ни их самих, ни задач под них у меня нет нигде рядом, во-вторых сами по себе они мне не особенно интересны.

Последнее стоит чуть более развернуто объяснить.
Дело в том, что, если системы линейки FAS, это стораджи “широкого профиля” применения, создаваемые для использования под различные задачи, с широким набором разнообразной функциональности, как встроенной, так и дополнительной, то системы E-Series это крайне “узкопрофильный” сторадж. Это система хранения, строго говоря, под одну задачу: “скорость, скорость и ничего кроме скорости”. Причем “ничего кроме” это почти не фигура речи. Как следствие (а вы знаете мою позицию по данному вопросу), это системы хранения довольно ограниченны по своей области применения.
Это “болиды Формулы 1″, быстрые в условиях гоночного трека, но не очень полезные в городе или, например, на стройке.

Да, действительно есть задачи, где нужна “скорость любой ценой”, но в большинстве случаев кроме скорости в реальной, практической жизни нужна еще и надежность, широкий набор поддерживаемых фич, возможности защиты данных, эффективность хранения, масштабируемость, и прочее, и прочее.

Поэтому, по моему мнению (и по мнению NetApp), E-series это нишевое решение, для специализированных применений, таких как хранилища для Big Data под Hadoop, высокопроизводительные grid-системы, стораджи под Lustre для HPC, промышленных масштабов Video Surveillance, реалтайм аналитика, особо критичные к времени выполнения запросов OLTP-базы, и прочие подобные области применения.

Вот почему я так мало пишу тут о E-Series, и поэтому применяемые там технологии так отличаются от того, что использует NetApp в своих стораджах FAS, и не стремится сливать эти линейки.

Вот и кэширование в SSD (Performance Read Cache), поверхностно похожее на аналогичную функцию у NetApp FAS, довольно значительно отличается от NetApp Flash Pool (Hybrid Aggregate).

Во-первых, значительным отличием является использование переменного размера блока. Так как E-series это не-WAFL-based системы, они не привязаны к блоку “файловой системы” (в случае WAFL это 4 килобайта), и могут варьировать размер оперируемого блока от 2K до 8K. В ряде случаев это может дать эффект при специфических нагрузках ввода-вывода, прежде всего при процессе “прогрева кэша”, то есть первоначальном заполнении его данными. ??сследование NetApp утверждает, что правильная настройка размеров блока для Performance Read Cache на E-series может дать до 500% увеличения скорости первоначального наполнения кэша. А как вы понимаете, чем быстрее наполнится этот, довольно объемистый кэш на SSD, тем скорее он даст отдачу по ускорению работы с данными.

Во-вторых, это возможность настройки политики размещения записываемых данных - в кэше, или же сразу на HDD. Первый вариант может дать значительный эффект для приложений, интенсивно читающих только что записанные данные.

Наконец, значительным отличием от Flash Pool является то, что карта блоков кэша у E-series хранится в оперативной памяти контроллера, а не на диске, как у FAS. Это, конечно, позволяет ускорить выборку (по утверждению NetApp возможно до 700% ускорения), но значительно нагружает память контроллера и занимает в нем много места. Это оправданно для purpose-build стораджа, в котором производительности отдано все, но расточительно для стораджа, в котором память контроллера используется под множество различных задач и функций.

Минимальный доступный объем SSD cache для E-series это один SSD, а максимальный на сегодня - 5TB на сторадж. Причем предлагаются SSD объемом 800GB за “диск”.

Следящие за новостями IT в мире не могли пройти мимо нового баззворда, стремительно катящегося сейчас по англоязычным источникам - Big Data.

Согласно определению Википедии: “Big Data - это серия подходов, инструментов и методов обработки структурированных и неструктурированных данных огромных объёмов и значительного многообразия, для получения человеко-читаемых результатов, эффективных в условиях непрерывного прироста, распределения по многочисленным узлам вычислительной сети, альтернативных традиционным системам управления базами данных и решениями класса Business Intelligence. В данную серию включают средства массово-параллельной обработки неопределённо структурированных данных, прежде всего, решениями категории NoSQL, алгоритмами MapReduce, программными каркасами и библиотеками проекта Hadoop.” Сам же по себе термин “Big Data” (”Большие Данные”) родился в статье 2008 года в журнале Nature, и образован по аналогии с понятиями “Большая Нефть”, или “Большие Деньги”, символизирующие переход количества (объемов, скоростей обработки) данных в их некое новое качество.

Таким образом, в первую очередь, Big Data это то, что не помещается в базу данных, и методы работы с такими данными, когда нельзя “написать SQL-запрос” к ним.

В значительной степени, сложность работы с Big Data как раз и определяется сложностью нового подхода, для которого не получается применять эффективно привычные методы. Представьте, каково это, например, работать с несколькими миллионами или даже миллиардами файлов, искать в них, извлекать из них данные, записывать.
Сравнительно недавняя покупка компанией продуктовой линейки Engenio, и ряда программных продуктов стороних разработчиков, будучи слитой воедино, дала значительный толчок для работ в этом направлении. Так, NetApp активно занялся работами в области Hadoop, одного из открытых продуктов Apache Foundation (один из крупнейших клиентов NetApp - компания Yahoo! - как раз давний и активный пользователь и разработчик решений с Hadoop). ??звестны их работы в области высокопроизводительных решений с использованием Lustre (о использующей Lustre системе хранения для суперкомпьютера в Lowrence Livermore National Laboratory я уже писал ранее).

Другим продуктом, активно развиваемым в NetApp в области Big Data, является решение StorageGRID, объектное хранилище данных, позволяющее, используя высокий параллелизм, строить хранилища данных для миллионов и миллиардов файлов, с мультиплатформенным доступом, в сотни петабайтов объемом.
Недавно вышедшая версия StorageGRID 9.0 добавила к уже существующим возможностям доступа по NFS и CIFS и доступ по недавно описанному и стандартизированному в SNIA протоколу Cloud Data Management Interface (CDMI), который позволяет обращаться к объектному хранилищу с помощью HTTP-подобных запросов, создавать, администрировать и доступаться к данным облачного хранилища, с размерами, превышающими общепринятые сегодня.
Хотя на сегодня, уверен, большинству пользователей такие задачи, что решаются объектными стораджами и Big Data, все еще кажутся далеким будущим, многие вещи, казавшиеся далеким будущим еще три-пять лет назад, стали практически повседневностью сегодня, и готовиться вендорам к таким делам приходится заранее, чтобы не оказаться “на обочине” рынка.

В настоящее время интерес к Big Data, к работе с данными в этой парадигме, к используемыми для этого методам, к стораджам, пригодным для хранения таких данных, является одним из самых быстрорастущих в сегодняшнем IT. По исследованию Gartner, в 2011 году рыночный тренд Big Data был только слегка ниже, чем по теме виртуализации.

В связи же с тем, что, по некоторым смутным слухам, NetApp раздумывает о том, чтобы поставлять решения на базе стораджей E-series, в первую очередь под Big Data, и на российский рынок, вполне возможно, что StorageGRID, CDMI, Hadoop и прочие решения найдут свое место и среди российских компаний.

http://dilbert.com/strips/comic/2012-07-29/

??ногда просто жаль, что я так волюнтаристски ограничил тематику блога только системами FAS, потому что сейчас очень интересные дела творятся в сегменте их новых E-series. NetApp E-series это, если кто пропустил, бывшие LSI Engenio, который были некоторое время назад куплены NetApp-ом, и активно развиваются уже под его крылом. В компании это отдельный продукт и отдельная группа разработчиков, которые делают на его базе специализированные решения под сегмент Big Data, HPC, Full Motion Video, LustreFS, Hadoop, и прочее такое же, на базе высокопроизводительного и высокоемкого блочного стораджа, первоначально разработанного в Engenio. На российский рынок NetApp свои E-series не поставляет (однако вы можете купить их проданные как OEM через каналы IBM, например. DS35xx и DS37xx это как раз они, стораджи бывшего Engenio, ныне NetApp).

Но невозможно объять необъятное, и так как я не занимаюсь областью E-series, и спецфическими задачами, для которых они предназначены, я новости о них чаще всего обхожу. Но бывают среди них весьма впечатляющие.

Так, например, в сентябре 2011 было объявлено, что систему хранения E-series выбрали для хранения данных в Lowrence Livermore National Laboratory для работы с наболее производительным в мире на сегодня суперкомпьютером. LLNL это научное учреждение, подчиняющееся U.S. Department of Energy и National Nuclear Security Administration, и занимающееся атомной энергией (нет, не только “бомбой”, хотя работы по математическому моделированию процессов атомных взрывов это, несомненно, значительная часть их задач).

Поставленная дисковая система для суперкомпьютера IBM Sequoia имеет емкость 55PB (петабайт), работает под LustreFS, и обеспечивает пропускную способность передачи данных на уровне 1,3TB/s.

Подробнее о том, как это было сделано – в посте блога Recovery Monkey:

http://recoverymonkey.org/2012/02/10/netapp-delivers-1tbs-performance-to-giant-supercomputer-for-big-data/

Прошло 3 месяца с момента объявления о покупке NetApp-ом у LSI его подразделения про разработке и продаже внешних дисковых систем, которое было известно под именем Engenio (ESG).

Я не собирался к этой теме возвращаться (по крайней мере часто), как и вообще к теме FC-систем "традиционной архитектуры", которые приобрела, вместе с Engenio, NetApp, так как, в целом, лично мне, они не очень интересны.

К сожалению, я обратил внимание, что в рунете вокруг этой истории раздулся какой-то непонятно-скандальный "ажиотаж", и возникло много непонимания, поэтому я, этим постом, постараюсь ответить на основные вопросы, развеять слухи и заблуждения, вокруг этой истории возникшие.

Что именно купил NetApp?

NetApp приобрел у компании LSI ее подразделение, занимавшееся разработкой, производством и продажей OEM-партнерам дисковых систем хранения "традиционной" архитектуры блочных FC-систем.

Подразделение носило название Engenio, и, в основном, было известно как OEM-поставщик. Напрямую Engenio эти системы, как я знаю, не продавало, однако являлось (и является), по всей видимости, крупнейшим OEM-производителем в этой области. Engenio производила и поставляла своим партнерам, для их продажи такие популярные и широкораспрстраненные системы, которые рынок знал, как IBM DS35xx, DS4700 и 4800, DS5xxx, Sun StorEdge 35xx и 6xxx, а также ряд систем Dell, SGI и Teradata.

Что НЕ купил NetApp?

Сама компания LSI, материнская, по отношению к своему дочернему подразделению Engenio, продолжает работать как и раньше. Все, что разрабатывала и производила сама LSI продолжает разрабатывать и производить она сама. Это: серверные RAID-контроллеры, прошивки для них, HBA, а также линейка продуктов ONStor. Все это НЕ было приобретено с Engenio, также как не была приобретена сама LSI. Компания LSI и относящиеся к ней продукты продолжают свое существование.

Что еще было приобретено, вместе с Engenio?

Вместе с Engenio были “приобретены” отношения Engenio с ее OEM-партнерами, например IBM, Oracle, и так далее.

Какие системы входят в линейку NetApp E-series?

Это E2600, E5400 и E7900.

Кто и как теперь будет разрабатывать и производить системы хранения Engenio?

??х по прежнему будет разрабатывать и производить команда, ранее работавшая как Engenio, и теперь вошедшая в состав NetApp.

Кто и как теперь будет продавать системы Engenio?

Несмотря на то, что системы Engenio теперь называются NetApp E-series, напрямую, через каналы NetApp и его партнеров, они продаваться не будут. Они будут продаваться через прежние каналы Engenio и его OEM-партнеров, а также через нескольких специализрованных VAR-реселлеров в США (только), которые будут продавать "коробочное решение" для Full-motion Video в US Public Sector.

Как это отразится на OEM-отношениях NetApp и бывшей Engenio с их партнерами?

Пока это не отразится никак. Все ранее заключенные соглашения о OEM продолжают действовать. Не в последнюю очередь (если не в первую) вместе с Engenio NetApp покупала и крупнейшее по объемам в отрасли портфолио OEM-контрактов.

Как это отразится на нынешних OEM-отношениях NetApp, например с IBM или Fujitsu?

Никак не отразится. Все нынешние отношения с партнерами и OEM, как NetApp, так и Engenio останутся и напрямую они не пересекаются.

Зачем это все?

Ну, во-первых, за 480 миллионов был куплен рынок, объемом 750 миллионов в год (2010). Что, по нынешним временам, само по себе неплохо.

Во-вторых, вместе с Engenio была приобретена большая, лояльная и объемная сеть OEM-отношений, которых у NetApp ранее почти не было (если не считать отношений с IBM).

В третьих, NetApp получила продукт, ориентированный на растущий нишевой рынок, в котором NetApp ранее не играл и имеющиеся у него системы туда плохо подходили (об этом подробнее ниже).

Что это за нишевой рынок?

Это рынок для "неинтеллектуальных" систем хранения традиционной блочной FC-архитектуры, для задач, требовательных по bandwidth (полосе пропускания).

Это сравнительно небольшой сегмент (по оценке NetApp это 5 миллиардов долларов к 2014 году, сравните с 47 миллиардами для unified systems самого NetApp, спрогнозированных на тот же 2014).

Пример таких систем - хранилища с большим bandwidth (полосой пропускания) для записи данных Full-motion Video, спутниковых потоковых данных, геосейсмики, науки, а также для специфических задач, например для использования в хранилище под проекты архитектуры Hadoop (о Hadoop – позже).

Еще раз напомню, что NetApp E-series не будет продаваться в традиционном канале продаж NetApp, и не будет конкурировать с привычными NetApp FAS, эти системы покупаются для расширения предложения в узком, ранее неохваченном сегменте рынка, под узкий круг заказчиков систем такого рода (причем, как я подозреваю, под уже существующего конкретного крупного госзаказчика из трех букв, уж больно много подробностей об этом решении), с которыми будут работать традиционные OEM-партнеры Engenio.

Означает ли это отказ от развития и продвижения FAS и Unified-архитектуры?

Нет, не означает. Просто предложение расширяется в те сегменты рынка, где нынешние возможности систем NetApp избыточны, и экономически неоправданны.

Означает ли это признание неудачи в развитии Unified Architecture?

Нет, не означает. Приобретенная линейка E-series ориентирована на специализированный рынок с узким набором специфических требований. Для прежних сегментов рынка по прежнему будет развиваться и продвигаться unified архитектура и системы с ее использованием.

В чем преимущества существующих систем unified-архитектуры, NetApp FAS?

Надежность хранения, эффективность использования, высокая управляемость, интегрированные средства защиты данных и автоматизации, в том числе на уровне приложений, средства репликации, катастрофоустойчивости.

Основное направление развития систем NetApp FAS – увеличения возможностей по управлению данными и переход к виртуализированному “облачному” хранению.

В чем преимущества существующих систем "классической" архитектуры, NetApp E-series?

Высокая линейная производительность на запись и чтение, сверхбольшая производительность по полосе пропускания и IOPS, высокая плотность “упаковки” хранилища (1,8PB в 40U).

Основное направление развития систем NetApp E-series – увеличение производительности на специальных типах нагрузки и повышение плотности хранения.

Существуют ли планы по слиянию этих платформ?

Нет, таких планов нет. Две платформы будут существовать независимо, как, например, существовали в продуктовом portfolio NetApp, в свое время, FAS и VTL.

Существуют ли планы по отказу от развития Unified Architecture (FAS)?

Нет, таких планов нет. Системы Unified Architecture (FAS) по прежнему будут развиваться и продвигаться.

Существуют ли планы по закрытию и прекращению развития продуктов Engenio?

Ну а вы бы, купив за 480 миллионов "живыми деньгами" успешный бизнес, принесший в прошедшем году около 750 миллионов, стали бы его убивать ради удовлетворения каких-то своих амбиций? Нонсенс.

Означает ли возникновение в продуктовой линейке решений на базе E-series отказ от систем NetApp C-mode?

Нет, не означает, они нацелены на разные рынки, как и FAS 7-mode.

Ожидаются ли изменения в поддержке продуктов LSI/Engenio в системах NetApp V-series?

Нет, изменения не планируются, поддержка будет осуществляться как и ранее, в прежнем объеме.

Существую ли планы по переносу Data ONTAP/WAFL на системы E-series?

Нет, таких планов нет.

Есть ли планы использовать аппаратные RAID LSI в системах NetApp?

Нет, таких планов нет.

С какими системами будет конкурировать новое решение NetApp для Full-motion Video? EMC? HP?

На самом деле нет. Это конкурент для систем Data Direct Network (если вы такого производителя знаете), а также, отчасти, для BlueArc и Isilon. Это, повторюсь, нишевое специализированное решение, традиционные системы EMC или HP для него не подходят также, как не подходит NetApp FAS.

Что там за возня с Hadoop, и что это вообще такое?

Скоро расскажу. :)

Что я еще не знаю интересного об этой сделке? ;)

Нынешний CEO NetApp, Tom Georgens, до прихода в NetApp был руководителем Engenio.