about NetApp

??нтересную визуализацию построили в Silverton Consulting (SCI) для результатов тестов SPC-1

Хотя придиры могли бы придраться, что SPC-1 это, мол, не совсем “OLTP”, и нельзя так их сопоставлять, но мы отметем эти реплики как неорганизованные, ведь общепризнанно, что SPC-1 тест по методике крайне жесткий, в чем-то куда жестче для стораджей, чем традиционный профайл, который принято считать “OLTP” (100% random, 75/25 R/W, 4-8KB block)

Полный текст весьма лестного для NetApp обзора можно посмотреть тут.

Результаты для SPECsfs2008 также есть в таком, “квадрантном”, представлении, например для NFSv3 и SMB.

Не исключаю, что некоторые мои читатели были недавно на ежегодном сборе VMware RUG, возможно мы с кем-то там даже виделись. В таком случае, вы уже знаете, что такое вендорская юзергрупп, и чем она может быть полезна лично вам. А для остальных, немного вводного бла-бла-бла.

Сотрудники компаний-партнеров, а также инженеры NetApp со специалистами партнеров, обычно видятся и общаются на вендорских семинарах, а вот непосредственно кастомеры между собой, чаще всего, знакомы довольно слабо. А ведь у многих из нас есть что рассказать, у кого-то – проблемы, а у кого-то – ответы, опыт и наработанная экспертиза, находки, подчас годы эксплуатации. К сожалению, в лучшем случае, это общение в форумах, и редко когда кастомер выбирается из этого “VLAN-а”, созданного между ним, и, допустим, партнером, на котором, зачастую, все общение и “терминируется”. Таким образом, Usergroup, по опыту зарубежных пользователей, где этот формат активно развивается, становится своеобразным каналом общения “C2C”, Customer-to-Customer. Объединенные пользователи, в свою очередь, становятся интересны вендору (а не только его собственному партнеру), иногда могут лоббировать какие-то свои интересы, вендор-же, со своей стороны заинтересован в поддержке активных пользователей, раздаче плюшек разной степени виртуальности.

Что же касается меня, то идею, что России нужна ее собственная рускоязычная полльзовательская группа, самоподдерживающееся и саморазвивающееся пользовательское комьюнити, я толкал уже много лет. Но, поскольку мои возможности в этом ограничены, я начал с организации виртуальной юзергруппы в виде “форума взаимопомощи”, куда многие мои читатели, я уверен, ходят, и читают (там же есть подписка на RSS, и вы можете подписаться на обсуждения, чтобы не прпускать интересное). В июле 2012 года, когда я на какое-то время приезжал в Москву, мы собирали здесь забавную “пивную вечеринку”, на которой какая-то часть московских кастмеров познакомилась со мной и друг с другом. ?? вот, наконец, мой зудеж на тему Russian User Group, был высочайше замечен, этим летом со мной связался московский NetApp, с вопросом и предложением об организации официальной российской групы пользователей, которую он возьмется поддерживать и встречи которой спонсировать.

Поэтому ниже, официальные вопросы NetApp к читателям этого блога:

Ваш неослабевающий интерес к технологиям NetApp и особенностям их использования в реальной жизни,  а также активная жизнь в блогах и на форумах, привели нас к решению предложить вам дополнить виртуальное общение живым. Мы предлагаем нашим заказчикам,  партнерам, а также тем, кто еще только рассматривает возможность внедрения технологий, объединиться в NetApp User Group.   В рамках работы этого сообщества мы обещаем: 0 маркетинга, много общения с нашими инженерами, обсуждение особенностей  внедрения и применения технологий NetApp, обмен мнениями с  коллегами по цеху.  NetApp User Group  - это "живое" дополнение к виртуальному общению,  регулярные встречи в непринужденной обстановке. Пока в Москве, но мы готовы расширить географию при наличии интереса.  Конечно, будут всякие "плюшки" в виде сувениров, возможности пройти обучение и сертификацию и так далее.

А пока мы хотели бы выяснить, интересен ли вам такой формат общения.

Вот два вопроса, за ответы на которые мы будет благодарны.

[poll id="12"]

[poll id="13"]

Дополню от себя. Как вы понимаете, вопросы выше прежде всего ориентированы на то, чтобы понять, для начала, сколько нас вообще, в России, и сколько тут, в Москве. Обычно у меня на опросы отвечает 100-130 человек. Давайте посмотрим, что получится в этот раз. Пока же я надеюсь в ближайшее время повторить пенную пивную вечеринку, по образцу встречи 2012 года в Москве, там, желающие, могут высказать мне лично все что они по этому поводу думают, и чего мы, как “банда” (с) хотим в России от NetApp.

В комментариях не возбраняется писать свои соображения, вопросы, как ко мне, так и к NetApp (российский NetApp меня также читает), а также разнообразные крики в поддержку (и в неодобрение) моей идее о личной встрече 2014. Давайте, для определенности, рассмотрим вариант выпить пива (или что там кто предпочитает будучи за рулем) в четверг, 24 или 25 июля, в центре Москвы.

Ну и не забудьте нажать на опрос выше, в особенности, если вы читаете меня из RSS.

Автор блога NTAPgeek расспросил Ника Триантоса, одного из ведущих инженеров NetApp, по поводу All-Flash FAS систем, стоящих за ними технических решений, и чем AFF отличается от других flash-стораджей, в том числе и тех, что производит сам NetApp, например уже известного вам EF550.

Ник говорит:

“Наибольшая проблема для нас была не в том, как WAFL пишет; на деле это как раз большой плюс архитектуры. Основные проблемы и задачи при разработке были:

Оптимизация под многоядерные процессоры – Долгое время Data ONTAP не умела эффективно использовать многоядерность процессоров. Проект по проведению оптимизации под многоядерность стартовал с версии 7.3 и продолжался вплоть до релиза Data ONTAP 8. Я уверен, что вам доводилось видеть ситуацию, когда один CPU работает с загрузкой 90% и другой - на 20%! Если нагрузка упирается на уровне ONTAP domain, который должен выплняться на одном единственном ядре, то возникает узкое место для роста производительности. ?? при этом неважно, что другие ядра были недозагружены. Эта задача была, в итоге, решена.

Управление метаданными – Когда вы используете маленькие блоки данных, например у NetApp это 4K, то при этом вы получаете множество метаданых, которыми нужно управлять. Для того, чтобы получить максимально быстрый доступ к даным, вам нужно сперва максимально быстро получить доступ к их метаданным. А где быстрее всего доступ к метаданым? В оперативной памяти. Вот почему мы используем так много оперативной памяти на контроллерах серий FAS2500 и FAS8000; мы стараемся как можно больше метаданных при работе держать в быстрой памяти контроллера.

Защита данных – Это связано с темой выше. Системы AFF имеют больше возможностей по защите данных, чем любая другая система c flash (и, кстати, не только flash) на сегодняшнем рынке. Хотя это и полезная штука, есть определенные недостатки. Недостатки состоят в более динных путях ввода-вывода, так как метаданные размещаются и валидируются отдельно от блоков данных.
Как вы защищаетесь от lost writes? Что случится, если вы торговая компания, и на вашей системе хранения SSD сказал, что данные записаны, а на деле он их не записал, или записал не так или не туда? Вы рискуете огромными финансовыми потерями. Data ONTAP не только обнаруживает такие ситуации, но и защищает, а также помогает восстановить данные, испорченые в результате lost writes (это крайне коварная проблема).”

Потерянные операции записи, или “Lost writes”, это редкая, но при этом очень трудно обнаруживаемая ошибка, и самое плохое с ней то, что вы не знаете, что она уже произошла, и  обнаруживаете ее только дни или даже месяцы спустя. Но когда она случилась, она повреждает ваши данные! ?? тут можно только пожелать удачи вам, в поисках бэкапа, снэпшота или точки репликации, в котором эта ошибка еще не проявилась и данные еще не повреждены. Конечно же, любые фичи по зашите данных имеют свои побочные эффекты и недостатки.

Другими словами, хорошая скорость работы и устойчивость к отказам сразу двух дисков – недостаточны для того, чтобы считать, что ваши данные надежно защишены. В особенности, когда flash-хранилища используются для бизнес-критичных приложений. Вам следует проанализировать возможные ситуации отказов, и убедиться, что ваше хранилище устойчиво к ним, а данные - защищены. Более 20 лет мы совершенствеум и развиваем Data ONTAP, и достигли в ней очень высокого уровня надежности и устойчивости против всех видов отказов и различных их комбинаций.”

Напомним, бандлы NetApp AFF имеют:

1. Больше памяти
   Больший объем кэша чтения-записи в FAS8000, что позволяет держать в нем больше метаданных
2. Более быстрый NVRAM
   Быстрее отрабатываются ACK, как следствие – ниже отклик и задержки
3. Значительно оптимизированную многоядерную эффективность OS
   Проводилась начиная с Data ONTAP 7.3
4. Continuous Segment Size Cleaning (CSS)
   Переменный размер сегмента Data ONTAP  (4K-256K)
5. ??нтеллектуальные алгоритмы упреждающего чтения, определяющие типовые паттерны операций:
   • Последовательное чтение с тем же (например 32k) и различными размерами блоков (4k,64k,4k,64k)
   • Скачущее (strided) чтение: Начнем с блока N и прочитаем, считая с него, блоки 10 и 12, но пропустим блок 11
   • Обратное чтение: Начнем с блока N, и прочитаем –10 блоков, считая от него
   • Несколько потоков чтения, читающих из разных точек

Бандлы NetApp AFF доступны к заказу с 23 июня 2014 года.

??з всей троицы продуктов, появившихся у NetApp этим летом, а именно: FAS2500, FAS8080EX и NetApp AFF, совершенно неожиданно для меня именно последний стал предметом преткновения, пост про который я пишу уже вторую неделю. Если про FAS2500 я написал сразу, и там, в целом, все ясно по прочтении техспек и  Technical FAQ / SE Presentation, если c FAS8080ES тоже все ясно, это “больше, выше, сильнее”, вот, в общем, и все что про него можно рассказать, я даже отдельно про него писать не стану, то вот в отношении All-Flash FAS такая ясность долго не наступала. ?? далее я попробую рассказать, в чем, собствено, состоял предмет затруднения.

Continue reading ‘NetApp AFF: All-Flash FAS’ »

На Хабре новое сравнение облачных провайдеров, на 34 компании (ActiveCloud, AWS (Amazon), b2b.beeline.ru, Clodo, Cloud One, Cloud4Y, CloudySky, Croc, DataFort, DataLine, De Novo, DepoCloud, e-Style Telecom, infoboxcloud.ru, ISPserver, IT Lite, IT-Grad, Linx, M1 Cloud, АЙТеко, MakeCloud, Oncloud, Orange, Oversun, Parking, Rackspace, Rentacloud, Selectel, Softline, Аутсорсинг 24, Корус Консалтинг, Мегафон, Облакотека, Ростелеком О7, РТКОМ). По сравнению с “первой версией”, число участников существено расширилось. О первой версии я также писал ранее.
??з 26 ответивших на вопрос, используются ли у них системы хранения и какие (часть отказалась предоставить информацию, часть не использует СХД вовсе), у 11 используются системы хранения NetApp, что составляет 42% от общего числа.

За подробностями – в статью, там еще много интересного для интересующихся коммерческим хостингом приложений в облачной инфраструктуре в России.

Так как российские законодатели, в неизбывной мудрости своей, никак не хотят оставить в покое сдвиг временных зон в России, рекомендую освежить в памяти текст поста, опубликованного по поводу предыдущего каталипсиса, в 2011 году: Обновление timezone на системах хранения NetApp. Помните, что совпадение временных зон и времени на системе хранения и серверах/клиентах сети, например при работе ее в домене Active Directory, абсолютно необходимо, его несовпадение чревато прекращением доступа к данным из-за рассинхронизации тикетов системы безопасности Kerberos, используемой в AD.

На днях свой регулярный (но первый в этом сегменте) “волшебный квадрант” опубликовал Гартнер. Была выбрана тема и сегмент набирающих популярность так называемых “конвергентных систем”, то есть IT-систем, объединяющих в себе сервер, сторадж, сеть, и предоставляющих некую объединенную (“конвергентную”, как приято сегодня выражаться) платформу для работы приложений.

??нтересно, что квадрант (и видение Гартнера) понравился многим в нем отраженным вендорам. NetApp заслуженно в нем занесен в сегмент leaders, где голова в голову рвутся вперед EMC с VCE Vblock, NetApp+Cisco с FlexPod, и Oracle с Exadata. Но при этом и новички, порой довольно злобо подкусывающие снизу “лидеров”, такие как Nutanix. о котором я уже писал в этом блоге, (и пишу в отдельном, ссылку не дам, найдете сами :), они тоже остались довольны своей позицией и их оценкой Гартнером. Все ж таки быть в visionaries для стартапа – очень почетная позиция. Поживем, посмотрим, смогут ли новички воплотить в жизнь свое видение ситуации.

Обращаю внимание, что “квадрант” это только визуализация общей проделанной работы, много важных аспектов содержится в собственно тексте работы, в особености в перечислении strength/cautions для каждого вендора.

Если тема станет для Gartner регулярной, в следующем году посмотрим динамику, пожалуй, самое важное в этом деле.

В связи с выходом новых стораджей, о которых мы начали говорить вчера, и продолжим еще, надеюсь, так как пока мы не говорили еще про FAS8080ES и про AFF, NetApp собирает в Москве народ на так называемый BreakFASt, это технический семинар на полдня, на котором инженеры вендора расскажут о новых продуктах, и, возможно, ближайших планах. Также можно будет пообщаться и со специалистами российского NetApp, и с “себе подобными”. Так, например, можно будет аккуратно потыкать пальцем в автора этого блога. :)

Участие, разумеется, бесплатное. Нужна регистрация, которая проводится тут.
Объявлена программа.

Происходить все будет 25 июня, в следующую среду, в первой половине дня, в DI Telegraph, это центр Москвы, на Тверской, здание бывшего Центрального Телеграфа.

Рекомендую не откладывать с решистрацией и занести событие в свои календари и напоминальники.

Несмотря на то, что многие уже догадались о том, что будет объявлено этим летом, а некоторые даже не удержались от утечек, сегодня, 17 июня, официально объявляется о выходе новой линейки в low-enterprise, систем хранения на замену популярным FAS2200.

Не секрет, что в свете новой стратегии NetApp по переходу на Clustered Data ONTAP для всей своей линейки стораджей, FAS2200 выглядели не очень привлекательными. Несмотря на довольно мощный по процессору контроллер, на нем явственно недоставало портов ввода-вывода. Ведь даже система 2240 с полной набивкой имеет всего 2 портв 10G Ethernet, а это, по сути, минимум для Clustered ONTAP, и все они будут заняты под кластерный интерконнект, оставляя для подключения хостов только Gigabit Ethernet, что не очень круто. Вдобавок, наличие всего одного слота для Mezzanine Card expansion, заставляло выбирать “на старте” систему с 10G Ethernet, или же с FC-портами, и никак не вместе. Наконец, хотя вскоре и самая младшая система FAS2220 получила возможность использовать 10G на Mezzanine card, это были дорогие SFP+ порты, стоимость подключения к которым была ну совсем небюджетной. ?? это все не считая памяти на контроллере, которой было ну совсем впритык по нынешним временам, когда VST-сторадж с flash SSD и Flash Pool становится почти стандартной конфигурацией даже в младших системах.

Вот все эти недостатки и были призван устранить новые системы, в серии, получившей название FAS2500: FAS2520, FAS2552  и FAS2554. Прямо из названия видно, что модели заменяют имеющиеся FAS2200 “одна в одну”, то есть FAS2220 меняется в линейке продуктов на FAS2520, и так далее. По слухам, остающимся без комментариев, FAS2200 ухдит из продажи (EOA) уже этой осенью.

Таким образом, в “век Clustered Data ONTAP”, начинающийся этой осенью, NetApp въезжает с полностью обновленной линейкой стораджей, линейкой обновленной и упрощенной. Теперь у него есть ровно два семейства: FAS2500 для так называемого low-enterprise, то есть нижнего сегмента энтерпрайз-клиентов, и FAS8000 для всех остальных, в которую входят системы как mid-range, так и high-end. Давайте посмотрим внимательнее на технические особености и детали, тем более, что их много и они интересные.

Контроллеры FAS2500, хотя и используют те же процессоры Intel Xeon C (dual core x64 1,73 GHz), что и FAS2200, получили в три раза больше памяти, чем FAS2200 (по 18GB на контроллер, 16GB RAM + 2GB NVMEM), и, соответствено, в два раза увеличилась емкость NVMEM. Увеличение NVMEM, как уже было проверено на FAS8000, крайне положительно сказывается на производительности на линейных, sequental-нагрузках, на которых у NetApp ранее было не все хорошо. Пусть они были не слишком частым профилем использования в реаллайф, но когда они были, на них можно было бы работать и побстрее. Вот сейчас это узкое место устранено. Память нынче дешевая, и теперь не проблема ее ставить побольше.

Больше памяти, в свою очередь, позволило поднять лимиты на число дисков SSD в Flash Pool, не секрет, что именно емкостью памяти на контроллере объем Flash Pool был так ограничен в FAS2200, так как Virtual Storage Tier во flash крайне любит память при работе. Так что теперь в FAS2500 допустимая емкость SSD в FlashPool увеличена в пять раз, до 4TB.

Память нужна не только для Flash Pool, она нужна и для собственно кластерных операций в Clustered Data ONTAP. Ограниченный объем памяти также ограничивал и размеры кластера по числу нодов-контроллеров, если в нем были “слабые” участники. Теперь допустимый размер кластера с участием FAS2500 увеличился вдвое.

Наконец, самое интересное. в контроллерах FAS2550 (то есть в моделях FAS2552 и FAS2554) установлены уже знакомые по FAS8000, так называемые UTA2, или Unified Target Adapters (AKA CNA – Converged Network Adapter), по 4 UTA2-порта на контроллер. Это порты, которые, в зависимости от настройки на стороне OS (и установленного SFP в него) могут быть или портом 10G Ethernet, или же портом FC 16G/8G. Единственное ограничение тут состоит в том, что, так как для CNA используются двухпортовые чипы, изменить его режим можно только для чипа в целом, то есть для пары, двух соседних портов. Таким образом, режим работы “10G Ethernet или FC” меняется на пару портов. Впрочем, это не слишком серьезное ограничение.

Кроме UTA2-портов на контролерах FAS2500 также осталось 2 порта Gigabit Ethernet для данных (e0a и e0b), порт ACP для управления полками и порт управления Service Processor, выделенным микроконтроллером out-of-band управления. Левее этой группы находится порт консоли. На левом краю контроллера – уже знакомые порты SAS для подключения дисковых полок.

Есть радость и для покупателей FAS2520, самой младшей системы. У нее такой же контроллер по процессору и памяти, что и в FAS2550, но у них тоже есть 4 порта 10G Ethernet на контрллер, правда это порты 10GBase-T, недорогие и пригодные для включенияв столь же недорогие свитчи.

В остальном – это тот же самый контроллер, с тем же процессором, памятью и возможностями.

Как и в случае FAS2200, системы FAS2552 и FAS2254 могут быть переделаны в дисковые полки, заменой контроллера на disk enclosure IOM3(IOM6), но также как и ранее, нельзя переделать FAS2520 в такую полку, что связано с иным, неподдерживаемым конструктивом последней.

Увы, пока нет планов апгрейда уже существующих у клиента FAS2200 в новые FAS2500, заменой контроллера, несмотря на то, что, формально, технически, как я понимаю, такая возможность есть, так как контроллеры и конструктивы системы совместимы. Возможно это будет и пересмотрено, появились же спустя какое-то время Mezzanine cards на FAS2220.

В Clustered Data ONTAP поддерживаются все возможные конфигурации, то есть dual-node switchless, switched и single-node cluster, а также mixed node configuration, то есть из “разнопородных” контроллеров. Допустимый размер кластера с участием FAS2550 составляет 8 нод, то есть 4 HA-пары, для FAS2520 – 4 ноды (2 HA-пары). Поддержка кластерных режимов, кроме switchless dual-node и single node, для FAS2520 объявлена с DOT 8.3.1, то есть к концу года/ первому кварталу 2015.

FAS2550 поддерживают все имеющиеся у NetApp протоколы, включая FCoE, его раньше не было у FAS2200. Однако FAS2520, с другими сетевыми интерфейсами, FCoE на 10G-портах  не поддерживает, также, как и FC, по понятной причине. Однако все остальные протоколы на 10G есть, например можно их использовать для 10G iSCSI, или по NFS. Все лицензии на все протоколы – включены по умолчанию в поставку.

Схема лицензий осталась примерной той же, что вам уже знакома по FAS2200. В базовую поставку включены все протколы, а также SyncMirror, FlexShare, OSSV, Snapshots, Thin provisioning, Deduplication, Multistore. За отдельные деньги идут все SnapManager в составе SnapManager Suite, SnapMirror, SnapRestore, FlexClone, SnapVault.

Ну и, конечно, у FAS2500 теперь новая “морда”-bezel, такая же, как у старших братьев – FAS8000 :)

Пользуясь случаем, хочу пригласить всех интересующихся за более подробным рассказом на так называемый NetApp BreakFASt, технический семинар на полдня, с утра, который состоится 25 июня, с 9 до 14 часов в Москве. В программе не только FAS2500, но и кое-что новое, о чем еще пока не рассказывалось.

Кстати, буду рад “развиртуализации” и встрече с моими читателями там.

В обсуждении хранилок не раз сталкивался с тем, что многие пользователи, знакомые с продукцией других вендоров, пищут: “А что это он так похож на … (IBM Storwise V3700, HP MSA 1020, Dothill 3450, whatever)?”
Недавно, я, кажется, нашел простой и, кстати, похожий на правду ответ.
Дело в том, что нашем мире всеобщей международной интеграции и кооперации уже редко кто производит какой-то продукт целиком, от начала и до конца. Есть специалисты, которые производят некий “конструктор”, например у ноутбуков он называется barebone, он покупается промышленной партией, а затем дополняется выбранным процессором, памятью, контроллерами, и так далее, и выпускается уже под именем сборщика.

Нет смысла заниматься разработкой такого баребона “с нуля”, если компания-специалист, умеющий такие железки проектировать правильно (см недавний пост про вибрации, например), и делающий их хорошо и много, продает их дешевле, чем сможете “на круг” разработать и произвести вы своими силами. Ну вот и замечательно, это позволит снизить еще на несколько тысяч себестоимость полного стораджа, все в плюсе, в результате.
Ваша задача, как разработчика интеллектуального продукта - разработать “мозги”, например контроллер. В железке, которую вы покупаете как barebone для стораджа, есть слот под установку контроллера, в становящемся общепринятым формат-факторе SBB - Storage Bay Bridge.
В итоге, вы получаете barebone конструктив, разрабатываете и производите (или заказываете специализированным компаниям) производство контроллера по вашим спецификациям и чертежам, пишете софт, и получаете недорогой сторадж. А уж что он будет похож на несколько других стораджей, barebone-шасси для которых разработал какой-нибудь всеобщий Xyratex (хорошо известный OEM-бренд в отрасли стораджей), ну так суть-то стораджа не в креплении дисков и блоков питания, а в контроллере и софте.