about NetApp

??так, в прошлый раз мы начали трогать тему перехода с Data ONTAP 7-mode, на Clustered Data ONTAP, и все что с этим связано.

Если вы только подключились, то рекомендую начать с прошлого поста, чтобы мне не повторять все с самого начала, зачем это нужно, почему именно сейчас (этим летом-осенью), кому это нужно, и что предстоит, если таки да.

Если вы уже последовали намеченным путем, то есть прочитали TR-3982 Clustered Data ONTAP 8.2: Введение, доступный в переводе на сайте Netwell. Посмотрели учебные материалы про Clustered Data ONTAP, почитали документацию, поставили и покрутили симулятор, то следующий шаг - планирование перехода.

?? тут я бы хотел напомнить, какие у нас есть сложные моменты.

Прежде всего - это ограничение, которое накладывается на число узлов кластера, с использованием старых и слабых контроллеров.
Как я уже не раз тут говорил и приводил эту пословицу: “Скорость эскадры определяет скорость самого медленного в ней корабля”. Так и в случае кластера. Да, с использованием самых топовых контроллеров, например FAS8060 или FAS6200, вы можете построить кластер вплоть до 24 узлов для NAS и 8 узлов для SAN, верно.
Но если у вас в кластер включены FAS3160 или FAS2200, то тогда максимальные размеры кластера определят эти “медленные корабли”. Это стоит помнить, и сразу здраво оценивать, хотите ли вы пихать в новый кластер старые контроллеры, которые, в теории, может быть, и могут быть в него включены, но своим включением существенно его ограничат.

Например, если у вас сейчас контроллеры FAS2240, а через год вы собираетесь перейти на мидрендж, и, допустим, покупаете четыре FAS8040, намереваясь все их включить в общий кластер, чтобы мигрировать между всеми ними ваши стораджевые задачи, то следует понимать, что вы не сможете включить все их в состав одного кластера, как бы заманчиво это ни выглядело.

Хотя определенный смысл от перехода на Clustered Data ONTAP есть и в этом случае, например облегчается миграция, даже однократная и односторонняя, со старых контроллеров на новые.

Таким образом вот ваши лимиты, по контроллерам разных моделей:

FAS3140 - 2 узла.
Такая же ситуация у FAS2520 - 2 узла максимум.
Это, фактически, ровно HA-пара и все. К этой паре больше никого не подлючить. Но эта пара будет, тем не менее, кластером.
Далее.

FAS2220, FAS2240, FAS3160, FAS3170, FAS3210, FAS3240, - 4 ноды максимум.

FAS2550, FAS3220, FAS3250, FAS3270, FAS6040, FAS6210 - 8 нод - максимум, и под NAS, и под SAN.

Наконец, топовые системы:
FAS6080, FAS6220, FAS6240, FAS6250, FAS6290, FAS8020, FAS8040, FAS8060, FAS8080EX - 24 ноды под NAS и 8 нод под SAN.

Это для нас значит, что мы не можем в нашей гипотетической конфигурации включить в уже собранный кластер из пары FAS2240 еще четыре FAS8040, потому что лимит для кластера с участием FAS2240 равен 4 нодам. Но еще пару FAS8040 - можем, безусловно.

Какой же у нас есть путь “в кластер”, для уже существующей системы?

Наиболее простой вариант - пересборка вашей пары контроллеров, работающей в 7-mode в HA-пару так называемого 2-node switchless cluster. При этом вам не требуется строить Cluster Network с использованием выделенного 10G Ethernet коммутатора, но вы можете его добавить позднее, если вам потребуется перейти на кластер, превышающий 2 узла, это не потребует больших затрат сил, а при использовании отказоустойчивой пары соединений 10G для межнодового кластерного интерконнекта, то и вовсе может быть выполнена без прерывания нормальной работы. Просто одно соединение, идущее из одного контроллера в другой напрямую, разрывается, переключается в подготовленный коммутатор, затем, после того, как ноды увидели друг друга через коммутатор, можно разорвать и перенести в коммутатор и вторую пару соединений Cluster Interconnect.

Конечно, как и всегда, для любой кластерной системы, вам обязательно нужно иметь выделенные порты 10G под Cluster Network, и для стандартной отказоустойчивой схемы с избыточностью их нужно по два порта на контроллер.
Да, для FAS2240 вы, в результате, вынуждены отдать оба имеющихся порта 10G под кластерную сеть. Ну и, конечно, в любых других контроллерах, вам тоже надо будет иметь по паре 10G портов только под эту выделенную сеть.

Как вы видите, в двухнодовый кластер вы можете (при наличии в нем пары 10G-портов) перевести почти любой из “ныне живущих” (в данном случае это понимается как “поддерживаемый”) контроллеров. Нужно ли - отвечать вам.

К сожалению, пока по-прежнему нет решения, которое бы перенесло данные из системы 7-mode в систему Clustered Data ONTAP, в data-in-place, то есть в столь привычном разбалованным юзерам NetApp варианте апгрейда, когда “перетыкаешь кабеля, и поехало”. Напомню, сегодня по-прежнему для перехода на Cluster надо полностью разобрать имеющуюся систему и переинициализировать диски, с потерей data-in-place, то есть либо через “бэкап и рестор”, либо через миграцию.

?? вот как мы будем из этой ситуации выкручиваться, вот про это будет пост “Часть 3″.

Привет всем. Сегодня - организационный пост.
Многие, взбудораженные позапрошлым постом с опросом, и предложенной встречей в нынешний четверг, уже задают вопросы.

Я решил немного сдвинуть дату. Связано это с тем, что компания NetApp, со своей стороны, решила принять посильное участие в намеченном собрании, приглашает* желающих собраться и попить пива, обещает* что ее участие будет полезным и приятным всем, а потому я решил чуть отложить встречу, чтобы как следует подготовить все и подготовиться, найти место, оценить бюджет, и все такое прочее.
Поэтому новая дата сместилась на 7 августа, то есть через две недели.

С нашей стороны, в свою очередь, по сравнению с обычной пьянкой, будет нужно заполнить форму регистрации, чтобы поддерживающие нас сотрудники компании в Москве могли отчитаться. Несмотря на то, что многие все еще страсть как не любят все эти истории с регистрацией и указанием своих емэйлов, считая, что единственное, зачем это делается компаниями - это продать их наутро спаммерам по пяти центов за емэйл, я гарантирую, что эти адреса не будут использоваться для каких-либо рассылок (если вы сами этого не захотите в явном виде).

Также обращаю внимание, что буду рад видеть не только уже, так сказать, действующих клиентов, уже купивших и эксплуатирующих системы NetApp, но также и “просто интересующихся”, тех, кто меня читает (как я знаю, таких довольно много), и пока раздумывает. Возможно, вы найдете какие-то решающие аргументы, или просто ответы на вопросы у людей, которые уже используют NetApp в своей работе.

Еще раз: вот это - форма регистрации, заполните ее, пожалуйста, до 7 августа.
>> Я буду 7 августа на встрече NetApp RUG

* по ряду причин я не имею права употреблять определенные слова, ибо корпоративный anti-bribery check не дремлет. ;)

??нтересную визуализацию построили в Silverton Consulting (SCI) для результатов тестов SPC-1

Хотя придиры могли бы придраться, что SPC-1 это, мол, не совсем “OLTP”, и нельзя так их сопоставлять, но мы отметем эти реплики как неорганизованные, ведь общепризнанно, что SPC-1 тест по методике крайне жесткий, в чем-то куда жестче для стораджей, чем традиционный профайл, который принято считать “OLTP” (100% random, 75/25 R/W, 4-8KB block)

Полный текст весьма лестного для NetApp обзора можно посмотреть тут.

Результаты для SPECsfs2008 также есть в таком, “квадрантном”, представлении, например для NFSv3 и SMB.

Не исключаю, что некоторые мои читатели были недавно на ежегодном сборе VMware RUG, возможно мы с кем-то там даже виделись. В таком случае, вы уже знаете, что такое вендорская юзергрупп, и чем она может быть полезна лично вам. А для остальных, немного вводного бла-бла-бла.

Сотрудники компаний-партнеров, а также инженеры NetApp со специалистами партнеров, обычно видятся и общаются на вендорских семинарах, а вот непосредственно кастомеры между собой, чаще всего, знакомы довольно слабо. А ведь у многих из нас есть что рассказать, у кого-то – проблемы, а у кого-то – ответы, опыт и наработанная экспертиза, находки, подчас годы эксплуатации. К сожалению, в лучшем случае, это общение в форумах, и редко когда кастомер выбирается из этого “VLAN-а”, созданного между ним, и, допустим, партнером, на котором, зачастую, все общение и “терминируется”. Таким образом, Usergroup, по опыту зарубежных пользователей, где этот формат активно развивается, становится своеобразным каналом общения “C2C”, Customer-to-Customer. Объединенные пользователи, в свою очередь, становятся интересны вендору (а не только его собственному партнеру), иногда могут лоббировать какие-то свои интересы, вендор-же, со своей стороны заинтересован в поддержке активных пользователей, раздаче плюшек разной степени виртуальности.

Что же касается меня, то идею, что России нужна ее собственная рускоязычная полльзовательская группа, самоподдерживающееся и саморазвивающееся пользовательское комьюнити, я толкал уже много лет. Но, поскольку мои возможности в этом ограничены, я начал с организации виртуальной юзергруппы в виде “форума взаимопомощи”, куда многие мои читатели, я уверен, ходят, и читают (там же есть подписка на RSS, и вы можете подписаться на обсуждения, чтобы не прпускать интересное). В июле 2012 года, когда я на какое-то время приезжал в Москву, мы собирали здесь забавную “пивную вечеринку”, на которой какая-то часть московских кастмеров познакомилась со мной и друг с другом. ?? вот, наконец, мой зудеж на тему Russian User Group, был высочайше замечен, этим летом со мной связался московский NetApp, с вопросом и предложением об организации официальной российской групы пользователей, которую он возьмется поддерживать и встречи которой спонсировать.

Поэтому ниже, официальные вопросы NetApp к читателям этого блога:

Ваш неослабевающий интерес к технологиям NetApp и особенностям их использования в реальной жизни,  а также активная жизнь в блогах и на форумах, привели нас к решению предложить вам дополнить виртуальное общение живым. Мы предлагаем нашим заказчикам,  партнерам, а также тем, кто еще только рассматривает возможность внедрения технологий, объединиться в NetApp User Group.   В рамках работы этого сообщества мы обещаем: 0 маркетинга, много общения с нашими инженерами, обсуждение особенностей  внедрения и применения технологий NetApp, обмен мнениями с  коллегами по цеху.  NetApp User Group  - это "живое" дополнение к виртуальному общению,  регулярные встречи в непринужденной обстановке. Пока в Москве, но мы готовы расширить географию при наличии интереса.  Конечно, будут всякие "плюшки" в виде сувениров, возможности пройти обучение и сертификацию и так далее.

А пока мы хотели бы выяснить, интересен ли вам такой формат общения.

Вот два вопроса, за ответы на которые мы будет благодарны.

[poll id="12"]

[poll id="13"]

Дополню от себя. Как вы понимаете, вопросы выше прежде всего ориентированы на то, чтобы понять, для начала, сколько нас вообще, в России, и сколько тут, в Москве. Обычно у меня на опросы отвечает 100-130 человек. Давайте посмотрим, что получится в этот раз. Пока же я надеюсь в ближайшее время повторить пенную пивную вечеринку, по образцу встречи 2012 года в Москве, там, желающие, могут высказать мне лично все что они по этому поводу думают, и чего мы, как “банда” (с) хотим в России от NetApp.

В комментариях не возбраняется писать свои соображения, вопросы, как ко мне, так и к NetApp (российский NetApp меня также читает), а также разнообразные крики в поддержку (и в неодобрение) моей идее о личной встрече 2014. Давайте, для определенности, рассмотрим вариант выпить пива (или что там кто предпочитает будучи за рулем) в четверг, 24 или 25 июля, в центре Москвы.

Ну и не забудьте нажать на опрос выше, в особенности, если вы читаете меня из RSS.

Автор блога NTAPgeek расспросил Ника Триантоса, одного из ведущих инженеров NetApp, по поводу All-Flash FAS систем, стоящих за ними технических решений, и чем AFF отличается от других flash-стораджей, в том числе и тех, что производит сам NetApp, например уже известного вам EF550.

Ник говорит:

“Наибольшая проблема для нас была не в том, как WAFL пишет; на деле это как раз большой плюс архитектуры. Основные проблемы и задачи при разработке были:

Оптимизация под многоядерные процессоры – Долгое время Data ONTAP не умела эффективно использовать многоядерность процессоров. Проект по проведению оптимизации под многоядерность стартовал с версии 7.3 и продолжался вплоть до релиза Data ONTAP 8. Я уверен, что вам доводилось видеть ситуацию, когда один CPU работает с загрузкой 90% и другой - на 20%! Если нагрузка упирается на уровне ONTAP domain, который должен выплняться на одном единственном ядре, то возникает узкое место для роста производительности. ?? при этом неважно, что другие ядра были недозагружены. Эта задача была, в итоге, решена.

Управление метаданными – Когда вы используете маленькие блоки данных, например у NetApp это 4K, то при этом вы получаете множество метаданых, которыми нужно управлять. Для того, чтобы получить максимально быстрый доступ к даным, вам нужно сперва максимально быстро получить доступ к их метаданным. А где быстрее всего доступ к метаданым? В оперативной памяти. Вот почему мы используем так много оперативной памяти на контроллерах серий FAS2500 и FAS8000; мы стараемся как можно больше метаданных при работе держать в быстрой памяти контроллера.

Защита данных – Это связано с темой выше. Системы AFF имеют больше возможностей по защите данных, чем любая другая система c flash (и, кстати, не только flash) на сегодняшнем рынке. Хотя это и полезная штука, есть определенные недостатки. Недостатки состоят в более динных путях ввода-вывода, так как метаданные размещаются и валидируются отдельно от блоков данных.
Как вы защищаетесь от lost writes? Что случится, если вы торговая компания, и на вашей системе хранения SSD сказал, что данные записаны, а на деле он их не записал, или записал не так или не туда? Вы рискуете огромными финансовыми потерями. Data ONTAP не только обнаруживает такие ситуации, но и защищает, а также помогает восстановить данные, испорченые в результате lost writes (это крайне коварная проблема).”

Потерянные операции записи, или “Lost writes”, это редкая, но при этом очень трудно обнаруживаемая ошибка, и самое плохое с ней то, что вы не знаете, что она уже произошла, и  обнаруживаете ее только дни или даже месяцы спустя. Но когда она случилась, она повреждает ваши данные! ?? тут можно только пожелать удачи вам, в поисках бэкапа, снэпшота или точки репликации, в котором эта ошибка еще не проявилась и данные еще не повреждены. Конечно же, любые фичи по зашите данных имеют свои побочные эффекты и недостатки.

Другими словами, хорошая скорость работы и устойчивость к отказам сразу двух дисков – недостаточны для того, чтобы считать, что ваши данные надежно защишены. В особенности, когда flash-хранилища используются для бизнес-критичных приложений. Вам следует проанализировать возможные ситуации отказов, и убедиться, что ваше хранилище устойчиво к ним, а данные - защищены. Более 20 лет мы совершенствеум и развиваем Data ONTAP, и достигли в ней очень высокого уровня надежности и устойчивости против всех видов отказов и различных их комбинаций.”

Напомним, бандлы NetApp AFF имеют:

1. Больше памяти
   Больший объем кэша чтения-записи в FAS8000, что позволяет держать в нем больше метаданных
2. Более быстрый NVRAM
   Быстрее отрабатываются ACK, как следствие – ниже отклик и задержки
3. Значительно оптимизированную многоядерную эффективность OS
   Проводилась начиная с Data ONTAP 7.3
4. Continuous Segment Size Cleaning (CSS)
   Переменный размер сегмента Data ONTAP  (4K-256K)
5. ??нтеллектуальные алгоритмы упреждающего чтения, определяющие типовые паттерны операций:
   • Последовательное чтение с тем же (например 32k) и различными размерами блоков (4k,64k,4k,64k)
   • Скачущее (strided) чтение: Начнем с блока N и прочитаем, считая с него, блоки 10 и 12, но пропустим блок 11
   • Обратное чтение: Начнем с блока N, и прочитаем –10 блоков, считая от него
   • Несколько потоков чтения, читающих из разных точек

Бандлы NetApp AFF доступны к заказу с 23 июня 2014 года.

??з всей троицы продуктов, появившихся у NetApp этим летом, а именно: FAS2500, FAS8080EX и NetApp AFF, совершенно неожиданно для меня именно последний стал предметом преткновения, пост про который я пишу уже вторую неделю. Если про FAS2500 я написал сразу, и там, в целом, все ясно по прочтении техспек и  Technical FAQ / SE Presentation, если c FAS8080ES тоже все ясно, это “больше, выше, сильнее”, вот, в общем, и все что про него можно рассказать, я даже отдельно про него писать не стану, то вот в отношении All-Flash FAS такая ясность долго не наступала. ?? далее я попробую рассказать, в чем, собствено, состоял предмет затруднения.

Continue reading ‘NetApp AFF: All-Flash FAS’ »

На Хабре новое сравнение облачных провайдеров, на 34 компании (ActiveCloud, AWS (Amazon), b2b.beeline.ru, Clodo, Cloud One, Cloud4Y, CloudySky, Croc, DataFort, DataLine, De Novo, DepoCloud, e-Style Telecom, infoboxcloud.ru, ISPserver, IT Lite, IT-Grad, Linx, M1 Cloud, АЙТеко, MakeCloud, Oncloud, Orange, Oversun, Parking, Rackspace, Rentacloud, Selectel, Softline, Аутсорсинг 24, Корус Консалтинг, Мегафон, Облакотека, Ростелеком О7, РТКОМ). По сравнению с “первой версией”, число участников существено расширилось. О первой версии я также писал ранее.
??з 26 ответивших на вопрос, используются ли у них системы хранения и какие (часть отказалась предоставить информацию, часть не использует СХД вовсе), у 11 используются системы хранения NetApp, что составляет 42% от общего числа.

За подробностями – в статью, там еще много интересного для интересующихся коммерческим хостингом приложений в облачной инфраструктуре в России.

Так как российские законодатели, в неизбывной мудрости своей, никак не хотят оставить в покое сдвиг временных зон в России, рекомендую освежить в памяти текст поста, опубликованного по поводу предыдущего каталипсиса, в 2011 году: Обновление timezone на системах хранения NetApp. Помните, что совпадение временных зон и времени на системе хранения и серверах/клиентах сети, например при работе ее в домене Active Directory, абсолютно необходимо, его несовпадение чревато прекращением доступа к данным из-за рассинхронизации тикетов системы безопасности Kerberos, используемой в AD.