Системы хранения данных как предмет разговора
Archive for Март 2014
??менно так, 31 марта празднуется Всемирный День Бэкапа.
А что ты сделал сегодня, чтобы бесцельно провести этот день не остаться первого апреля главным дураком года?
Давай-давай, закрой уже блог, завтра придешь почитать, никуда он от тебя не денется, он-то как раз еженедельно дампает базу, а вот ты, да-да, ты, что ты сделал сегодня полезного, если завтра придет песец жареный петух?
??зредка в этом блоге появляются частные объявления. Сегодня - как раз такой случай.
Друзья продают готовый сет, использовавшийся для построения private cloud в компании. ??спользовалась VMware vSphere Essential Plus, которая также имеется (железо специально подогнано под лицензионные требования 5.0 Essential Plus)
Полный состав лота:
Система хранения:
NetApp FAS2040A с Complete License Pack (то есть ?? все протоколы, ?? FlexClone, ?? SnapMirror, ?? неограниченные лицензии на SnapDrive и SnapManagers для всех платформ, в общем полный all incliusive всего, что у NetApp для этой платформы есть).
12x 1 TB SATA “в базе”.
Цена - 20000 USD
плюс к этому полка
DS4243 с 24 дисками SAS 300GB 15K
Цена - 10000 USD
Серверы Cisco UCS-series C250 (1U 19″ rack)
2 штуки:
CISCO C250 Rack Svr, 2x X5650,24×4 GB DDR3 1333 (96GB total), 2 PS, LSI308. без встроенных дисков, 2х + 4х Gigabit Ethernet ports.
Цена - 5000 USD (за каждый)
1 штука:
CISCO C250 M2 Rack Svr, 2x X5670, 24×4 GB DDR3 1333 (96GB total), 2 PS, HDD 2×1Tb, 2х + 4х Gigabit Ethernet ports.
Цена - 5500 USD
Серверы являются членами семейства UCS, управляются через UCS Manager, могут использовать все фичи UCS, такие как профили загрузки, централизованное управление, и так далее. Много памяти в базе, специально под работу хостами ESXi.
Сетевая фабрика:
2 штуки:
CISCO Catalyst 3560X 24 Port L3 switch
Цена - 1250 USD за каждый.
По фабрике бегает NFS по транкованным гигабитным портам, плюс iSCSI (не используется в текущем сете). FC не используется (в текущем решении), хотя все возможности по его использованию на стороне стораджа есть.
Все оборудование куплено “в белую”, “в белую” же и продается.
На оборудование имеется остаток вендорской warranty и саппорта. На Cisco (Smartnet) до декабря 2014, на NetApp - до июня 2015.
Сразу хотелось бы предупредить, что сет хотелось бы продать целиком, варианты с предложениями раздербанить, вида “А можно нам 8 дисков отсюда достать?” будут рассматриваться в последнюю очередь, также как и то, что объявленные цены действительны только при покупке сета целиком, и не гарантируются при дербанке на компоненты.
В настоящий момент сет работает под VMware vSphere, и может быть продан в настроенном и готовом к включению и продолжению работы состоянии.
??нсталляцию хозяйства проводил ваш покорный слуга, и за правильность ее и всех настроек отвечаю лично. :)
Этот сет был подробно описан в посте на Хабре: http://habrahabr.ru/company/netapp/blog/128301/
Единственное отличие от описанной там конфигурации - вместо Cisco Catalyst 3750X используются C3560X, без стекирования. ?? вместо Virtualisation Pack - Complete pack.
Несколько слов по близкой мне тематике стораджей. FAS2040 это, конечно, не FAS2240, он примерно в полтора-два раза слабее по мощности процессора, но все равно это очень и очень достойная машинка, а в текущей конфигурации - почти идеально подходит. У нее нет 10G Ethernet, но зато в базе по 2 порта FC 4G, и лично знаю людей, которые в свое время кусали локти, упустив последнюю распродажу в 2012 году последних 2040, и пришлось покупать существенно более дорогую FAS2240-4 с FC mezzanine.
Разумеется, вся эта кухня сопровождается бесплатным русскоязычным premium-саппортом от меня, в качестве IT-консалтера. :)
Цены - ориентировочные. Вопросы и предложения - в почту romx@mail.ru.
ЗЫ. Самовывоз из дефолтсити.
Коллеги из украинского дистрибутора (вы, кстати, обратили внимание на то, что у меня тут появился новый раздел - Дистрибуторы в Украине?) провели очень интересный подсчет того, сколько экономится денег на электропотреблении при использовании не дисковой, а диски+SSD/Flash Cache системы.
Ну то есть все мы знаем, что экономия, типа, есть, а вот во что эта экономия выливается в “деньгах”?
Оказывается экономия - весьма и весьма существенна, даже для пессимистически настроенных.
Посчитали просто две объявленных на SPEC SFS2008 конфигурации, о которых мы говорили раньше, то есть “чисто-HDD” FAS3250, и HDD+Flash Cache FAS8020, идущая ей на замену, и имеющая производительность даже чуть выше.
Оказывается, за три года эксплуатации, экономия на энергопотреблении составляет около 17 с половиной тысяч долларов, а за пять лет - около 30 тысяч долларов, при цене “за киловатт” - около 0,1-0,09$/kWh (для промышленных предприятий в Москве - так примерно и стоит, как я знаю.)
При этом следует помнить, что экономия также идет при охлаждении, за счет энергии, потребляемой кондиционерами, и в данном подсчете пока не учитывается, но тоже может составлять довольно существенную величину.
Следует также помнить, что экономия существенно растет с увеличением размеров системы по числу дисков, и если на небольших стораджах, типа 2240, она будет сравнительно невелика, то для больших систем, с несколькими полками дисков, она может выливаться в реальные десятки тысяч долларов.
Обсуждая и отмечая выход FAS8000 как аппаратных устройств, мы совсем выпустили из внимания их “программную” часть. 19 февраля вышла Data ONTAP 8.2.1, и новые контроллеры будут поставляться с самой новой ее версией - 8.2.1RC2.
Напомню, вновь, что в номенклатуре NetApp версия RC, хотя и расшифровывается как “Release Candidate”, тем не менее не является какой-то там недопроверенной и неготовой “бетой”, это официальная production-ready версия, пригодная и устанавливаемая на продакшн-системы, просто вот такая вот схема нумерации версий принята. С этим разобрались, пойдем теперь deeper. :)
Что нового появилось в Data ONTAP 8.2.1
Вы помните, возможно, что встроенный антивирус в DOT 8.x уже был в ранних версиях ее, но потом был удален для доработки. Доработка проведена, и вот теперь, надеюсь окончательно, в Data ONTAP 8.2.1 появился встроенный антивирусный сервис. Это крайне важно для всяческих “файловых” применений и крупных NAS. До сих пор такие системы строились с внешним антивирусным сервером, возможность подключения которого существовала у систем хранения NetApp всегда. Теперь появилась возможность, в дополнение или же как замена такому, использовать антивирусный сервис внутри контроллера.
Спасибо читающим и комментирующим за важную поправку, действительно, я неправильно прочитал, это не встроенный, а внешний антивирус, просто улучшили некоторые моменты его работы, но антивирус по-прежнему является внешним по отношению к процессору контроллера системы хранения.
Вновь вынесу коммент, котрый может быт интересен многим.
Вопрос, частично сформулированный в комментах к предыдущему посту, и часто задаваемый многими, звучит примерно так:
Ну вот выпустили вы новый контроллер системы хранения, но почему вы не взяли процессор ХХХХ, ведь у него уже Х ядар и Х гигагерц, не говоря уж про поддержку хххх(tm)?!
Что интересно, на этот вопрос отвечал сам же Стивен Миллер, которого я цитирую уже не в первый раз, причем отвечал в прошлой статье, после выхода FAS3200/6200.
Дело в том, что ситуация, с которой сталкиваются производители, допустим, систем хранения, как и вообще “ынтерпрайза”, она отличается от той, с которой сталкиваемся мы, допустим, собирая самосборный сервер.
Смотрите сами: для начала, так как контроллер системы хранения, это не general-purpose “материнка”, и разрабатывается отдельно, специально, и, во многом, с нуля, процессор ?? чипсет, выбранный как основа для этого контроллера, должны быть доступны проектантам и разработчикам, хотя бы в виде инженерного, работающего “в кремнии”, сэмпла, минимум за год-полтора (а скорее как бы не за полтора-два года), до даты релиза.
Это время необходимо на то, чтобы разработать плату контроллера, развести ее, изготовить образцы, тщательно протестировать “в железе” все поддерживаемые конфигурации и сочетания с другим оборудованием (например с имеющимися и поддерживаемыми платами расширения, видами портов и прочих интерфейсов, и так далее). Вы себе можете представить, насколько тщательно должна быть протестирована такая материнка. Это ведь не десктопный писюк, который, если заглючил, то, ну, купи другую, переставь винду, и вообще, надо было брать ASUS (MSI, Gigabyte)! Риски для данных пользователя в нашем случае неизмеримо выше.
Затем наступает время релиза этой системы.
Затем контроллер с этим процессором производится и продается несколько лет, допустим, до появления его смены и снятия с продаж (EOS - End Of Sales) - два-три года.
Но даже последняя проданная система должна обеспечиваться гарантированной поддержкой в течении трех лет, плюс возможные два года postwarranty support.
?? только после этого эта система заканчивает свою активную жизнь, и контроллер с данным процессором перестает быть гарантированно доступным для его приобретших клиентов, например если возникнет необходимость заменить “умерший” по гарантии.
Все это время, то есть около 10 лет, процессор ДОЛЖЕН оставаться доступным на рынке в товарных количествах.
А это совсем не всегда возможно, и не со всеми процессорами.
Дело в том, что процессоры, что у Intel, что у AMD, что у многих других вендоров, делятся на две части. Одни - это процессоры bleeding edge, самые-самые, свежак и топ. ?? другие, так называемые LTS, Long Time Support, в отношении которых производитель гарантирует увеличенный цикл поддержки и их выпуска. Обычно эти LTS не являются “самыми-самыми”, так как у самых-самых повышенный риск устаревания, а так как их основная ценность состоит в нахождении их в топе продуктовой линейки, то нет особенного смысла производить их подолгу, ведь их, обычно высокая цена в первую очередь связана с тем, что процент выхода годных чипов ниже, чем для “не таких топовых”.
?? такое существует не только для процессоров.
?? именно это заставляет производителей не гоняться за “разгоном” и самым-самым, а выпускать свои контроллеры на, казалось бы, не самых топовых на момент релиза, процессорах, и не самыми передовыми технологиями. Причина для этого - все та же. Высокие требования к надежности, поддержке, и тому самому supportability систем.
В Tech ONTAP (это, если вы не получаете, ежемесячный newsletter у NetApp), статья Стивена Миллера, старшего технического директора NetApp и архитектора платформ, фактического “создателя”, на протяжении 6 лет, всех платформ NetApp, начиная от FAS3100.
Статья техническая, и, как всегда, “по делу”, посвященная подробностям и деталям устройства новых контроллеров FAS8000.
Вот вам, для затравки, картинка задней панели новых контроллеров, 8020 и 8040/8060:
Некоторые факты и реплики, показавшиеся интересными и выдернутые из текста:
“Мы используем специальные инструкции, появившиеся в семействе процессоров Sandy Bridge, и сотрудничаем с Intel, чтобы использовать (в будущих релизах софта? romx) инструкции для шифрования, компрессии, а также Advanced Vector Extensions, которая позволяет одной инструкцией обрабатывать множественные фрагменты данных”
“Мы используем схему с одним DIMM на канал памяти, чтобы максимально расширить полосу пропускания и увеличить производительность памяти. FAS8060 дает до 85Gb/s пропускной канала от ядер к памяти”
“Новый дизайн NVRAM. Нынешний NVRAM9 имеет вдвое шире полосу пропускания, чем NVRAM8 (в 3200/6200, romx)”
“Увеличенный NVRAM улучшает производительность записей большого объема последовательного доступа. Многие нагрузки произвольного характера также имеют значительную последовательную компоненту, например в OLTP последовательно пишутся логи.”
“NetApp - первопроходец технологии PCIe Gen3, на протяжении двух лет мы вылавливали баги и нестабильности, чтобы обеспечить стабильную работу новой платформы. Все FAS8000 построены с использованием PCIe Gen3. В FAS8060 используется 80 каналов Gen3 (вместо 72 Gen2 каналов в 6220), что удвоило полосу пропускания ввода-вывода. В FAS8040 и FAS8020 используется по 40 каналов Gen3, что в 10 раз расширяет их внутреннюю полосу пропускания, в сравнении с предшественниками.”
“Каждый контроллер FAS8000 оснащен четырьмя основными типами “набортных” портов: GbE, SAS, 10GbE, и Unified Target Adapter 2 (UTA2). В FAS8020 по два порта каждого типа (четыре на HA-пару), а в FAS8040 и FAS8060 по четыре порта каждого типа (восемь на HA-пару).”
“Порты UTA2 применены впервые в индустрии. Порты, сконфигурированные как FC 16G оптимальны для подключения внешних, виртуализуемых систем хранения, через FlexArray. Если у вас нет FC, то вы можете сконфигурировать эти порты как 10Ge, для FCoE, iSCSI, NFS или SMB, так что ничего не пропадет.”
“Порты UTA2 также доступны в виде карт расширения PCIe Gen3, они также могут быть установлены в FAS3220, 3250 и во все модели 6200″
“Порты onboard 10Ge используются для cluster interconnect в Clustered ONTAP, а также для подключения клиентов. Могут быть использованы вместе с портами UTA2.”
“Появились карты расширения 10Gbase-T, работающие по Cat6А и выше. Порты поддерживают 10G и Gigabit Ethernet”
“Контроллеры FAS8000 поддерживают all-flash конфигурацию. Поставляются SSD емкостью 200GB, 400GB, 800GB, и 1.6TB.”