Системы хранения данных как предмет разговора
Archive for the ‘whoisho’ Category.
??так, в понедельник я показал вам как выглядит сзади то, что видят сравнительно немногие, либо только специалисты-инженеры, но что всегда привлекает любого гика.
Вы себе не представляете насколько я мучаюсь подбирая слова, чтобы хотя бы свести к минимуму сексуальную двусмысленность. ;D
На сегодня у нас остались дисковые полки расширения.
Я заметил, что экстраординарной популярностью в моем блоге пользуются посты “с картинками”.
Сегодня у любителей картинок большой праздник. Картинок будет много.
Я решил устроить сеанс geekporn, и показать как выглядят задние панели большинства систем NetApp. Возможно тем, кто не видел ни одной “живой” системы это будет любопытно.
Вот так выглядит сзади контроллер “старой” midrange-серии, в данном случае это FAS3040 (или же FAS3070, внешне они идентичны). На сегодня эти системы уже не продаются, но они были весьма популярны несколько лет назад, и все еще часто встречаются и продолжают счастливо работать.
В блоге Vaughan Stewart-а, “главного блоггера NetApp по VMware” найдена полезная информация. NetApp предлагает специальный скидочный код для покупки full conference pass for individuals для VMworld в San Francisco, а также VMworld в Copenhagen. С дисконтом NetApp цена снижается с $1745 до $1495 (USD) и с € 1150 до € 950 (Euro).
??спользовать код можно при регистрации на VMworld по следующему адресу:
http://www.vmworld.com/registration.jspa?sponsorCode=NAPP
Просто введите один из этих кодов при завершении покупки билета:
San Francisco code: NETAPP_EB_US2010
Copenhagen code: NETAPP_EB_EMEA2010
Дополнение: Как пишет Nick Howell, дисконт NetApp работает и “задним числом”, то есть, если вы уже приобрели билет за полную цену, вы можете получить вашу скидку, послав запрос по email: VMworld2010Registration@vmware-events.com.
Не скрою, среди отдельных штук в NetApp есть вещи, способные поставить в тупик.
По моим наблюдениям, изрядным камнем преткновения для пользователей, вот уже несколько лет, является так называемый fractional reserve, как и вообще вся “кухня” распределения пространства под LUN на системах хранения NetApp.
Что же такое этот “загадочный” fractional reserve, и как его правильно использовать?
Думаю, что изрядная доля проблем понимания вызвана, в первую очередь, неудачным термином.
Fractional - “дробный”. но что там дробится, и зачем - остается непонятным.
Я заметил, что в некоторых продуктах, выпущенных NetApp в последнее время появилась более удобоваримая замена для этой “фичи”: Overwrite reserved space - “резерв под перезапись”.
Чтобы разобраться что же это за резерв такой, давайте вспомним, как устроено хранение данных на системах NetApp.
Я уже писал раньше о том, что в основе любой системы хранения NetApp FAS лежит собственная OS и собственная специализированная файловая структура (я намеренно избегаю использовать более привычный термин “файловая система”, чтобы не получить ненужных ассоциаций у читающих, ведь WAFL, в опредедленном смысле, уникальный по своему устройству продукт).
В основе WAFL лежит идея организации записи данных как “неперезаписывающего” процесса. Каждый блок данных записывается однократно, и остается на своем месте. Все же остальные попытки изменений этого блока прикладной программой приводят к записи нового блока, берущегося из пула “свободных блоков” и замены указателя в “таблице размещения файлов” со старого на новый, при этом старый блок остается на старом месте, в прежнем своем состоянии.
Если на старый блок больше не остается ссылок, то он считается свободным, и поступает в распоряжение пула свободных блоков.
Такая любопытная схема позволяет с легкостью брать так называемые “снэпшоты”, то есть мгновенные “снимки” данных, зафиксированные “состояния”. Это получается на WAFL как бы само собой, так как, см. выше, данные не изменяются, достаточно сохранить текущую “таблицу блоков файлов” на определенный момент времени, запретив ее изменять, и вот вам пожалуйста - снэпшот.
Пока на блок остаются ссылки, например из такого снэпшота, он остается на диске в неприкосновенности.
Однако очевидны и недостатки. Такой метод довольно расточительно расходует место на дисках.
Предположим, мы создали на томе LUN, и в какой-то момент взяли с него снэпшот. Этот снэпшот зафиксирует некий набор блоков, и в момент создания он дополнительного места не займет, так как по сути мы сохранили только таблицу инодов на момент его взятия. Все же последующие изменения в нем будут занимать новые блоки, ранее бывшие свободными. Поменяли в нем 10 мегабайт - свободное место на диске на 10 мегабайт уменьшилось.
Допустим, этот LUN в процессе его жизни полностью перезаписан, каждый блок данных его составляющих был перезаписан. Это значит, что суммарный объем данных, занятых этим LUN на диске, увеличится вдвое. ??сходные блоки LUN, записанные первоначально, и “запертые” в снэпшоте, и блоки измененные, с момента первоначальной записи.
Но что случится, если на томе, где мы этот LUN создали, не окажется места для всех перезаписываемых блоков? Очевидно, что ничего хорошего не произойдет, так как в какой-то момент очередного свободного блока процессу записи не достанется, и запись не произойдет с сообщением “No available space at SCSI device”.
В жизни при этом Data ONTAP переводит LUN в offline, чтобы защитить имеющиеся данные от возможных повреждений и сохранить их в целостности.
Для того, чтобы избежать этой неприятности и придумано резервирование типа fractional reserve или, что понятнее звучит, overwrite reserved space.
Это место, резервируемое на том (flexvol), оставленное на нем тот случай, когда содержащийся на томе LUN будет активно переписываться, и понадобятся дополнительные блоки, для того, чтобы разместить эти изменения, в том случае, если прежние блоки по той или иной причине “заперты” и не высвобождаются. Например в случае взятия снэпшота.
Размер этого резервирования можно задать от 0% (резервирования нет, запись возможна только при фактическом наличии места на томе, ничем больше не занятого), до 100% (зарезервировано место, равное размеру размещенного LUN, для остальных задач системы хранения это место недоступно).
Последний вариант дает безопасные гарантии того, что сколько бы вы не написали в LUN, у вас сохранится достаточно места для перезаписи, и вы не столкнетесь с проблемой “No available space left on SCSI device”.
Однако это означает увеличение вдвое занимаемого места для LUN.
Однако NetApp не был бы нетаппом, если бы не предлагал варианты.
Вариантов, на самом деле, существует несколько.
Во первых, возможно не использовать именно 100% резервирования. Например, вы знаете, что ваш LUN сравнительно мало заполнен, или количество записей в него невелико. В таком случае, вы можете выбрать меньший размер резервирования. Например, вы знаете, что в вашем 500GB LUN, расположенном на 1TB томе, в настоящий момент занято не более 200GB. Очевидно, что перезаписи скорее всего будут выполняться в пределах этих 200GB, а резкий рост объема записи в настоящее время маловероятен. Тогда вы можете выбрать резервирование 20%, и сэкномить пространство на томе для других задач.
Однако нужно будет настроить мониторинг объемов свободного места на томе, и внимательно следить за его состоянием, чтобы избежать проблем переполнения.
Помните также, что резерв выделяется на том целиком, а не на LUN. Это значит, что если у вас на томе лежат два 200GB LUN, и резерв выставлен в 30%, то это значит, что один из этих LUNов может измениться (вырасти), при необходимости на 60% (30% своих и 30% соседа).
Во вторых, можно включить опцию snapshot auto-delete, при этом, при нехватке места под данные система попытается удалить старые снэпшоты, и освободить место на томе.
Обратите внимание, что триггер auto-delete может не успеть сработать при резком росте объемов, просто не успеет закончить удаление, оно не мгновенно. Также следует помнить, что если вы пользуетесь client-side ПО управления снэпшотами, например каким-то из SnapManager, то ему может очень не понравиться, что снэпшоты на томе удаляются без его ведома.
В третьих, можно включить опцию volume auto-grow, и тут уже сам том будет иметь возможность увеличиваться с заданным шагом и до заданного предела в объемах, для того, чтобы вместить необходимые данные.
??так, мы видимо, что NetApp предлагает нам несколько вариантов действий. Зарезервировать 100%, на наихудший вариант, и “спать спокойно” - “ленивый” вариант. Внимательно подумать, проанализировать, и зарезервировать столько, сколько в реальности потребуется - “умный” вариант. ??, наконец, подойти с другой стороны, и воспользоваться возможностями автоматического ресайза (или автоосвобождения) тома. По моим наблюдениям, этот вариант сейчас встречается чаще всего, так как позволяет занимать место на дисках только по мере реальной необходимости в нем - “экономный” вариант.
Чтобы не раздувать пост я перенесу практическую “лабу” во второй пост этой темы.
У клиентов, впервые знакомящихся с продуктами NetApp всегда много вопросов вызывает строчка в квотации под названием “Software Subscription Service (3Yr)”. Что это такое?
Software Subscription это подписка на получение обновленных версий установленного в системе хранения ПО, такого как Data ONTAP, а также разнообразных host-side утилит, например SnapManager и SnapDrive.
Тут надо понимать, что это не гарантия (warranty). Warranty на “железо” включена в цену системы, присутствует всегда и, в случае стандартного, базового уровня NBD (Next Business Day) дополнительных денег не стоит. Software Subscription это именно подписка на новые версии софта, идущего с вашей системой, когда они появляются у NetApp.
Говоря совсем по простому, это взнос на оплату разработки новых версий софта разработчиками компании NetApp, в течении оговоренного промежутка.
То есть, вы получаете сторадж с каким-то набором софта. Он полностью функционален в том состоянии, в котором вы его получили. Если вы хотите, чтобы разработчики продолжали работать, выпускали новые версии, добавляли функционал, исправляли вновь обнаруженные баги (кто без греха?), то вы покупаете пай на оплату их трудов. Этим, по сути, и является Software Subscription.
Пока действует ваш период Software Subscription, вы, на страничке своего аккаунта в NOW (NetApp On Web - клиентский портал NetApp http://now.netapp.com), будете видеть ссылки на скачивание новых версий купленного вами ПО. Закончится срок - ссылки исчезнут. Сам NOW, конечно, останется.
Традиционные вопросы-ответы:
Q: Могу ли я отказаться от Software Subscription при покупке?
A: Да. Можно отказаться вообще, а можно купить его на какой-то промежуток времени, квант помесячно. Например warranty на систему на 3 года, а Software Subscription покупается на 24 месяца. ??ли на 18 месяцев. Как пожелаете.
Q: Как можно продлить купленный Software Subscription?
A: Обычным образом, заказом соотвтетствующего partnumber у партнеров. При этом надо понимать, что, как и всегда, и у всех, продление поддержки должно покупаться непрерывно. То есть купить систему без SS, потом узнать, что через год вышла новая клевая версия Data ONTAP, и быстренько купить SS сроком на месяц, чтобы ее скачать - не выйдет. :) Не платили на корм разработчикам - какая вам новая версия? :)
Q: Можно ли купить Software Subscription только на некоторые части моего ПО, например только на Data ONTAP, а на SnapDrive, например - не покупать.
A: Нет, купить SS можно только на весь комплекс ПО, приобретенный с данным серийным номером NetApp. На компоненты Software Subscription не делится.
Q: Что если я куплю систему без Software Subscription (я очень экономный), а потом, при установке выяснится, что что-то с чем-то не заработает, заглючит, я найду багу (обычная проблема в инфраструктуре очень экономных ;), и нужна будет помощь саппорта (потребуется срочно обновляться)?
A: На этот случай вы получаете специальный месячный (поправьте по срокам кто помнит точно) grace-период с момента проведения инсталляции, достаточный для того, чтобы установить и настроить систему в клиентской инфраструктуре. В этот период у вас будет доступ к кейсовой системе NOW для задания вопросов, поднятия кейсов и разрешения проблем силами Support Team.
Если проблема находится за пределами срока - нужна полная Software Subscription, для того она и придумана.
Q: Что я конкретно получаю за деньги Software Subscription?
A: Вы получате доступ к новым версиям ПО через страницу Software Download на NOW, доступ в кейсовую систему службы поддержки, возможность с помощью ее разрешать возникающие в ходе эксплуатации вопросы за предсказуемое время их решения.
Часто приходится сталкиваться с принципиальным непониманием у клиентов разницы между NAS и SAN-подключением внешнего дискового массива.
??так, что есть что, чем отличается друг от друга и какие плюсы-минусы у каждого.
NAS хорошо знаком большинству пользователей, использующих в локальной сети своей организации файловый сервер. Файловый сервер - это NAS. Это устройство, подключенное в локальную сеть и предоставляющее доступ к своим дискам по одному из протоколов “сетевых файловых систем”, наример CIFS (Common Internet File System) для Windows-систем (раньше называлась SMB - Server Message Blocks) или NFS (Network File System) для UNIX/Linux-систем.
Остальные варианты встречаются исчезающе редко.
SAN-устройство, с точки зрения пользователя, есть просто локальный диск.
Обычные варианты протокола доступа к SAN-диску это протокол FibreChannel (FC) и iSCSI (IP-SAN). Для использования SAN в компьютере, который хочет подключиться к SAN, должна быть установлена плата адаптера SAN, которая обычно называется HBA - Host Bus Adapter.
Этот адаптер представляет собой с точки зрения компьютера такую своеобразную SCSI-карту и обращается с ней так же, как с обычной SCSI-картой. Отсылает в нее команды SCSI и получает обратно блоки данных по протоколу SCSI. Наружу же эта карта передает блоки данных и команды SCSI, завернутые в пакеты FC или IP для iSCSI.
На приведенном рисунке вы видите 1 диск, подключенный с NAS-устройства (внизу), и один диск, подключенный по SAN по протоколу iSCSI.
Здесь мы видим, как SAN-диск виден в диспетчере устройств. Microsoft iSCSI Initiator это софтверный (программный) адаптер протокола iSCSI, представляющийся системе как SCSI-карта, через которую идет обмен данными с SAN-диском.
В случае FC на его месте находился бы HBA FC, он тоже является с точки зрения OS “SCSI-адаптером”.
Когда мы подключаем компьютер к SAN, нужно сделать rescan all disks и вскоре в Disk Manager появится новый неотформатированный раздел. На нем обычным образом можно создать партицию, отформатировать ее и получить локальный диск, который физически будет являться выделенным разделом на большой системе хранения и соединяться с компьютером оптическим кабелем FC или сетью gigabit ethernet в случае использования iSCSI.
Каковы же плюсы и минусы обеих этих моделей доступа к данным системы хранения?
Плюсы NAS:
минусы NAS:
Плюсы SAN:
Минусы SAN:
??так, что же общего между этими двумя методами? Оба этих метода используются для “сетевого хранения данных” (networking data storage).
Что из них лучше? Единственного ответа не существует. Попытка решить задачи NAS с помощью SAN-системы, как и обратная задача, зачастую есть кратчайший путь потратить большие деньги без видимой выгоды и результата. Каждая из этих “парадигм” имеет свои сильные стороны, каждая имеет оптимальные методы применения.