Так ли незаменимы магнитные ленты для бэкапа? Часть 1
Есть такая поговорка про “зашоренность мышления” и следование типовыми путями:
“Если в руке молоток, то все вокруг кажется гвоздями”
в том смысле, что когда человек смотрит на задачу только с одной стороны, то всегда хочется выбрать уже известное решение, даже если возможное решение и не одно.
Одним из самых консервативных направлений в IT является направление систем и устройств резервного копирования.
Действительно, зачем “искать от добра добра”, всю жизнь использовали ленты (зачастую это не метафора, подозреваю что у большинства меня читающих вся жизнь, с рождения и по сегодня, с запасом уложилась в срок существования магнитных лент как средства хранения информации в индустрии), зачем от них отказываться, раз и так все работает?
Тем не менее давайте посмотрим на нынешнее положение в отрасли и оценим, возможно не все кругом – гвозди, и есть возможность не заколачивать шурупы молотком.
Если подойти к задаче оценки лент как устройства для резервного копирования непредвзято, то будет видно, что у лент есть, по большому счету, ровно два плюса:
- Высокая плотность мегабайт на площадь хранения
- Низкая "удельная цена" хранения мегабайта при больших и очень больших объемах.
Все остальное, увы - сплошные минусы.
Например:
- Отсутствие произвольного доступа (важно для снижения времени восстановления и, например, технологий устранения дубликатов хранимых данных)
- ??збыточная скорость и емкость для множества применений.
- Невозможность организации защиты с избыточностью (RAID) кроме тупого ручного "зеркалирования" в виде записи двух экземпляров.
- Невозможность контроля состояния записанных данных при хранении (повреждения и невозможность считывания данных, зачастую обнаруживаются только при попытке восстановления данных в час "Ч")
- Механическая непрочность носителя, строгие требования по условиям хранения и использования (влажность, запыленность).
- Сложность и высокая точность устройства чтения (лентопротяного механизма), и, как следствие, легкость его повреждений.
- Сложность организации управляемого устройства емкостью выше одного картриджа (роботизированные библиотеки)
Как мы видим, “плюсы” лент находятся скорее в области так называемого “архивного хранения”, которое по своим задачам довольно замтно отличается от задач “резервного копирования”.
Остановимся на этом вопросе подробнее, так как далеко не для всех, как я знаю, э та разница очевидна.
Чем функционально отличается резервная копия от архивной копии?
Прежде всего тем, что резервная копия создается для того, чтобы ее считывать. Возможно это звучит немного парадоксально, каким-то трюизмом, но это на самом деле так. Резервная копия нужна нам только для того, чтобы мы могли ее считать, чтобы восстановить данные после их внезапной потери. Эту мысль активно продвигает, например, Symantec, в своем продукте Backup Exec, начиная с версии 10d в 2006 году: “Не покупайте “сохранение” данных, покупайте “восстановление”. Чаще всего резервная копия имеет небольшой срок хранения, давность создания - минимальная (в идеале - “только что”), и подлежит частому “ротированию” для поддержания актуальности данных. Резервная копия старше нескольких дней чаще всего уже никому не нужна как “резервная копия”, и постепенно превращается в “архивную копию”.
Напротив, архивные данные это данные, как правило, write only. Они пишутся не для того, чтобы из них регулярно что-то читать и восстанавливать. Чаще всего архив компании требуется по причине соответствующих требований законодательства (в тех странах, где такие есть), и за таким сегментом хранения закрепилось название “Archive and Compliance” (где “Compliance” это некая область законодательного контроля, определяемая законодательными актами, в которых определен срок хранения тех или иных документов, зачастую весьма длительный, до десятков лет).
Для архивов практически не имеет значения скорость поиска и восстановления, напротив, критичная для задач “резервного копирования”. Ну пришли в архив за данными пятилетней давности, ну будут они извлечены и представлены не через три минуты, а, допустим, через пару часов – никто не умрет.
Наоборот, весьма важным является параметр плотности данных долговременного хранения, сроки которых зачастую составляют десятки лет.
То есть, как мы видим, перечисленные выше “плюсы” лент хорошо соответствуют именно сектору архивного хранения, но почти не имеют особого значения для задач резервного копирования, где требуется другое, с чем у ленты все не так хорошо.
Когда-то, много лет назад, жесткие диски действительно не удовлетворяли ни требованиям “цены за мегабайт”, ни требованиям плотности хранения “мегабайт на квадратный метр хранения”, ни надежности этого хранения, поэтому неудивительно, что ленты, несмотря на их существовавшие и тогда перечисленные минусы и недостатьки, заняли весь “рынок”, как архивного, так и backup-хранения. Другого приемлемого решения просто не было. Однако произошедшая на наших глазах за 5-10 лет “технологическая революция” в области технологий жестких дисков многое изменила. ?? теперь нет смысла соглашаться на весьма сомнительные компромиссы, которые нам диктуют магнитные ленты как средство хранения данных, просто потому что “мы всегда так делали”.
В следующих постах мы разберем перечисленные плюсы и минусы лент и дисков детальнее, а также рассмотрим несколько типовых задач, которые считаются априори “вотчиной магнитных лент”, и посмотрим на то, как такие задачи можно успешно решить без их использования.
Учитывая сложности с контролем целостности носителя, я бы и для архивных целях предпочел винты.
Эту тему мы тоже тронем далее. :)
to ZW: сложностей с контролем целостности лент в смысле чтения только что записанных данных нет, и не было еще в лохматые 70-ые, т.к. магнитофоны с раздельной записывающей и считывающей головкой были уже тогда. Причем как раз записывающая стояла впереди читающей, и проверить запись прямо на ходу проблем не составляло.
Если иметь в виду периодическую проверку, то например обломы с CRC как на ленте так и на диске могут быть выявлены только в процессе чтения данных, и никак иначе. Например, чтобы проверить, цел-ли диск, его тоже придется просканировать целиком.
Увы, но на дисках тоже со временем образуются аналогичные ленточным проблемы чтения.
Буквально недавно у меня таким образом сдох переносной диск на 500 гиг. Может показаться, что сравнивать некорректно, но битыми оказались файлы, которые были записаны более полугода назад.
С dvd ситуация еще хуже. Я знаю конкретную очень большую контору, в которой используются специальные устройства для создания архивных (!) копий. Так вот проблемы с чтением записанной информации там в порядке вещей.
kdw: Речь идет не о теоретических задачах, а о вполне практических.
Когда лента лежит на полке, то нет _никаких_ способов выяснить насколько цела информация на ней, пока она не загружена в считыватель и не начато считывание. На практике это происходит, как правило, в тот момент, когда начато восстановление данных, и обнаружить в этот момент нечитающуюся ленту бывает максимально неприятно.
Напротив, информацию, хранящуюся на дисках можно (и так оно обычно и происходит) читать постоянно, в любое время, и узнать о проблемах считывания гораздо заранее момента, когда она оказывается срочно нужна для восстановления.
С учетом же RAID эта проблема считывания не приводит к потере данных и быстро устраняется.
Что невозможно в случае лент.
Ваша трагедия с диском конечно достойна всяческого сострадания с нашей стороны, но не имеет к рассматриваемой в посте ситуации никакого отношения.
Плюс у лент один: их легко по расписанию можно уносить в сейф в другом здании.
Я очень надеюсь, Вы подробно рассмотрите следующие две ситуации:
1. Вынос резервных копий данных с основной площадки при отсутствии денег на резервный ЦОД. Я надеюсь, Вы понимаете, что от пожара и затопления не застрахован никто.
2. Увеличение стоимости резервного копирования при увеличении объемов данных. Если кончился размер дисков в одной дисковой полке, придется покупать еще одну полку или урезать свои хотелки, а ленточек докупать много не нужно.
Прошу не воспринимать это, как начало холивара tape vs disc, мне интересно, что NetApp предлагает в этой ситуации.
Бывают и такие холивары “tape vs disc”? :)
А что-нибудь про фрагментацию данных и падение скорости к ним при использовании СРК на дисках будет?
“Линус Торвальдс своей OS доказал, что холивары могут быть даже среди пользователей одной и той же операционной системы” (с) башорг. :)
После того, как я увидел 300-страничноый холивар по поводу антивирусов, я уже ничему не удивляюсь.
> А что-нибудь про фрагментацию данных и падение скорости к ним при использовании СРК на дисках будет?
А надо?
Ну вобщем можно же отнести это к минусам бэкапа на диски :)
?? кстати, еще небольшой вопрос: под бэкапом на диски имеется в виду бэкап на какие-то логические разделы или VTL?
Заранее спасибо за ответы.
> Ну вобщем можно же отнести это к минусам бэкапа на диски :)
Ну в том случае, если это как-то заметно проявляется и при этом не лечится - возможно.
> ?? кстати, еще небольшой вопрос: под бэкапом на диски имеется в виду бэкап на какие-то логические разделы или VTL?
Ну в данном случае разница между “просто дисками” и VTL пока несущественна, в обоих случаях это скорее форма организации работы с этими дисками с точки зрения приложения, она пока за рамками темы.
to romx: Вы совершенно зря считаете мою “трагедию” с USB-диском не имеющей отношения к Вашему посту.
Я очень даже в курсе, как люди делают бэкапы (а делают они их не так, как надо), так что “записал и забыл” - вполне реальная ситуация не только для лент, но и для дисков. В моем случае диск был архивным, и проверять целостность записанных на него данных периодическим чтением не было никакой необходимости. ??менно так и хранят архивные бэкапы. Так что в данном случае параллель между лентой и жесткими дисками прямая.
tthenexus6:
>Плюс у лент один: их легко по расписанию можно уносить в сейф в другом здании.
вот неплохая общая статья 8-летней давности:
http://www.iemag.ru/platforms/detail_print.php?ID=16504&PRINT=Y
но параноидальное мышление подсказывает, что с другим зданием (и сейфом в нем) тоже может что-нибудь случиться.
> и проверять целостность записанных на него данных периодическим чтением не было никакой необходимости. ??менно так и хранят архивные бэкапы.
Ну вот вы и получили иллюстрацию, чем именно это плохо. ?? почему любой приличный RAID делает скраббинг содержимого независимо от того, как и насколько часто к хранимым данным обращается приложение. Вот именно для предотвращения таких ситуаций.
В случае лент, особенно больших объемов ее, же такое сделать практически невозможно.
raid - лента, да, проигрыш однозначно.
А как же такой плюс лент, как “вынос носителя за пределы системы/ЦОДа/города”?
А про архив - вы не правы, для примера: Smantec EV для Exchange - архивные письма постоянно востребованы и вытягивать их из архива надо БЫСТРО.
Ну от вас не ожидал :)
Третья часть статьи.
kdw> Если иметь в виду периодическую проверку, то например обломы с CRC как на ленте так и на диске могут быть выявлены только в процессе чтения данных
У НетАпп’а как раз есть механизм скраббинга, который проводит периодическую проверку секторов (похоже у ЕМС есть что-то на подобие) и когда находит проблемный участок, WAFL восстановит эти данные на новое место, через избыточность, потом просто переставляет указатели. То же самое (восстановление) происходит и когда WAFL обратилась к данным, а они вдруг повреждены. Т.е. Ваш пример относится к вашему переносному винту, но не к СХД.
thenexus6> Плюс у лент один: их легко по расписанию можно уносить в сейф в другом здании.
А как же вопрос безопасности? Ваши особо ценные ленты с особо секретной информацией можно до сейфа просто не донести. Как Роман пытается донести до нас, - ленты это всегда компромисс и в свете появившихся, новых технологий, эти компромиссы всё менее приемлемы.
Karpusha Korneev> Если кончился размер дисков в одной дисковой полке, придется покупать еще одну полку.
Ротацию резервных копий на жестких дисках никто не отменял. Её можно применять точно также как и для ленточек.
ivs> А как же такой плюс лент, как “вынос носителя за пределы системы/ЦОДа/города”?
Библиотека ведь отдельное устройство на выделенной площадке, которое куплено за не малые деньги. А кто вам запрещает купить самую дешевую систему НетАпп’а с САТА дисками (или другого производителя), вместо библиотеки и складывать резервные данные туда?
Вы просто сравниваете разные вещи: “Обычная СХД + Ленточная библиотека на отдельном сайте” ?? “СХД от НетАпп’а”. Правильно сравнивать с “СХД от НетАпп’а + самая дешевая СХД от НетАпп’а с САТА дисками на отдельном сайте”. А если вы ведёте такое сравнение, то не забывайте уж и о плюсах: ни выделенного сайта ни ленточной библиотеки (или СХД) вам покупать и содержать не нужно.