Приводит ли большая нагрузка к увеличению вероятности выхода дисков из строя?
Сегодня мы продолжаем разбирать результаты опубликованной специалистами Google научной работы, в которой анализируются причины отказов 100.000 жестких дисков в датацентрах Google на протяжении пяти лет.
Мы считаем само собой разумеющимся тот факт, что бо’льшая нагрузка на диски вызывает их более ранний выход из строя. Так ли это? Данные Google показывают, что это не так. Более того, результаты сами по себе неожиданны.
На графике мы также видим уже знакомый нам период "детской смертности" в первые три месяца. Однако если мы разделим диски в зависимости от их рабочей нагрузки, то мы увидим неожиданное. Да, высокая нагрузка (выше 75%) в первые три месяца действительно приводит к высокой "смертности" дисков. В это период диски под высокой нагрузкой, по уровню AFR - Annual Failure Rate - среднегодовому показателю отказов, достигают 12% (при усредненной по всем типам нагрузок - в районе 3%). Однако, что неожиданно, диски с низким уровнем (ниже 25%) нагрузки также имеют довольно высокий уровень, около 4%, а наиболее низкие показатели в этот и 6-месячный период имеют диски со средними (от 25 до 75%) показателями нагрузки.
Переработка - плохо, но и простой - почти также нехорошо.
Далее же, в периоды 1 года, 2 и 3 лет, показатель уровня отказов практически не меняется от величины нагрузки на диски. ?? только после 4 года, и на пятый год, наблюдается заметное повышение уровня отказов для сильно нагруженных дисков, которое мы ожидали бы увидеть с самого начала. Таким образом, после первого полугода работы, уровень рабочей нагрузки на диски практически никак не сказывается (доли процента) на количестве их отказов. В ряде же случаев, наоборот, слабо загруженный диск имеет больше шансов вылететь, чем диск с рабочей нагрузкой среднего уровня. Диск, находящийся в Hot Spare вовсе не застрахован от внезапного выхода из строя.
Если же перед вами стоит задача быстро "выбраковать" диски, то имеет смысл сразу нагрузить их, и получить повод поскорее избавиться от потенциальных "отказников".
Продолжение следует.
Вопрос по надежности дисков. Меня тут клиент озадачил.
Он утверждает, что выделенные под четность диски в RAID DP вылетают чаще дисков с данными, так как у них много выше нагрузка? Перерыл весь интернет - ничего подобного не нашел. ?? за два года работы с NetApp ничего такого не видел. Есть ли какая-то статистика или материалы на эту тему?
haired.livejournal.com/:
Если честно - в первый раз слышу.
Даже более того скажу, у NetApp на диски Parity НЕТ большей нагрузки, чем на дисках данных.
Это возможно при использовании RAID-4 “классического” типа, в котором блок на диске parity меняется всякий раз, при любом изменении любого блока на любом диске данных RAID-группы, то есть объем записи на диск parity для “классического” RAID-3/4 равен объему записи на любой диск данных, помноженное на количесво дисков в RAID-группе, именно в этом причина, отчего RAID-3 и 4 не используются “в живой природе”.
Но в случае NetApp эта проблема устраняется за счет WAFL. В NetApp WAFL запись на диски группы осуществляется всегда полным страйпом, одной операцией записи на диск, то есть какй-то дополнительной нагрузки на диск parity нет.
Величину загрузки раздельно по физическим дискам группы можно посмотреть командой stats или утилитой statit (а еще я сравнительно недавно писал про полезную утилитку na_stats http://blog.aboutnetapp.ru/archives/725).
Если у клиента наблюдается такой дисбаланс нагрузки, неважно, на диски parity или какие-то диски данных, то это говорит о каком-то нештатном поведении системы, в первую очередь. Штатно нагрузка на все физические диски aggregate должна быть близка к равной.
Дисбаланса у него не наблюдается, как впрочем и СХД :)
Мы хотим продать им что-нибудь из младшей линейки и обсуждали преимущества NetApp. Примерно так я и пытался объяснить товарищу, что он не прав. Но он так бурно доказывал обратное, что я аж засомневался в собственной компетенции :)
Спасибо за разъяснения!
haired.livejournal.com:
Ну если человек хочет разобраться - дайте ему описание WAFL, на русский я его переводил тут:
http://www.netwell.ru/docs/netapp/wp3002_wafl.pdf
Вполне возможно его в самом деле ввело в заблуждение использование RAID-4 в NetApp, но смысл в том, что RAID-4 он там только формально, по названию, на деле же это просто уровень WAFL (это несколько необычно для схемы построения RAID и FS, впрочем, например, точно также организован RAIDZ в ZFS), и FS осуществлят на него запись максимально эффективным для этого типа RAID образом.
Если же не хочет - остается только убеждать (ценой например ;) или демо-системой)
У NetApp действительно многие привычные вещи решены иными, чем традиционно принято, способами, тем и интересно.
Спасибо. Будем переубеждать :)
Меня тоже инженер клиента терзал таким вопросом. Было дело.
Это откуда-то из классических говнилок про NetApp. Вроде “NetApp все данные SAN пишет в 1 большой файл уровня NAS”. ??ли “WAFL на NetApp работает на столько отвратно, что дефрагментация должна работать постоянно, данные ведь random-ом по дискам пишутся”.
Ну никак он не хотел соглашаться на NetApp. “Вот нихачу-нибуду и хоть меня расстреляйте”. Аргументы типа таких были на любую техническую детализацию с моей стороны :))
В итоге купил простую делловскую хранилку и дороже чем fas2000. Диагноз.
Алексей:
> “NetApp все данные SAN пишет в 1 большой файл уровня NAS”
http://blog.aboutnetapp.ru/archives/282 ??з первых рук, практически.
> “WAFL на NetApp работает на столько отвратно, что дефрагментация должна работать постоянно, данные ведь random-ом по дискам пишутся”.
http://blog.aboutnetapp.ru/archives/455
> “Вот нихачу-нибуду и хоть меня расстреляйте”.
Да ладно, пусть бы человек счастлив был. Вы же понимаете, если “не любо”, то дело кончается иногда и тривиальным саботажем.
Да я в online практически ему аргументацию выдавал на встрече :) Спасибо, кстати, за ресурсы. В свое время по ним в т.ч. мысли в порядок приводил.
На счет саботажа, не думаю. Просто у человека “стояло” на “10Gbe”, а также на слово Dell. “У хранилки 10Gbe - поэтому она лучше”. А тупо посчитать сумму IOPS дисков и вообще задуматься над этим термином… зачем?
Не, я не жалуюсь. Просто заставляю задуматься ребят из служб эксплуатации Заказчиков ;) комментарии некоторые все-таки читают.