RAID-5, RAID-6 или RAID-10?
Я уже не раз в этом блоге касался темы различных типов RAID, и того, как выбор между ними влияет на показатели надежности использующей их системы в целом.
Недавно попалась на глаза интересная дискуссия, в которой приводились следующие данные.
Допустим мы имеем массив из 20 дисков SATA по 1TB (без учета необходимых для RAID дисков mirror и parity) , скорость ребилда у которого – 50MB/s, и который заполнен данными на 75%.
Тогда вероятность потери данных (именно потери данных, не просто отказа отдельного диска) из за выхода из строя дисков в RAID составляет, по годам эксплуатации:
Year 1:
RAID-5 - 13.76%
RAID-10 - 0.078%
RAID-6 - 0.516%
Year 2:
RAID-5 - 25.6%
RAID-10 - 0.156%
RAID-6 - 1.03%
Year 3:
RAID-5 - 36.86%
RAID-10 - 0.23%
RAID-6 - 1.54
Year 5:
RAID-5 - 53.30%
RAID-10 - 0.38%
RAID-6 - 2.56%
Раз уж мы находимся в блоге посвященном решениям NetApp, то не могу не отметить, что в случае использования RAID-DP, который хотя и является формально RAID-6, но вышеприведенные данные для него будут ближе к значениям RAID-10, так как важную роль в увеличении MTTDL (Mean Time To Data Loss – ожидаемое время до момента потери данных) играет скорость ребилда, на время которого, и до его окончания, показатели надежности любого RAID снижены, и которая, в случае RAID-DP, будет значительно выше (а время восстановления – короче), чем у “канонического” RAID-6.
Например в документе TR-3574 (пусть вас не смутит его “прикладной” заголовок про Exchange 2007, строго говоря работа эта совсем мало прикладная, а, в значительной мере, научная, по крайней мере по дотошности своего подхода) приводится такой расчет:
| RAID type | Probability of Data Loss in 5 Years | Risk of Data Loss Relative to RAID-DP |
| RAID-10 (1 data disk) | 0,33% | 163 |
| RAID-5 (7 data disks) | 6% | 3955 |
| RAID-6 (7 data disks) | 0,002% | 1,0 |
| RAID-DP (7 data disks) | 0,002% | 1,0 |
RAID-5 на 7 дисках данных (7d+1p) почти в четыре тысяч раз менее надежен, чем RAID-6, на тех же 7 дисках данных (7d+2p)!
Отсюда вы сами сможете ответить на часто возникающий вопрос, что более выгодно с точки зрения надежности: две группы RAID-5, допустим, по 5+1, или же одна RAID-6 10+2. Как вы видите, надежность RAID-6 в данном случае выше на порядки, даже не более длинной группе.
Не забывайте, в ряде случаев Mean Time To Data Loss может равняться Mean Time To Job Loss :)
PS: Если захотите углубиться самостоятельно в дебри расчетов и в тему надежности в RAID, то, кроме вышеуказанной TR-3574, могу также порекомендовать прочитать научную работу, опубликованную на прошлогоднем USENIX Hot Storage’10: Mean time to meaningless - MTTDL, Markov models, and storage system reliability
Очень познавательно, спасибо. Зачастую клиенты несут полный бред, где-то краем уха услышав, что нетапповский RAID-DP - “тоже самое” что и RAID-6. Будем наставлять на путь истинный.
Не совсем понял, почему Raid-10 так “нагрешил”. ??ли тут имеется в виду вообще один диск без четности?
Кроме того, зачастую стоит вопрос не надежности, а скорости случайной записи с приемлемой емкостью (разным “потребителям”).
?? тут глобальный R6 на 10+2 прилично “сольет” двум R5.
Андрей Вахитов:
> Не совсем понял, почему Raid-10 так “нагрешил”.
Не “нагрешил”, просто рассмотрен вариант RAID-1 из двух дисков (если вы про результаты TR-3574).
> Кроме того, зачастую стоит вопрос не надежности, а скорости случайной записи с приемлемой емкостью (разным “потребителям”).
На самом деле на практике обычно всегда стоят два вопроса: надежности ?? быстродействия. Вернее даже три: надежность ?? быстродействие ?? экономическая эффективность.
Но в данной статье рассматривается пока только надежность.
Что же касается надежности ?? быстродействия ?? ээфективности, то тут по сумме трех параметров выигрывает нетапповский RAID-DP, который имеет надежность и эффективность RAID-6, и при этом быстродействие как у RAID-10.
А не подскажете, где все-таки посмотреть сравнения быстродействия RAID-DP и RAID-10? Выискивать аналогии на http://www.storageperformance.org совсем не удобно.
Валентин:
А как можно “посмотреть сравнение” если на железе NetApp нет RAID-10, а на всех остальных, где есть RAID-10, нет RAID-DP? На чем сравнивать будем?
Если же сравнивать “алгоритмически”, то, как я написал выше, по быстродействию на случайной записи/чтении RAID-DP эквивалентен RAID-10, так как, как и он, не имеет RAID penalty, характерного для прочих RAID с четностью и чередованием.
Так именно интересен результат Raid-dp vs Raid-10 на приблизительно равных конфигурациях.
Т.к. “Если же сравнивать “алгоритмически”, то, как я написал выше, по быстродействию на случайной записи/чтении RAID-DP эквивалентен RAID-10″ слово “эквивалентен” всего лишь слово и ничего не отражает - график там, например. Где бы можно взглянуть на эту эквивалентность, откуда-то ведь эти данные Вы получили.
Валентин:
Ну так я о чем? Нельзя сравнить “влоб”, так как нет общего железа, на котором можно поставить то и это, и сравнить результат, зная, что разница в результате обусловлена только типом RAID. А раз нельзя сравнить влоб, то остается только оценочно судить, других способов не придумано пока.
Эквивалентность взята из того, что как для RAID-10, так и для RAID-DP, в обоих случаях, на RAID нет классической проблемы RAID penalty, связанной с превращением одной операции рандомной записи в цепочку чтение-запись-запись (или чтение-чтение-запись-запись-запись для RAID-6). О том, почему это так у RAID-с-чередованием-и-четностью я тут уже не раз писал. Вкратце - потому что требуется считать, пересчитать и перезаписать блок parity для каждого рандомно записываемого на массив блока. В случае RAID-DP, так как на нем WAFL не записывает рандомно, сериализуя операции записи, операция рандомной записи эквивалентна операции секвентальной записи на RAID-5 или 6, а она, в свою очередь, по характеристикам, близка к таковым показателям на RAID-10, на эквивалентном числе дисков, характеристики которого не меняются для секвентальной или рандомной операции.
2 Андрей Вахитов:
>Не совсем понял, почему Raid-10 так “нагрешил”.
??звестно, что есть вероятность того, что в 10 рейде может выйти одновременно из строя один диск и его зеркало, в таком случае вся рейд-группа потеряна. У рейда 6-го и DP нет такой неприятной особенности.
Вот и получается что 10-тый рейд чуть-чуть хуже по защищённости чем 6 и DP.
??нтересно, как так получается, что в первой таблице вероятность отказа у RAID-10 самая низкая? Хотя RAID-10 по определению менее надежен, чем RAID-6, но более надежен чем RAID-5?
dekkart:
Это связано с весьма длинным временем восстановления у RAID-6 (и 5). В случае ребилда RAID-10 возвращается в нормальное состояние гораздо быстрее, с меньшими рисками в процессе.