Ну тут вот какая ситуация. Обычная файловая система, чем бы она ни была, находится на некоем уровне по отношению к дискам. Вот в отношении сетевой структуры это понятнее, потому что там есть формализованная модель ISO OSI, и оперируя ее делением можно показать, что “эта файловая система, она отсюа и досюда”. К сожалени для дисковых структур такого пока нет.

Если вы найдете здесь перевод статьи Костадиса Руссоса, про то, как устроен WAFL, там может быть написано понятнее.
WAFL (как и ZFS) расположена “смещенной вниз” относительно обычной иерархии, привычного ее деления. То есть, если в случае обычной файловой системы, FS “живет” поверх дисков, над которыми находтся какой-то RAID, над которым какой-то volume manager, и вот там, над Volume manager уже файловая система, то в случае WAFL (и ZFS) она же сама по себе является и RAID, и Volume Manager, однако, при этом, она не реализует ряд задач “верхнего уровня”, которые обычно умеет делать “файловая система”, но не делает WAFL, предоставляя только инструментарий, примитивы для написания подобных функций.
Это, в числе прочего, позволило на базе WAFL реализовать и блочную семантику, для использования в SAN, просто потому что и файловая и блочная семантика не была встроена как таковая, а была надстроена по необходимости в Data ONTAP.

То есть WAFL это “файловая система”, смещенная на два уровня иерархии вниз, если Level 1 считать физические диски, Level 2 - RAID, Level 3 - Volume Manager, и так далее. WAFL начинается от уровня 2, и продолжается до уровня, допустим, 5, в то время, как “обычная FS, начинается от уровня 4, и продолжается до уровня 7.

Таким образом в WAFL нет уроаня RAID как такового, отдельного от файловой системы, просто WAFL, живущая поверх физическх дисков непосредственно, формирует RAID-подобную избыточную структуру блоков, просто записывая данные в определенном порядке. У WAFL нет некоего отдельного уровня RAID, который можно по желанию включить или выключить, есть просто вот такая вот структура записи данных, которая реализует принципы RAID путем встроенных возможностей WAFL.
Также работает ZFS, и ее RAID-Z/Z2, возможно, вследствие ее открыторсти, будет проще найти детали реализации, которые, с определенным приближением, можно перенести на WAFL и разобраться “как это работает”.

>Строго говоря, в WAFL, на дисках NetApp, RAID-а, как такового, нет. Это в значительной мере абстракция, имеющая цель быть понятной “традиционным” стораджистам.
Не понял. Производитель придумал абстрактное понятие только для того, чтобы пользователям, подсевшим на “устаревающие” решения, было понятно? ??нтересно, а не правильнее ли было заявить - “RAID больше не нужен, а вот почему! …”.
?? все-таки, от традиционного понятия “RAID” здесь много: дисковый массив есть? есть. избыточность ради отказоустойчивости есть? есть. диски parity есть? есть. hot spare - есть? есть. увеличение производительности за счет “размазывания” данных по дискам есть? есть.

вот что говорит вики:
“Дальнейшее развитие идеи RAID:
??дея RAID-массивов — в объединении дисков, каждый из которых рассматривается как набор секторов, и в результате драйвер файловой системы «видит» как бы единый диск и работает с ним, не обращая внимания на его внутреннюю структуру. Однако, можно добиться существенного повышения производительности и надёжности дисковой системы, если драйвер файловой системы будет «знать» о том, что работает не с одним диском, а с набором дисков.

Более того: при разрушении любого из дисков в составе RAID-0 вся информация в массиве окажется потерянной. Но если драйвер файловой системы разместил каждый файл на одном диске, и при этом правильно организована структура директорий, то при разрушении любого из дисков будут потеряны только файлы, находившиеся на этом диске; а файлы, целиком находящиеся на сохранившихся дисках, останутся доступными.”

Я правильно понимаю, что RAID уровнем управляет WAFL? ?? он как раз таки знает о существовании дисков, распределяя блоки (не файлы) по массиву зная на каком диске какой блок?

Ну почему сразу “потеряли”? Я не считаю, что диски, потраченные на обеспечение высокой доступности данных надо называть “потерянные”.
Впрочем, это зависит от хранимых данных ;-D

Кроме того нужны отдельные Hot Spare на каждый тип дисков.
К примеру: у нас 24 SAS и 24 SATA, каждому контроллеру отдаём половину от того и другого типа дисков. Получаем по 12 дисков SAS и 12 SATA на контроллер. Так как каждый контроллер владеет своим набором дисков (общих быть не может, даже Hot Spare): ??з каждой дюжины заберём по два на парити и по два на Hot Spare. ??того потеряли 4-ре SAS и 4-ре SATA диска на HA системе.

Официальный источник - NetApp Resiliency Guide. Я делал его перевод в библиотеку Netwell.
http://netwell.ru/docs/netapp/tr-3437_rus_storage_subsystems_resiliency_guide.pdf

Если же “к черту подробности”, то правила простые:

1. Hotspare назначается на контроллер (два контроллера - значит минимум 2 hotspare в системе суммарно, по одному на контроллер). Эксплуатация систем без hotspares не поддерживается производителем.

2. Количество рекомендованных hotspares выбирается исходя из требований к системе хранения, конкретнее к надежности хранения хранимых на ней данных. Но общее эмпирическое правило: “2 spares на первых 84 диска, на каждый контроллер, и по 1 диску на каждые последующие 84 диска”. Это, конечно, не распространяется на системы типа 2xx0, где общее число дисков обычно значительно менее 84.
В общем, если лень читать весь TR3437, то читайте только главу 5.4

3. Все диски, которые пока не назначены в aggregate или traditional volume, являются для системы hot spares.

> Я думал, что hotspare рекомендуется делать в каждом RAID.

Строго говоря, в WAFL, на дисках NetApp, RAID-а, как такового, нет. Это в значительной мере абстракция, имеющая цель быть понятной “традиционным” стораджистам.
Для WAFL “RAID” - это порядок и последовательность записи блоков данных на имеющиеся в наличии диски.