Комментарии к записи: ??ОПСы и как их измерить.

Автор: Кривцов М.С

Кривцов М.С — Mon, 05 Dec 2011 11:35:28 +0000

Правильно ли я понял, в случае, когда приложение на запись генерирует блок 1.5Mbyte, если том отформатирован с размером кластера 8Kbyte, то это приложение должно потреблять 1.5*1024/6 = 192 IOPS?

Автор: romx

romx — Mon, 05 Dec 2011 11:00:20 +0000

Stripe Size это размер блока чередования в RAID. Он задается при создании RAID. Для оптимизации работы массива данные в RAID4-5-6 чередуются не посекторно, а более протяженными блоками - “страйпами” (в RAID-3 как раз секторами, и это очень сильно сказывается на быстродействии).

Allocation Unit Size это адресуемый блок в понятиях файловой системы. Это участок данных, к которому можно обратиться, извлечь его или записать, методами работы OS с файловой системой.

Block Size это размер блока, которым оперирует приложение.

Общий принцип выбора таков: чем больше последовательных обращений, тем выгоднее использование больших блоков, так как на чтение или запись одного блока (allocation unit size, etc) расходуется одна “операция”. Однако при росте random-ных операций, эффективность сильно падает, так как если приложению нужен один байт из кластера секторов размером 4…64 килобайта, то 4…64 килобайта - 1 байт будут считаны напрасно, и лишь зря займут bandwith канала при чтении-записи и место в кэше. Чем больше random-операций - тем менее выгодно увеличение размера “блока операций”.
В деталях, к сожалению, многое зависит от конкретной реализации.

Автор: Кривцов М.С

Кривцов М.С — Mon, 05 Dec 2011 10:36:13 +0000

Помогите разобраться в следующих вопросах, или посоветуйте литературу(статьи).
1) Как между собой связаны Stipped Size при создании тома, Allocation Unit Size при форматировании диска, и Block Size которое генерирует приложение.
2) Есть массив, хранящий видео файлы. Одно приложение, работающее с видео (100% чтения) по данным PerfMon генерирует нагрузку Block Size - 40Kbyte, Read Operation/s - 100, Read MBytes/s ~ 4, Queue Average Lenght/Read - 0.22. При создании на дисковом массиве (12 Дисков Raid 5) размер Stipe size указывался 128kByte, при форматировании тома Allocation Unit Size - 8Kbyte.
Если IOMeter c паттерном: размер блока 40Kbyte 100% Read 0% Random выдаст результат 4000IOPS при глубине очереди (32 64 128, приблизительно одинаково), могу ли утверждать, что этот дисковый массив выдержит нагрузку от 40 пользователей?(Возможно степень рэндома здесь помешает, если это так - подскажите как ее померить)

Автор: romx

romx — Thu, 24 Nov 2011 01:28:47 +0000

Кривцов М.С.:

> Как узнать максимально возможное?

Максимально возможная величина зависит от множества параметров. От размеров блока операции, например. От характера доступа (последовательно или рандомно), от соотношения чтения/записи. Наконец от объемов кэша и эффективности работы алгоритмов кэширования и количества физических дисков.
Если бы было все так просто и детерминировано, то давно была бы уже написана формула, куда только подставь свои данные и получишь результат.

> Каким инструментом можно с имитировать такую нагрузку, чтобы узнать предельный порог IOPS для изучаемой нами дисковой подсистемы.

Множество таких программ. ??з “синтетических” load generators это dynamo из состава IOmeter, Iozone, SQLIO, и так далее. Посмотрите мои статьи про IOmeter в этом блоге, например.

Автор: Кривцов М.С.

Кривцов М.С. — Wed, 23 Nov 2011 20:08:56 +0000

Disk Writes/sec и Disk Reads/sec показывают текущее кол-во операций к дисковой подсистеме. Как узнать максимально возможное? Каким инструментом можно с имитировать такую нагрузку, чтобы узнать предельный порог IOPS для изучаемой нами дисковой подсистемы.