about NetApp

Facebook, один из крупных клиентов NetApp, на 14 октября сего года преодолел планку в 10 миллиардов сохраненных фотографий. Так как Facebook по своей архитектуре хранения хранит их одновременно в 4 разрешениях, общее число файлов (только фотографий!) превысило 40 миллиардов.
Некоторые цифры из заметки выше:

• 2-3 терабайта фотографий загружается на сайт ежедневно.
• Объем хранения фотографий сегодня около 1 петабайта
• Около 15 миллиардов фотографий отдается посетителям ежедневно
• фототрафик в пике дня достигает 300 тысяч фотографий в секунду (около 7.5Gb/s полосы пропускания)

Для хранения и отдачи всего этого хозяйства, Facebook сейчас покупает по новой NetApp FAS3070 еженедельно.

Вот такие вот у людей, мыслящих мегатоннами и парсеками, проблемы бывают :) Для примера скажу, что они в месяц только на оплату потребляемого всей кухней электричества тратят около миллиона долларов.

PS. ?? это еще не самый топ. Там же утверждается, что, чтобы догнать MySpace, при текущих темпах прироста (как нетрудно посчитать, около петабайта в год), фейсбуку понадобится около 18 лет.

Начиная с версии Data ONTAP 6.4 можно посмотреть текущие логи системы и забрать core dump, при его существовании, через веб-браузер по адресу:

http://your-fas-system/na_admin/logs
и
http://your-fas-system/na_admin/cores

Начиная с версии 7.2 эта опция по умолчанию выключена, вернее выключено формирование индексной страницы, так что если вы хотите попробовать, то сперва скажите в консоли:

fas> options httpd.autoindex.enable on

Ну и, разумеется, не забывайте то, что syslog системы хранения можно выливать по сети на специально назначенную машину и, возможно, обрабатывать там, как и для обычного UNIX.

Возможно не все еще знают, что на сайте Нетаппа вот уже с полгода активно живет директория их блоггеров. Первым, около полутора лет назад, был сам Дейв Хитц, один из основателей компании, один из троих инженеров, разработавших основу систем хранения NetApp, файловую систему WAFL, и ныне вицепрезидент компании.

Постепенно к этому списк добавляются все новые и новые авторы, пишущие на разные темы "изнутри" компании. Кто-то более интересен, кто-то менее. Но без сомнения все по своему весьма любопытны. Сперва я планировал использовать их материалы, чтобы иметь источник вдохновения и информации для постов моего блога, но увы. Они успевают писать быстрее, чем я успеваю их переводить :) Сейчас у меня в ридере отмечены как "интересные" десятка полтора постов, и количество все увеличивается.

Поэтому, если не терпится почитать по английски до того, как у меня дойдут руки переработать, то вот вам мои хайлайты:

Alex McDonald, специалист подразделения competiton analysis пишет о известной (и широко используемой нашими конкурентами) FUD*-теме "падения производительности у этих нетаппов при заполнении их тома данными"

* FUD - Fear, Uncertainty and Doubt - а по русски - "говнилка" ;)

http://blogs.netapp.com/shadeofblue/2008/10/finding-a-pair.html

Он же, о влиянии thin provisioning-а на производительность и "отсутствии результатов бенчмарков с включенным thin provisioning-ом".

http://blogs.netapp.com/shadeofblue/2008/10/benchmarking-th.html

Neto, инженер отдела баз данных бразильского отделения пишет серию постов с подробнейшим описанием установки и настройки совместного использования Oracle ASM и NetApp. Первый пост серии тут:

http://blogs.netapp.com/databases/2008/10/oracle-asm—au.html

Kostadis Roussos написал серию постов о внутреннем устройстве WAFL, и о том, почему, по его мнению, WAFL это не файловая система вовсе. Заодно отвечает на вопрос, правда ли, что "NetApp это настолько NAS, что даже LUNы, при использовани его как SAN-системы программно эмулируются и представляют из себя файлы на файловой системе" (еще одна популярная говнилка наших конкурентов). ??ндексный пост серии:

http://blogs.netapp.com/extensible_netapp/2008/10/why-wafl-is-not.html

и несколько слов о том, что является, а что не является Unified Storage

http://blogs.netapp.com/extensible_netapp/2008/10/why-wafl-is-at.html

Nick Triantos о том, что такое и для чего предназначен PAM - Performance Acceleration Module, интеллектуальный кэш чтения.

http://blogs.netapp.com/storage_nuts_n_bolts/2008/08/performance-acc.html

Что такое и как устроен FCoE (Fibre Chanel over Ethernet) и что нам от него ждать:

http://blogs.netapp.com/storage_nuts_n_bolts/2008/10/is-the-future-o.html

а также о поддержке 10G Ethernet в системах NetApp и его сертификации на совместимость в решениях VMware:

http://blogs.netapp.com/storage_nuts_n_bolts/2008/10/netapp-10gbe-su.html

Любопытный документ найден в форумах NetApp Communities (кстати, рекомендую. Это открытый ресурс).

“Обмен дисковой емкости на зашиту данных”
Хотя это руководство и для StoreVault (S-series), но изложенное там верно и для FAS. ??з этого документа можно выяснить как превращается raw capacity дисков в usable capacity дискового пространства NetApp, и что вы получаете при этом взамен уменьшения пространства.

Trading Capacity for Data Protection – A Guide to Capacity Overhead on a StoreVault Storage System

Я повторю тут текст поста, написанного ранее в форуме iXBT, в теме, созданной в свое время, как место для отвечания на вопросы про оборудование и технологии NetApp.
Человек там спросил меня о том, где можно “научиться NetApp-у”

Существует варианты вариант “хорошо” и “как всегда”.

Сперва про хорошо.
Я сам проходил стандартный двухнедельный учебный курс, обязательный для сотрудников партнера NetApp, в Германии, в Нюрнберге, в учебном центре qSkills

ST200 - Data ONTAP Fundamentals 7G
ST221 - Advanced Solutions: Data Protection and High Availability

Существуют и более углубленные курсы, по определенной тематике, например
DB513 Oracle 9/10 on NetApp
или
ST217 - Storage Networking Package (NAS & SAN)

Первые два читаются обычно подряд, и курс занимает или 5, или 6 дней каждый (суммарно две недели).
Третий надо ловить по расписанию. Возможно удастся подгадать их все рядом.
Вот, например, в конце ноября я вижу у них по расписанию такую связку.

Чем это хорошо: Это реально полезные курсы, с огромным фактическим материалом, с лабами на “железе”, ведущиеся практическими специалистами (у них работают контрактно привлеченные специалисты-практики из сторонних компаний). Можно задавать вопросы “не входящие в “методичку”.
Чем плохо: ну, это дорого. 3750+3750 за два базовых +2250 и +3750 евро за дополнительные перечисленные выше.
Плюс дорога. Плюс проживание.

Несмотря на отсутствие на сайте английского (а раньше был), курсы читаются на неплохом немецком английском, так что проблем с пониманием не было.
Вообще для меня пока это был эталон такого рода обучения.

Теперь про “как всегда”. :)

Можно встретить курсы по NetApp в России. Даже моя прежняя “лавка” такое сейчас читает. Однако по уровню ничего сказать не могу. Подозреваю это просто стандартный курс “по методичке”. Безусловно это лучше чем вообще ничего, но хуже чем qSkills.
Зато примерно вдвое дешевле, и не надо ехать заграницу и жить там три недели.

Ну и наконец можно просто забуриться в доки, поставить симулятор, пройти имеющиеся web-курсы на сайте NetApp, и даже до получения железа уже начать обладать какими-то знаниями. Это тоже все вполне реально.