about NetApp

Наконец то дошел до публикации мой перевод Руководства по наилучшим методам использования и настройки систем хранения NetApp для виртуальных инфраструктур VMware VI версии 3.
Это совместная работа специалистов NetApp и VMware, поможет использующим VMware с этими СХД, впрочем в работе рассматривается много вопросов и “аппаратно-независимых”, которые будут полезны при использовании и не только NetApp, например организацию и настройку многопутевых подключений ethernet-системы хранения (iSCSI, NFS) к серверам фермы VMware VI с помощью транкинга.

Шел он к публикации долго. Настолько долго, что за это время уже успел выйти следующий документ, по работе с VSphere (VI 4). Но тут уж не моя вина. Пока не ясно, будем ли мы готовить новый перевод, но если - обязательно сообщу.

По крайней мере, как я знаю, это единственная такая инициатива на русском языке среди производителей систем хранения.

Читать тут:
http://www.netwell.ru/production/techbiblioteka.php

По ряду просочившихся слухов, уже в этом году NetApp выкатит следующее поколение своей OS Data ONTAP версии 8. Напомню, что при переходе от 6.х.х к 7 мы получили aggregates и FlexVols, не считая множества более мелких новинок (давших впоследствии и Thin Provisioning, и дедупликацию).
Переход с “семерки” на “восьмерку” будет не менее революционным: в версии 8 будут слиты в единый продукт линейки ONTAP “classic” и ONTAP GX - версия OS, работающая ныне на многоузловых кластерны системах GX, наследник многострадальной покупки Spinnaker Networks в 2004-м, которую все так прожевать с тех пор не удавалось.

Более подробная статья про GX на русском найдена здесь: Распределенное grid-хранение: настоящее и будущее.

Таким образом, в основную “линейку” OS попадут такие возможности, как поддержка grid (напомню, на сегодня 7G поддерживает только двухузловые, “классические” кластеры, а GX до 24 узлов), возможности плавного масштабирования системы хранения без прерывания работы, путем добавления дополнительных “узлов” кластера; Global Namespace в файловой системе, на все узлы грида; “volume moves” - перемещение хранимых данных между узлами системы, в зависимости от уровня их загрузки, чем-то похожее на Vmotion и Storage Vmotion у нынешних VMware; страйпинг данных по всем входящим в grid системам хранения, балансировка нагрузки, и так далее.

??звестно также, что группа Advanced Technologies group, в составе NetApp, занимается задачей создания OS ONTAP, работающей под гипервизором виртуализатора (совместно с разработчиками XEN), что в перспективе может открыть новые возможности, например интеграции новых функциональных модулей без ущерба для стабильности и безопасности базового функционала системы хранения. Напомню, что Data ONTAP, несмотря на то, что в консоли можно сказать ifconfig, и при определенных условиях, даже ps :), не является “UNIX-ом”, так как, среди прочего, например, не имет user space, и работает в “чистом” kernel space, что значительно затрудняет добавление нового кода, в особенности third part.
Если эти разработки закончатся успешно, то NetApp сделает еще один шаг на своем последовательном пути виртуализации “всего и всюду”.

В дополнение к прошлым постам про “Большие игры больших мальчиков”

Facebook и Oracle

На днях также обнаружил, что такой популярный сервис хранения фотографий как Flickr (я и сам им пользуюсь), также хранит свои данные на системах хранения NetApp.
Что, в общем неудивительно, так как Flickr вот уже несколько лет входит в Yahoo!, а Яху, как известно, крупнейший в мире (по объемам хранения) клиент NetApp.
?? даже более того, после ухода Джерри Янга с поста CEO, его заняла Кэрол Берц, в прошлом также один из руководителей NetApp.

??нтересная статья о архитектуре Flickr была найдена на сайте highscalability.com, кстати и вообще это любопытное место, если вы интересуетесь принципами построения высоконагруженных решений.

По состоянию на конец 2007 года:

• Более четырех миллиардов запросов в день
• Примерно 35 миллионов фотографий в дисковом кэше Squid
• Около двух миллионов фотографий в оперативной памяти Squid
• Всего приблизительно 470 миллионов изображений, каждое представлено в 4 или 5 размерах
• 38 тысяч запросов к memcached (12 миллионов объектов) в секунду
• 2 петабайта дискового пространства
• Более 400000 фотографий добавляются ежедневно

Оригинал статьи.
Ее русский перевод.

К сожалению, никаких подробностей о том, что именно используется, пока не обнаружено. “Сервера хранения NetApp”. Ну и правильно, включили - работает, чего обсуждать. “сало як сало” ;) Как это похоже на NetApp…

Наверняка все, кто интересуется темой, уже в курсе, но лишний раз напомнить не помешает.
У NetApp действует программа гарантии 50% экономии дискового пространства, при использовании их систем для хранения данных в виртуализованных средах.
Суть проста. Если вы применяете системы хранения NetApp под виртуальные машины VMware или Citrix Xen, то вы получаете результат, на не менее чем вдвое меньшем объеме дисков, чем у любого предложения конкурента. Если у вас такое не получилось, то NetApp обязуется предоставить недостающие диски за свой счет.
Гарантии это вам не маркетинговое бла-бла. :)

Разумеется реализация должна проводиться по опубикованным Best Practices.
Кто следит за темой, тот, наверное, понимает, что NetApp рискует немногим. За счет использования Deduplication, Snapshots, FlexClone и Thin provisioning в этих системах результаты получаются, зачастую, даже лучше чем 50%.
Но попробуйте. Может именно вам удастся развести NetApp на бесплатные диски. ;)

Баннер сверху ведет на вебсайт на русском языке, с материалами программы.

Кризис, мать его. Плохие новости. Сегодняшнее.
End of Availability for SnapMirror® for Open Systems Product Line http://www.netapp.com/us/company/news/news-rel-20081209.html

NetApp закрывает продуктовую линейку SnapMirror® for Open Systems (SMOS) и дальнейшую его разработку. SMOS это один из программных продуктов NetApp для гетерогенной репликации и восстановления данных. NetApp приобрело это продукт вместе с израильской компанией Topio, в декабре 2006. Подразделение NetApp в Хайфе, ??зраиль, в настоящий момент численностью в 51 человека, будет закрыто 15 января 2009. NetApp не принял окончательного решения насчет судьбы своих работников в Хайфе.

Наше решение о прекрашени разработки SMOS основывается на пользовательских приоритетах, и текущей истории продаж. Рынок продуктов репликации для целей катастрофоустойчивости (disaster recovery) преимущественно основывается на гомогенных, а не на мультивендорных решениях. Наше решение “любой-к-любому” с использованием SMOS не было принято пользователями, так, как того мы ожидали.

Прочие версии SnapMirror продолжают поддерживаться и разрабатываться, так как мы это планировали в нашем роадмапе. NetApp имеет различные продукты и технологии для первичных и вторичных систем хранения, чтобы обеспечить решение защиты данных типа “любой-на-NetApp®”, управления, бэкапа, архивации и безопасности. Вы видим большой интерес пользователей в этом сегменте рынка систем хранения и продолжаем работу в этом направлении.

NetApp также подтверждает, продолжение поддержки существующих пользователей, кто уже приобрел и использует SMOS.

1.
Датацентр Oracle в Остине (Austin), штат Техас.
Центр ориентирован на предоставление услуг Oracle E-Business on demand и GIT (Global IT) внешним клиентам, а также обслуживанию внутренних потребностей компании.
В настоящий момент, по видимому, он является крупнейшей инсталляцией NetApp “под одной крышей” (еще более крупные, но распределенные, есть у Yahoo! и EDS, ныне ставшем бизнес-подразделением HP).

На 2005 год (наиболее свежие из официально опуликованных данных) он насчитывал 3 петабайта данных, все на системах NetApp, и около 12 тысяч серверов Dell (под OS Linux RedHat Enterprise), на которых работают Oracle 9i и Oracle 10G RAC.

На нынешний момент, пространство хранения, по неофициальным сведениям (Oracle не публиковал по этому поводу пресс-релизы, но более свежие данные упомянуты у блоггеров NetApp), достигло 12 петабайт raw capacity, по прежнему на NetApp, по NFS и FC.

2.
Крупнейшая в мире (из опублиованнных) инсталляция SAP в компании T-Systems.
~8TB баз под Oracle 10g RAC. Хранится и работает на NetApp. Запущена в продакшн в январе 2008, и обрабатывает около 500 миллионов платежных транзакций в год для 40 миллионов пользовательских аккаунтов.
Данные по этому проекту были обнародованы в сентябре, на Oracle Open World 2008.

Facebook, один из крупных клиентов NetApp, на 14 октября сего года преодолел планку в 10 миллиардов сохраненных фотографий. Так как Facebook по своей архитектуре хранения хранит их одновременно в 4 разрешениях, общее число файлов (только фотографий!) превысило 40 миллиардов.
Некоторые цифры из заметки выше:

• 2-3 терабайта фотографий загружается на сайт ежедневно.
• Объем хранения фотографий сегодня около 1 петабайта
• Около 15 миллиардов фотографий отдается посетителям ежедневно
• фототрафик в пике дня достигает 300 тысяч фотографий в секунду (около 7.5Gb/s полосы пропускания)

Для хранения и отдачи всего этого хозяйства, Facebook сейчас покупает по новой NetApp FAS3070 еженедельно.

Вот такие вот у людей, мыслящих мегатоннами и парсеками, проблемы бывают :) Для примера скажу, что они в месяц только на оплату потребляемого всей кухней электричества тратят около миллиона долларов.

PS. ?? это еще не самый топ. Там же утверждается, что, чтобы догнать MySpace, при текущих темпах прироста (как нетрудно посчитать, около петабайта в год), фейсбуку понадобится около 18 лет.

Возможно не все еще знают, что на сайте Нетаппа вот уже с полгода активно живет директория их блоггеров. Первым, около полутора лет назад, был сам Дейв Хитц, один из основателей компании, один из троих инженеров, разработавших основу систем хранения NetApp, файловую систему WAFL, и ныне вицепрезидент компании.

Постепенно к этому списк добавляются все новые и новые авторы, пишущие на разные темы "изнутри" компании. Кто-то более интересен, кто-то менее. Но без сомнения все по своему весьма любопытны. Сперва я планировал использовать их материалы, чтобы иметь источник вдохновения и информации для постов моего блога, но увы. Они успевают писать быстрее, чем я успеваю их переводить :) Сейчас у меня в ридере отмечены как "интересные" десятка полтора постов, и количество все увеличивается.

Поэтому, если не терпится почитать по английски до того, как у меня дойдут руки переработать, то вот вам мои хайлайты:

Alex McDonald, специалист подразделения competiton analysis пишет о известной (и широко используемой нашими конкурентами) FUD*-теме "падения производительности у этих нетаппов при заполнении их тома данными"

* FUD - Fear, Uncertainty and Doubt - а по русски - "говнилка" ;)

http://blogs.netapp.com/shadeofblue/2008/10/finding-a-pair.html

Он же, о влиянии thin provisioning-а на производительность и "отсутствии результатов бенчмарков с включенным thin provisioning-ом".

http://blogs.netapp.com/shadeofblue/2008/10/benchmarking-th.html

Neto, инженер отдела баз данных бразильского отделения пишет серию постов с подробнейшим описанием установки и настройки совместного использования Oracle ASM и NetApp. Первый пост серии тут:

http://blogs.netapp.com/databases/2008/10/oracle-asm—au.html

Kostadis Roussos написал серию постов о внутреннем устройстве WAFL, и о том, почему, по его мнению, WAFL это не файловая система вовсе. Заодно отвечает на вопрос, правда ли, что "NetApp это настолько NAS, что даже LUNы, при использовани его как SAN-системы программно эмулируются и представляют из себя файлы на файловой системе" (еще одна популярная говнилка наших конкурентов). ??ндексный пост серии:

http://blogs.netapp.com/extensible_netapp/2008/10/why-wafl-is-not.html

и несколько слов о том, что является, а что не является Unified Storage

http://blogs.netapp.com/extensible_netapp/2008/10/why-wafl-is-at.html

Nick Triantos о том, что такое и для чего предназначен PAM - Performance Acceleration Module, интеллектуальный кэш чтения.

http://blogs.netapp.com/storage_nuts_n_bolts/2008/08/performance-acc.html

Что такое и как устроен FCoE (Fibre Chanel over Ethernet) и что нам от него ждать:

http://blogs.netapp.com/storage_nuts_n_bolts/2008/10/is-the-future-o.html

а также о поддержке 10G Ethernet в системах NetApp и его сертификации на совместимость в решениях VMware:

http://blogs.netapp.com/storage_nuts_n_bolts/2008/10/netapp-10gbe-su.html

Отменена пользовательская конференция NetApp Accelerate, подготовка к которой шла почти полгода. Костлявая рука мирового экономического кризиса вынуждает многие компании резать косты. Устраивать в таких условиях конференцию с фуршетами было бы по меньшей мере неразумно, а по большей - неэтично. Жаль, конечно, обычно это место для копании выкатить "много вкусного".

Вот, например, объявленная на днях выкатка для широкой публики VTL OS 6.0, c дедупликацией для систем VTL. Многострадальный проект, наконец-то, не настолько многострадальный, как Data ONTAP GX и "восьмерка", но все же больше года делали.
VTL в мире очень хорошо приняли, а такая "горячая тема" как дедупликация, причем ориентированная именно на бэкап, только прибавит им популярности.

Очень важный пост обнаружен в блоге Скотта Лоу за 18 октября. Найдена критическая ошибка в рекомендациях по использованию VMware на NFS NetApp-а. В текущей версии (от сентября) эта рекомендация уже поправлена авторами, но если вы используете VI на NFS, и при его настройке пользовались ранней версией этого Best Practices, в том числе той, которую я перевел для Верисел, обязательно, ОБЯЗАТЕЛЬНО прочтите этот пост и рекомендации по исправлению.
Ошибка взаимодействия (НЕ ошибка NetApp), после установки патча, с изменениями в настройках VI, и использование ранее рекомендованного выключения NFS Lock может привести к split brain в VMware VI.  

В нашу переведенную версию мы также внесем правки в ближайшие дни, о чем я объявлю отдельно.

Вот кратко перевод:

"…Проблема по видимому находится в некоторых (ныне отмененных) рекомендациях NetApp при использовании NFS с VMware ESX. В июне этого года NetApp рекомендовал в своем документе TR-3428, “NetApp and VMware Virtual Infrastructure 3 Storage Best Practices”, чтобы пользователи выключали (disable) параметр NFS locking на системе хранения, устанавливая опцию NFS.Lock.Disable в 1. Версия  4.0 документа TR-3428, опубликованная в июне, содержит в себе эту рекомендацию.

Как я разобрался, эта рекомендация вызвана багом, который существовал в VMware ESX, и вызывал большие задержки при удалении VMware snapshots. Как workaround, NetApp рекомендовал устанавливать опцию NFS.Lock.Disable. После того, как VMware починила этот баг своим патчем, текущая версия TR-3428 (version 4.2, опубликованная в September 2008 и доступная с вебсайта NetApp) больше не содержит этой рекомендации по установке опции NFS.Lock.Disable.

К сожалению, пользователи, которые последовали на тот момент действующему best practices могли установить эту опцию, и, в таком случае, могут получать состояние “split brain”, при котором VM одновременно регистрируются и исполняются на нескольких хостах VMware ESX. Пользователи также могут находиться под угрозой, если они используют VMware HA и оказываются не защищены от isolation response (подробно позже, по мере анализа). У нас есть один крупный пользователь, столкнувшийся с этой проблемой, и еще один со схожими симптомами так что мы думаем, что причина та же.

Вот несколько важных моментов:

• Это не проблема NetApp, но это результат рекомендации от NetApp. В то время эта установка, я думаю, была необходима.
• В большинстве случаев VMы, работающие в условиях split-brain будут повреждены, и потребуется восстановление их из бэкапа.

Мы не единственные, кто столкнулся с этой проблемой:

VMWare and NFS on NetApp Filers

NFS Datastores and what was their BIG issue…

Ключевые моменты исправления ситуации таковы:

Если вы не поставили патч ESX350-200808401-BG, вы должны его поставить. Не ждите, поставьте его сейчас. Проверить, установлен ли он, можно командой esxupdate query | grep ESX350-200808401-BG 
Если вы использовали рекомендации NetApp по установке NFS.Lock.Disable, то смотрите инструкцию ниже (написана Rick Scherer и несколькими другими, спасибо им!) для исправления ситуации.

??нструкция по исправлению ситуации с NFS locking (включает установку патча):

1. Скачайте патч ESX350-200808401-BG
2. Выберите ESX server, на который вы установите патч
3. ??спользуя VMotion смигрируйте запущенные VMы на другой нод VMware ESX
4. Установите этот патч на выбранный VMware ESX server
5. В настройках Advanced Configuration settings убедитесь, что NFS file locking разрешен (enabled) и NFS.Lock.Disable=0 (вы можете также использовать команду esxcfg-advcfg для этой установки)
6. Отредактируйте файл /etc/vmware/config добавив следуюшие строки:
   prefvmx.ConsolidateDeleteNFSLocks = "TRUE"
7. Запишите изменения в файле и перегрузите хост VMware ESX
8. С помощью VMotion переместите VMы назад на patched/NFS lock enabled/prefvmx enabled хост
9. Повторите эти шаги для каждого хоста в кластере

?? еще раз, если вы не поставили ESX350-200808401-BG, пожалуйста сделайте это максимально быстро, и убедитесь, что NFS locking включен. Если вы ранее запрещали (disable) NFS locking, то следуйте шагам, описанным выше, и восстановите NFS locking, защитив себя от возможного split-brain в системе VI.