about NetApp

Совершенно некогда сегодня писать большой текст, который я запланировал, поэтому отделаюсь новостями, которые, правда, объявились еще в сентябре. Но лучше поздно, чем вообще.

В конфигураторе теперь есть диски SAS на 900GB для 2246 (2,5”, SFF). Ставятся только в полку 2246, в “голову” (2220 или 2240-2) не ставятся (или, по крайней мере, конфигурато.

В “голову” 2240-4 появились интересные комплекты под Flash Pool: 6×100GB SSD + 18×1TB SATA и 6×100GB SSD + 18×3TB SATA. Такие же варианты есть и для полочных сетов в полку 4246, плюс к ним еще есть все варианты дисков SATA – 1, 2 и 3TB.

??з недоступных, по известным причинам, в России, появились диски NSE (со встроенным шифрованием) емкостью 3TB.

В марте 2012 года, по всей видимости, пройдет окончательную ратификацию “в органах” новая версия протокола NFS – NFSv4.2.

Я уже рассказывал о том, как пару лет назад была выпущена v4.1, главным нововведением которой стал протокол pNFS или Parallel NFS (вопреки модным тенденциям сегодняшнего IT, даже такие значительные изменения, как pNFS, не удостоились v5.0, а считаются всего лишь минорными изменениями версии 4). Про pNFS я тоже уже писал немного, если кому интересно – отсылаю к прошлым постам, если вкратце, то это модификация файловой системы NFS, позволяющей ей работать на параллельном кластере связанных хранилищ, подобно Lustre, Hadoop или GPFS. А сегодня мы собрались для того, чтобы посмотреть на то, что появилось в v4.2. Добавления не настолько глобальные, как в 4.1, но достаточно интересные.

Server-Side Copy (SSC) – это механизм, который позволяет организовывать копирование данных между двумя серверами, не через инициировавшего копирование клиента (чтение на клиента блока с сервера A – запись этого блока на сервер Б, и так далее, пока весь файл не скопирован), а непосредственно. Это чем-то напоминает возможно знакомое кому-нибудь копирование FXP, для двух поддерживающих эту функцию серверов FTP, когда клиент, по командному каналу, указывает для двух серверов, что они должны передать друг-другу файл, после ченго может отключиться, коммуницировать и передавать файл будут два сервера без участия инициировавшего клиента.

Такая возможность значительно снижает нагрузку на канал к клиенту для объемных копирований, например для операций, подобных Storage vMotion, когда содержимое одной VM c одного стораджа, должно быть перенесено на другой сторадж. Теперь это смогут сделать два стораджа, поддерживающие NFS v4.2, самостоятельно, без участия клиента, средствами самого протокола NFS.

Guaranteed Space Reservation – несмотря на то, что thin provisioning для больших инфраструктур это благо с точки зрения эффективности расходования пространства, это большая забота администраторов, в особенности для быстро и непредсказуемо растущих сред. Хотя Thin Provisioning и дает большой выигрыш в расходовании места, за ним “нужен глаз да глаз”. К сожалению до сих пор NFS не предлагал возможности зарезервировать пространство для файлов. Размещение файлов на NFS всегда было thin. Если вы по каким-то своим причинам не хотели использовать thin-модель, то есть занятие места по фактически записанному в файл, а хотели заранее зарезервировать пространство на NFS-хранилище, то у вас не было выбора, а теперь он есть. Guaranteed Space Reservation позволяет, в рамках протокола и файловой системы NFS, создать зарезервированный объем файла, даже не осуществляя в него фактической записи.

Hole-punching. Как вы знаете, одной из наиболее значительных проблем thin provisioning, является проблема “разрастания” thin-файла или раздела (например файла диска виртуальной машины), внутри которого удаляются данные. К сожалению, не имея “арбитра” на уровне приложения, OS, или файловой системы, сторадж не может узнать, вот эти вот блоки, они стерты и больше не нужны, или просто в них давн не пишется, а на самом деле данные в них ценные и их освобождать нельзя. Отчасти эту проблему можно решить, принудительно записывая нули (что, кстати, нынешние файловые системы не делают сами, просто помечая файл у себя как “удаленный”), и считать, что то, где принудительно записаны нули – стерто, и ег можно освободить, и не держать внутри thin-тома, а отдать такое “зануленное” место желающим. Однако общего, стандартного механизма пока не было. А теперь он есть. Начиная с v4.2 при работе по NFS можно обнаруживать такие разрозненные пустые пространства от стертых данных, и освобождать его, “сжимая” файл.

Причем, что немаловажно, такое удаление “дыр из сыра” на уровне стораджа остается полностью прозрачным для использующих его приложений.

Application Data Blocks (ADB) – это механизм для приложений определить некие блоки данных, чтобы затем можно будет заполнять “по шаблону”. Например приложение желает заполнить выделенную область данных определенной сигнатурой. “Классическим образом” вам пришлось бы передать по сети и записать на диск ровно столько блоков, сколько нужно для заполнения нужных областей. Теперь же приложение может определить блок данных как Application Data Block, и заполнить область (с точки зрения приложения) просто указав на этот блок как предопределенный ADB для этой области. Физическое заполнение при этом не происходит, но приложение, обратившись к области данных, получит именно ожидавшееся содержимое.

Aplication I/O Hints – это указание приложением стораджу, средствами протокола, на характер считывания данных с диска. Например: следующие данные будут читаться последовательно, поэтому, пожалуйста, включите на сторадже read ahed. ??ли, наприме: следующие данные мы будем читать несколько раз подряд. Поэтому включите их постоянное хранение в кэше. ??ли данные будут записаны, но читать пока мы их не планируем, поэтому не занимайте место в кэше под них. ?? так далее.

Когда все это богатство ждать? Ратификация стандарта ожидается уже в марте, так как одним из “двигателей” рабочей группы NFS являются специалисты NetApp и EMC, то в этих продуктах новые возможности будут реализованы в скором времени после ратификации стандарта. Насколько будут востребованы новые фичи на стороне клиента – ну тут решать стороне клиента, то есть, в конечном счете – вам.

9 ноября по американскому времени (а в Москве это будет уже вечер 10) - “день премьеры”, объявляются новинки NetApp этого сезона.

Вот послезавтра, утром 11 ноября и приходите, начну большой рассказ о том, что у NetApp теперь имеется.

Как вы уже, возможно, слышали, в первых числах ноября состоится большое ежегодное событие в жизни NetApp – конференция Insight 2010. К ней обычно привязываются объявления новых продуктов, выходы новых версий, и прочие важные события в жизни компании. В прошлом году, как вы помните, была объявлена новая версия Data ONTAP Generation 8.

А в этом году у нас грядет большое, и давно ожидавшееся обновление модельного ряда продуктов компании, как в мидрендже, так и в хайэнде. ?? если вы подписаны на новости Communities NetApp, то могли уже и посмотреть вебинар в середине октября, где давалась первая информация о новых продуктах (еще одна причина завести логин и внимательно следить за сайтом communities.netapp.com).

Однако так как информация там дается официально “limited use”, то есть без права широкой огласки, то я все новости по новым системам буду давать только после их официального объявления, или, как говорил Почтальон Печкин: “Потому что у вас докУментов нету.”

Однако, чтобы вам сиделось на иголках, и чтобы поддержать ваше любопытство и интригу, опубликую “замануху” со стертыми подписями, в духе “что бы это значило”. :)
Например вот такую:

Заинтригованы?
Подробнее 9 ноября.

В блоге Vaughan Stewart была найдена интресная картинка:

Да, это то что вы подумали. Начиная с Data ONTAP 7.3.3 и 8.0.1 на WAFL теперь работает компрессия (лицензия бесплатна, как iSCSI, или дедупликация, например), причем использование компрессии не отменяет и не заменяет, и может использоваться как совместно с дедупликацией, так и по отдельности. Это такая же знакомая и привычная онлайн-компрессия как на NTFS, например.

Компрессия пригодится в случаях, когда на диске лежат различные по содержимому данные, но не слишком дублирующиеся внутри на уровне 4KB-блоков WAFL. Тем не менее содержимое этих файлов вполне может сжиматься классическими LZ-алгоритмами. Например у меня на ноутбуке папка Program Files диска C: сжата почти на 30% от ее, примерно 2GB, объема.
Хороший пример – homedir различных пользователей организации. Хотя в хоумдирах иногда и попадаются идентичные документы и файлы у разных людей, в основном же, как показывает практика, большая часть содержимого хоумдиров достаточно уникальна, и не слишком эффективно дедуплицируется. Однако вполне поддается традиционному zip-like сжатию с неплохими показателями.

Для 7.3.3 компрессия идет как PVR, то есть доступна по запросу, но запланирована как стандартная опция в 8.0.1, которая выйдет этой осенью.

Любопытная новость обнаружилась в блоге Дейва Хитца, вице-президента, сооснователя компании, и первого блоггера NetApp (теперь в корпоративном каталоге блоггеров уже десятки имен, но он был первым,и одним из первых блоггеров в индустрии систем хранения вообще).

За прошедшие 52 недели, то есть, по простому, за календарный год (364 дня), NetApp, впервые в своей истории, отгрузила клиентам 1000 петабайт объема хранения, то есть, иначе, ровно экзабайт дискового пространства. Единица с восемнадцатью нулями байт.
Такая вот веха.

Хочу обратить внимание моих читателей на существование специальной группы на YouTube, под названием NetApp TV. В этой группе выкладываются видеоподкасты, скринкасты и демонстрации различных технологий NetApp. Может быть интересно.
Вот, например, рассказ про новинку - NetApp Data Motion.
Data Motion это средство прозрачной и непрерывающей миграции данных (и работающей с этими данными нагрузки в виде клиентов) между системами хранения NetApp, что-то вроде того, что делает VMware vMotion для виртуальных машин, но для данных.
Требует лицензии SnapMirror и Multistore, в продакшн выходит на ONTAP 8 в начале следующего года.

Один из клиентов NetApp - фотохостинг Flickr, принадлежащий ныне Yahoo, взял недавно новую высоту.
Четыре миллиарда закачанных пользовательских фотографий, при этом следует помнить, что при выбранной Flickr архитектуре хранения, каждая фотография хранится в виде 4-5 файлов разного разрешения, то есть суммарное количество файлов хранения еще в 4-5 раз больше.

Я уже писал про Flickr, с некоторыми подробностями по используемой архитектуре, в посте ранее, где приводились некоторые подробности на конец 2007 года. Думаю, что можно проэкстраполировать те данные, чтобы получить представление о сегодняшней ситуации.

Однако 4 миллиарда это не рекорд. Так, другой клиент NetApp, компания Facebook, хранит свыше 15 миллиардов фотографий (на апрель этого года).

По некоторым признакам, кроме PAM, все же будут у NetApp и обычные SSD в виде “дисков”.
Некоторе сведения об этом найдены тут: SearchStorage

Третьим шагом будет поддержка SSD в самих дисковых массивах, которую сейчас предлагают все крупные производители. “Позже в этом году мы проведем сертификацию дисков SSD в дисковых полках”, сказал Jay Kidd (NetApp’s Chief Marketing Officer). “Вы сможете добавить их к существующим системам, возможно с помощью дополнительных дисковых полок, которые поддерживают SSD”
Kidd сказал, что NetApp будет использовать SSD с нативным интерфейсом SAS.

Объявлена новая стратегия NetApp в области Cloud Systems.
Анонсирован выход в сентябре Data ONTAP 8, продукта объединяющего “классическую” 7G и ONTAP GX.

Ну и по мелочи: новая дисковая полка DS4243 - 24 диска SAS/SATA в корпусе 4U
PAM II - новая модель в линейке Performance Acceleration Module - 256GB flash-памяти (up to 4TB) (в PAM I была только RAM 16GB)
В начале 2010, с выходом 7.3.3, появится функция NetApp Data Motion - средство nondisruptive и прозрачного для приложений перемещения данных между системами NetApp и tier-ами хранения, например между SAS/FC и SATA-разделами.