about NetApp

Время от времени удается найти каких-нибудь интересных и показательных клиентов NetApp помимо тех, кто есть в директории Success Stories.
Очередная находка - новозеландская компания WETA Digital, одна из крупнейших в мире студий цифрового 3D рендеринга, моделлинга и анимации, cозданная для фильма Lord of the Rings, и делавшая King Kong, District 9, Avatar, и некоторые другие заметные и значительные фильмы “цифровой эпохи”.

Я обратил внимание на мелькнувшие стойки F800 еще когда несколько лет назад смотрел документальные фильмы серии “Making of Lord of the Rings”.
Данные подробнее нашлись в интернете:

“Каждый кадр фильма занимает 12,5MB, 24 кадра в каждой секунде фильма. Для трехчасового фильма это соответствует 3 240 000 MB объема хранилища. WETA ипользовала два сканера Imagica … и сосканировала 1.5 миллиона кадров (около 18 TB) как исходные кадры картинки до того, как наложить на них спецэффекты. Файлеры NetApp хранили предварительные данные для работы художников WETA Digital. 300 художников использовали системы хранения для добавления цифровых изображений к “живой съемке”, накладывая пейзажи, персонажей и другие эффекты, например движение.

Каждый “шот” (сцена) занимал от двух до восьми недель работы,и все они оставались “в онлайне”, пока над ними шла работа. WETA Digital использовала от 1400 до 1600 процессоров своей фермы рендеринга и обработки (Intel Xeon 2.2 GHz) работавшие день и ночь все дни в неделю. Это заняло около 40000 рабочих часов в день или 4 миллиона рабочих часов на только один фильм из трех, “Two Towers”, интенсивно нагрузив системы NetApp гигантским объемом работы. Scott Houston (Weta CTO) отметил, что им требовалась не только гигантская емкость хранения, но и большая вычислительная мощность.
Первичным хранилищем были файлеры NetApp - три F840s и пять F880s, с одним R100 (система Nearstore с дисками SATA, когда такие системы еще производились NetApp как отдельные устройства) использовавшимся как буферное хранилище первоначальных сканов. Общее решение также включало в себя систему SGI Origin 2000 с 3 TB хранения и ленточные библиотеки, емкостью около 240 TB; 120 TB занимали полные копии для избыточности. Только 20 TB данных были доступны художникам одномоментно. В настоящий момент (статья датирована 2003 годом) WETA Digital хранит 40 миллионов файлов, содержащих фильм-1 (Fellowship of the Ring) и фильм-2 (Two Towers)…”

Начав в 2001 году использование “фермы” всего в одном 19-дюймовом шкафе серверов с 32 процессорами рендеринга, к третьему фильму она нарастила ее в сто раз, до 3200 процессоров.
В период работы над King Kong WETA занимала 4 места в Top500 of Supercomputers, с системами:

Rank System Procs Rmax Rpeak Vendor
Rank - 109 IBM BladeCenter HS20 Cluster, Xeon EM64T 3.6 GHz - Gig-Ethernet - 1000 processors
Rank - 323 IBM BladeCenter HS20 Cluster, Xeon EM64T 3.6 GHz - Gig-Ethernet - 512 processors
Rank - 335 IBM BladeCenter Cluster Xeon 2.8 GHz, Gig-Ethernet - 1176 processors
Rank - 338 IBM< BladeCenter Cluster Xeon 2.8 GHz, Gig-Ethernet - 1080 processors
Над этим фильмом трудились 3768 процессоров.
Один только третий фильм LOTR Trilogy - Return of the King занял 60TB оперативного хранилища, 72TB на nearline-системах, и полпетабайта на архивных лентах (StorageTek L700e).

В ходе разработки архитектуры системы хранения компании встал вопрос выбора между Ethernet и Fibre Channel. Этот выбор, в свою очередь, определял и выбор соответствующего хранилища; файлового по Ethernet или блочного через SAN fabric.

CTO компании, Jon Labrie говорит:
“Мы рассматривали Fibre Channel, но пришли к выводу отказаться от него. Во-первых, цена была для нас невозможной, во-вторых, выбор FC не позволил бы нам проделать переход на новую систему плавно.” По этой причине WETA выбрала Gigabit Ethernet.

“Решение выбрать Gigabit Ethernet оказалось весьма важным,” говорит Labrie. “Если бы я выбрал что-то более “эзотерическое”, такое как Fibre Channel, мой выбор между поставшиками, при последующей необходимости расшириться, был бы гораздо более узким… ?? у меня не было бы возможности использовать преимущества конкуренции между вендорами, например, коммутаторов.”

К концу работы над Return of the King, фильмом, превышавшим по объему “цифровой работы” первые два фильма вместе взятых, WETA начала переход на 10G Ethernet.

??звестно, что WETA пыталась перейти на Bluearc Titan 2000, в период работы над King Kong.

Однако, после экспериментов, к началу работы над Avatar она вернулась на NetApp.
На сегодня она располагает фермой рендеринга в 35 тысяч процессоров в blade-серверах, и системами серий FAS6080 и SA600, каждая из них снабжена 5 платами PAM, суммарной емкостью 160GB DRAM в каждом контроллере. ??спользуется доступ по сети 10G Ethernet.

Приложение: фотография части рендерфермы WETA (2006 год).