about NetApp

Уверен, вы уже знакомы с черезвычайно полезны ресурсом на сайте NetApp, сборником справочной литературы, Best Practices, и рекомендаций по многочисленным областям применений систем хранения NetApp. Расположен он вот по этому адресу: http://www.netapp.com/us/library/

А ниже собраны для примера все документы NetApp касающиеся только одного продукта – СУБД Oracle.

Возможно практическим dba такая подборка будет полезна, а остальных впечатлит размерами :)

NetApp Best Practices
http://media.netapp.com/documents/tr-3369.pdf  Best Practices for Oracle (through 10g)
http://media.netapp.com/documents/tr-3633.pdf  Best Practices for 11g
http://media.netapp.com/documents/tr-3761.pdf  Best Practices for SnapManager 3
http://media.netapp.com/documents/tr-3426.pdf  SnapManager with 10g RAC Grid
http://media.netapp.com/documents/tr-3442.pdf  SAP on Unix and Oracle with NFS
http://media.netapp.com/documents/ra-0002.pdf  Test/Dev Reference Architecture with Data Guard
http://media.netapp.com/documents/tr-3803.pdf  Oracle VM Best Practices

Performance
http://media.netapp.com/documents/tr-3700.pdf  Oracle 11g Protocol Performance on Linux
http://media.netapp.com/documents/tr-3495.pdf  Storage Protocol Performance on Linux
http://media.netapp.com/documents/tr-3408.pdf  Storage Protocol Performance on AIX
http://media.netapp.com/documents/tr-3496.pdf  Storage Protocol Performance on Solaris
http://media.netapp.com/documents/tr-3322.pdf  Oracle NFS Performance on Solaris
http://media.netapp.com/documents/tr-3557.pdf  HP-UX NFS Performance on 10g
http://media.netapp.com/documents/tr-3357.pdf  Oracle 9i RAC OLTP performance on iSCSI
http://media.netapp.com/documents/tr-3753.pdf  OLTP Performance with NetApp Performance Acceleration Module
http://media.netapp.com/documents/tr-3622.pdf  11g Single Instance Sequential Workload Performance with DNFS and iSCSI on Windows
http://media.netapp.com/documents/tr-3628.pdf  Sequential Workload Performance with iSCSI and NFS

Data Protection
http://media.netapp.com/documents/tr-3520.pdf  SAP Data Protection for Unix on Fibre Channel
http://media.netapp.com/documents/tr-3211.pdf  Data Protection for 9i on Windows
http://media.netapp.com/documents/tr-3368.pdf  Data Protection for 10g on Asianux
http://media.netapp.com/documents/tr-3377.pdf  Oracle with NetApp Open Systems SnapVault (OSSV)

Applications
http://media.netapp.com/documents/tr-3444.pdf  SAP on Microsoft Windows with NetApp
http://media.netapp.com/documents/tr-3533.pdf  SAP on Unix with Fibre Channel
http://media.netapp.com/documents/tr-3391.pdf  Oracle E-Business Suite on NetApp
http://media.netapp.com/documents/tr-3797.pdf  SAP TDMS (Test Data Migration Server) on NetApp
http://media.netapp.com/documents/tr-3300.pdf  Cloning Oracle E-Business Suite with SnapMirror
http://media.netapp.com/documents/tr-3366.pdf  SAP Data Protection on Oracle on Windows
http://media.netapp.com/documents/tr-3365.pdf  SAP Data Protection on Unix and NFS
http://media.netapp.com/documents/tr-3672.pdf  Fusion Middleware Disaster Recovery

Real Applicaiton Clusters
http://media.netapp.com/documents/tr-3572.pdf  Oracle 10gR2 NFS Setup
http://media.netapp.com/documents/tr-3572.pdf  Oracle 10g RAC with ASM on NFS
http://media.netapp.com/documents/tr-3349.pdf  Oracle 10g RAC with ASM on iSCSI
http://media.netapp.com/documents/tr-3189.pdf  Oracle 9i RAC on Red Hat 3
http://media.netapp.com/documents/tr-3413.pdf  Oracle 10g RAC on SUSE
http://media.netapp.com/documents/tr-3536.pdf  Oracle 10g RAC on SUSE9
http://media.netapp.com/documents/tr-3555.pdf  Oracle 10g RAC Cluster Synchronization Services with NetApp
http://media.netapp.com/documents/tr-3527.pdf  Oracle 10g with Power Linux (RHEL AS4 U3)
http://media.netapp.com/documents/tr-3542.pdf  Oracle 10g RAC on AIX
http://media.netapp.com/documents/tr-3479.pdf  Oracle 10g RAC on AIX
http://media.netapp.com/documents/tr-3330.pdf  Oracle 10g RAC with RHEL 3
http://media.netapp.com/documents/tr-3389.pdf  Oracle RAC for HP Service Guard/HP LVM over Fibre Channel
http://media.netapp.com/documents/tr-3399.pdf  Oracle RAC on IBM HACMP SAN

DNFS
http://media.netapp.com/documents/tr-3614.pdf  HA for Oracle with DNFS on NetApp MetroCluster

Disaster Recovery
http://media.netapp.com/documents/tr-3455.pdf  Disaster Recovery for Oracle on NetApp
http://media.netapp.com/documents/tr-3639.pdf  Disaster Recovery with Sun Cluster and NetApp MetroCluster

Misc
http://media.netapp.com/documents/tr-3646.pdf  Oracle 11g with VMWare
http://media.netapp.com/documents/tr-3803.pdf  Upgrading to 11g leveraging SnapMirror, FlexClone, and Real Applicaiton Testing
http://media.netapp.com/documents/tr-3762.pdf  Oracle Data Masking with SnapManager for Oracle
http://media.netapp.com/documents/tr-3792.pdf  Database Migration to Large ONTAP 8.0 Aggregates
http://media.netapp.com/documents/tr-3414.pdf  Ensuring Oracle Data Integrity with NetApp SnapValidator
http://media.netapp.com/documents/tr-3469.pdf  Enterprise Manager plug-in for NetApp
http://media.netapp.com/documents/tr-3781.pdf  NetApp with Oracle ILM Assistant
http://media.netapp.com/documents/tr-3791.pdf  Leveraging Transportable Tablespaces with Flexclones
http://media.netapp.com/documents/tr-3575.pdf  Oracle 10g with Decru DataFort on RHEL 4 on FCP

NDMP – Network Data Management Protocol – это разработанный еще в 90-х годах компаниями NetApp и Legato(ныне EMC Software Group) сетевой IP-протокол, и концепция архитектуры резервного копирования для NAS-устройств. Основной идеей, создавшей концепцию NDMP, являлось желание дать NAS-системам хранения, представляющим из себя обычно довольно мощный сервер сам по себе, возможность самостоятельно, своими силами осуществлять резервное копирование своего содержимого.

(Дальше много текста с картинками)

Continue reading ‘NDMP – что это, и как использовать?’ »

Любопытую утилитку предлагает NetApp, на сайте NOW, в разделе инструментов (нужен логин в NOW!).

nSANity Diagnostic and Configuration Data Collector 1.1.14

Это сборщик диагностической и конфигурационной информации. Причем не только для NetApp.

# Data ONTAP Storage Controllers
# Windows 2003 and 2008 hosts
# VMware ESX hosts (excluding i variants)
# Linux hosts with kernel 2.6
# Solaris hosts
# AIX hosts
# HP-UX 11i hosts
# Brocade switches
# McData switches (EOS, EOSn)
# Cisco switches (IOS, NXOS and SANOS)
# QLogic switches

Работает по следующим протоколам:

# HTTP/HTTPS is used for communicating with Data ONTAP
# SSH is used for communicating with Cisco, Brocade, VMware ESX, Linux, Solaris, AIX and HP-UX.
# WMI is used for communicating with Windows hosts
# A telnet fallback is available for McData switches when SSH is not enabled

Запускается так:

c:\> nsanity ontap://root:*@storage1

при этом спросит пароль рута (звездочку можно заменить на собственно пароль, что, понятно, не рекомендуется)

Собранный пак инфы в gzip можно развалить на отдельные файлы так:

c:\> nsanity –x zipfilename.gz

Есть версия под Linux и Windows.

В блогах MSDN найден любопытный документ тестирования iSCSI на 10G Ethernet, с использованием MS Windows Server 2008, Hyper-V, и системы хранения NetApp FAS3070.
Даже несмотря на то, что использовался довольно старенький сторадж (3070 это топовая модель предыдущей midrange-линейки, в настоящий момент уже не выпускаемая, вся серия 3000 уже целиком заменена на 3100), и чисто “софтверный” iSCSI, результаты могут показаться любопытными тем, кто еще раздумывает “А насколько быстр на самом деле этот непонятный iSCSI?”

http://download.microsoft.com/download/F/B/3/FB38CA2C-6694-4D25-8452-4A28668A87F2/MSFT-NetApp-10G.docx

Следует отметить, что карты 10G Ethernet, например рассматриваемая в этом тестировании двупортовая Intel 10 Gigabit AF DA dual port Server Adapter по ценам Price.ru стоит ~770$, а вообще 10G адаптеры начинаются уже от 500$.

??ногда пользователям попадается система хранения с “богатым прошлым”, “доставшаяся в наследство”, или иной странный некомплект. Часто встает вопрос, как привести такую систему в исходное состояние, избавившись от “тяжелого наследства” установленной конфигурации прежних владельцев.

Для начала, вам следует найти консольный кабель. Он идет в комплекте поставки но, в случае, когда концы системы утеряны, бывает с ними же уходит и кабель.

В качестве консольного кабеля прекрасно подойдет аналогичный консольный кабель RJ-45-to-DB-9 от оборудования Cisco. Его распиновка такова:

Pinouts RJ45
Pin# Signal
1    connected to pin 8
2    Not connected
3    TXD (from appliance)
4    GND
5    GND
6    RXD (to appliance)
7    Not connected
8    connected to pin 1 

Для справки также привожу распиновку стандартного RS-232 serial DB-9

Pinouts DB9
Pin# Signal Data Flow Description
1    DCD    input     data carrier detected
2    SIN    input     serial input
3   SOUT    output    serial output
4    DTR    output    data terminal ready
5    GND    N/A       signal ground
6    DSR    input     data set ready
7    RTS    output    request to send
8    CTS    input     clear to send
9     RI    input     ring indicator 

Для сброса системы в “состояние с завода” следует выполнить в консоли загруженной системы, войдя от имени root, следующие команды:

>priv set advanced

>halt -c factory

После перезагрузки все ранее сделанные изменения конфигурации в /etc сотрутся, и будет запущен стартовый скрипт setup, обеспечивающий начальную установку впервые включенной системы.

Если необходимо сменить неизвестный или утерянный пароль root, следует, с подключенным к serial port кабелем и консолью, включить контроллер, и, при загрузке, на предложенную подсказку, нажать Ctrl-C и выбрать (3) Change password.

Обратите внимание, что сбросить пароль root возможно только с консольным подключением в контроллер.

Возможно вы уже знакомы с так называемым special boot menu, которое появляется, если при загрузке с сериальной консоли нажать Ctrl-C. Любопытно, что кроме 6 предлагаемых вариантов, в этом меню есть и скрытые варианты. Например, если туда, вместо предлагаемых номеров, ввести WAFL_check [aggrname], где [aggrname] это имя соответствующего аггрегейта, то начнется подробная проверка консистентнсти WAFL на нем. Это может помочь если, по какой-то причине, состояние дисков и WAFL на них настолько нарушено, что система хранения не загружается, или не в состоянии разрулить проблему обычными средствами.

По сути это аналог fsck в single mode для привычных unix-type filesystem.

Пример:

Special boot options menu will be available.
NetApp Release 7.0.4P1: Mon Feb 27 14:36:15 PST 2006
Copyright (c) 1992-2006 Network Appliance, Inc.
Starting boot on Sat Mar 24 15:36:18 GMT 2007
(1) Normal boot.
(2) Boot without /etc/rc.
(3) Change password.
(4) Initialize all disks.
(4a) Same as option 4, but create a flexible root volume.
(5) Maintenance mode boot.
Selection (1-5)? WAFL_check aggr01
Sat Mar 24 15:38:15 GMT [wafl.vol.inconsistent:ALERT]: Aggregate aggr01 is inconsistent. Please contact NetApp Customer Support.
Sat Mar 24 15:38:15 GMT [raid.vol.replay.nvram:info]: Performing raid replay on volume(s)
Sat Mar 24 15:38:15 GMT [raid.cksum.replay.summary:info]: Replayed 0 checksum blocks.
Sat Mar 24 15:38:15 GMT [raid.stripe.replay.summary:info]: Replayed 0 stripes.
Checking aggr01…
WAFL_check NetApp Release 7.0.4P1
Starting at Sat Mar 24 15:38:17 GMT 2007
Phase 1: Verify fsinfo blocks.
Phase 2: Verify metadata indirect blocks.
Phase 3: Scan inode file.
Phase 3a: Scan inode file special files.
Phase 3a time in seconds: 9
Phase 3b: Scan inode file normal files.
(inodes 5%)
(inodes 10%)
…
(inodes 92%)
(inodes 97%)
(inodes 99%)

Следует также отметить, что не зря эта команда запрятана так далеко и неочевидно. WAFL зарекомендовала себя чрезвычайно стабильной и надежной файловой системой, и нужда в таком своеобразном fsck возникает, на самом деле, очень редко.

Время от времени удается найти каких-нибудь интересных и показательных клиентов NetApp помимо тех, кто есть в директории Success Stories.
Очередная находка - новозеландская компания WETA Digital, одна из крупнейших в мире студий цифрового 3D рендеринга, моделлинга и анимации, cозданная для фильма Lord of the Rings, и делавшая King Kong, District 9, Avatar, и некоторые другие заметные и значительные фильмы “цифровой эпохи”.

Я обратил внимание на мелькнувшие стойки F800 еще когда несколько лет назад смотрел документальные фильмы серии “Making of Lord of the Rings”.
Данные подробнее нашлись в интернете:

“Каждый кадр фильма занимает 12,5MB, 24 кадра в каждой секунде фильма. Для трехчасового фильма это соответствует 3 240 000 MB объема хранилища. WETA ипользовала два сканера Imagica … и сосканировала 1.5 миллиона кадров (около 18 TB) как исходные кадры картинки до того, как наложить на них спецэффекты. Файлеры NetApp хранили предварительные данные для работы художников WETA Digital. 300 художников использовали системы хранения для добавления цифровых изображений к “живой съемке”, накладывая пейзажи, персонажей и другие эффекты, например движение.

Каждый “шот” (сцена) занимал от двух до восьми недель работы,и все они оставались “в онлайне”, пока над ними шла работа. WETA Digital использовала от 1400 до 1600 процессоров своей фермы рендеринга и обработки (Intel Xeon 2.2 GHz) работавшие день и ночь все дни в неделю. Это заняло около 40000 рабочих часов в день или 4 миллиона рабочих часов на только один фильм из трех, “Two Towers”, интенсивно нагрузив системы NetApp гигантским объемом работы. Scott Houston (Weta CTO) отметил, что им требовалась не только гигантская емкость хранения, но и большая вычислительная мощность.
Первичным хранилищем были файлеры NetApp - три F840s и пять F880s, с одним R100 (система Nearstore с дисками SATA, когда такие системы еще производились NetApp как отдельные устройства) использовавшимся как буферное хранилище первоначальных сканов. Общее решение также включало в себя систему SGI Origin 2000 с 3 TB хранения и ленточные библиотеки, емкостью около 240 TB; 120 TB занимали полные копии для избыточности. Только 20 TB данных были доступны художникам одномоментно. В настоящий момент (статья датирована 2003 годом) WETA Digital хранит 40 миллионов файлов, содержащих фильм-1 (Fellowship of the Ring) и фильм-2 (Two Towers)…”

Начав в 2001 году использование “фермы” всего в одном 19-дюймовом шкафе серверов с 32 процессорами рендеринга, к третьему фильму она нарастила ее в сто раз, до 3200 процессоров.
В период работы над King Kong WETA занимала 4 места в Top500 of Supercomputers, с системами:

Rank System Procs Rmax Rpeak Vendor
Rank - 109 IBM BladeCenter HS20 Cluster, Xeon EM64T 3.6 GHz - Gig-Ethernet - 1000 processors
Rank - 323 IBM BladeCenter HS20 Cluster, Xeon EM64T 3.6 GHz - Gig-Ethernet - 512 processors
Rank - 335 IBM BladeCenter Cluster Xeon 2.8 GHz, Gig-Ethernet - 1176 processors
Rank - 338 IBM< BladeCenter Cluster Xeon 2.8 GHz, Gig-Ethernet - 1080 processors
Над этим фильмом трудились 3768 процессоров.
Один только третий фильм LOTR Trilogy - Return of the King занял 60TB оперативного хранилища, 72TB на nearline-системах, и полпетабайта на архивных лентах (StorageTek L700e).

В ходе разработки архитектуры системы хранения компании встал вопрос выбора между Ethernet и Fibre Channel. Этот выбор, в свою очередь, определял и выбор соответствующего хранилища; файлового по Ethernet или блочного через SAN fabric.

CTO компании, Jon Labrie говорит:
“Мы рассматривали Fibre Channel, но пришли к выводу отказаться от него. Во-первых, цена была для нас невозможной, во-вторых, выбор FC не позволил бы нам проделать переход на новую систему плавно.” По этой причине WETA выбрала Gigabit Ethernet.

“Решение выбрать Gigabit Ethernet оказалось весьма важным,” говорит Labrie. “Если бы я выбрал что-то более “эзотерическое”, такое как Fibre Channel, мой выбор между поставшиками, при последующей необходимости расшириться, был бы гораздо более узким… ?? у меня не было бы возможности использовать преимущества конкуренции между вендорами, например, коммутаторов.”

К концу работы над Return of the King, фильмом, превышавшим по объему “цифровой работы” первые два фильма вместе взятых, WETA начала переход на 10G Ethernet.

??звестно, что WETA пыталась перейти на Bluearc Titan 2000, в период работы над King Kong.

Однако, после экспериментов, к началу работы над Avatar она вернулась на NetApp.
На сегодня она располагает фермой рендеринга в 35 тысяч процессоров в blade-серверах, и системами серий FAS6080 и SA600, каждая из них снабжена 5 платами PAM, суммарной емкостью 160GB DRAM в каждом контроллере. ??спользуется доступ по сети 10G Ethernet.

Приложение: фотография части рендерфермы WETA (2006 год).