Работа саппорта NetApp: чему равен NBD
Я попросил одного пользователя NetApp, расположенного вне Москвы (с Москвой как раз все просто, и не слишком интересно да?) поделиться информацией об оперативности работы службы сервиса NetApp. Как вы помните, стандартный сервисный уровень по доставке вышедших из строя запчастей у NetApp, это Next Business Day (NBD), что в условиях страны, растянутой на 9 часовых поясов и с отдаленными точками, куда “только вертолетом можно долететь”, представляет собой известный челлендж для любого сервиса.
Городок с населением 250 000 чел, 660 км Москвы, пользователь - крупное промпредприятие.
Вылетало за время эксплуатации системы три диска.
Далее выдержки из логов кейсовой системы NetApp по этому стораджу (форматирование потерялось, но не суть), я выделил даты событий, дата и время даны по калифорнийскому (PST) времени, в котором работает саппорт NetApp. Первая – регистрация события по отчету autosupport, второе – реакция человека в саппорте, командующего складу на отгрузку. Далее – когда запчасть доставлена на сайт фактически. Доставка производится со склада в Москве (и Петербурге).
1) Case #: 2xxxx Status:
Closed
Priority:
Occasional disruption or problem (P3)
Symptom:
DSKFLT:Disk /aggrsata/plex0/rg0/0a.19 Shelf 1 Bay 3 [NETAPP X269_SMOOS01TSSX NA01] S/N [9QJ7W7V4]
System Name: NETAPP2040-2 Bug #: Reference #:
Serial Number: 200000xxxxx Part Number: FAS2040-R5 System ID: 135xxxx OS Version: 8.0.1RC1 7-MODE AutoSupport: ON
Case text : Customer Input - 03/10/2012 12:52:00 PST
Visibility : PUBLIC Note :
I need help. My disk drive has failed. Help me. Send me new disk.
RMA DSKFLT:Disk /aggrsata/plex0/rg0/0a.19 Sh - 03/10/2012 18:27:30 PST : WF_BATCH Status: Delivered Assigned To: Ahamed Hussain
Update : ‘Return Order from PR ‘80009xxxx - 03/10/2012 22:15:59 PST : TPL_APL Status: Closed Assigned To: Ahamed Hussain
1. We will ship one
SP-269A-R5
to replace the failed part. This part w ill be shipped to the following address and contact:
12 марта – диск у нас
2) Case #: 20027xxxx Status:
Closed
Priority:
Occasional disruption or problem (P3)
Symptom:
DSKFLT:Disk /aggrsas2/plex0/rg0/0d.01.10 Shelf 1 Bay 10 [NETAPP X410_S15K7288A15 NA00] S/N [3SJ0VS340000xxxxx]
System Name: NETAPP2040-2 Bug #: Reference #:
Serial Number: 200000xxxx Part Number: FAS2040-R5 System ID: 135xxx OS Version: 8.0.1RC1 7-MODE AutoSupport: ON
Update : Case text : Symptom - 12/24/2011 18:23:47 PST : ASUP_PP Status: Assigned To: RAI Ranjit Visibility : PUBLIC Note :
DSKFLT:Disk /aggrsas2/plex0/rg0/0d.01.10 Shelf 1 Bay 10 [NETAPP X410_S15K7288A15 NA00] S/N [3SJ0VS3400009034xxxx]
Update : ‘Return Order from PR ‘8000869583 - 12/26/2011 00:50:51 PST : TPL_APL Status: Closed Assigned To: Kabra Mitesh Visibility : PUBLIC
28 декабря – диск у нас.
3) Case #: 200275xxxx Status:
Closed
Priority:
Occasional disruption or problem (P3)
Symptom:
DSKFLT:File system Disk /aggrsata/plex0/rg0/0a.24 Shelf 1 Bay 8 [NETAPP X269_SMOOS01TSSX NA01] S/N [9QJ7WHD6] failed.
System Name: NETAPP2040-2 Bug #: Reference #:
Serial Number: 20000xxxx Part Number: FAS2040-R5 System ID: 13509xxxxOS Version: 8.0.1RC1 7-MODE AutoSupport: ON
Update : Case text : Symptom - 12/17/2011 14:33:21 PST : ASUP_PP Status: Assigned To: Dey Tanmoy Visibility : PUBLIC Note :
DSKFLT:File system Disk /aggrsata/plex0/rg0/0a.24 Shelf 1 Bay 8 [NETAPP X269_SMOOS01TSSX NA01xxx] S/N [9QJ7WHD6xxx] failed.
Update : ‘Return Order from PR ‘8000865813 - 12/19/2011 01:36:21 PST : TPL_APL Status: Closed Assigned To: Rao Sandeep Visibility : PUBLIC
21 декабря – диск у нас.
Отмечу –что все три диска вылетали на выходных, а NBD начинался в понедельник.
С батарейкой (питание для NVMEM, другой кейс. прим. romx) все печальнее – пришлось 2 дня сильно пинать саппорт (пороли чушь) через русский netapp, огромное спасибо Роману Ройфману и Денису Атаманенко за оперативную помощь и участие - короче, супер саппорт!
Вот такие результаты, по моему вполне неплохие, и приятный отзыв.
Отдельно хочу объяснить лишний раз то, как исчисляется в сервисе Next Business Day.
Во-первых, как я уже сказал выше, в стране российских размеров любая ограниченная временем доставка вынуждена учитывать самолетные расписания. Поэтому Next Business Day трактуется как Best Available Flight (ближайший самолет), это нормально, у UPS нет штата гарипоттеров на метлах, они вынуждены работать с рейсами гражданской авиации. Если на Краснодар есть 10 рейсов в день, а на, допустим, Салехард, только один рейс “Когалымавиа” в два дня, то это также накладывает свои возможности на сроки доставки, ничего тут не поделать. Смотрим реалистично на окружающий мир, да?
Во-вторых о том, когда начинается и когда заканчивается Business Day. Бизнес день начинается утром, в 8 утра, и заканчивается в 5 вечера. Если гарантийный эвент происходит после окончания рабочего дня (или не успевает попасть в отгрузку в российский UPS до конца этого рабочего дня) , то он обрабатываетя, как произошедший в рабочее время следующего рабочего дня. Если поломка происходит в выходные, или, допустим, в 8 вечера в пятницу, то бизнес-день, которым будет начата реакция на данное событие, будет понедельник. Что, собственно, вытекает из названия Business Day. Соответственно Next Business Day для события, случившегося вечером в пятницу, будет вторник.
Также следует учитывать разницу в часовых поясах, время в кейсах саппорта NetApp дается по Стандартному Тихоокеанскому американскому времени (PST, GMT-8:00), так как головной офис расположен в Калифорнии. Однако поддержка для EMEA это Бангалор, ??ндия (GMT+5:30). Это смещение таже следует учитывать при исчислении Business Day, потому что если у нас рабочий день еще в разгаре, в Калифорнии (или ??ндии) он мог еще не начаться или уже закончиться, и они прочитают ваш кейс (и отдадут команду на отгрузку со склада) только когда наступит рабочий день. Может повезти, но общее правило таково.
Если такой режим не устраивает – есть круглосуточный вариант (SupportEdge Standard и Premium, за деньги), но при этом помните, что и вы, в свою очередь, должны иметь круглосуточную службу, например, если запчасть приезжает в 4 утра в субботу, курьера надо встретить и запчасть у него принять, что логично, то есть 24х7 сервис требует такого же участия и вас. Оно логично, как мне кажется. Просто это надо хорошо осознавать заказывая такой уровень поддержки. ??ли же каждый раз договариваться с курьером службы доставки о переносе сроков. ?? нельзя, если у вас по кейсу выставлен priority – high, и индусы работники техподдержки сели решать вашу проблему, сказать им вечером пятницы, “чуваки, давайте, пока, у меня, там пиво, девки, рокенрол сегодня, давайте там, до встречи в понедельник”. В этом случае ваш кейс просто бросят, и вы будете его всю следующую неделю поднимать и требовать к себе внимания. Круглосуточная поддержка она с обеих сторон круглосуточная.
В общем, вот такие вот “вести с мест”. Спасибо пользователю за предоставленные материалы и возможность написать этот пост.
Ранее я уже интересовался темой, и писал аналгичный пост в 2010 году, с другими похожими примерами, и сходными результатами.
г.Абакан, 4000км от Москвы. Выслали батарейку - шла неделю (причем, мы её получили через 3 дня после того, как в системе индусов появилась пометка - получено). Батарейка не совсем помогла - выслали память. Ждём еще. Наверно 14/06 получим..
vladmv:
По Севморпути, наверное, или в сплав по Енисею :)
> (причем, мы её получили через 3 дня после того, как в системе индусов появилась пометка - получено)
А у вас точно в профиле системы адрес указан именно ВАШ, а не, допустим, офиса где-нибудь в Красноярске? Кто именно доставил вам коробку - UPS-овский курьер?
Такое бывает, когда путь непрямой, например запчасти на систему приходят в головной офис или сервисному партнеру, а он уж “попуткой”…
> Наверно 14/06 получим..
Знаете, после историй, как люди по полгода ждут доставку с активным CarePack или SMARTnet (не преувеличиваю), это для страны очень хороший результат. Правда.
?? мой опыт, о котором я тут уже не раз писал, говорит, что опоздания это скорее исключения, чем правило.
Был адрес Заказчика. Может из-за размера организации произошла путаница (не уточнял).
В принципе у нас терпимо. DELL за 3 дня матплату присылает. 3COM(HP) за две недели коммутатор. IBM за неделю запчасти..
??ндусы конечно укурки какие-то ;)
Vladmv:
Путаница с адресами - одна из первых причин задержки доставки, по моему опыту. Чего там только бывает порой написано!
В вашем случае меня насторожила отметка о доставке, появившаяся значительно ранее самой доставки. Вы с этим не разбирались? Кто расписался за доставку? UPS большая и серьезная фирма, им просто нет необходимости чтобы ее курьеры шли на откровенный и наказуемый подлог с отметкой доставки ранее физической доставки адресату. Это не Почта России. ;-/
Значит груз был куда-то доставлен, где кто-то расписался в его получении. Кто-то из “ваших”, смотрите.
Вторая причина - неработающий, или плохо работающий Autosupport. Он у вас вовремя отрабатывает? Можете кусок лога из описываемой истории привести, типа того как в статье, чтобы было видно даты и время событий в кейсе?
Немного не согласен про уровни поддержки. Производитель дает пару вариантов 8х5, 7х24. Например 8х5 нам не подходит, т.к. если у кейса будет статус ошибки или проблемы незначительно влияющие на функционирование и производительность системы, но при этом требуется остановка системы или перерыв в сервисе, однозначно работы будут проводиться в выходные или утром/вечером, что не входит в 8х5, 8х7 никто не предлагает потому что её стоимость будет стремиться к стоимости 24х7, именно поэтому мы выбрали 24х7.
Далее, производители лукавят, и не где не говорят о времени восстановления системы (хотя от некоторые производители все таки это предлагают), везде есть время реакции, это означает, что с поступления информации о проблеме, инженер тех. поддержки в течении указанного периода времени (NBD или 4 часа), должен отреагировать (перезвонить и выяснить детали, но совершенно не означает, что система заработает через указанное время или к вам приедут детали, т.ч. получается что построение сервиса со временем функционирования 24х7 и гарантированным SLA нетривиальная задача в рамках одной СХД, хотя также это применимо и к серверам, сетевым компонентам).
Pavel Kosachev:
> Немного не согласен про уровни поддержки. Производитель дает пару вариантов 8х5, 7х24.
Вы про кого сейчас, про NetApp? В таком случае вы ошибаетесь. У NetApp есть два сервисных плана, один - NBD, второй - 24×7, 4 часа (в америках есть еще 2hr, в России его нет).
http://www.netapp.com/us/support/supportedge.html
Так что советую разобраться лучше в вопросе.
> Далее, производители лукавят, и не где не говорят о времени восстановления системы
Ну вы понимаете, что “время восстановления системы” это достаточно сложный и размытый параметр, который нельзя гарантировать, никак.
Можно гарантировать сроки доставки. Но “срок восстановления” совсем не исчерпывается “сроком доставки запчасти”, как вы понимаете.
> везде есть время реакции, это означает, что с поступления информации о проблеме
Нет, вы снова ошибаетесь.
Смотрите по ссылке выше:
“Replacement Parts Target Response Objectives and Installation” - “Next business day Customer installs all Replacement Parts.”
“Замена части на системе заказчика и инсталляция” - “Следуюшй рабочий день, пользователь самостоятельно устанавливает все заменяемые части”
Здесь ясно говорится о том, что речь идет именно о процессе замены, а не о “реакции саппорта”.
Я знаю, что то, что вы пишете, так для серверов HP или иных вендоров, но у NetApp это вот так как написано выше.
Есть отдельно “Target Response Objectives for Remote Technical Support” с четырьмя уровнями priority, при наличии SupportEdge, но это отдельная категория.
> но совершенно не означает, что система заработает через указанное время
Разумеется, если проблема не исчерпывается заменой запчасти, то ее замена не может привести к тому, что “система заработает”. Это невозможно гарантировать (по крайней мере в рамках технических терминов). Ну, это данность нашего мира, увы.
Может выйти из строя последовательно несколько частей, проблема может быть вызвана багой в софте, который потребует сложного исследования и написания патчей. Разные могут быть причины, мешающие восстановлению работоспособности системы в целом за гарантированный период времени.
Я не видел н одного SLA, который бы гарантировал восстановление работоспособности системы (впрочем видел один случай, когда невозможность восстановления работоспособности была просто застрахована в страховой компании на солидную сумму - так можно, да).
А как же контракты Call-To-Repair у “некоторых” других вендоров? Про это страшно написать? :)
Yaroslav:
Страшно? Вы о чем?
В блоге aboutnetapp я пишу о NetApp. Заголовок поста: Работа саппорта NetApp.
Другие вендоры вполне могут написать о своем сервисе в своих блогах, с удовольствием почитаю.
PS. С не меньшим удовольствием почитаю также о расценках такого сервиса в России.
А в Москве все происходит вот так (из случайно найденного в Твиттере):
https://twitter.com/unfilled/statuses/215340236643897344
Прикольно. Ночью сдох диск на NetApp’овской полке. Данные с него переехали на другой диск, а автосаппорт отправил просьбу заменить.
12:08 AM - 20 Jun 12
https://twitter.com/unfilled/status/215340368311496704
??нтересно как быстро новый привезут. В Москве вроде гарантируется доставка на след. рабочий день.
12:08 AM - 20 Jun 12
https://twitter.com/unfilled/status/215651752291205120
А NetApp молодцы, через 6 часов после открытия кейса выслали новый жесткий диск.
8:45 PM - 20 Jun 12
https://twitter.com/unfilled/status/215706393246834688
Охренеть. Винт к NetApp’у пришел. 24-х часов не прошло.
12:23 AM - 21 Jun 12
> PS. С не меньшим удовольствием почитаю также о расценках такого сервиса в России.
Насчет СХД не скажу, нет под рукой, по серверам HP как раз из свежего КП:
На blade-шасси с серверами и интерконнектами общей стоимостью $120K набор Care Pack’ов 6hr CTR 24×7 with Collaborative Support, 3 year стоит $12400. ??МХО, не так уж и дорого…
Юрий:
Спасибо.
А вот тут вот пишут:
http://forum.ixbt.com/topic.cgi?id=66:9387-3#82
что “примерно 30% от цены”. Мы об одном и том же?
Речь именно про “гарантированное время доставки”, а не “гарантированное время ответа”.
Для HP Call-to-repair - это гарантированное время восстановления. Ну, понятно, что “гарантированное” - это абстракция, 100% гарантию дает только страховой полис :) По условиям это звучит так: “При возникновении критических неисправностей оборудования, которые не могут быть быстро решены удаленно, компания HP предпримет все экономически целесообразные усилия для восстановления работоспособности поддерживаемого оборудования в течение периода времени, указанного при первоначальном обращении в глобальный центр решений HP. Фиксированное время восстановления – это период времени, который начинается в момент поступления и регистрации первого обращения заказчика в службу поддержки HP, и заканчивается, когда HP определит, что восстановление оборудования выполнено”. Время 6 часов (или 24, если контракт на 24 часа) действует только в определенном радиусе (120км, что-ли) от сервисцентров HP, дальше время увеличивается.
А для СХД, вполне вероятно, цена такого контракта в %%% от цены оборудования может быть выше - в них все-таки существенно больше деталей (собственно, дисков), вероятность отказа которых велика.
P.S. Кстати, нашел и КП на суппорт по СХД: на Storwize V7000 (~$140K) суппорт на 3 года с гарантированным временем ремонта 24 часа - $25K. Так что или IBM жаднее, чем HP, или на СХД суппорт дороже.
Подскажите, если ли информация о работе саппорта NetApp в Украине?
Shkodnitsa:
Нет, Украина это отдельная страна, насколько я знаю, не входящая в зону действия российского (московского) представительства, про то что там делается и как и кто там с ними работает не имею представления даже.
[...] Next Business Day Onsite delivery в России? Несколько лет назад я делал подобное исследование по записям логов в Autosupport, и [...]