Posts tagged ‘vmware’

Как поставить Data ONTAP Simulator v8 на VMware

Я уже рассказывал в этом блоге про то, что такое Data ONTAP Simulator, и чем он полезен, не только когда у вас нет “живой” системы хранения NetApp под руками, но даже, причем в большей степени, когда она у вас есть. На таком симуляторе можно упражняться “на кошечках”, можно проверять какие-то свои идеи, ставить эксперименты, отлаживать какие-то решения (не на продакшновом же сторадже это проделывать?), наконец учиться и обучать новичков.

Однако, как вы знаете, Data ONTAP 8 отличается от DOT7 довольно прилично. Была изменена платформа, на которой выполняется код собственно NetApp. В результате теперь по другому выглядит и Симулятор. Если раньше, для версии 7, это была программа под Linux, то Симулятор под Data ONTAP v8 это самостоятельный образ виртуальной машины, который можно запустить из под, например, VMware Player, или установить ее как VM в ESX.

Вот как раз этому варианту и посвящена эта статья, которую в оригинале я подсмотрел на http://mtellin.com/2010/03/12/use-ontap-8-0-7-mode-simulator-on-esx/

Continue reading ‘Как поставить Data ONTAP Simulator v8 на VMware’ »

??спользование систем хранения NetApp для решений VMware View 5

На днях я завершил перевод Best Practices по наилучшим методам конфигуирования, сайзинга и использования систем хранения NetApp для построения виртуальных десктопных инфраструктур (VDI) в среде VMware View. В ближайшие дни он будет доступен по обычному для всех таких переводов адресу, на сайте дистрибуторской компании Netwell. Переводы, напомню, делаются по заказу Netwell и компании A-systems, мир с ними обоими;), так что если вы хотите написать пожелания, благодарности, или, например, высказать предложения о дальнейших темах таких переводов, то пишите на info@netwell.ru и info@a-systems.ru.com. Не забывайте, что от вашего фидбэка напрямую зависит дальнейшее продолжение работ по переводу Best Practices. Отсутствие видимого отклика, зачастую, создает впечатление, что это никому не нужно и не интересно, и непонятно зачем на это тратить деньги и время, ведь все могут свободно прочесть это на английском, с сайта NetApp.

??так, хочу порекомендовать к прочтению, причем даже не только интересующимся темой создания VDI-систем, но и “широкому кругу читателей” так как в этом документе очень сжато, дельно и понятно также изложены многие базовые технологии NetApp, и их использование.

??спользование систем хранения NetApp для решений VMware View 5
Chris Gebhardt, NetApp
Сентябрь 2011 | TR-3705
Версия 5.0

UPD: Уже доступен для скачивания!

Обратите внимание, это на самом деле документ за сентябрь этого года, и на самом деле уже для VMware vSphere 5 и View 5!

В документе сто с лишним страниц, в том числе, кроме базовых технологий, рассмотрены принципы сайзинга хранилищ, оценки и расчета емкости и производительности для различных форм виртуальных десктопов, указаны наилучше, с точки зрения NetApp и VMware, методы конфгурирования и организации хранения данных виртуальных инфраструктур на системе хранения NetApp.

Также, если вы здесь впервые, и пропустили в начале поста собственно ссылку на большое собрание переведенных на русский NetApp Best Practices на разные темы, то вот вам она еще раз: http://www.netwell.ru/production/techbiblioteka.php

Вы всегда можете ее найти в этом блоге справа в блоке “Ссылки” под названием “техбиблиотека на русском”.

Например в ней вы можете найти сейчас такие полезные документы, как:

Руководство по развертыванию Citrix XenDesktop 5 на VMware vSphere и Citrix XenServer, c использованием систем хранения NetApp

Citrix XenServer V5.0 и системы хранения NetApp: наилучшие практики

Руководство по наилучшим способам использования систем NetApp с VMware vSphere v4.1

Наилучшие методы использования систем хранения NetApp для решений виртуализации Microsoft Hyper-V

??спользование NFS в VMware

Ethernet для систем хранения: наилучшие методы.

Ну и, конечно, на многие друге темы, не только про виртуализацию.

Не стесняйтесь оставлять фидбэк в адрес Netwell и A-Systems, основных спонсоров проекта перевода.

NetApp Virtual Storage Console 2.1.1

Давно у нас не было переводов по средам. ?? вот сегодня – перевод, посвященный выходу в начале сентября новой версии Virtual Storage Console – VSC – плагина к VMware vCenter, позволяющего непосредственно из среды vCenter управлять системой хранения NetApp.

Это бесплатный продукт, и однозначный мастхэв, если вы используете систему хранения NetApp вместе с VMware.

А вот, что появилось нового. Для начала – сам VSC 2.1

image

image

А что нового – в посте Криса Гебхарда.

NetApp Virtual Storage Console 2.1.1 - Now Available

Posted by Chris Gebhardt on Sep 8, 2011 5:18:01 AM

Конечно, мне тоже кажется, что за последнее время я говорю в своем блоге “я рад объявить о выходе” довольно часто, но в данном случае я правда рад и счастлив рассказать о выходе этого продукта! Сегодня (8.09) NetApp выпускает в свет новую версию Virtual Storage Console 2.1.1. Выход этой версии на самом деле довольно важное событие и новые технологии помогут пользователям в их работе с их серверными и десктопными виртуальными системами. Ниже список новых возможностей этой версии VSC 2.1.1.  Я хотел бы особо выделить некоторые из новых возможностей, которые, как мне кажется, наиболее важные, но так получается, что мне придется выделить почти все. Этот релиз, несмотря на минорность, на самом деле очень важен, так как начал поддерживать vSphere 5 и View 5, и ряд новых технологий, которые позволят пользователям улучшить эффективность хранения с помощью thin provisioning для виртуальных машин, а также улучшить ряд аспектов эксплуатации, развертывания и обслуживания виртуальных инфраструктур.

На протяжении следующих нескольких недель я опубликую у себя в блоге демонстрации работы некоторых новых возможностей VSC 2.1.1.

Скачать  VSC можно по ссылке: http://now.netapp.com/NOW/download/software/vsc_win/2.1.1/ <- У вас должен быть логин на NetApp NOW для скачивания!

??так, что нового:

Virtual Storage Console 2.1.1 включает в себя все что уже было выпщено в VSC 2.1, плюс добавлены новые возможности. Список ниже объединяет новинки 2.1.1 и 2.1:

  • Поддержка vSphere 5.0, включающая vCenter Server 5.0 и ESXi v5.
  • Базовый модуль Virtual Storage Console переименован в Monitoring and Host Configuration для лучшего понимания его функций.
  • Панель Monitoring and Host Configuration Tools теперь имеет две кнопки для скачивания и установки утилит MBR tools: одна для хостов ESXi, другая для ESX. Выберите соответствующую вашей системе версию.
  • В Monitoring and Host Configuration добавлены следующие возможности:
    • Можно назначить хост как skipped
    • Отображаются контроллеры системы хранения, работающие в 8.х Cluster-Mode
    • Обеспечивается быстрый поиск (discovery), кроме того, discovery может работать как фоновый процесс
    • Отображается информация о статусе хоста, в колонке Status Reason для хостов
  • Модуль Provisioning and Cloning теперь умеет следующее:
    • Высвобождает свободное место (reclaiming space) после удаления данных в guest OS *
    • Предотвращает неверное смещение партиции VM перед клонированием
    • Позволяет задать число CPU и настройки оперативной памяти для новых виртуальных машин
    • Умеет добавлять существующие датасторы новым серверам ESX в кластерах и датацентрах *
    • Сохранение учетных данных View Server для клонирования
    • Позволяет клонировать датасторы в пределах всего сайта vSphere
    • Поддерживается создание, именование, управление виртуальных машин в новых пулах View Server
    • Поддерживает импорт в Citrix XenDesktop и VMware View (расширен API)
    • Сохраняются настройки BIOS при клонировании из шаблона
    • Система хранения добавляется из под доменного аккаунта
    • Catalog-based API provisioning
    • Поддерживается Citrix XenDesktop 5.0
    • Поддерживается Data ONTAP 8.1.0 (7-Mode)
    • Поддерживается VMware View 4.6 и 5.0

 

* Об этом подробнее в следующем переводе, прим. romx

Выравнивание партиций виртуальных машин с помощью MBRscan/MBRalign

Некоторое время назад NetApp разработал и начал распространять в составе своего набора полезных утилит под ESX (ESX Host Utilities) специальные утилитки mbrscan и mbralign (в самой последней версии остался один mbralign, который же и scan делает, запускаясь с другим ключом).

Описание процесса выравнивания партиций освещена в документах NetApp не раз. Для примера могу указать на главу 6.3 в переведенном TR-3749 Руководство по наилучшим способам использования систем NetApp с VMware vSphere v4.1 , главу 4.4.8 в TR-3702 Наилучшие методы использования систем хранения NetApp для решений виртуализации Microsoft Hyper-V, а также отдельный документ TR-3747 File System Alignment in Virtual Environments

Отдельной строкой хочу отметить, что проблема с корректным выравниванием партиций виртуальных машин по границам блоков нижележащих структур НЕ есть проблема, характерная только для NetApp! Это общая, “платформонезависимая” проблема, требующая решения вне зависимости от того, что за система хранения у вас используется, даже если используются только лишь локальные диски сервера. Влияние ее на производительность (и загрузку процессора контроллера системы хранения) варьируется в зависимости от характера доступа к данным, и обычно все же не слишком велика (обычно оценивается в 10-15% снижения общей производительности от величины оптимально выравненной партиции), иногда меньше, иногда, в особо критичных редких случаях – больше. Тем не менее, это вполне реальная причина, могущая вызвать заметное на глаз снижение производительности, с которым вы вполне можете столкнуться в практике вашей работы, и которое можно поправить достаточно просто и легко.

Кроме того неверное выравнивание может значительно ухудшить показатели дедупликации.

Почти наверняка с проблемой выравнивания вы столкнетесь для виртуальных машин под Windows XP и 2003(R2), а также для старых (не-текущих) версий Linux. В Windows Vista/7/2008(R2) и новых Linux (RHEL6, например) уже выбраны значения смещения партиции по умолчанию, которые не требуют выравнивания, так как обычно уже удовлетворительно выравнены в большинстве случаев использования.

К сожалению, такая полезная утилитка идет сейчас в составе огромного пакета Virtual Storage Console, и отдельно не отдается.
Посему я и решил их выковырять и положить отдельно. Может кому пригодится.

Еще одна сложность заключается в том, что утилиты эти предназначены для ESX, но НЕ для ESXi, так как устанавливаются в хост-систему ESX, и запускаются из консоли.

Но тут можно сделать вот какой финт. Если у вас есть на нетаппе протокол NFS, то вы можете смонировать датастор по NFS на Linux-машину, и на этой Linux-машине запустить это выравнивание, также, как оно работало из консоли ESX.

Получится что-то типа: 
# mkdir /nfs_esx_export
# mount IP_adress_of_NFS_Server:/vol/nfs_datastore  /nfs_esx_export 
# /usr/bin/mbrscan <path to the -flat.vmdk>

Если вы хотите выполнить сканирование сразу множества vmdk, то можно сделать это так:

# find /nfs_datastore -name "*-flat.vmdk" -maxdepth 3 -exec /usr/bin/mbrscan {}

Затем можно выполнить выравнивание для файлов vmdk, которые mbrscan указал как невыравненные:

[root@rhel1 WinXp2]# /usr/bin/mbralign WinXp2-flat.vmdk

Выравнивание выполняется отдельно для каждого vmdk, которому эта процедура может понадобиться.

Обратите внимание, что VM должна находиться в состоянии power off, и выравнивание невозможно для виртуальных машин со снэпшотами средствами VMware:

Error: WinXp2.vmdk has a snapshot (WinXp2-000001.vmdk).  All snapshots must be removed before using this tool.

Обратите внимание, что если были выравнены партиции Linux с загрузчиком GRUB, понадобится восстановить GRUB обычным для Linux образом.

После окончания процедур не забудьте отмонтировать датастор от Linux-машины, на которой вы проделывали эти операции.

Помните, что, хотя официально mbrscan/mbralign и бесплатны, но требуют, для своего использования, чтобы вы были пользователем NetApp, с действующим контрактом саппорта, и иное есть формальное нарушение правил их использования.

MBRscan/MBRalign из ESX Host Utilities 5.1

Чуть более новый MBRalign (уже с встроенным scan), но чуть глючной, из состава 5.2 и VSC 2.1

При обнаружении глюков вида сообщений при выравнивании ‘cannot find mbralign.pl at line 1667′ в новом, рекомендуется пользоваться предыдущей версией из ESXHU5.1

Если у вас есть логин в NOW с доступом к загружаемыми продуктам NetApp, то вы можете воспользоваться ссылкой:

http://now.netapp.com/NOW/download/software/sanhost_esx/ESX/

Михаил Михеев - Администрирование VMware vSphere 4.1

Уважаемые посетители, кто приходят с поисковиков в поисках книги “Администрирование VMware vSphere 4.1” Михаила Михеева.
Я понимаю, что вы ищете. Нет. Здесь негде скачать эту книгу. ?? не будет никогда.
Пойдите и потратьте 400 рублей на ее покупку.
Это вам вполне по силам и по карману.
Во-первых это хорошая книга, лучшая из написанных на эту тему на русском языке.
Во-вторых - иметь таку книгу в руках “в бумаге” это удобнее в работе, чем слепые и кривые PDF-сканы.
В третьих, наконец, купив книгу вы стимлируете издательство и автора издать следующую книгу этой тематики.
Вот вам все возможные места, где ее можно купить в интернете:

Озон
Альянс-книга
Spinter
Библио-глобус
Biblio-globus.us

Обратите внимание, что вышло второе, исправленное и дополненное издание, которое внешне, на магазинной полке, отличается от первого цветом обложки. Первое издание имело обложку в зеленых тонах, второе - в синих.

Mихаил Михеев Администрирование VMware vSphere 4.1

NetApp and VMware vSphere Best practices на русском!

“Еще одно, последнее сказанье, и летопись окончена моя”.

Мы это сделали. Да! На сайте компании-дистрибутора Netwell опубликован мой перевод 97-страничного “Руководства по наилучшим методам использования систем NetApp с VMware vSphere”, перевод TR-3749, в версии 2.1, августа этого года обновлено до версии 3.0. Точное название файла смотрите на сайте Netwell!

Скачать PDF
Читать и ссылаться на html

Увы, на этом активные переводы мои пока завершены. Бюджета на них больше нет, а фидбэк от читателей, как ни печально, минимальный.
Кстати, если вы пользуетесь моими переводами с сайте Netwell, и считаете их полезными, а также были бы рады их продолжению, то не ленитесь черкнуть по этому поводу электронное письмо по адресу info@netwell.ru. В том числе с благодарностью будут приняты и идеи того, какие бы документы, на какую тему из уже созданных и выложенных на английском в Technical Library у NetApp, вы бы хотели иметь на русском языке, в переводе.

Хочу выразить благодарность моим папе, маме, собаке автору и ведущему блога vm4.ru, автору бесценной по количеству полезной информации книжки “Администрирование VMware vSphere”, Михаилу Михееву, за терпение и отзывчивость, а также за ряд важных комментариев и консультации в ходе перевода, хотя, увы, не все из них и попали в окончательный текст

Чтобы два раза не вставать, пользуясь случаем, хочу сообщить, что в период новогодних каникул “рашэн кристмас” новых постов не будет (все равно меня читают, как я знаю, только в рабочее время и в рабочие дни), вернемся к регулярности во второй половине января, не переключайте ваши браузеры.

UPD: Обратите внимание, что несмотя на то, что документ в целом посвящен практике использования систем NetApp для хранения данных VMware, тем не менее в документе есть много полезной информации, если ваша система хранения под VMware (пока еще;) не NetApp.
Так, например, подробно рассматриваются вопросы организации отказоустойчивой избыточной сетевой инфраструктуры Ethernet, для подключения с помощью iSCSI или NFS, а также ряд дугих полезных и важных вопросов. Так что рекомендую просмотреть этот документ, даже если вы только и просто интересуетесь, и используете какие-то иные системы хранения.

Дисконтный код от NetApp на VMworld 2010

В блоге Vaughan Stewart-а, “главного блоггера NetApp по VMware” найдена полезная информация. NetApp предлагает специальный скидочный код для покупки full conference pass for individuals для VMworld в San Francisco, а также VMworld в Copenhagen. С дисконтом NetApp цена снижается с $1745 до $1495 (USD) и с € 1150 до € 950 (Euro).

??спользовать код можно при регистрации на VMworld по следующему адресу:

http://www.vmworld.com/registration.jspa?sponsorCode=NAPP

Просто введите один из этих кодов при завершении покупки билета:

San Francisco code: NETAPP_EB_US2010
Copenhagen code: NETAPP_EB_EMEA2010

Дополнение: Как пишет Nick Howell, дисконт NetApp работает и “задним числом”, то есть, если вы уже приобрели билет за полную цену, вы можете получить вашу скидку, послав запрос по email: VMworld2010Registration@vmware-events.com.

Свежие новости по VMware

??нтересные известия постит в своем блоге “главный блоггер NetApp по виртуализации” Vaughn Stewart.

NetApp объявил о приуроченой к выпуску новой версии VMware vSphere 4.1 новой версии же своего популярного инструмента VCenter plugin – Virtual Storage Console v2.0

А кроме этого объявлена грядущая поддержка для объявленного VMware своего vStorage API – VAAI – vStorage API for Array Integration.

Поддержка появится в грядущей версии Data ONTAP 8.0.1 (7-mode), которую вместе с рядом обновлений в модельном ряде мы ожидаем уже этой осенью, будут поддерживаться следующие возможности VAAI:

Full Copy – система хранения будет уметь самостоятельно, по команде хоста проводить полное копирование данных, без необходимости гонять эти данные по сети или через SAN. Cейчас клонирование средствами VMware виртуальной машины  размером 10GB приводит к чтению 10GB с системы хранения хост-сервером, и записи назад этих 10GB на систему хранения, после введения поддержки VAAI это будет производиться самостоятельно стораджем, полный offload).

Block Zeroing – система хранения будет самостоятельно уметь заполнять нулями разделы данных по команде с хост-сервера, например при создании eager-zeroed thik-томов. Сейчас хост-сервер для заполнения нулями 10GB thik eager-zeroed vmdk посылает 10GB нулей на систему хранения по сети (SAN).

Hardware Assisted Locking – обеспечивает защиту метаданных кластерной VMFS, и, как результат, улучшает масштабируемость больших ферм серверов, использующих общий датастор. Этот API заменяет традиционные средства SCSI-2 locks и потенциально позволит использование датасторов и кластеров большего чем сейчас размера. В настоящее время максимальный размер кластера ESX/ESXi для View, в котором используются Linked Clones, равен 8 узлам.

??так, поддержка VAAI в системах NetApp FAS объявлена в Data ONTAP 8.0.1 (7-mode), выходящем этой осенью, будут поддержаны VMFS по FC, iSCSI и FCoE, и VAAI будет работать в версиях VMware vSphere 4.1 Enterprise и Enterprise Plus.

ALUA – Asymmetric Logical Unit Access

ALUA, или Asymmetric Logical Unit Access это протокол внутри спецификаций SCSI-2 и SCSI-3, позволяющий правильно организовывать доступ к данным, доступным по различным путям с различными характеристиками доступа. Для его использования, понимать ALUA должны все участники, как система хранения, так и OS хоста.

С ситуацией асимметричного доступа часто сталкиваются при организации подключения двумя путями через два различных контроллера системы хранения. Например, у нас есть LUN, находящийся на дисках, которые обслуживаются определенным  контроллером системы хранения, такой контроллер называется для этих дисков “owner”. Однако, для обеспечния отказоустойчивости, эти диски, и данные с них, могут быть доступны через второй контроллер системы хранения, но по неоптимальному по характеристикам доступа пути.
Несмотря на то, что данные с дисков доступны обоим контроллерам, все операции с “владеемыми” дисками, для обеспечения целостности данных, пока он “жив”, должен совершать именно контроллер-владелец соответствующих дисков.

Рассмотрим подробнее на рисунке.

image

Вы видите, что хост, подключающийся к LUN A по пути A, получает данные наиболее “прямым” образом. А хост, подключающийся через второй контроллер, по пути B, хотя и тоже может видеть данные LUN, но получает его данные неоптимально. Его запрос на данные проходит через второй контроллер (FAS B), кластерный интерконнект между контроллерами, попадает на первый контроллер, обрабатывается им, и отправляется к его “owned” дискам. Данные пойдут в адрес запросившего хоста в обратном порядке, с дисков к контроллеру-owner, затем по интерконнекту, на второй контроллер, и через его порты к запросившему хосту. В результате загружаются работой оба контроллера вместо одного, данные загромождают интерконнект, и производительность снижается.

В этом случае вы сможете наблюдать в логах сообщение вида:

Это сообщение как раз и указывает на то, что данные получаются хостом через порты “чужого” контроллера, по неоптимальному пути.

Для того, чтобы автоматически разруливать такие ситуации, и организовывать подключение в нормальном режиме, когда оба пути к обоим работающим контроллерам активны, но один из них более предпочтителен, чем другой, и используется ALUA.

??з операционных систем его поддерживают свежие Linux, MS Windows 2008 со своим DSM и VMware ESX4 (vSphere). Поддержка ALUA есть и в Data ONTAP от 7.3.1.

Рассмотрим, как включить использование ALUA в vSphere.

Убедитесь, что на системе хранения вы используете версию Data ONTAP от 7.3.1 и выше.

FAS1> version
NetApp Release 7.3.1.1: Mon Apr 20 22:58:46 PDT 2009

Включите флаг ALUA  для igroups ESX на каждом из контроллеров системы хранения

FAS1> igroup show -v vmesx_b
    vmesx_b (FCP):
        OS Type: vmware
        Member: 21:00:00:1b:32:10:27:3d (logged in on: vtic, 0b)
        Member: 21:01:00:1b:32:30:27:3d (logged in on: vtic, 0a)
        ALUA: No

FAS1> igroup set vmesx_b alua yes

FAS1> igroup show -v vmesx_b
    vmesx_b (FCP):
        OS Type: vmware
        Member: 21:00:00:1b:32:10:27:3d (logged in on: vtic, 0b)
        Member: 21:01:00:1b:32:30:27:3d (logged in on: vtic, 0a)
        ALUA: Yes

С помощью VMotion переместите все VM с данного хоста ESX на другие хосты кластера и перезагрузите данный сервер ESX.

После перезагрузки значение SATP (Storage Array Type) изменится на VMW_SATP_ALUA, а PSP (Path Selection Policy) на VMW_PSP_MRU. Вам нужно изменить PSP с VMW_PSP_MRU на VMW_PSP_RR. Сделать это можно двумя способами.

1. С помощью NetApp ESX Host Utilities Kit 5.1
#/opt/netapp/santools/config_mpath –m -a CtlrA:username:password -a CtlrB:username:password

После изменений вы получите соответствующее собщение и предложение перезагрузить ESX

2. Вручную
# esxcli nmp satp setdefaultpsp –satp VMW_SATP_ALUA –psp VMW_PSP_RR

Перезагрузка сервера ESX

Проверьте получившеся настройки

#esxcli nmp device

naa.60a9800050334b356b4a51312f417541
    Device Display Name: NETAPP Fibre Channel Disk (naa.60a9800050334b356b4a51312f417541)
    Storage Array Type: VMW_SATP_ALUA
    Storage Array Type Device Config: {implicit_support=on;explicit_support=off;explicit_allow=on;alua_followover=on;{TPG_id=2,TPG_state=AO}{TPG_id=3,TPG_state=ANO}}
    Path Selection Policy: VMW_PSP_RR
    Path Selection Policy Device Config: {policy=rr,iops=1000,bytes=10485760,useANO=0;lastPathIndex=3: NumIOsPending=0,numBytesPending=0}
    Working Paths: vmhba2:C0:T2:L1, vmhba1:C0:T2:L1

Теперь хост, подключенный портами в разные контроллеры системы хранения, будет направлять данные только по оптимальному для доступа к данному LUN пути, автоматически избегая неоптимального интерфейса.

VMware на NFS: Best Practices

Я уже не раз в этом блоге расказывал о плюсах и преимуществах развертывания хранилища данных для VMware ESX/VSphere на системе хранения по NFS.
(раз, два, три, четыре)
Это все еще не так широко распространенный среди пользователей вариант решения, как FC или, например, iSCSI, но он завоевывает все большую популярность, так как ряд преимуществ такого варианта безусловно полезны в работе и эксплуатации, а потери производительности по сравнению с FC сравнительно невелики (при значительно большем удобстве и более низкой цене решения).

О таком варианте часто пишут и NetApp и EMC, так как они являются двумя основными производителями NAS-систем c NFS.

Появился и “вендоронейтральный” документ от самой VMware.

Скачать можно тут:
http://vmware.com/files/pdf/VMware_NFS_BestPractices_WP_EN.pdf