На CNews в рамках спецпроекта NetApp вышло интересное интервью с Дмитрием Конягиным из Nvidia Россия. Интервью про “ИИ”, машинное обучение и т.д., где это применяется на практике и как в этом помогают технологии Nvidia и NetApp. Дмитрий будет выступать на NetApp Directions 17 июля в Москве.
#nvidia #AI #ML #DL
http://storage.cnews.ru/articles/2018-06-14_nvidia_iskusstvennyj_intellekt_uchitsya_sovsem_ne_takkak_chelovek
#nvidia #AI #ML #DL
http://storage.cnews.ru/articles/2018-06-14_nvidia_iskusstvennyj_intellekt_uchitsya_sovsem_ne_takkak_chelovek
CNews.ru
Nvidia: Искусственный интеллект учится совсем не так, как человек
Системы искусственного интеллекта переживают бурный рост. Это влечет за собой колоссальный рост потребностей...
Чуть больше про инфраструктуру для AI вычислений. В интервью из предыдущего поста упоминается совместная архитектура Nvidia и NetApp для AI. В качестве вычислительных ресурсов используются NVIDIA DGX-1, в каждом из которых по 8 GPU Tesla V100, для хранения данных можно использовать NetApp AFF A700s или A800, сеть на Cisco Nexus
3232C 100GbE. Решение позволяет легко и независимо масштабировать вычислительные и storage ресурсы. Одной A700 хватает на 4 NVIDIA DGX-1, а A800 вытягивает нагрузку с 5 NVIDIA DGX-1. Дальше можно добавлять AFF контроллеры в кластер, до 24 штук. Это всё прозрачно для серверов, так как используется NFS и FlexGroup. Подробнее об архитектуре можно почитать в тематическом white paper — WP-7267. Scalable AI Infrastructure. Designing For Real-World Deep Learning Use Cases. Там же есть результаты тестирования одной AFF A700s c DGX-1. Ну и кто-то наверное слышал про аналогичную архитектуру от Pure Storage под названием AIRI, маркетинг Pure во всю трубит об этом решении. И вот со сравнением результатов тестирования AFF A700s и Pure AIRI произошла "забавная" история. Об этом я напишу подробнее.
А если интересно почитать про подход NetApp к построению инфраструктуры для AI, то советую еще почитать Santosh Rao (Senior Technical Director for the Data ONTAP Engineering Group) или даже посмотреть видео с его выступлением на Storage Field Day.
В постах в блоге NetApp он рассказывает про то, на что обращать внимание при выборе файловой системы для AI вычислений, как NetApp обеспечивает передачу данных по конвееру данных от edge к core и в облако.
#nvidia #AI #ML #DL #AFF
3232C 100GbE. Решение позволяет легко и независимо масштабировать вычислительные и storage ресурсы. Одной A700 хватает на 4 NVIDIA DGX-1, а A800 вытягивает нагрузку с 5 NVIDIA DGX-1. Дальше можно добавлять AFF контроллеры в кластер, до 24 штук. Это всё прозрачно для серверов, так как используется NFS и FlexGroup. Подробнее об архитектуре можно почитать в тематическом white paper — WP-7267. Scalable AI Infrastructure. Designing For Real-World Deep Learning Use Cases. Там же есть результаты тестирования одной AFF A700s c DGX-1. Ну и кто-то наверное слышал про аналогичную архитектуру от Pure Storage под названием AIRI, маркетинг Pure во всю трубит об этом решении. И вот со сравнением результатов тестирования AFF A700s и Pure AIRI произошла "забавная" история. Об этом я напишу подробнее.
А если интересно почитать про подход NetApp к построению инфраструктуры для AI, то советую еще почитать Santosh Rao (Senior Technical Director for the Data ONTAP Engineering Group) или даже посмотреть видео с его выступлением на Storage Field Day.
В постах в блоге NetApp он рассказывает про то, на что обращать внимание при выборе файловой системы для AI вычислений, как NetApp обеспечивает передачу данных по конвееру данных от edge к core и в облако.
#nvidia #AI #ML #DL #AFF
Сотрудничество NetApp c NVIDIA вылилось в новый продукт — NetApp ONTAP AI. Приятный шкафчик с AFF A800, NVIDIA DGX-1 и Cisco Nexus 3232C 100GbE. Программная часть работает на NVIDIA GPU Cloud Deep Learning Software Stack и NetApp Trident. Поддержка на всё решение от одного вендора, можно на выбор обращаться к NetApp или NVIDIA. Есть документ с валидированной архитектурой, в котрой используется одна AFF A800 и 4 сервера DGX-1. В документе подробно описана архитектура решения, конфигурация серверов, СХД и коммутаторов. Приведены результаты тестов производительности. Для доступа используется NFS и FlexGroups. В конфигурации 1:4 загрузка контроллеров A800 ниже 20%, задержки ниже 700 мкс. То есть еще остаются ресурсы для подключения серверов. В случае с ONTAP AI работает подход FlexPod. Необязательно брать конкретные модели AFF и определенное количество серверов DGX-1. Если такая можная СХД не требуется, то можно использовать A700s, A300 или даже A220. И это всё равно будет ONTAP AI.
#nvidia #ONTAP #AI #ML #DL #Cisco #AFF
https://www.netapp.com/us/media/nva-1121-design.pdf
https://blog.netapp.com/accelerate-your-journey-to-ai-with-netapp-and-nvidia/
https://www.netapp.com/us/products/ontap-ai.aspx
https://www.netapp.com/us/company/news/press-releases/news-rel-20180801-692736.aspx
#nvidia #ONTAP #AI #ML #DL #Cisco #AFF
https://www.netapp.com/us/media/nva-1121-design.pdf
https://blog.netapp.com/accelerate-your-journey-to-ai-with-netapp-and-nvidia/
https://www.netapp.com/us/products/ontap-ai.aspx
https://www.netapp.com/us/company/news/press-releases/news-rel-20180801-692736.aspx
Немного обновлений по решениям для ML/AI.
Обновился документ NetApp Verified Architecture — NetApp ONTAP AI, Powered by NVIDIA. Scalable AI Infrastructure: Designing for Real-World Deep Learning Use Cases. Это документ про дизайн решения NetApp ONTAP AI. Приятный шкафчик с AFF A800, NVIDIA DGX-1 и Cisco Nexus 3232C 100GbE. Программная часть работает на NVIDIA GPU Cloud Deep Learning Software Stack и NetApp Trident. Поддержка на всё решение от одного вендора, можно на выбор обращаться к NetApp или NVIDIA. Из того, что заметил сразу, в этой версии документа AFF A800 тестировали уже с 7 системами NVIDIA DGX-1. То что A800 выдержит нагрузку более 4 DGX-1 указывалоссь и ранее, но не было соответствующих тестов. С ONTAP AI используется подход, который применяется к FlexPod. Можно использовать и младшие модели AFF, если нет необходимости в производительности A800.
Есть и второй документ, в котром подробно описано развёртывние решения ONTAP AI.
И в скором времени должны появиться результаты тетсирования NetApp AFF c NVIDIA DGX-2.
#nvidia #ONTAP #AI #ML #DL #Cisco #AFF
https://www.netapp.com/us/media/nva-1121-design.pdf
https://www.netapp.com/us/media/nva-1121-deploy.pdf
В продолжение темы, о том как за 20 минут развернуть решение ONTAP AI, включая сеть, СХД и серверы, с помощью Ansible.
https://blog.netapp.com/how-to-configure-ontap-ai-in-20-minutes-with-ansible-automation/
Обновился документ NetApp Verified Architecture — NetApp ONTAP AI, Powered by NVIDIA. Scalable AI Infrastructure: Designing for Real-World Deep Learning Use Cases. Это документ про дизайн решения NetApp ONTAP AI. Приятный шкафчик с AFF A800, NVIDIA DGX-1 и Cisco Nexus 3232C 100GbE. Программная часть работает на NVIDIA GPU Cloud Deep Learning Software Stack и NetApp Trident. Поддержка на всё решение от одного вендора, можно на выбор обращаться к NetApp или NVIDIA. Из того, что заметил сразу, в этой версии документа AFF A800 тестировали уже с 7 системами NVIDIA DGX-1. То что A800 выдержит нагрузку более 4 DGX-1 указывалоссь и ранее, но не было соответствующих тестов. С ONTAP AI используется подход, который применяется к FlexPod. Можно использовать и младшие модели AFF, если нет необходимости в производительности A800.
Есть и второй документ, в котром подробно описано развёртывние решения ONTAP AI.
И в скором времени должны появиться результаты тетсирования NetApp AFF c NVIDIA DGX-2.
#nvidia #ONTAP #AI #ML #DL #Cisco #AFF
https://www.netapp.com/us/media/nva-1121-design.pdf
https://www.netapp.com/us/media/nva-1121-deploy.pdf
В продолжение темы, о том как за 20 минут развернуть решение ONTAP AI, включая сеть, СХД и серверы, с помощью Ansible.
https://blog.netapp.com/how-to-configure-ontap-ai-in-20-minutes-with-ansible-automation/
