На CNews в рамках спецпроекта NetApp вышло интересное интервью с Дмитрием Конягиным из Nvidia Россия. Интервью про “ИИ”, машинное обучение и т.д., где это применяется на практике и как в этом помогают технологии Nvidia и NetApp. Дмитрий будет выступать на NetApp Directions 17 июля в Москве.
#nvidia #AI #ML #DL
http://storage.cnews.ru/articles/2018-06-14_nvidia_iskusstvennyj_intellekt_uchitsya_sovsem_ne_takkak_chelovek
#nvidia #AI #ML #DL
http://storage.cnews.ru/articles/2018-06-14_nvidia_iskusstvennyj_intellekt_uchitsya_sovsem_ne_takkak_chelovek
CNews.ru
Nvidia: Искусственный интеллект учится совсем не так, как человек
Системы искусственного интеллекта переживают бурный рост. Это влечет за собой колоссальный рост потребностей...
Чуть больше про инфраструктуру для AI вычислений. В интервью из предыдущего поста упоминается совместная архитектура Nvidia и NetApp для AI. В качестве вычислительных ресурсов используются NVIDIA DGX-1, в каждом из которых по 8 GPU Tesla V100, для хранения данных можно использовать NetApp AFF A700s или A800, сеть на Cisco Nexus
3232C 100GbE. Решение позволяет легко и независимо масштабировать вычислительные и storage ресурсы. Одной A700 хватает на 4 NVIDIA DGX-1, а A800 вытягивает нагрузку с 5 NVIDIA DGX-1. Дальше можно добавлять AFF контроллеры в кластер, до 24 штук. Это всё прозрачно для серверов, так как используется NFS и FlexGroup. Подробнее об архитектуре можно почитать в тематическом white paper — WP-7267. Scalable AI Infrastructure. Designing For Real-World Deep Learning Use Cases. Там же есть результаты тестирования одной AFF A700s c DGX-1. Ну и кто-то наверное слышал про аналогичную архитектуру от Pure Storage под названием AIRI, маркетинг Pure во всю трубит об этом решении. И вот со сравнением результатов тестирования AFF A700s и Pure AIRI произошла "забавная" история. Об этом я напишу подробнее.
А если интересно почитать про подход NetApp к построению инфраструктуры для AI, то советую еще почитать Santosh Rao (Senior Technical Director for the Data ONTAP Engineering Group) или даже посмотреть видео с его выступлением на Storage Field Day.
В постах в блоге NetApp он рассказывает про то, на что обращать внимание при выборе файловой системы для AI вычислений, как NetApp обеспечивает передачу данных по конвееру данных от edge к core и в облако.
#nvidia #AI #ML #DL #AFF
3232C 100GbE. Решение позволяет легко и независимо масштабировать вычислительные и storage ресурсы. Одной A700 хватает на 4 NVIDIA DGX-1, а A800 вытягивает нагрузку с 5 NVIDIA DGX-1. Дальше можно добавлять AFF контроллеры в кластер, до 24 штук. Это всё прозрачно для серверов, так как используется NFS и FlexGroup. Подробнее об архитектуре можно почитать в тематическом white paper — WP-7267. Scalable AI Infrastructure. Designing For Real-World Deep Learning Use Cases. Там же есть результаты тестирования одной AFF A700s c DGX-1. Ну и кто-то наверное слышал про аналогичную архитектуру от Pure Storage под названием AIRI, маркетинг Pure во всю трубит об этом решении. И вот со сравнением результатов тестирования AFF A700s и Pure AIRI произошла "забавная" история. Об этом я напишу подробнее.
А если интересно почитать про подход NetApp к построению инфраструктуры для AI, то советую еще почитать Santosh Rao (Senior Technical Director for the Data ONTAP Engineering Group) или даже посмотреть видео с его выступлением на Storage Field Day.
В постах в блоге NetApp он рассказывает про то, на что обращать внимание при выборе файловой системы для AI вычислений, как NetApp обеспечивает передачу данных по конвееру данных от edge к core и в облако.
#nvidia #AI #ML #DL #AFF
Сотрудничество NetApp c NVIDIA вылилось в новый продукт — NetApp ONTAP AI. Приятный шкафчик с AFF A800, NVIDIA DGX-1 и Cisco Nexus 3232C 100GbE. Программная часть работает на NVIDIA GPU Cloud Deep Learning Software Stack и NetApp Trident. Поддержка на всё решение от одного вендора, можно на выбор обращаться к NetApp или NVIDIA. Есть документ с валидированной архитектурой, в котрой используется одна AFF A800 и 4 сервера DGX-1. В документе подробно описана архитектура решения, конфигурация серверов, СХД и коммутаторов. Приведены результаты тестов производительности. Для доступа используется NFS и FlexGroups. В конфигурации 1:4 загрузка контроллеров A800 ниже 20%, задержки ниже 700 мкс. То есть еще остаются ресурсы для подключения серверов. В случае с ONTAP AI работает подход FlexPod. Необязательно брать конкретные модели AFF и определенное количество серверов DGX-1. Если такая можная СХД не требуется, то можно использовать A700s, A300 или даже A220. И это всё равно будет ONTAP AI.
#nvidia #ONTAP #AI #ML #DL #Cisco #AFF
https://www.netapp.com/us/media/nva-1121-design.pdf
https://blog.netapp.com/accelerate-your-journey-to-ai-with-netapp-and-nvidia/
https://www.netapp.com/us/products/ontap-ai.aspx
https://www.netapp.com/us/company/news/press-releases/news-rel-20180801-692736.aspx
#nvidia #ONTAP #AI #ML #DL #Cisco #AFF
https://www.netapp.com/us/media/nva-1121-design.pdf
https://blog.netapp.com/accelerate-your-journey-to-ai-with-netapp-and-nvidia/
https://www.netapp.com/us/products/ontap-ai.aspx
https://www.netapp.com/us/company/news/press-releases/news-rel-20180801-692736.aspx
Немного обновлений по решениям для ML/AI.
Обновился документ NetApp Verified Architecture — NetApp ONTAP AI, Powered by NVIDIA. Scalable AI Infrastructure: Designing for Real-World Deep Learning Use Cases. Это документ про дизайн решения NetApp ONTAP AI. Приятный шкафчик с AFF A800, NVIDIA DGX-1 и Cisco Nexus 3232C 100GbE. Программная часть работает на NVIDIA GPU Cloud Deep Learning Software Stack и NetApp Trident. Поддержка на всё решение от одного вендора, можно на выбор обращаться к NetApp или NVIDIA. Из того, что заметил сразу, в этой версии документа AFF A800 тестировали уже с 7 системами NVIDIA DGX-1. То что A800 выдержит нагрузку более 4 DGX-1 указывалоссь и ранее, но не было соответствующих тестов. С ONTAP AI используется подход, который применяется к FlexPod. Можно использовать и младшие модели AFF, если нет необходимости в производительности A800.
Есть и второй документ, в котром подробно описано развёртывние решения ONTAP AI.
И в скором времени должны появиться результаты тетсирования NetApp AFF c NVIDIA DGX-2.
#nvidia #ONTAP #AI #ML #DL #Cisco #AFF
https://www.netapp.com/us/media/nva-1121-design.pdf
https://www.netapp.com/us/media/nva-1121-deploy.pdf
В продолжение темы, о том как за 20 минут развернуть решение ONTAP AI, включая сеть, СХД и серверы, с помощью Ansible.
https://blog.netapp.com/how-to-configure-ontap-ai-in-20-minutes-with-ansible-automation/
Обновился документ NetApp Verified Architecture — NetApp ONTAP AI, Powered by NVIDIA. Scalable AI Infrastructure: Designing for Real-World Deep Learning Use Cases. Это документ про дизайн решения NetApp ONTAP AI. Приятный шкафчик с AFF A800, NVIDIA DGX-1 и Cisco Nexus 3232C 100GbE. Программная часть работает на NVIDIA GPU Cloud Deep Learning Software Stack и NetApp Trident. Поддержка на всё решение от одного вендора, можно на выбор обращаться к NetApp или NVIDIA. Из того, что заметил сразу, в этой версии документа AFF A800 тестировали уже с 7 системами NVIDIA DGX-1. То что A800 выдержит нагрузку более 4 DGX-1 указывалоссь и ранее, но не было соответствующих тестов. С ONTAP AI используется подход, который применяется к FlexPod. Можно использовать и младшие модели AFF, если нет необходимости в производительности A800.
Есть и второй документ, в котром подробно описано развёртывние решения ONTAP AI.
И в скором времени должны появиться результаты тетсирования NetApp AFF c NVIDIA DGX-2.
#nvidia #ONTAP #AI #ML #DL #Cisco #AFF
https://www.netapp.com/us/media/nva-1121-design.pdf
https://www.netapp.com/us/media/nva-1121-deploy.pdf
В продолжение темы, о том как за 20 минут развернуть решение ONTAP AI, включая сеть, СХД и серверы, с помощью Ansible.
https://blog.netapp.com/how-to-configure-ontap-ai-in-20-minutes-with-ansible-automation/
Пара свежих TR:
TR-4798. AI at Scale with Trident and Kubernetes. Execute AI Workloads at Scale with Trident and Kubernetes.
Про автоматизацию развёртывания вычислительного кластера Kubernetes на GPU поверх NetApp AFF, Nvidia DGX, Cisco Nexus.
“In today’s digital economy, artificial intelligence (AI) is becoming critical to business success.As organizations increase their use of AI, they face two major challenges: data availability and workload scalability. This document demonstrates how you canovercome these challenges by using Kubernetes as a platform toexecuteAI workloads and by usingNetApp®Trident to provide seamless access to persistent data across nodes and regions. We also walk through the setup ofa Kubernetesand Trident environment for AI and provideexamplesand demonstrations of Kubernetes-based AI jobs.”
#TR #AI #nvidia #Trident #Kubernetes
https://www.netapp.com/us/media/tr-4798.pdf
TR-4796. StorageGRID Caching with Varnish
Про использование Varnish Сache для ускорения S3 запросов к StorageGRID. В TR есть результаты тестов производительности с кэшированием и без. А Varnish Cache, кстати, бесплатный и с открытым исходным кодом.
#S3
https://www.netapp.com/us/media/tr-4796.pdf
TR-4798. AI at Scale with Trident and Kubernetes. Execute AI Workloads at Scale with Trident and Kubernetes.
Про автоматизацию развёртывания вычислительного кластера Kubernetes на GPU поверх NetApp AFF, Nvidia DGX, Cisco Nexus.
“In today’s digital economy, artificial intelligence (AI) is becoming critical to business success.As organizations increase their use of AI, they face two major challenges: data availability and workload scalability. This document demonstrates how you canovercome these challenges by using Kubernetes as a platform toexecuteAI workloads and by usingNetApp®Trident to provide seamless access to persistent data across nodes and regions. We also walk through the setup ofa Kubernetesand Trident environment for AI and provideexamplesand demonstrations of Kubernetes-based AI jobs.”
#TR #AI #nvidia #Trident #Kubernetes
https://www.netapp.com/us/media/tr-4798.pdf
TR-4796. StorageGRID Caching with Varnish
Про использование Varnish Сache для ускорения S3 запросов к StorageGRID. В TR есть результаты тестов производительности с кэшированием и без. А Varnish Cache, кстати, бесплатный и с открытым исходным кодом.
#S3
https://www.netapp.com/us/media/tr-4796.pdf
