StorageTalks
819 members
85 photos
17 files
629 links
Полезные материалы про системы хранения данных NetApp, немного о конкурентах и просто интересные ссылки.
🚮 🔃 💽 💾 🍖 🔃 🏆 & 😌 🖇

С вопросами к @alikulov

Обсуждения в чате: https://t.me/storagediscussions

Филиал в вебе: http://storagetalks.net
Download Telegram
to view and join the conversation
Плейбуки Ansible для создания и удаления кластера ONTAP Select. Модулей для Select нет, там внутри вызовы API. Но всё равно удобнее, чем делать всё руками.
#ONTAP #Select #Ansible
https://github.com/texanerinbayern/ONTAP_Select
​​Подробнее про решения NetApp для VMware Cloud on AWS (VMC). Если, кто не знает для VMware в облаке AWS тоже нужны датасторы 🙂 Теперь в для хранения виртуальных машин VMC можно использовтаь различные варианты от NetApp — NetApp Private Storage, Cloud Volumes ONTAP (ONTAP Cloud), Cloud Volumes.
https://virtualdiver.wordpress.com/2018/08/28/netapp-and-vmware-in-2018/

Об этом дополнительно рассказывали в рамках Tech Field Day Extra at VMworld US 2018. По ссылке первое видео, их несколько, остальные в плейлисте справа. Там есть демонстрация того как это всё работает.
https://www.youtube.com/watch?v=Gj7hYEgD688&list=PLinuRwpnsHacFs0LMBtRGp6nx2LM84AsB&index=24&t=0s

#VMware #ONTAP #Cloud
Что нового нас ожидает в ONTAP 9.5. Много хорошего и приятного 🙂
- Синхронный SnapMirror. Можно переключаться с асинхронного на синхронный SnapMirror и обратно без baseline transfer.
- Возвращение FlexCache томов. Кэширование файлового доступа внутри кластера или на удаленных кластерах. Кэшируются операции чтения, записи и работа с метаданными. По поводу записи пока не совсем ясно, раньше было проксирование операций записи.
- BGP LIFs.
- Изменения в репортинге логической ёмкости. Теперь можно назначить квоты на логическую ёмкость.
- MAX Data. Это поддержка PMEM на стороне сервера с тирингом в ONTAP. Миллионы IOPS с задержками 10-12 микросекунд. Продукт, который появился благодаря приобретению стартапа Plexistor. Если интересно, то поищите, в канале уже были посты на эту тему.
- NetApp Data Availability Services (NDAS). Решение для резервного копирования в облако или объектное хранилище.
- NVMe over FC теперь поддерживает ANA для multipathing’а. ANA — аналог ALUA, но для NVMe-oF. Это часть стандарта NVMe-oF и пока NetApp первый, кто поддерживает multipathing на основе стандарта, который должен стать общепринятым в индустрии.
- Технологии эффектиновсти стали на 15% эффективнее. Вроде как за счёт улучшения работы компрессии.
- SnapLock теперь поддерживает движок Unified SnapMirror (XDP) и 1023 снепшота на том.
- MetroCluster IP теперь работает на расстоянии до 700 км и поддерживаются контроллеры A300 и FAS8200.
Подробнее и с картинками по ссылке. Как появятся release notes, пройдёмся по нововведениям ещё раз.
#ONTAP #SnapMirror #NVMe #MCC
https://whyistheinternetbroken.wordpress.com/2018/10/24/ontap95-announced/
PowerShell скрипт для создания NFS шар на NetApp и последующего экспорта в ESXi.
Много кода потому что это универсальная функция плюс используются динамические параметры. Динамические параметры позволяют по нажатию Tab получать валидные значения параметров взятые из ONTAP и ESXi, например названия агрегатов, SVM и т.д.
#ONTAP #PowerShell #VMware
https://mycloudrevolution.com/en/2018/11/12/script-create-vmware-vsphere-netapp-nfs-volume/
На днях обсуждали в чате то, как в ONTAP распределяется нагрузка по ядрам. Justin Parisi прочитал наше обсуждение 😜 и решил, что ему проще написать пост с объяснениями. Небольшой исторический экскурс в то, как менялось распределение нагрузки по ядрам CPU в ONTAP и к чему в итоге пришли с FlexGroup. Важный момент — начиная с 9.4, в старших системах (A700 и A800) имеет смысл делать два агрегата на ноду с 8 томами в каждом для получения максимальной производительности. До этого рекомендовалось по одному агрегату на ноду с 4 томами минимум.
#waffinity #ONTAP #FlexGroup
https://blog.netapp.com/volume-affinities-how-ontap-and-cpu-utilization-has-evolved/
Если интересны более глубокие технические подробности про waffinity, можно почитать доклад с USENIX, там есть и презентация, и аудио. Скорее всего этот доклад Justin и использовал для написания поста. Кому-нибудь попадались похожие доклады от других вендоров СХД? Делитесь!
#waffinity #ONTAP
https://www.usenix.org/conference/osdi16/technical-sessions/presentation/curtis-maury
​​Полтора месяца назад я искал добровольцев с AFF и 9.4 в чате канала. Все было ради возможности посмотреть сколько данных уехало бы в холодный слой, если бы использовался FabricPool. В 9.4 появилась опция, которая позволяет посмотреть объем данных, к которым не было никаких обращений за последние 30 дней. Напомню, что FabricPool — это агрегат, к которому присоединяется медленный слой в виде объектного хранилища. Это может быть StorageGRID, Amazon S3, Azure Blob, IBM COS. Через процедуру FPVR можно использовать и другие объектные хранилища, работающие по S3. Есть клиенты, у которых прицеплен Cloudian.
Есть несколько политик тиринга данных. Можно отправлять в облако только снепшоты, а можно отправлять продуктивные холодные данные. Тиринг работает на уровне 4КБ блоков. FabricPool поддерживается на AFF, FAS (только с all-ssd агрегатами), ONTAP Select и Cloud Volumes.
Ниже на скриншоте результат сбора статистики за 30+ дней у клиента на продакшн системе на агрегате с почти полусотней инстансов MySQL. Снепшоты не используются.
Для включения статистки надо использовать опцию агрегата:-is-inactive-data-reporting-enabled true

На скриншоте performance-tier-inactive-user-data-percent — это процент от общей ёмкости тома (size).
#FabricPool #S3 #StorageGRID #ONTAP #AFF
​​​​Вместе с релизом ONTAP 9.5GA доступен симулятор. Ссылка на его скачивание переехала туда же где и образа для железа.
Партнёры кроме симулятора могут использовать Lab on Demand, там уже пару недель доступна лаба ONTAP 9.5 Early Access v1.0.

UPDATE. Читатели поправили. Вместе с образами ONTAP 9.5 для железа лежит образ ONTAP для симулятора, но это не полноценный симулятор. Образ можно использовать для обновления уже развернутого симулятора. Видимо OVA шаблон с 9.5 появится позже в привычном месте — https://mysupport.netapp.com/cgi-bin/simulator
#ONTAP
​​В ONTAP 9.4 появилась поддержка SMB 3.0 Multichannel, а вот и technical report на эту тему — TR-4740. SMB 3.0 Multichannel. Accelerate SMB 3.0 Performance for Applications. Некоторые при личном общении жаловались мне, что TR читать не успевают, документов много, информации много. Ну так я тоже не читаю TR от корки до корки. Вполне хватает скачать TR, пробежаться по нему глазами, если попадается что-то интересное, то можно немного углубиться в детали. В итоге в голове создается общая картина и понимаю возможностей ONTAP. Мозг запоминает, что в целом система так умеет. А когда через какое-то время возникается вопрос, то помнишь, что был на эту тему TR и знаешь где искать ответ.
#TR #SMB #ONTAP

https://www.netapp.com/us/media/tr-4740.pdf
Вышло обновление ONTAP Select Deploy 2.11. Напомню, что ONTAP Select состоит из двух элементов: образа ONTAP Select с самой операционной системой, которая работает на нодах, последняя доступная версия совпадает с версией просто ONTAP - 9.5; и ONTAP Select Deploy - отдельная виртуальная машина, которая отвечает за развёртывание кластера и используется как медиатор в двухнодовых конфигурациях. Deploy обновляется независимо от образа ONTAP Select. Что нового в Deploy 2.11:
- Upgrading an evaluation license to a production license
- Use of external storage with MetroCluster SDS
- Enhanced support for KVM on Red Hat Enterprise Linux 7.6 and CentOS 7.6
#ONTAP #Select #SDS
​​Немного обновлений по решениям для ML/AI.
Обновился документ NetApp Verified Architecture — NetApp ONTAP AI, Powered by NVIDIA. Scalable AI Infrastructure: Designing for Real-World Deep Learning Use Cases. Это документ про дизайн решения NetApp ONTAP AI. Приятный шкафчик с AFF A800, NVIDIA DGX-1 и Cisco Nexus 3232C 100GbE. Программная часть работает на NVIDIA GPU Cloud Deep Learning Software Stack и NetApp Trident. Поддержка на всё решение от одного вендора, можно на выбор обращаться к NetApp или NVIDIA. Из того, что заметил сразу, в этой версии документа AFF A800 тестировали уже с 7 системами NVIDIA DGX-1. То что A800 выдержит нагрузку более 4 DGX-1 указывалоссь и ранее, но не было соответствующих тестов. С ONTAP AI используется подход, который применяется к FlexPod. Можно использовать и младшие модели AFF, если нет необходимости в производительности A800.
Есть и второй документ, в котром подробно описано развёртывние решения ONTAP AI.
И в скором времени должны появиться результаты тетсирования NetApp AFF c NVIDIA DGX-2.
#nvidia #ONTAP #AI #ML #DL #Cisco #AFF
https://www.netapp.com/us/media/nva-1121-design.pdf
https://www.netapp.com/us/media/nva-1121-deploy.pdf

В продолжение темы, о том как за 20 минут развернуть решение ONTAP AI, включая сеть, СХД и серверы, с помощью Ansible.
https://blog.netapp.com/how-to-configure-ontap-ai-in-20-minutes-with-ansible-automation/
​​Упустил важное обновление для ONTAP Select. С выходом Select Deploy 2.11.2 появился плагин для vCenter, который позволяет выполнять все операции по развёртыванию и управлению кластером ONTAP Select из интерфейса vCenter. Плагин устанавливается через Select Deploy, в который после этого можно не заглядывать, функциональность плагина совпадает с возможностями Deploy.

#ONTAP #Select #VMware
Тизер ONTAP внутри Kubernetes. Пока неясно для чего 🙂 Мой прогноз, что для NetApp Cloud Volumes on-prem.
https://twitter.com/octav/status/1118638087930773505
Настало время весенних анонсов. В прошлом году в это же время был объявлен выход AFF A800. В этом году вышла AFF A320. Но у меня пока не готов пост про A320. Поэтому почитайте о том, что нас ждёт в ONTAP 9.6.
#ONTAP
https://alikulov.me/blog/all/chto-novogo-v-ontap-9-6/
Видео с развёртыванием ONTAP Select — SDS вариант ONTAP. Вся процедура на готовой инфраструктуре VMware занимает 10 минут. Кроме VMware можно использовать KVM.
#ONTAP #Select
https://youtu.be/kmvox-D6UrE
Обновился TR-4684. Implementing and Configuring Modern SANs with NVMe/FC. Это уже 4 версия документа. Когда я постил его в первый раз, ONTAP был версии 9.4. С тех пор достаточно много изменений в 9.5 и 9.6. За изменениями лучше сразу идти в раздел 6 NVMe/FC Features and Limitations на странице 16.
#TR #ONTAP #NVMe #FC #SAN #AFF
https://t.me/storagetalks/519
Интересный выпуск подкаста на тему улучшений в TCP стеке ONTAP 9.6.
Если кратко, то в 9.6 перешли на новый алгоритм TCP congestion control. До этого использовался Reno/New Reno. Теперь — CUBIC.
Основная выгода при использовании репликации на большие расстояния для так называемых LFN-сетей (long fat networks). Сети с большой пропускной способностью и высокими задержками.
В тестах NetApp CUBIC снижает общее время репликации SnapMirror в 3-5 раз по сравнению со старым алгоритмом.
Кроме этого есть польза для MCC IP, SnapMirror-Sync и FabricPool.
Если хотите больше подробностей, то слушайте подкаст. Там в гостях один из соавторов RFC 8312 CUBIC for Fast Long-Distance Networks — Richard Scheffenegger, он работает в NetApp и у него прекрасный австрийский акцент 😉
Полезные ссылки по теме:
https://en.wikipedia.org/wiki/TCP_congestion_control
https://en.wikipedia.org/wiki/CUBIC_TCP

#TCP #networking #ONTAP #SnapMirror #FabricPool
​​Новый Technical Report. TR-4788. Architecting I/O-Intensive MongoDB Databases on NetApp. Рекомендации по архитектуре решения для использования MongoDB с ONTAP для БД, котрые требуют много IOPS с низкими задержками (I/O-Intensive Databases).
#TR #AFF #ONTAP #Select #Cloud #MongoDB
https://www.netapp.com/us/media/tr-4788.pdf