IDC опубликовал отчёт IDC MarketScape Worldwide Object-Based Storage 2018. NetApp StorageGRID среди лидеров. Там же решения от Dell EMC, Hitachi Vantara, IBM и Scality. NetApp хвалят за партнёрство с AWS и Azure, за то что StorageGRID хорошо интегрируется с другими продуктами NetApp. Опасение вызывает, то что сейчас NetApp вывел на рынок новые продукты (HCI) и на их развитие надо тратить инженерные ресурсы. Про других вендоров ничего сказать не могу, отчёт в укороченной версии только про NetApp. Если у кого-то есть полная версия, с радостью расшарю.
#S3 #StorageGRID #IDC
https://blog.netapp.com/netapp-named-a-leader-in-object-based-storage/
#S3 #StorageGRID #IDC
https://blog.netapp.com/netapp-named-a-leader-in-object-based-storage/
В продолжение темы объектных хранилищ январский отчёт от Gartner — Critical Capabilities for Object Storage 2018.
http://www.theregister.co.uk/2018/02/02/gartner_object_storage_report/
#S3 #Gartner #StorageGRID
http://www.theregister.co.uk/2018/02/02/gartner_object_storage_report/
#S3 #Gartner #StorageGRID
Очередная подборка свежих Technical Reports.
TR-4572. The NetApp Solution for Ransomware
Немного обновили документ о том, как бороться с вирусами-шифровальщиками. Снепшоты, репликация, FPolicy.
Как раз недавно этот вопрос обсуждался в нашем чате и было приятно прочитать о том, что клиенты счастливы, что снепшоты спасли их данные от шифрования.
Напомню про пост на Хабре на ту же тему - https://habr.com/post/332098/
#TR #ransomware
https://www.netapp.com/us/media/tr-4572.pdf
TR-4704. Deploying Veritas NetBackup with NetApp E-Series Storage
Документ описывает как использовать E-серию в качестве репозитория резервных копий Veritas NetBackup. В этом случае данные могут храниться на любой СХД. И описывается как бекапить данные с E-серии за счёт интеграции на уровне снепшотов.
#backup #veritas #netbackup #ESeries
https://www.netapp.com/us/media/tr-4704.pdf
TR-4598. FabricPool Best Practices. ONTAP 9.4
Рекомендации по использованию FabricPool. Это тиринг данных с ONTAP в объектное хранилище (AWS, Azure, StorageGRID). В 9.4 добавили возможность отправлять в облако не только данные из снепшотов, но и активные данные. Работает для AFF, all-SSD агрегатов на FAS, для ONTAP Select (на HDD тоже), в ONTAP Cloud.
#tiering #ONTAP #S3 #cloud #Select
https://www.netapp.com/us/media/tr-4598.pdf
TR-4400. VMware vSphere Virtual Volumes with ONTAP
Хороший документ, в котором собрано практически всё что нужно знать о работе VVols на ONTAP. Актуализировали информацию для VASA Provider 7.2. Например, подробно описали как работают QoS для VVol. Есть информация о том, как обеспечивать сохранность VASA Provider. Как бекапить VVols с помощью Commvault и Veeam.
#VVols #VMware #ONTAP
https://www.netapp.com/us/media/tr-4400.pdf
TR-4572. The NetApp Solution for Ransomware
Немного обновили документ о том, как бороться с вирусами-шифровальщиками. Снепшоты, репликация, FPolicy.
Как раз недавно этот вопрос обсуждался в нашем чате и было приятно прочитать о том, что клиенты счастливы, что снепшоты спасли их данные от шифрования.
Напомню про пост на Хабре на ту же тему - https://habr.com/post/332098/
#TR #ransomware
https://www.netapp.com/us/media/tr-4572.pdf
TR-4704. Deploying Veritas NetBackup with NetApp E-Series Storage
Документ описывает как использовать E-серию в качестве репозитория резервных копий Veritas NetBackup. В этом случае данные могут храниться на любой СХД. И описывается как бекапить данные с E-серии за счёт интеграции на уровне снепшотов.
#backup #veritas #netbackup #ESeries
https://www.netapp.com/us/media/tr-4704.pdf
TR-4598. FabricPool Best Practices. ONTAP 9.4
Рекомендации по использованию FabricPool. Это тиринг данных с ONTAP в объектное хранилище (AWS, Azure, StorageGRID). В 9.4 добавили возможность отправлять в облако не только данные из снепшотов, но и активные данные. Работает для AFF, all-SSD агрегатов на FAS, для ONTAP Select (на HDD тоже), в ONTAP Cloud.
#tiering #ONTAP #S3 #cloud #Select
https://www.netapp.com/us/media/tr-4598.pdf
TR-4400. VMware vSphere Virtual Volumes with ONTAP
Хороший документ, в котором собрано практически всё что нужно знать о работе VVols на ONTAP. Актуализировали информацию для VASA Provider 7.2. Например, подробно описали как работают QoS для VVol. Есть информация о том, как обеспечивать сохранность VASA Provider. Как бекапить VVols с помощью Commvault и Veeam.
#VVols #VMware #ONTAP
https://www.netapp.com/us/media/tr-4400.pdf
Как проверить производительность объектного уровня перед подключением его в FabricPool.
Эта функция появилась в ONTAP 9.4.
#ONTAP #FabricPool #S3
http://youtu.be/TREon90QIbo?a
Эта функция появилась в ONTAP 9.4.
#ONTAP #FabricPool #S3
http://youtu.be/TREon90QIbo?a
YouTube
Measuring FabricPool Performance in ONTAP 9.4
ONTAP’s object store profiler makes measuring FabricPool performance super easy. See latency and throughput of an object store, predict recovery times, set expectations, and do all of it before you even attach the object store to an aggregate.
View the FabricPool…
View the FabricPool…
Новый вариант аплаинса для NetApp StorageGRID — объектного харнилища. Модель SG6060 имеет заметно больше ресурсов, чем предыдущие SG5760 и SG5712. 40 CPU ядер @ 2.4 GHZ, 192 GB памяти, против 8 ядер @ 2.0GHZ и 64GB в предыдущих моделях. Также добавили пару 800GB SSD для метаданных. Физически новая модель это 1U сервер и 4U хранилище на базе E2860.
Напомню, что в StorageGRID кроме “железных” моделей можно разворачивать виртуализированные ноды и ноды на любых x86 серверах в Docker контейнере. Все ноды можно смешивать в одном гриде.
#S3 #StorageGRID
https://blog.netapp.com/supercharge-big-data-performance-with-storagegrid-sg6060/
Напомню, что в StorageGRID кроме “железных” моделей можно разворачивать виртуализированные ноды и ноды на любых x86 серверах в Docker контейнере. Все ноды можно смешивать в одном гриде.
#S3 #StorageGRID
https://blog.netapp.com/supercharge-big-data-performance-with-storagegrid-sg6060/
Полтора месяца назад я искал добровольцев с AFF и 9.4 в чате канала. Все было ради возможности посмотреть сколько данных уехало бы в холодный слой, если бы использовался FabricPool. В 9.4 появилась опция, которая позволяет посмотреть объем данных, к которым не было никаких обращений за последние 30 дней. Напомню, что FabricPool — это агрегат, к которому присоединяется медленный слой в виде объектного хранилища. Это может быть StorageGRID, Amazon S3, Azure Blob, IBM COS. Через процедуру FPVR можно использовать и другие объектные хранилища, работающие по S3. Есть клиенты, у которых прицеплен Cloudian.
Есть несколько политик тиринга данных. Можно отправлять в облако только снепшоты, а можно отправлять продуктивные холодные данные. Тиринг работает на уровне 4КБ блоков. FabricPool поддерживается на AFF, FAS (только с all-ssd агрегатами), ONTAP Select и Cloud Volumes.
Ниже на скриншоте результат сбора статистики за 30+ дней у клиента на продакшн системе на агрегате с почти полусотней инстансов MySQL. Снепшоты не используются.
Для включения статистки надо использовать опцию агрегата:-is-inactive-data-reporting-enabled true
На скриншоте performance-tier-inactive-user-data-percent — это процент от общей ёмкости тома (size).
#FabricPool #S3 #StorageGRID #ONTAP #AFF
Есть несколько политик тиринга данных. Можно отправлять в облако только снепшоты, а можно отправлять продуктивные холодные данные. Тиринг работает на уровне 4КБ блоков. FabricPool поддерживается на AFF, FAS (только с all-ssd агрегатами), ONTAP Select и Cloud Volumes.
Ниже на скриншоте результат сбора статистики за 30+ дней у клиента на продакшн системе на агрегате с почти полусотней инстансов MySQL. Снепшоты не используются.
Для включения статистки надо использовать опцию агрегата:-is-inactive-data-reporting-enabled true
На скриншоте performance-tier-inactive-user-data-percent — это процент от общей ёмкости тома (size).
#FabricPool #S3 #StorageGRID #ONTAP #AFF
Давно не заглядывал на netapp.io, а там, с того раза как я что-то постил оттуда, много нового. Пост про то, как устроен процесс тестирования ansible модулей для ONTAP. Как устанавливать trident из приватного, а не публичного registry.
Ну и очень подробный пост про развёртывание StorageGRID в Kubernetes. И это ещё не всё.
#docker #StorageGRID #S3 #Kubernetes #k8s #Trident
https://netapp.io/2019/01/15/deploying-storagegrid-in-kubernetes/
Ну и очень подробный пост про развёртывание StorageGRID в Kubernetes. И это ещё не всё.
#docker #StorageGRID #S3 #Kubernetes #k8s #Trident
https://netapp.io/2019/01/15/deploying-storagegrid-in-kubernetes/
Январский отчёт от Gartner — Critical Capabilities for Object Storage 2019. Спасибо за ссылку в чате. В сравнении с прошлогодним отчётом NetApp StorageGRID продвинулся на пару мест вверх. Прошлогодний отчёт можно найти в канале.
#S3 #Gartner #StorageGRID
https://www.gartner.com/doc/reprints?id=1-64P59Q2&ct=190118&st=sb
#S3 #Gartner #StorageGRID
https://www.gartner.com/doc/reprints?id=1-64P59Q2&ct=190118&st=sb
TR-4658. NetApp SANtricity Cloud Connector 4.0
Не все знают, что NetApp E-series имеет возможность создавать резервные копии в объектном хранилище. Поддерживается AWS и NetApp StorageGRID. Предполагаю, что и другие S3-совместимые решения будут работать, для таких случаев есть процедура FPVR.
NetApp SANtricity Cloud Connector 4.0 is a host-based Linux application built specifically for engagement with the NetApp Data Fabric through NetApp E-Series storage systems. NetApp has partnered with Amazon Web Services to allow full-block and file-based backup and recovery of E-Series volumes to Amazon Simple Storage Service (Amazon S3) and NetApp StorageGRID. Available for installation on RedHat and SUSE Linux systems, the SANtricity Cloud Connector is a packaged solution (.bin file). After it isinstalled, you can configure the SANtricity Cloud Connector to perform backup and restore jobs for E-Series volumes to your existing Amazon S3 or StorageGRID account. All jobs performed through the SANtricity Cloud Connector use RESTful APIs. This report provides the technical details for each feature, general limitations, and specific restrictions that must be considered to successfully use the features.
https://www.netapp.com/us/media/tr-4658.pdf
TR-4574. Deploying NetApp E-Series with Ansible. Automating E-Series
Все линейки СХД NetApp поддерживают управление при помощи Ansible. E-серия не исключение.
Ansible is a simple yet powerful orchestration tool that is sweeping the IT world. NetApp E-Series has joined the Ansible community to provide you with a quality solution for managing your E-Series storage systems. This document grounds you in the Ansible philosophy and provides the necessary information to get started. It walks you throughhow to define your storage infrastructure in Ansible inventories, apply policies for each target system, and how to use E-Series modules and roles. Finally, we introduce the netappeserieshost role which enforces a set of policies for provisioning storage, creating hosts and host groups, mapping volumes, and configuring ports.
https://www.netapp.com/us/media/tr-4574.pdf
#TR #Ansible #S3 #backup
Не все знают, что NetApp E-series имеет возможность создавать резервные копии в объектном хранилище. Поддерживается AWS и NetApp StorageGRID. Предполагаю, что и другие S3-совместимые решения будут работать, для таких случаев есть процедура FPVR.
NetApp SANtricity Cloud Connector 4.0 is a host-based Linux application built specifically for engagement with the NetApp Data Fabric through NetApp E-Series storage systems. NetApp has partnered with Amazon Web Services to allow full-block and file-based backup and recovery of E-Series volumes to Amazon Simple Storage Service (Amazon S3) and NetApp StorageGRID. Available for installation on RedHat and SUSE Linux systems, the SANtricity Cloud Connector is a packaged solution (.bin file). After it isinstalled, you can configure the SANtricity Cloud Connector to perform backup and restore jobs for E-Series volumes to your existing Amazon S3 or StorageGRID account. All jobs performed through the SANtricity Cloud Connector use RESTful APIs. This report provides the technical details for each feature, general limitations, and specific restrictions that must be considered to successfully use the features.
https://www.netapp.com/us/media/tr-4658.pdf
TR-4574. Deploying NetApp E-Series with Ansible. Automating E-Series
Все линейки СХД NetApp поддерживают управление при помощи Ansible. E-серия не исключение.
Ansible is a simple yet powerful orchestration tool that is sweeping the IT world. NetApp E-Series has joined the Ansible community to provide you with a quality solution for managing your E-Series storage systems. This document grounds you in the Ansible philosophy and provides the necessary information to get started. It walks you throughhow to define your storage infrastructure in Ansible inventories, apply policies for each target system, and how to use E-Series modules and roles. Finally, we introduce the netappeserieshost role which enforces a set of policies for provisioning storage, creating hosts and host groups, mapping volumes, and configuring ports.
https://www.netapp.com/us/media/tr-4574.pdf
#TR #Ansible #S3 #backup
Длинный пост про бекапы в S3.
Экономлю вам время - бекапы в S3 будут занимать меньше места и времени, если использовать дедупликацию на уровне СРК. И да, это работает.
#S3 #backup
https://habr.com/ru/company/croccloudteam/blog/461717/
Экономлю вам время - бекапы в S3 будут занимать меньше места и времени, если использовать дедупликацию на уровне СРК. И да, это работает.
#S3 #backup
https://habr.com/ru/company/croccloudteam/blog/461717/
Хабр
Как уплотнить до 90% хранение бэкапов в объектном хранилище
Наши турецкие клиенты попросили нас правильно настроить бэкап для дата-центра. Мы делаем подобные проекты в России, но именно здесь история была больше про исследование того, как лучше сделать. Дано:...
Пара свежих TR:
TR-4798. AI at Scale with Trident and Kubernetes. Execute AI Workloads at Scale with Trident and Kubernetes.
Про автоматизацию развёртывания вычислительного кластера Kubernetes на GPU поверх NetApp AFF, Nvidia DGX, Cisco Nexus.
“In today’s digital economy, artificial intelligence (AI) is becoming critical to business success.As organizations increase their use of AI, they face two major challenges: data availability and workload scalability. This document demonstrates how you canovercome these challenges by using Kubernetes as a platform toexecuteAI workloads and by usingNetApp®Trident to provide seamless access to persistent data across nodes and regions. We also walk through the setup ofa Kubernetesand Trident environment for AI and provideexamplesand demonstrations of Kubernetes-based AI jobs.”
#TR #AI #nvidia #Trident #Kubernetes
https://www.netapp.com/us/media/tr-4798.pdf
TR-4796. StorageGRID Caching with Varnish
Про использование Varnish Сache для ускорения S3 запросов к StorageGRID. В TR есть результаты тестов производительности с кэшированием и без. А Varnish Cache, кстати, бесплатный и с открытым исходным кодом.
#S3
https://www.netapp.com/us/media/tr-4796.pdf
TR-4798. AI at Scale with Trident and Kubernetes. Execute AI Workloads at Scale with Trident and Kubernetes.
Про автоматизацию развёртывания вычислительного кластера Kubernetes на GPU поверх NetApp AFF, Nvidia DGX, Cisco Nexus.
“In today’s digital economy, artificial intelligence (AI) is becoming critical to business success.As organizations increase their use of AI, they face two major challenges: data availability and workload scalability. This document demonstrates how you canovercome these challenges by using Kubernetes as a platform toexecuteAI workloads and by usingNetApp®Trident to provide seamless access to persistent data across nodes and regions. We also walk through the setup ofa Kubernetesand Trident environment for AI and provideexamplesand demonstrations of Kubernetes-based AI jobs.”
#TR #AI #nvidia #Trident #Kubernetes
https://www.netapp.com/us/media/tr-4798.pdf
TR-4796. StorageGRID Caching with Varnish
Про использование Varnish Сache для ускорения S3 запросов к StorageGRID. В TR есть результаты тестов производительности с кэшированием и без. А Varnish Cache, кстати, бесплатный и с открытым исходным кодом.
#S3
https://www.netapp.com/us/media/tr-4796.pdf
Появились слухи, что NetApp представит all-flash модели StorageGRID. Скорее всего на базе EF-серии. На всякий случай напомню, что получить all-flash StorageGRID можно и не дожидаясь запуска новых железок, SG можно разворачивать на своем железе.
#S3
https://blocksandfiles.com/2019/09/16/netapp-all-flash-storagegrid-array/
#S3
https://blocksandfiles.com/2019/09/16/netapp-all-flash-storagegrid-array/
В продолжение темы StorageGRID, пост про то, как развернуть SG поверх Kubernetes.
#S3 #Kubernetes
https://netapp.io/2019/01/15/deploying-storagegrid-in-a-kubernetes-cluster/
#S3 #Kubernetes
https://netapp.io/2019/01/15/deploying-storagegrid-in-a-kubernetes-cluster/
thePub
Deploying StorageGRID in a Kubernetes Cluster - thePub
Facebook Twitter Google+ LinkedIn NetApp’s StorageGRID object store is very easy to use, but it can be challenging to get all of the right infrastructure together to deploy it, especially if you just want to try it out. But under the covers it’s built and…
Ну и аналогичный отчёт по объектным хранилищам за 2019 год — IDC MarketScape Worldwide Object-Based Storage 2019. По ссылке есть сравнение с прошлым годом. NetApp заметно подрос, IBM откатился вниз, Scality вырос в объемах, Cloudian расположился ближе к лидерам.
https://blocksandfiles.com/2019/12/23/idc-2019-object-storage-marketscape/
#IDC #S3
https://blocksandfiles.com/2019/12/23/idc-2019-object-storage-marketscape/
#IDC #S3
Blocks and Files
Hitachi Vantara tops IDC Object Storage Marketscape – Blocks and Files
NetApp and Cloudian were promoted, IBM demoted, Cohesity ejected and OpenIO brought indoors from the cold in IDC’s 2019 Object Marketscape report. NetApp has published an extract that contains the 2019 Marketscape diagram and we can compare this to 2018.…
В ONTAP 9.7 появилась тестовая поддержка протокола S3. Пока это еще preview со всеми вытекающими ограничениями — небогатая функциональность, не рекомендуется использовать для критичных данных. Но вендор готов помочь в настройке и траблшутинге. Основное применение — edge-хранилище для IoT, транспорта и т.д. В будущем обещают интеграцию со StorageGRID при помощи CloudSync. Для хранения данных используются FabricPool, производительность соизмерима с производительностью NAS-протоколов в ONTAP. Поддерживается на AFF, FAS и ONTAP Select.
Как попробовать описано в TR-4814. S3 Public Preview. ONTAP 9.7
#S3 #ONTAP
https://www.netapp.com/us/media/tr-4814.pdf
Как попробовать описано в TR-4814. S3 Public Preview. ONTAP 9.7
#S3 #ONTAP
https://www.netapp.com/us/media/tr-4814.pdf
Свежие Technical Reports. Разобью по платформам на пару постов.
TR-4813. Managing Certificates for NetApp E-Series Storage Systems
https://www.netapp.com/us/media/tr-4813.pdf
TR-4652. SANtricity OS Dynamic Disk Pools. Feature Description and Best Practices.
Обновили рекомендации для храенния данных видеонаблюдения.
https://www.netapp.com/us/media/tr-4652.pdf
TR-4658. NetApp SANtricity Cloud Connector 4.0
NetApp E-series имеет возможность создавать резервные копии в объектном хранилище. Поддерживается AWS и NetApp StorageGRID. В документе обновили результаты тестов производительности.
https://www.netapp.com/us/media/tr-4658.pdf
#TR #Eseries #S3
TR-4813. Managing Certificates for NetApp E-Series Storage Systems
https://www.netapp.com/us/media/tr-4813.pdf
TR-4652. SANtricity OS Dynamic Disk Pools. Feature Description and Best Practices.
Обновили рекомендации для храенния данных видеонаблюдения.
https://www.netapp.com/us/media/tr-4652.pdf
TR-4658. NetApp SANtricity Cloud Connector 4.0
NetApp E-series имеет возможность создавать резервные копии в объектном хранилище. Поддерживается AWS и NetApp StorageGRID. В документе обновили результаты тестов производительности.
https://www.netapp.com/us/media/tr-4658.pdf
#TR #Eseries #S3