ИИ в промышленности по данным разных аналитических отчетов. Часть 3
Части 1, 2.1, 2.2
Раз уж я периодически разбираю отчеты и планирую продолжать это делать, то стоит упомянуть кривую хайпа от Gartner.📈 📉
Первая картинка из аналитического сборника №7 (RL) альманаха ИИ. Актуальна на декабрь 2020 г.
Кривая хайпа демонстрирует цикл зрелости технологий (не слышал про нее, наверно, только ленивый).
Я не из тех, кто постоянно за ней следит, хотя кривая обновляется ежегодно. Более того, доступны версии по областям знаний, индустриям и тд. Периодически интересно узнать,куда мы катимся куда развивается ИИ и какова текущая зрелость технологий. Поэтому интересной может так же быть вторая картинка — это конкретная кривая в разрезе управления производством. Если хочется детально разобраться, что стоит за тем или иным термином-баззвордом, то стоит обратиться к отчетам Gertner или аналитическим обзорам на их основе.
Из интересного:
🔘 Во-первых, ИИ и МЛ все-таки разные технологии (вдруг вы привыкли взаимозаменять термины, как я).
🔘 Можно проследить как между картинками (за 3 года) машинное обучение и цифровые двойники перешли в следующие стадии.
Надеюсь, машинное обучение уже скоро станет привычным инструментом на производствах. Болею за нее, как за понятную и осязаемую для меня технологию!
Части 1, 2.1, 2.2
Раз уж я периодически разбираю отчеты и планирую продолжать это делать, то стоит упомянуть кривую хайпа от Gartner.
Первая картинка из аналитического сборника №7 (RL) альманаха ИИ. Актуальна на декабрь 2020 г.
Кривая хайпа демонстрирует цикл зрелости технологий (не слышал про нее, наверно, только ленивый).
Я не из тех, кто постоянно за ней следит, хотя кривая обновляется ежегодно. Более того, доступны версии по областям знаний, индустриям и тд. Периодически интересно узнать,
Из интересного:
Надеюсь, машинное обучение уже скоро станет привычным инструментом на производствах. Болею за нее, как за понятную и осязаемую для меня технологию!
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥10👏5👍4❤🔥1
FDD chiang2001.pdf
23.2 MB
На мой взгляд, это наиболее полная книга по классическим статистическим методам анализа процессов, включая контрольные карты. В ней подробно изложена необходимая математическая база и описано множество нюансов, таких как локализация проблемных сигналов для метода Хотеллинга, которые раньше приходилось искать в десятках разных статей и собирать по крупицам. Здесь же все собрано в одном месте! К тому же книга очень легко читается.
В этой книге подробно рассматривается множество базовых концептов и подходов в диагностике, сопровождаясь математическими выкладками. Описано большое количество используемых методов: от простых статистических методов анализа до машинного обучения и более сложных алгоритмов.
Эта книга более компактная по сравнению с предыдущими: меньше материала и методов. Однако она оказалась для меня очень полезной, так как содержит все основные концепты и методы, минимум лишнего и множество практических примеров (на данных Tennessee Eastman Process).
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥38👍13❤4⚡3🆒1
Пара дополнений к посту про обнаружение фрода. Наткнулся, когда разбирал старые ссылки.
Как я всегда говорю, практика — лучший способ погрузиться в ML и чему-то научиться. А если нужна практика, то стоит вспомнить про kaggle. Так вот, на kaggle проводилось несколько соревнований по банковскому фроду
Делюсь обзорным постом с материалами по фроду. Решения победителей, сами соревнования и еще пара полезных ссылок.
Еще одна ссылка — это подробнейший гайд по решению соревнования IEEE-CIS Fraud Detection от топ-1
Гайд довольно общий и масштабируется на любые DS соревнования.
Please open Telegram to view this post
VIEW IN TELEGRAM
Telegram
Katser
🚩Обнаружение фрода и мошенничества. ч.1
Еще одна интересная область практического применения алгоритмов поиска аномалий — обнаружение фрода и мошенничества.
На Datafest'е даже пару лет подряд были секции, посвященные этой и смежным темам: в 2020, в 2021.…
Еще одна интересная область практического применения алгоритмов поиска аномалий — обнаружение фрода и мошенничества.
На Datafest'е даже пару лет подряд были секции, посвященные этой и смежным темам: в 2020, в 2021.…
👍9🔥8👏2
Дополняю свой пост про конференции.
• Уже ежегодный трек ML в промышленности на Datafest'е 2024 доступен по ссылке.
• Доклады по данной теме часто встречал на конференциях от Ontico (TeamLeadConf, HighLoad). В прошлом году коллеги организовывали byteoilconf.ru (помечаем как отраслевую в нефтегазе), видео с нее доступны на ютуб канале, а с этого года появилась industrialconf.ru. За этой конференцией буду следить не только со стороны, но и изнутри, так как являюсь членом программного комитета.
• Кроме industrialconf встретить отдельные доклады про ML в промышленности можно и на TeamLeadConf, и на HighLoad, и на aiconf.ru. Я тоже на одной из них обязательно выступлю, но пока не совпадает расписание.
Появляются новые большие конференции, значит растет интерес к теме, а это не может не радовать
Please open Telegram to view this post
VIEW IN TELEGRAM
Telegram
Katser
🗣Конференции и секции с кейсами применения ML в промышленности
Я уже ранее писал про список кейсов применения машинного обучения в промышленности, который собираю в этом репозитории на гитхабе. Кстати, репозиторий уже разросся обзором статей, датасетов помимо…
Я уже ранее писал про список кейсов применения машинного обучения в промышленности, который собираю в этом репозитории на гитхабе. Кстати, репозиторий уже разросся обзором статей, датасетов помимо…
🔥12👍3💯2
🤏Оценка схожести временных рядов
Я ранее рассказывал о библиотеках для решения задач кластеризации и классификации временных рядов. Но что, если нам хочется решить задачу, не применяя эти библиотеки?
🔘 Один из подходов: при наличии возможности агрегировать временные ряды и решать задачу как классическую, на табличных данных. Писал о таком примере здесь.
🔘 Другой вариант: считать расстояние (меру близости) между временными рядами и кластеризовать/классифицировать их на основе этого расстояния. Делюсь репозиторием, где очень просто и наглядно показано, как считать расстояние (Евклидово и DTW) и как решать на их основе задачу классификации (kNN) и кластеризации (k-means). Для матриц (многомерных временных рядов) можно посчитать норму Фробениуса или другие меры близости.
Еще эти меры близости можно использовать для оценки качества генерации и аугментации временных рядов, о чем упоминал здесь.
❓ А как, думаете, классификация/кластеризация временных рядов в этих библиотеках работает "под капотом"?
Я ранее рассказывал о библиотеках для решения задач кластеризации и классификации временных рядов. Но что, если нам хочется решить задачу, не применяя эти библиотеки?
Еще эти меры близости можно использовать для оценки качества генерации и аугментации временных рядов, о чем упоминал здесь.
Please open Telegram to view this post
VIEW IN TELEGRAM
GitHub
GitHub - alexminnaar/time-series-classification-and-clustering: Time series classification and clustering code written in Python.
Time series classification and clustering code written in Python. - GitHub - alexminnaar/time-series-classification-and-clustering: Time series classification and clustering code written in Python.
🔥8❤4👍4
Reinforcement learning в промышленности
писал я в этом посте, дополняя информацию из Альманаха ИИ №7. В комментариях как раз возникла дискуссия на тему RL.
Я для вас с новым кейсом. В посте (и Альманахе) пример применения RL в бурении приводится на основе компании Shell, но вот появился доклад, как этой темой занимаются в Газпроме. Эффектов и других бизнес показателей нет, потому что, судя по всему, проект в виде НИРа, и про внедрение речь не идет. Зато есть детали по самим алгоритмам и техническим результатам. Отличное дополнение к кейсам из поста, но еще одно доказательство, что пока само внедрение затруднено или ограничено. Некоторые кейсы RL в Российской промышленности — фактически НИРы без внедрения. Скучно становится DSам в промышленности, понимаю.🧐 Хотя, может, вы поправите меня в комментариях?
Ну а для погружения в RL и доклад можете посмотреть, и Альманах почитать.👨💻
Нефтегазовая отрасль и энергетика готовы к RL (но успешных кейсов почти нет)
писал я в этом посте, дополняя информацию из Альманаха ИИ №7. В комментариях как раз возникла дискуссия на тему RL.
Я для вас с новым кейсом. В посте (и Альманахе) пример применения RL в бурении приводится на основе компании Shell, но вот появился доклад, как этой темой занимаются в Газпроме. Эффектов и других бизнес показателей нет, потому что, судя по всему, проект в виде НИРа, и про внедрение речь не идет. Зато есть детали по самим алгоритмам и техническим результатам. Отличное дополнение к кейсам из поста, но еще одно доказательство, что пока само внедрение затруднено или ограничено. Некоторые кейсы RL в Российской промышленности — фактически НИРы без внедрения. Скучно становится DSам в промышленности, понимаю.
Ну а для погружения в RL и доклад можете посмотреть, и Альманах почитать.
Please open Telegram to view this post
VIEW IN TELEGRAM
Telegram
Katser
ИИ в промышленности по данным разных аналитических отчетов. Часть 2.2
Часть 2.1
🔘Примеры решения задач с помощью RL
• Проектирование: оптимизация компоновки инженерных систем
• Энергетика: оптимизация затрат электроэнергии (на 40%) на охлаждение ЦОД, оптимизация…
Часть 2.1
🔘Примеры решения задач с помощью RL
• Проектирование: оптимизация компоновки инженерных систем
• Энергетика: оптимизация затрат электроэнергии (на 40%) на охлаждение ЦОД, оптимизация…
👍13🔥3🤔2👏1
В докладе представлен наглядный пример создания ML-модели для апроксимации физической модели. Этот кейс скорее игрушечный, но он отлично подходит для вкатывания в тему и дополняет мой прошлый пост про ML в инженерных приложениях.
Для лучшего понимания того, где может быть применено машинное обучение для апроксимации, можно посмотреть научпоп лекцию Дмитрия Фомичева про мат моделирование.
Please open Telegram to view this post
VIEW IN TELEGRAM
YouTube
Лекторий Сообщества по математическому моделированию на AtomSkills-2024
Лекторий Сообщества по математическому моделированию на AtomSkills-2024
Тема: Применение Scikit-learn для аппроксимации моделей REPEAT на языке программирования Python
Направление: анализ данных
На лекции через простой пример вы узнаете о применении Python…
Тема: Применение Scikit-learn для аппроксимации моделей REPEAT на языке программирования Python
Направление: анализ данных
На лекции через простой пример вы узнаете о применении Python…
🔥9👍5✍3👌1🤝1
Описал простыми словами специфичные и наиболее распространенные задачи, которые формулируются и решаются при работе с временными рядами. Полезное дополнение для этого и этого постов, в которых вы найдете методы и инструменты для решения задач.
Задачу аугментации наглядно демонстрировал в этом посте.
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍36🔥8💯4
ИИ в промышленности.pdf
212.6 KB
ИИ в промышленности по данным разных аналитических отчетов. Часть 4
Части 1, 2.1, 2.2, 3
Полезный документ от АНО Цифровая экономика с отсортированным по отраслям списком кейсов ИИ в промышленности в России на 02.08.24. В дополнение к нему отчет📁
Кейсы — это хорошо, но еще лучше послушать доклад от разработчиков и почитать статью на хабре. Как раз такой список материалов я собираю с своем репозитории. Ну и дополняю его регулярно, что тоже важно.
Ранее объяснял в этом посте, почему насмотренность кейсов и чужой опыт важны❗️
Части 1, 2.1, 2.2, 3
Полезный документ от АНО Цифровая экономика с отсортированным по отраслям списком кейсов ИИ в промышленности в России на 02.08.24. В дополнение к нему отчет
Кейсы — это хорошо, но еще лучше послушать доклад от разработчиков и почитать статью на хабре. Как раз такой список материалов я собираю с своем репозитории. Ну и дополняю его регулярно, что тоже важно.
Ранее объяснял в этом посте, почему насмотренность кейсов и чужой опыт важны
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥10👍9👌5❤🔥1👏1
Надеюсь, это последний раз, когда я рассказываю про RUL (уже были пост в канале, статья №1 на хабр, статья №2 на хабр, доклад на ИИшнице and counting...), но каждый раз хочется слегка улучшить и дополнить материал.
Please open Telegram to view this post
VIEW IN TELEGRAM
YouTube
Юрий Кацер | Остаточный ресурс промышленного оборудования
Спикер: Юрий Кацер, Рокет Контрол, DS team lead, эксперт по анализу данных и машинному обучению в задачах промышленности, автор тг-канала @datakatser
Полезные ссылки:
https://github.com/YKatser/Industrial-ML
Data Fest 2024: https://ods.ai/events/datafest2024…
Полезные ссылки:
https://github.com/YKatser/Industrial-ML
Data Fest 2024: https://ods.ai/events/datafest2024…
👍15🔥7❤3🥰1