Katser
2.28K subscribers
93 photos
7 videos
10 files
137 links
Авторский канал @ykatser по data science, машинному обучению и искусственному интеллекту в основном в задачах промышленности, но не только
Download Telegram
ИИ в промышленности по данным разных аналитических отчетов. Часть 3
Части 1, 2.1, 2.2

Раз уж я периодически разбираю отчеты и планирую продолжать это делать, то стоит упомянуть кривую хайпа от Gartner. 📈📉
Первая картинка из аналитического сборника №7 (RL) альманаха ИИ. Актуальна на декабрь 2020 г.
Кривая хайпа демонстрирует цикл зрелости технологий (не слышал про нее, наверно, только ленивый).

Я не из тех, кто постоянно за ней следит, хотя кривая обновляется ежегодно. Более того, доступны версии по областям знаний, индустриям и тд. Периодически интересно узнать, куда мы катимся куда развивается ИИ и какова текущая зрелость технологий. Поэтому интересной может так же быть вторая картинка — это конкретная кривая в разрезе управления производством. Если хочется детально разобраться, что стоит за тем или иным термином-баззвордом, то стоит обратиться к отчетам Gertner или аналитическим обзорам на их основе.

Из интересного:
🔘Во-первых, ИИ и МЛ все-таки разные технологии (вдруг вы привыкли взаимозаменять термины, как я).
🔘Можно проследить как между картинками (за 3 года) машинное обучение и цифровые двойники перешли в следующие стадии.
Надеюсь, машинное обучение уже скоро станет привычным инструментом на производствах. Болею за нее, как за понятную и осязаемую для меня технологию!
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥10👏5👍4❤‍🔥1
FDD chiang2001.pdf
23.2 MB
📚Хочу поделиться тремя книгами, которые помогли мне на ранних стадиях погружения в промышленный МЛ и в техническую диагностику в частности.

🔴“Introduction to STATISTICAL QUALITY CONTROL”
На мой взгляд, это наиболее полная книга по классическим статистическим методам анализа процессов, включая контрольные карты. В ней подробно изложена необходимая математическая база и описано множество нюансов, таких как локализация проблемных сигналов для метода Хотеллинга, которые раньше приходилось искать в десятках разных статей и собирать по крупицам. Здесь же все собрано в одном месте! К тому же книга очень легко читается.

🟡“Unsupervised Process Monitoring and Fault Diagnosis with Machine Learning Methods“
В этой книге подробно рассматривается множество базовых концептов и подходов в диагностике, сопровождаясь математическими выкладками. Описано большое количество используемых методов: от простых статистических методов анализа до машинного обучения и более сложных алгоритмов.

🔵“Fault Detection and Diagnosis in Industrial Systems”
Эта книга более компактная по сравнению с предыдущими: меньше материала и методов. Однако она оказалась для меня очень полезной, так как содержит все основные концепты и методы, минимум лишнего и множество практических примеров (на данных Tennessee Eastman Process).

💭 Для получения базовых знаний эти книги подходят лучше большинства научных статей и доступных в интернете материалов, но многих современных методов там, конечно, нет. Нет там и очень глубокого погружения в различные домены, а также в некоторые важные направления диагностики, типа диагностики электротехнического оборудования или диагностики вращающихся частей. Для этого нужна более специализированная литература, хотя это уже скорее не про ML.
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥38👍1343🆒1
🚩Обнаружение фрода и мошенничества. ч.2

Пара дополнений к посту про обнаружение фрода. Наткнулся, когда разбирал старые ссылки.

Как я всегда говорю, практика — лучший способ погрузиться в ML и чему-то научиться. А если нужна практика, то стоит вспомнить про kaggle. Так вот, на kaggle проводилось несколько соревнований по банковскому фроду *⃣
Делюсь обзорным постом с материалами по фроду. Решения победителей, сами соревнования и еще пара полезных ссылок.

Еще одна ссылка — это подробнейший гайд по решению соревнования IEEE-CIS Fraud Detection от топ-1 #️⃣
Гайд довольно общий и масштабируется на любые DS соревнования.
Please open Telegram to view this post
VIEW IN TELEGRAM
👍9🔥8👏2
🗣Конференции и секции с кейсами применения ML в промышленности. Часть 2
Дополняю свой пост про конференции.

• Уже ежегодный трек ML в промышленности на Datafest'е 2024 доступен по ссылке.

• Доклады по данной теме часто встречал на конференциях от Ontico (TeamLeadConf, HighLoad). В прошлом году коллеги организовывали byteoilconf.ru (помечаем как отраслевую в нефтегазе), видео с нее доступны на ютуб канале, а с этого года появилась industrialconf.ru. За этой конференцией буду следить не только со стороны, но и изнутри, так как являюсь членом программного комитета. 🤓

• Кроме industrialconf встретить отдельные доклады про ML в промышленности можно и на TeamLeadConf, и на HighLoad, и на aiconf.ru. Я тоже на одной из них обязательно выступлю, но пока не совпадает расписание.

Появляются новые большие конференции, значит растет интерес к теме, а это не может не радовать❗️
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥12👍3💯2
🤏Оценка схожести временных рядов

Я ранее рассказывал о библиотеках для решения задач кластеризации и классификации временных рядов. Но что, если нам хочется решить задачу, не применяя эти библиотеки?

🔘Один из подходов: при наличии возможности агрегировать временные ряды и решать задачу как классическую, на табличных данных. Писал о таком примере здесь.

🔘Другой вариант: считать расстояние (меру близости) между временными рядами и кластеризовать/классифицировать их на основе этого расстояния. Делюсь репозиторием, где очень просто и наглядно показано, как считать расстояние (Евклидово и DTW) и как решать на их основе задачу классификации (kNN) и кластеризации (k-means). Для матриц (многомерных временных рядов) можно посчитать норму Фробениуса или другие меры близости.

Еще эти меры близости можно использовать для оценки качества генерации и аугментации временных рядов, о чем упоминал здесь.

А как, думаете, классификация/кластеризация временных рядов в этих библиотеках работает "под капотом"?
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥84👍4
🗃 Библиотеки для работы с временными рядами

Сделал удобную и наглядную визуализацию к этому посту.
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥31👍9👏31
Reinforcement learning в промышленности

Нефтегазовая отрасль и энергетика готовы к RL (но успешных кейсов почти нет)

писал я в этом посте, дополняя информацию из Альманаха ИИ №7. В комментариях как раз возникла дискуссия на тему RL.

Я для вас с новым кейсом. В посте (и Альманахе) пример применения RL в бурении приводится на основе компании Shell, но вот появился доклад, как этой темой занимаются в Газпроме. Эффектов и других бизнес показателей нет, потому что, судя по всему, проект в виде НИРа, и про внедрение речь не идет. Зато есть детали по самим алгоритмам и техническим результатам. Отличное дополнение к кейсам из поста, но еще одно доказательство, что пока само внедрение затруднено или ограничено. Некоторые кейсы RL в Российской промышленности — фактически НИРы без внедрения. Скучно становится DSам в промышленности, понимаю.🧐 Хотя, может, вы поправите меня в комментариях?

Ну а для погружения в RL и доклад можете посмотреть, и Альманах почитать. 👨‍💻
Please open Telegram to view this post
VIEW IN TELEGRAM
👍13🔥3🤔2👏1
🏛 Машинное обучение (ML) в инженерных приложениях: кейс применения

В докладе представлен наглядный пример создания ML-модели для апроксимации физической модели. Этот кейс скорее игрушечный, но он отлично подходит для вкатывания в тему и дополняет мой прошлый пост про ML в инженерных приложениях.

Для лучшего понимания того, где может быть применено машинное обучение для апроксимации, можно посмотреть научпоп лекцию Дмитрия Фомичева про мат моделирование. 🤓
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥9👍53👌1🤝1
📈Задачи на временных рядах

Описал простыми словами специфичные и наиболее распространенные задачи, которые формулируются и решаются при работе с временными рядами. Полезное дополнение для этого и этого постов, в которых вы найдете методы и инструменты для решения задач.

Задачу аугментации наглядно демонстрировал в этом посте.
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍36🔥8💯4
ИИ в промышленности.pdf
212.6 KB
ИИ в промышленности по данным разных аналитических отчетов. Часть 4
Части 1, 2.1, 2.2, 3

Полезный документ от АНО Цифровая экономика с отсортированным по отраслям списком кейсов ИИ в промышленности в России на 02.08.24. В дополнение к нему отчет 📁
Кейсы — это хорошо, но еще лучше послушать доклад от разработчиков и почитать статью на хабре. Как раз такой список материалов я собираю с своем репозитории. Ну и дополняю его регулярно, что тоже важно.

Ранее объяснял в этом посте, почему насмотренность кейсов и чужой опыт важны❗️
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥10👍9👌5❤‍🔥1👏1
📺Вышел мой доклад про RUL на DataFest'е '24.

Надеюсь, это последний раз, когда я рассказываю про RUL (уже были пост в канале, статья №1 на хабр, статья №2 на хабр, доклад на ИИшнице and counting...), но каждый раз хочется слегка улучшить и дополнить материал.🙂
Please open Telegram to view this post
VIEW IN TELEGRAM
👍15🔥73🥰1