Katser
2.28K subscribers
93 photos
7 videos
10 files
137 links
Авторский канал @ykatser по data science, машинному обучению и искусственному интеллекту в основном в задачах промышленности, но не только
Download Telegram
Доменная экспертиза для DSов в промышленности

🔵Одним из требований (или одной из составлящих) профессии датасайентиста является экспертиза в доменной области. В промышленности это требование имеет еще большую важность из-за большой ответственности (промышленные объекты являются опасными или объектами промышленного риска), сложности технологических процессов и пересечения с разными смежными науками (физика, химия, механика и тд). К тому же уровень экспертизы прямо влияет на успешность проекта, писал здесь:
Я пойду дальше и скажу, что умение разбираться в технологическом процессе даже важнее, чем навыки DS. Недавно обсуждали с Head of DS крупной промышленной корпорации, что выше вероятность сделать проект и принести эффект у “технолога с небольшими навыками DS”, чем у “DSа с небольшими знаниями технологии”.


🔵Погружение в доменную область обычно является частью этапов PoC, пресейла, предпроектного обследования, но продолжается обычно на протяжении всего проекта. Более того не нужно думать, что, узнав процесс на одном производстве, вы теперь знаете все подобные производства. Конечно, физика и химия в обогащении меди или золота не меняется от фабрики к фабрике, но "дьявол кроется в мелочах". Поэтому готовьтесь проходить процесс погружения (пусть и в укороченном виде) на каждом проекте и каждом производстве отдельно. Бесспорно: с опытом становится легче и многие нюансы повторяются.

Как нарабатывать экспертизу?
Оптимальным планом я считаю следующий:
1️⃣Короткое погружение в теорию (2 дня-2 недели):
• Начать с видео на ютубе, типа такого или такого. А вот (часть 1, часть 2) хороший пример простых материалов по процессу с золотом.
• Можно начинать изучение тех регламента, инструкций, схем цепей и механизмов и тд.
• Стоит перерисовать схему производственного процесса в упрощенном и понятном виде, нанося релевантную информацию: точки измерений, узкие места, длительность операций, количество отказов, управляющие воздействия (можно прямо в терминах MV, CV, DV), последовательность операций, движение продукции, потоки. Можно даже потоки данных, но лучше как-то схемы разделять. Пример такой PFD диаграммы на картинке.
2️⃣Практическое знакомство с производством (1-2 недели):
• Экскурсия, вопросы по итогам теоретического погружения
• Инсайты от производственников из "курилки"
• На этом этапе уже важно иметь глоссарий аббревиатур, терминов и жаргонизмов
3️⃣Комплексное глубокое изучение (от 2 недель и до конца проекта):
• Теория процессов и технологии (учебники, статьи, аналитические материалы)
• Практика производства (консультации с производственниками, повторные командировки)
• Анализ данных и референсы (EDA и изучение данных, дозапросы данных и уточнение инсайтов, анализ опыта решения задач коллегами в отрасли из аналитических отчетов, публичных материалов, референс визиты в другие компании и общение с коллегами)

Лучше опыта работы, нахождения на производстве, общения с персоналом ничего нет. Но, чтобы не раздражать персонал глупыми вопросами, базовые теоретические знания стоит получить до общения.

Хорошо дополнит пост слайд "Изучение контекста задачи" с конкретными шагами на старте проекта от Вячеслава Козицина из Еврохима.

Как сохранять экспертизу?
Важно сохранять знания и артефакты в какую-то базу знаний (wiki, confluence). Это важно не только для данного проекта, но и для подобных проектов в будущем. К тому же это важно не только для себя, но и для команды проекта, например, на этапе предпроектного обследования 1 человек погружается и готовит материалы, а на старте проекта уже вся команда погружается, используя подготовленные материалы. Какие артефакты:
• Глоссарий терминов
• (если возможно) Фото и видео оборудования, тех процесса
• Краткое описание и характеристики оборудования, процесса
• Схемы тех процессов в понятном/упрощенном виде с комментариями и актуальными расположениями элементов (они регулярно меняются и могут отличаться от тех инструкций)
• EDA с комментариями, гипотезами и инсайтами
Please open Telegram to view this post
VIEW IN TELEGRAM
👍13🔥93👏1
Моделирование работы гидроциклона для очистки воды от нефти с помощью ML
Поделюсь интересной статьей с хабра — поддержим коллегу❗️

Отмечу несколько моментов:
Согласен с формулировкой "Если разработанное решение решает задачу уже на в полуавтомате 3+, то это уже успех". Называю это иногда "инженерный подход". Сюда же отношу всегда транслируемый мной фокус на решении задачи, а не внедрении ИИ любой ценой. Другими словами: если решение без ИИ или простая линейная модель решает задачу достаточно качественно, то это прекрасно. Даже лучше, чем ИИ. Разве что мы гонимся за кэггловской точностью, но это редкость в промышленности.
Тот самый пример "технолога с навыками DS" — специалиста с глубокими знаниями в предметной области с навыками работы с данными, статистики и ML. По моему мнению — эффективное сочетание. Дальше только качать знания в DS, ну и другие навыки подтягивать (скоро расскажу о навыках).
Схемы и майндмапы💯. И для себя, и в инструкциях, и в презентациях решения. Такие, чтобы архитектура, подходы, варианты были всем понятны. Это требует время, но всегда окупается.
Простая модель и интеграция в EXCEL (чтобы совсем бесшовно интегрироваться в бизнес-процесс) — отличное решение для реальной задачи.

📎В репозиторий тоже добавил
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥16👍11
Очередной майлстоун в моей "карьере" исследователя: если раньше было 💯 цитирований моего профиля всего, то теперь 💯 цитирований пробила всего лишь одна статья.

Станет постоянной рубрикой: будем вместе отмечать поздравления от scholar.google❤️
Please open Telegram to view this post
VIEW IN TELEGRAM
1👍4613
AI/ML/DS в вибродиагностике. Часть 2 — погружение
Часть 1. Продолжаем с Даниилом цикл, посвящённый вибродиагностике роторного оборудования.

⛓️‍💥Неразрушающий контроль
Вибродиагностика является частью более обширной области неразрушающего контроля (см. ГОСТ Р 56542-2015). Последнее означает, что нам не требуется демонтировать и разбирать оборудование для оценки его технического состояния. При этом, существуют как активные методы, связанные с искусственным воздействием на диагностируемый объект (ультразвуком, ударными импульсами, электромагнитными полями и тд), так и пассивные. Последние собирают информацию об оборудовании во время его работы. Этим они и привлекательны, поскольку о возникшей неисправности можно узнать сразу или даже заранее, не останавливая производственный процесс. Возвращаясь к вибродиагностике, постулируем, что вибрация изменяется одновременно с изменением состояния оборудования [1]. Этот и другие факты делают вибродиагностику одним из самых распространённых методов неразрушающего контроля. При этом, не стоит забывать о контроле температуры подшипников и измерении фазного тока электродвигателя❗️

Информативность вибрации
Измерение вибрации привлекательно ещё и тем, что вибрация очень информативна. Она содержит в себе информацию о взаимодействии деталей машины между собой и с окружающей средой, поскольку представляет собой перемещение элементов упругой системы под воздействием на неё динамических сил. Кстати, эти силы возникают как в ходе нормальной эксплуатации машины, так и при отклонении её состояния от нормы. Они имеют механическую природу (кинематические силы и силы дисбаланса), электромагнитную или аэро-, гидродинамическую природу [2].
Но у такой информативности есть и обратная сторона: нужны методы для разделения компонентов вибрации и интерпретации полученных результатов. Измеренная в каждой точке вибрация является суперпозицией производимых несколькими элементами колебаний. Методы её обработки, разработанные исходя из наших физических представлений и накопленной диагностами практики, учитывают это. В дальнейшем пробежимся по многообразию существующих методов и поймём, почему они появились и используются. При этом, речь будет идти о диагностике роторного оборудования по сигналам его вибрации, записанным во время его работы.

💯Базовые понятия
• Под "вибрацией" можно понимать перемещение s(t), скорость v(t), ускорение a(t) поверхности в точке измерения. Все три величины однозначно взаимосвязаны (рис. 1), поэтому можно измерять одну из них, а другие высчитывать [3]. В большинстве случаев, используется сигнал виброускорения, чего будем придерживаться и мы (если не сказано иное). В таком случае для измерения вибрации используется акселерометр.
• Выбор точки измерения очень важен, но в большинстве случаев вибрация измеряется на корпусе машины в месте установки подшипника (рис. 2-4). Считается, что в этой точке "слышны" колебания самого подшипника, вала и насаженных на него элементов (например, рабочих и зубчатых колёс). При этом, корпус должен быть монолитным, а датчик устанавливается перпендикулярно оси вращения вала и не отделяется от корпуса подшипника крышкой, кожухом и т.п.
• Дополнительные точки установки — в месте крепления оборудования к фундаменту, на корпусе ступени насоса. Подробнее об установке датчиков см. [2], раздел 4.2.
• Упомянутая здесь "слышимость" элементов связана с затуханием высокочастотных колебаний в материале. А лучшая проводимость обеспечивается в наиболее жёстких элементах конструкции. С этим связана и возможность локализации дефекта: в выбранной точке в выбранном направлении (как правило — радиальном, реже выбирается осевое) датчиком регистрируются колебания нескольких элементов. Существуют методы, как разделяющие вибросигнал на компоненты, так и нет, о чём поговорим в дальнейшем.

📚Список литературы
[1] Абрамов И. Л. Вибродиагностика энергетического оборудования
[2] Барков А. В. и др. Мониторинг и диагностика роторных машин по вибрации
[3] Brandt A., etc. Integrating time signals in frequency domain – Comparison with time domain integration
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍14🔥721
Исследование специалистов по работе с данными — 2025

В прошлом году вышел интересный отчет от DevCrowd по тому, как работают дата-инженеры, аналитики, дата-сайентисты, ML-инженеры. Но, признаюсь, мне не хватило отраслевой специфики и, в частности, информации про промышленность 👨, типа:
• источники знаний
• популярные авторы
• особенности инструментов
• и тд

Ребята из DevCrowd рассказали, что для выделения направлений не хватило данных (иронично, что это частая проблема в промышленности). Поэтому предлагаю в этом году накинуться всем вместе и обогатить их датасет. Это в наших же интересах❗️

📝 Опрос займёт 15 минут, результаты обещают в открытом доступе в августе.

💪 Пройти опрос
Please open Telegram to view this post
VIEW IN TELEGRAM
7👍5🤝3🔥1
👨От хакатона до автоматизации флотации: путь в промышленный AI

Дисклеймер: Триумфальное возвращение в рабочий режим! Накопилось много материалов и новостей, но давайте обо всем по порядку.

Сегодня делюсь интервью, собранным в виде статьи на хабр.

О материале:
Как попасть из Бауманки в AI-индустрию, почему важно не просто разработать модель, но и довести её до пузырей в бочке и настоящего результата. Выяснили, почему ИИ в промышленности — это больно, сложно и страшно интересно, как правильно не спать на хакатонах, зачем дата-сайентисту понимать производство и почему настоящий результат — это когда твой алгоритм управляет процессом в цеху размером с футбольное поле.
Руководитель направления анализа данных в Rocket Control, член программного комитета Industrial++, призёр 14 хакатонов, бывший атомщик и фанат системного подхода Юрий Кацер о том, как применять машинное обучение в производстве.


Материал дополняет мои прошлые статьи (вдруг кто-то не видел):
🔘 Путь в Сколтех лежит через хакатон
🔘 5 историй с хакатонов
🔘 Ролик в рамках проекта "Молодые ученые России"

Про технику мало, про путь и хакатоны много, enjoy❗️
Please open Telegram to view this post
VIEW IN TELEGRAM
👍12🔥107💯1
Скоро расскажу, как я сменил промышленность на другую отрасль экономики, но пока делюсь папкой с дружественными каналами! С кем-то знаком лично (и даже вместе учились), кого-то читаю, с кем-то только познакомился, но ребята 🔥 Каналов много, каналы разные, рекомендую, потому что важно расширять кругозор. Тогда можно и бестпрактис приносить в ту же вечно отстающую промышленность, и домен сменить при желании.

Хотите примеры?
- ML system design RAG системы (и там еще много такого) от Димы — это теперь часть моей деятельности, так что готовьтесь к нашествию LLM на канале
- Канал Кирилла с хардовой математикой, например, разбор известных в промышленности SSM: 1, 2, 3. Как говорится «тайм сириесы мы любим» 📈
- Какие зарплаты обещают разные курсы онлайн школ в аналитике данных — ну очень системная и полезная аналитика для начинающих (и не только) специалистов, вопрос постоянно мне задают
- У Саши на канале много тем и все интересные, хотя бы пост про играющего тимлида - отлично дополняет мои посты про лидов
- Ну а датасеты — моя отдельная слабость🫠 Про промышленность это ко мне, а вот про другие области — к Даниилу

Список можно продолжать бесконечно: есть и про общение с бизнесом, и личная жизнь успешных руководителей, и про аналитику…
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥291312👏6👍2🗿21
Каминг-аут

Как за последнее время пошутили несколько коллег и знакомых: «Ну когда уже совершишь?» 🙂 Бэйдж, кстати, с конференции industrial++ (но этого года) на которой я еще состою в программном комитете, но уже не принимаю активного участия. Это одна из последних активностей по теме промышленности, что у меня вообще остались. Хотя на доклады я не попал, зато успел на афтерпати, был рад видеть всех знакомых и друзей💗

Но в этом посте хочу поделиться своим мнением наблюдениями по состоянию ИИ в промке и немного рассказать о причинах смены отрасли. Пункты слегка перемешаны, придется потерпеть, пока я вхожу в писательский тонус.🫠

🔵Инвестиции в RnD остановились. Если есть хоть минимальный риск не окупиться, зрелые компании (что заказчики, что подрядчики) не запускают проект. Есть исключения в виде редких отдельных грантов и отдельных кубышек и программ инновации, чтобы не сокращать людей, например. Хотя и раньше инвестиции в RnD были минимальны.
🔵Массовый исход ДСов из промышленности. Связано и с бумом LLM (в промышленности задач и проектов минимально), и с зарплатами (в промышленности не растут, даже инфляцию не покрывают, даже хорошим специалистам), и в целом с остановкой хайринга в промышленности. При этом банки и е-комы (особенно некоторые, типа ВБ) найм чуть ли не нарастили. Вот и выбирает ДС в промышленности: из компании уйти хочешь, а в других компаниях вакансий нет, приходится смотреть в сторону, даже если фанат промки. Тем более везде платят больше!
🔵Привлекательность промышленности для ДСов. Противоречие❗️ По-прежнему для ДСов из других областей задачи в промышленности кажутся интереснее, потому что необычно, можно "пощупать" результат, много неДСерских вещей, типа командировки in the middle of nowhere. Но потом они узнают зарплаты и реально чем придется заниматься (не ML)...
🔵GenAI не взлетает. Спорно, но расскажите про ваши эффекты, интересно. Коротко: специалистам платить не готовы, с эффектами проблемы, инфра дорогая = давайте подождём или что-то потестим бесплатно за счет подрядчиков. Ну ладно, протоколирование совещаний внедрим. В остальных отраслях совершенно другой уровень развития этого направления.
🔵Сокращения и оптимизации. Буквально цитирую руководителя цифровизации крупной промышленной корпорации: «в этом и следующем году денег на подрядчиков и работы не будет, нам бы своих оставшихся сотрудников сохранить». Это не у всех и не везде, но встречается. ИТ и цифра идут под нож вперед производства, что логично. С первым пунктов связано, так как ИИ часто и есть RnD.
🔵Сокращается количество вендоров, аутсорса и команд по ИИ в промке. Можно ставить ставки, сколько компаний останется в следующем году. Уже по пальцам одной руки можно пересчитать компании, занимающиеся оптимизацией процессов и ТОиР. Зато те, кто выживет, заберут рынок, когда (если) деньги появятся. Главное - пережить.
🔵Ценность уникальной экспертизы. Это не свежий тренд, но постоянно встречал, как уникальные специалисты, работающие с какой-нибудь больше не поддерживающейся АСУТП заламывают цены на свои услуги. К ИИ относится меньше.

Я вешаю «промышленный» бейдж на гвоздь (спортивная аналогия вам), но когда-нибудь возможно вернусь.👨

Так как тема острая, то уточню: это моя позиция, все совпадения случайны, на истину не претендует и тд. А поспорить вэлком в комментарии👇
Please open Telegram to view this post
VIEW IN TELEGRAM
437👍22🎉5👀5🎃2🗿2😁1🙏1
Вакансии❗️

ПС Senior DS (LLM Engineer) ко мне, поэтому можете писать с вопросами мне напрямую🦞
Please open Telegram to view this post
VIEW IN TELEGRAM
👍2
Forwarded from Reliable ML
Ищу к себе в команду
Пост от Иры

- Senior DS (LLM Engineer). Автоматизация бизнес-процессов.
- Data TechLead в команду управления данными - развитие Data & AI-платформу и сервисы для домена
- TechLead ML/AI и данных в антифроде
- Owner команды data governance и системного анализа. Улучшение данных на уровне большого домена.

По любым деталям - ко мне в ЛС.
В заголовке резюме или в сообщении, пожалуйста, пишите, какая вакансия интересна.

Ваш @Reliable ML

#reliable_ml #vacancies
🔥114💯3