ML или бизнес-правила?

Сталкивался с подходом, когда вместо внедрения ML звучит фраза "а давайте сделаем все на понятных бизнес-правилах?". Бизнес-правила, алгоритмы, оно же - Operations Research, помогает в решении многих задач. Я как-то на собеседовании решал задачу поиска оптимального пути и удивился, сколько существует вариантов решения без применения ML.

За алгоритмами стоят изящные идеи. Из-за этого они, в каком-то смысле, слишком просты для окружающей нас действительности. Шаг в сторону ML уменьшает прозрачность для бизнеса, но может сильно добавить в качестве.

Основная проблема для меня была в том, чтобы продемонстрировать бизнесу эту потенциальную пользу от уменьшения прозрачности. Часто такая дуэль заканчивается победой бизнес-правил.
Я же убежден, что два этих подхода могут взаимно дополнять друг друга. Эту простую идею стараюсь транслировать приверженцам бизнес-правил, но все еще не нашел серебряной пули для ответа на вопрос в начале поста.

Почему уже поздно "строить ML в компании"?

Десять или двадцать лет назад ML был не так популярен, про нейронные сети знала малая часть людей. Сейчас же про ChatGPT говорят буквально все. Эта ситуация чем-то напоминает историю с тюлпанами в Нидерландах, а именно частью про падение перегретого рынка. В истории с тюльпанами все кончилось из-за особо активных торговцев, которые постепенно подняли ценник за счет привлечения новых не очень квалифицированных покупателей, через время новых покупателей уже не осталось и пузырь лопнул.

Сейчас многие компании хотят внедрить разного рода ML, при этом малая часть из них действительно способны грамотно работать с этим инструментом. Из-за этого продавец ML-инженер может постепенно поднимать ценник за счет таких вот "новичков" рынка.

В итоге конкуренция за кадры в последние 10 лет выросла кратно, это приводит к инфляции требований как со стороны компаний, так и со стороны ML-инженеров. Рано или поздно не останется компаний, кто не пробовал внедрить у себя ML. Это и будет момент, когда пузырь лопнет.

Я уже начал постепенно готовиться к этому моменту. Если он не настанет завтра, то через год, пять или может пятьдесят. В любом случае выживет тот, кто сумел применить ML в компании эффективно. И я хочу быть в такой команде.

P.S. а может эти рассуждения в целом для IT-рынка применимы.

Все гениальное - просто

Поздравляем всех дам с международным женским днем. Желаем вам искреннего счастья и любви.

Сегодня мы поговорим, о представительницах слабого пола, которые сделали огромный вклад в индустрию IT.

Мэри Микер

В середине 1990-х Мэри открыла глаза мировой общественности на потенциал интернета. В настоящее время она находится буквально в центре всемирной паутины, занимая с 2010 года руководящую должность в инвестиционном фонде, ориентированном на работу с инновационными проектами.
Мэри Микер — выдающийся аналитик Morgan Stanley. Еe отчеты становится настоящим открытием в мире IT–технологий и изучается внимательнейшим образом инвесторами.

Шерил Сэндберг

В 2001 году ей представилась возможность попасть в молодую команду начинающего проекта Google. Там она заняла должность заместителя президента по онлайн-продажам.
Именно здесь ее заметил Марк Цукерберг и пригласил на работу в Facebook лично. Казалось. Сэндберг успешно справлялась с рекламными сервисами и отвечала за некоторые финансовые аспекты деятельности компании. С ее приходом доходы Facebook начали стремительно расти: каждый год почти на 100%.

Киберпанк близко?

Интересное исследование провели в MIT. В статье рассматривается влияние таких GAN-ов как ChatGPT или DALL-E на производительность человека, по сути АБ-тест на скорость выполнения задач. В эксперименте приняли участие 444 человека с высшим образованием. Перед людьми стояли задачи от бухгалтерской рутины до написания кода и его отладки.
Выводы авторов заставляют понервничать - неравенство между работниками уменьшается, так как ChatGPT сжимает распределение производительности за счет большей выгоды для работников с низкими способностями. Инструмент в основном заменяет усилия работников, а не дополняет их навыки, и реструктурирует задачи в сторону генерации идей и редактирования, а не черновой работы.

Опасность для сотрудника, как мне кажется, в том, что "творческая часть" в работе занимает не основную часть времени, а значит основной объем работы многих профессий, в том числе и моей, уже может быть автоматизирован.

Список вопросов для выявления потребности и ожидания бизнес-заказчика от ML проекта:
1. Какого результата хотите достичь с помощью машинного обучения? Как будет выглядеть бизнес после внедрения ML?
2. Какие проблемы существуют в компании/проекте, которые хотите решить с помощью ML?
3. Какие данные собираете и храните в настоящее время? В каком формате они представлены? Как часто и качественно собираются данные?
4, Какой объем данных есть? На какую глубину истории доступны данные?

Ответы на эти вопросы помогут понять, какие требования предъявляются к проекту, какие данные доступны, какие цели и ожидания у бизнес-заказчика, и позволят разработать наиболее подходящую стратегию реализации проекта.

Может я забыл что-то спросить?
Буду рад дополнительным вопросам, которыми нужно дополнить список. Получим максимальную прозрачность от бизнес-заказчика!

#тру_стори

Как я nginx побеждал

Потребовалось как-то настроить конфиги для nginx так, чтобы отдавать статик-файлы в обход сервиса. Раньше таким не занимался и в целом ML-инженеру такая задача попадается редко, скорее это типичная задача бекенд-разраба. Сначала все шло не по плану, но через пару часов поиска решение было найдено, задача вроде как сделана, но осталось чувство "а деньги?" 🤷‍♂️

Спортивный интерес привел меня куда?
Правильно - в ChatGPT опять этот ваш ChatGPT из каждого утюга. Закинул туда конфиг, указал на ошибку и попросил исправить. В этот момент я понял, как мог сэкономить пару часов.

Дополняю список вопросов для выявления потребности и ожиданий бизнес-заказчика от ML-проекта:

5. Какие метрики и показатели важны для измерения профита от внедрения машинного обучения?
6. Какие бизнес-процессы наиболее подходящий для автоматизации с помощью ML?
7. Какова ваша ресурсная оценка для этого проекта по времени?
8. Какие человеческие ресурсы вы готовы выделить для реализации проекта?

Теперь вопросы охватывают больше важных мест, но одного списка вопросов явно недостаточно для полноценного планинга.

Что такое RL?

RL-алгоритмы (Reinforcement Learning или обучение с подкреплением), в отличие от прогнозных моделей, взаимодействуют с внешним миром и получают от него фидбек. Цель RL-алгоритма заключается в получении максимальной выгоды от принятого решения. Например собаки, которых обучают новым трюкам, получают лакомство в случае правильного выполнения команды. Собака пытается довести до максимума количество получаемых угощений и пытается изучить дополнительные навыки для увеличения вознаграждения.

Еще один из примеров применения RL — поиск выхода из лабиринта. Изначально, ничего не известно о лабиринте. Исследуя разные варианты, алгоритм учится находить кратчайший путь к выходу.

Сегодня даже в новостях написали про выход GPT-4, сама преза была еще вчера. Вот статья, где OpenAI рассказывают про особенности этой модели.

Из интересного можно выделить, что разные профессиональные тесты на юриста или медика модель стала проходить сильно лучше GPT-3.5 и иногда лучше, чем 90% всех сдающих. Еще появилась возможность передать в инпут картинки и учесть их в контексте. Например можно передать верстку сайта в виде картинки и попросить закодить фронт по этой верстке. На этом моменте фронтендеры напряглись 🖥

Самое интересное, на мой взгляд, находится на 12 странице в блоке "Model-Assisted Safety Pipeline".
Авторы пишут, что при получении небезопасных входных данных модель может генерировать нежелательный контент, например давать советы о совершении преступлений. Чтобы эту ситуацию поправить используют специальные обучающие подсказки и модели вознаграждения, основанные на правилах. По сути именно в этом месте используется reinforcement learning with human feedback (RLHF). Неужели OpenAI собрали датасет с рекомендациями по безопасности обработки запросов?
Похоже RL с его универсальностью обратной связи будет и дальше жить в связке с языковыми моделями.

Этот ваш ChatGPT из каждого утюга слышно

Неделю назад был пост про увеличение производительности труда и статью от ребят из MIT.
Что мне, как ML-инженеру, делать в связи с этим всем киберпанком?

Какой именно спрос работник, как профессионал, удовлетворяет?
Когда-то существовала профессия трубочистов и людям платили за работу, в которой сейчас никто не нуждается. Возможно это один из ярких примеров закона "спрос рождает предложение".
Я, будучи ML-инженером, удовлетворяю спрос на внедрение соответствующей технологии. Но истинная потребность компании не в моделях машинного обучения или микросервисах. Истинная потребность более сложна и состоит из нескольких частей.
Во-первых, быть более конкурентной компанией, ведь большинство инноваций - это битва с конкурентами.
Во-вторых, закрывается часть менеджерских потребностей по адекватному распределению ресурсов - какими силами и средствами будем внедрять.
В-третьих, закрывается потребность в "продуктовом видении" - зачем и как применять инновации.

Есть еще несколько аспектов, но перечисленные, на мой взгляд, наиболее яркие. Хотя в комментариях можно высказать другое мнение.

С точки зрения удовлетворения этих истинных потребностей появление ChatGPT и подобных инструментов - хорошее явление. Ведь это просто более эффективный инструмент моей работы. Как появление компьютера в эпоху печатных машинок. Осталось только научиться пользоваться компьютером. История показывает, что процесс этот будет болезненным.

Где применяется RL?

В Tesla для планирования путей беспилотных автомобилей при самостоятельной парковке. Количество возможных путей с каждым движением растет экспоненциально. Это приводит к тому, что традиционные методы планирования пути слишко долго работают. На AI Day компания Tesla показала алгоритм, основанный на AlphaGo, направленный на решение этой проблемы с помощью RL. Но иногда случаются казусы как на картинке :)

Ещё одно полезное применение RL — охлаждение дата-центров в Google. Дата-центры потребляют огромное количество энергии, а компьютеры, которые в них содержатся, рассеивают эту энергию в виде тепла. Поддержание дата-центра в работоспособном состоянии требует применения серьёзных и дорогих систем охлаждения. Благодаря RL Google смогла развернуть системы охлаждения, которые включаются лишь по необходимости, что позволяет исключить работу "в холостую".

Недавно заходил в Decathlon за покупками спортивной снаряги. На кассе спросили телефон и почту, который называть я отказался. Выяснилось, что обязательным условием продажи является участие в их "программе лояльности". После такого заявления какая-либо лояльность у меня сразу пропадает.
В итоге свои данные оставила жена, которая не видит проблем с распространением таких данных. А я ушел с мыслью, что ценность данных не всем так очевидна.