Разбор ML-задачи: от гипотезы до замера результатов
Для примера возьмем кейс птицефабрики и команды Nord Clan. Да, «Птицефабрика Чамзинская» внедрила в свою работу ML. А именно — компьютерное зрение ML Sense.
Зачем? Для контроля качества. Никто не хочет отправить заказчику куриные тушки с гематомами, но искать брак вручную — трудозатратно.
Процесс решили автоматизировать и внедрить систему на основе машинного зрения и нейросетей ML Sense от Nord Clan.
Какие этапы решала команда:
1. Установка программно-аппаратного комплекса, монтаж оборудования.
Команда подобрала видеокамеры и осветительные приборы. Схема была такая: одна камера «рассматривает» грудку курицы, другая — спинку.
2. Сбор датасета и разметка дефектов на фотографиях.
Чтобы собрать для нейросети достаточно данных, пришлось вручную проводить фотосъемку «дефектных» куриц. При этом нужно было учесть размеры дефектов: порезы — от 10 мм, гематомы — от 300 мм.
3. Настройка и установка контроллеров.
Система работает так: когда машинное зрение видит дефект, подается сигнал на контроллер. После — контроллер подает сигнал на отбраковщик, который снимает бракованную тушку с конвейера.
4. Запуск системы в эксплуатацию, обучение персонала.
И все это — всего за 3 месяца. Результат:
🔵 Дефекты удается заметить с точностью 99%, а выпуск бракованной курицы сводится до нуля.
🔵 Специалистам больше не нужно вручную отбраковывать дефектный товар. Работодатель может поручить им другие задачи или вовсе снизить затраты на персонал.
Вот такой нестандартный кейс. А о каких сферах применения ML слышали вы?
__
Подписывайтесь: "Как приручить ИИ"
Для примера возьмем кейс птицефабрики и команды Nord Clan. Да, «Птицефабрика Чамзинская» внедрила в свою работу ML. А именно — компьютерное зрение ML Sense.
Зачем? Для контроля качества. Никто не хочет отправить заказчику куриные тушки с гематомами, но искать брак вручную — трудозатратно.
Процесс решили автоматизировать и внедрить систему на основе машинного зрения и нейросетей ML Sense от Nord Clan.
Какие этапы решала команда:
1. Установка программно-аппаратного комплекса, монтаж оборудования.
Команда подобрала видеокамеры и осветительные приборы. Схема была такая: одна камера «рассматривает» грудку курицы, другая — спинку.
2. Сбор датасета и разметка дефектов на фотографиях.
Чтобы собрать для нейросети достаточно данных, пришлось вручную проводить фотосъемку «дефектных» куриц. При этом нужно было учесть размеры дефектов: порезы — от 10 мм, гематомы — от 300 мм.
3. Настройка и установка контроллеров.
Система работает так: когда машинное зрение видит дефект, подается сигнал на контроллер. После — контроллер подает сигнал на отбраковщик, который снимает бракованную тушку с конвейера.
4. Запуск системы в эксплуатацию, обучение персонала.
И все это — всего за 3 месяца. Результат:
Вот такой нестандартный кейс. А о каких сферах применения ML слышали вы?
__
Подписывайтесь: "Как приручить ИИ"
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥5😁3👏2❤1
Это будет история одного факапа: однажды ML-проект просто провалился из-за ошибки в коммуникации между бизнесом и командой.
Сперва мы получили задачу, довольно высокоуровневую. И конечно оценивали ее, исходя из двух параметров: реализуемость и качество модели. В то же время заказчик (бизнес) рассчитывал вообще на другое. Только вот мы об этом не знали.
Почему?
Потому что не спросили. Для менеджмента машинное обучение — что-то вроде волшебной таблетки, он не рассуждает с точки зрения технической реализации. А для ML-команды все, кажется, предельно ясно.
Так мы получили месяцы работы впустую из-за того, что говорили на разных языках и не смэтчили потребности бизнеса и технические возможности.
А как вы поступили бы в этой ситуации? Приглашаем к дискуссии 👇🏻
__
Подписывайтесь: "Как приручить ИИ"
Please open Telegram to view this post
VIEW IN TELEGRAM
💯5😱2👍1
Вопрос из поста и правда сложный.
Время назад не повернуть и факап никак не отменить. Остается только делать выводы и учиться на ошибках: направлять команду решать именно те задачи, которые дают эффект в деньгах. Учиться оценивать метрики GMV и Retention.
__
Подписывайтесь: "Как приручить ИИ"
Время назад не повернуть и факап никак не отменить. Остается только делать выводы и учиться на ошибках: направлять команду решать именно те задачи, которые дают эффект в деньгах. Учиться оценивать метрики GMV и Retention.
__
Подписывайтесь: "Как приручить ИИ"
💯4✍3🔥2
Однажды к команде пришли с запросом: надо написать рекомендательную систему для нового сервиса статей. Потенциальных статей для рекомендаций было около 100.
Систему выкатили на прод, получили первые значения конверсии — около 5%. Но как понять, не зря ли работала команда?
Решили провести A/B тест: «Рекомендательный алгоритм» vs «Случайный алгоритм», подбирающий статьи рандомным образом.
И случайный алгоритм показал лучшее значение. В чем причина?
ML-модель мы отключили.
Какой вывод делаем из этой истории? Алгоритм ML должен решать существующую, а не выдуманную проблему. Если проблемы нет, тратить время на ML-решение — дорого и бессмысленно.
__
Подписывайтесь: "Как приручить ИИ"
Please open Telegram to view this post
VIEW IN TELEGRAM
1🤔6😢2🔥1💯1
У нас есть для вас инсайд об отборах в желтый банк. Здесь мы кратко расскажем, какие этапы предстоит пройти соискателю:
1. Скрининг. Все резюме в крупных компаниях проходят автоматизированную «отбраковку»: система отсеивает кандидатов с недостаточным опытом и они получают автоматический отказ.
2. Собеседование с рекрутером. «Подходящее» резюме попадает в руки живому человеку, который снова оценивает ваши компетенции и приглашает на беседу. Все довольно стандартно: вопросы про опыт, достижения, мотивацию, предыдущее место работы.
3. Техническая секция. Здесь начинается самое интересное: проверка ваших реальных знаний, которую проведут опытные специалисты. Это независимые интервьюеры, а не будущие коллеги. Что может включать этот этап:
4. Беседа с нанимающим менеджером. На этом этапе с вами подробно разберут весь опыт работы и достижения. Увиливать здесь тоже не получится: это непосредственный руководитель, который точно знает, где копнуть и заметит, если вы «плывете».
5.Техническое собеседование с руководителем. Этот этап встречается не всегда, но к нему все же стоит подготовиться. Здесь вам тоже предложат разобрать кейс, так что будьте готовы, что встреча затянется.
6. Финальное собеседование с CEO подразделения. Вопросы из разряда «все и сразу»: опыт, мотивация, методы работы с командой. Конкретно в Т-банке встреча проходила очно.
7. Оффер (если вы лучше других кандидатов)!
Интересный факт: после первой технической сессии HR создаст ваш профайл. Профайл шэрится среди нанимающих менеджеров, которые будут решать, хотят они пообщаться с вами или нет.
Ставьте
__
Подписывайтесь: "Как приручить ИИ"
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥12👍3👀3
Как превратить любую базу данных вашей компании в универсальный чат-бот?
С помощью подхода RAG. Из чего он состоит:
R (Retrieval) — система получает запрос пользователя и обращается с ним к базе данных. Базой данных может быть как ваши собственные документы, так и поисковые системы.
A (Augmentation) — создается обогащенный промт: пользовательский запрос + дополнительная информация из вашей базы.
G (Generation) — промт отправляется в языковую модель, чтобы вернуться к пользователю в виде готового ответа. На этом этапе ответ можно «докрутить»: сделать так, чтобы в нем были полезные ссылки.
Что потребуется, чтобы создать своего чат-бота на основе базы данных компании?
🔵 Актуальная база: статьи должны быть написаны в той терминологии, которой оперирует пользователь. Одна статья должна отвечать только на один вопрос.
🔵 Система семантического поиска, которая будет ранжировать и выбирать наиболее актуальную статью (или несколько) на основе запроса, а потом создавать промт. В идеале система должна понимать содержание статей, чтобы сопоставить запрос и нужные понятия. На этом этапе вы можете понять, что по каким-то конкретным вопросом статью найти не получается: значит, базу нужно дополнить.
🔵 LLM (GPT, Gemini, Claude и т.д.), которая скомбинирует данные и предоставит пользователю ответ.
Ваш бот сможет отвечать на базовые запросы, а человек-оператор — заняться более сложными задачами.
__
Подписывайтесь: "Как приручить ИИ"
С помощью подхода RAG. Из чего он состоит:
R (Retrieval) — система получает запрос пользователя и обращается с ним к базе данных. Базой данных может быть как ваши собственные документы, так и поисковые системы.
A (Augmentation) — создается обогащенный промт: пользовательский запрос + дополнительная информация из вашей базы.
G (Generation) — промт отправляется в языковую модель, чтобы вернуться к пользователю в виде готового ответа. На этом этапе ответ можно «докрутить»: сделать так, чтобы в нем были полезные ссылки.
Что потребуется, чтобы создать своего чат-бота на основе базы данных компании?
Ваш бот сможет отвечать на базовые запросы, а человек-оператор — заняться более сложными задачами.
__
Подписывайтесь: "Как приручить ИИ"
Please open Telegram to view this post
VIEW IN TELEGRAM
1✍4👍2🔥1
This media is not supported in your browser
VIEW IN TELEGRAM
Что делать, чтобы ваша LLM не хамила?
На заре своего возникновения большие языковые модели «чудили»: могли давать оскорбительные ответы или гайд «Как собрать взрывчатку у себя на кухне».
Возникла потребность в этических нормах. Например, в России есть «Кодекс этими в сфере ИИ», который диктует основные принципы:
🔵 поднадзорность;
🔵 ответственность;
🔵 непричинение вреда;
🔵 недискриминация.
Такой вот «закон Азимова». Чтобы соблюдать его, нам нужны методы LLM Alignment — выравнивание моделей. Наиболее популярный метод выравнивания — Reinforcement Learning from Human Feedback (RLHF):
Вы делите LLM на две части: первая — предобученный эталон (Reward Model), вторая — учится на своих ошибках. Как она учится?
Разница между ответами двух моделей будет равна определенному «вознаграждению» — числу, которое отражает, насколько ответ второй модели понравится человеку. Здесь-то нам и пригодится наша Reward Model, которая оценит ответы LLM.
__
Подписывайтесь: "Как приручить ИИ"
На заре своего возникновения большие языковые модели «чудили»: могли давать оскорбительные ответы или гайд «Как собрать взрывчатку у себя на кухне».
Возникла потребность в этических нормах. Например, в России есть «Кодекс этими в сфере ИИ», который диктует основные принципы:
Такой вот «закон Азимова». Чтобы соблюдать его, нам нужны методы LLM Alignment — выравнивание моделей. Наиболее популярный метод выравнивания — Reinforcement Learning from Human Feedback (RLHF):
Вы делите LLM на две части: первая — предобученный эталон (Reward Model), вторая — учится на своих ошибках. Как она учится?
Разница между ответами двух моделей будет равна определенному «вознаграждению» — числу, которое отражает, насколько ответ второй модели понравится человеку. Здесь-то нам и пригодится наша Reward Model, которая оценит ответы LLM.
__
Подписывайтесь: "Как приручить ИИ"
Please open Telegram to view this post
VIEW IN TELEGRAM
👍4🔥2😁1
Media is too big
VIEW IN TELEGRAM
Потому что с классической частью легендарной серии нейросеть уже разобралась. И даже научилась строить уровни, основываясь на действиях игрока.
👉🏻Мы о GameNGen — первом в мире игровом движке на основе ИИ, который представили программисты из Google, DeepMind и Тель-Авивского университета. Сперва ИИ долго учился играть в оригинальный DOOM и запоминал правила геймплея. Сформированную базу знаний скормили Stable Diffusion 1.4, которая и научилась воссоздавать кадры игры.
Тут еще есть, над чем поработать: уровни пока получаются бесконечными, на нестандартное поведение игрока GameNGen реагирует «артефактами», да и оперативной памяти тратит много.
Но авторы уверены: геймдев их технология точно пошатнет. Кто знает, может ИИ создаст следующую часть The Elder Scrolls быстрее, чем мы дождемся ее от разработчиков из Bethesda.
__
Подписывайтесь: "Как приручить ИИ"
Please open Telegram to view this post
VIEW IN TELEGRAM
😁4🔥3👍1
ИИ грустит, радуется и переживает за вас, да еще и так реалистично. Как это возможно?
Все благодаря технологии эмоционального синтеза. Для ее внедрения (не обязательно в умную колонку) нужно пройти несколько этапов:
1. Сбор данных.
🔵 Эмоциональные датасеты. Это могут быть текстовые данные с обозначенными эмоциями, аудиозаписи с оттенками чувств в голосе или изображения и видеозаписи с выражениями лица. В общем все, что вам нужно — в зависимости от модели.
🔵 Аннотация данных. Точное аннотирование данных с указанием соответствующих эмоциональных меток. Здесь можно прибегнуть к краудсорсинговым платформам типа Amazon Mechanical Turk.
2. Предварительная обработка данных.
🔵 Очистка данных. Удаление шума и нерелевантной информации из сырого датасета.
Нормализация. Приведите данные к единому формату. Банально: текст к нижнему регистру, удаление лишних символов.
🔵 Извлечение значимых признаков из данных: тон, интонация, паттерны речи и особенности мимики.
3. Выбор и обучение моделей.
В зависимости от того, как должна реагировать ИИ (Текстом? Голосом, как пресловутая Алиса?), нужно подобрать модель и обучить ее на датасете.
4. Тестирование и адаптация моделей.
Например, интеграция механизма обратной связи для постоянного улучшения моделей на основе пользовательских взаимодействий.
Где применяем эмоциональный синтез:
🔵 Виртуальные помощники и чат-боты, которые понимают и реагируют на эмоциональные состояния пользователей. В каждый «Умный дом» — по Джарвису.
🔵 Игры и развлекательные приложения, где персонажи могут демонстрировать реалистичные эмоции. Девочки могут вспомнить, как эволюционировала в этом плане серия Sims.
🔵 Маркетинг и реклама, для персонализации контента. Здесь все просто — давим на «боли» клиента.
Ставьте🔥 , если эмоциональный синтез — круто.
Или 😱, если все еще ловите «эффект зловещей долины»
__
Подписывайтесь: "Как приручить ИИ"
Все благодаря технологии эмоционального синтеза. Для ее внедрения (не обязательно в умную колонку) нужно пройти несколько этапов:
1. Сбор данных.
2. Предварительная обработка данных.
Нормализация. Приведите данные к единому формату. Банально: текст к нижнему регистру, удаление лишних символов.
3. Выбор и обучение моделей.
В зависимости от того, как должна реагировать ИИ (Текстом? Голосом, как пресловутая Алиса?), нужно подобрать модель и обучить ее на датасете.
4. Тестирование и адаптация моделей.
Например, интеграция механизма обратной связи для постоянного улучшения моделей на основе пользовательских взаимодействий.
Где применяем эмоциональный синтез:
Ставьте
Или 😱, если все еще ловите «эффект зловещей долины»
__
Подписывайтесь: "Как приручить ИИ"
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥5👍1😱1
“Тест человеком”
Есть такое понятие, как магическое мышление. По сути это вера в то, что какие-то определенные мысли, действия, знаки могут влиять на реальный мир. Таких примеров полно вокруг нас. Кто-то верит, что черная кошка, которая перебежала через дорогу может испортить ваш день. А другой верит, что если вернулся домой, забыв ключи, надо посмотреть в зеркало.
В последнее время все чаще наблюдаю, что словосочетания Искусственный интеллект и Машинное обучение превратились в обычные заговоры на финансовую успешность продукта. Но как понять, действительно ли пора внедрять Ml в наш продукт? Не тупо ли мы следуем за трендом или нам это действительно поможет?
Предлагаю такой способ проверить. Посмотрите на ваши данные и ответьте на вопрос: Может ли с помощью этих данных решить задачу человек? Например, вы хотите с помощью модели компьютерного зрения определять бракованные товары на вашей производственной линии. Возьмите фотографии с вашей линии и постарайтесь сами найти на них брак. Если у вас получается, то вероятно, есть смысл вкладываться в разработку модели. А если товары неотличимы для вас, то с вероятностью 99% - товары будут неотличимы и для модели. Такой простой Тест человеком поможет сэкономить вам много часов разработки и сконцентрироваться только на тех задачах, которые вы действительно сможете улучшить с помощью Ml.
Есть такое понятие, как магическое мышление. По сути это вера в то, что какие-то определенные мысли, действия, знаки могут влиять на реальный мир. Таких примеров полно вокруг нас. Кто-то верит, что черная кошка, которая перебежала через дорогу может испортить ваш день. А другой верит, что если вернулся домой, забыв ключи, надо посмотреть в зеркало.
В последнее время все чаще наблюдаю, что словосочетания Искусственный интеллект и Машинное обучение превратились в обычные заговоры на финансовую успешность продукта. Но как понять, действительно ли пора внедрять Ml в наш продукт? Не тупо ли мы следуем за трендом или нам это действительно поможет?
Предлагаю такой способ проверить. Посмотрите на ваши данные и ответьте на вопрос: Может ли с помощью этих данных решить задачу человек? Например, вы хотите с помощью модели компьютерного зрения определять бракованные товары на вашей производственной линии. Возьмите фотографии с вашей линии и постарайтесь сами найти на них брак. Если у вас получается, то вероятно, есть смысл вкладываться в разработку модели. А если товары неотличимы для вас, то с вероятностью 99% - товары будут неотличимы и для модели. Такой простой Тест человеком поможет сэкономить вам много часов разработки и сконцентрироваться только на тех задачах, которые вы действительно сможете улучшить с помощью Ml.
1👍4👎1🤔1
Чек-лист для того, кто планирует делать рекомендации
Если вы разрабатываете онлайн-магазин, кинотеатр или другой продукт с тысячами товаров, у вас наверняка есть задача улучшить рекомендационную систему или создать её с нуля. Чтобы через полгода добиться успеха, уже сегодня нужно убедиться, что вы логируете события, полезные для обучения модели. Мы подготовили для вас чек-лист таких событий:
✅ Просмотр страницы товара: пользователь просматривает страницу товара, показывая интерес к нему.
✅ Клик на товар: пользователь переходит к подробной информации о товаре.
✅ Добавление в избранное: пользователь сохраняет товар для дальнейшего рассмотрения или покупки.
✅ Покупка товара: пользователь совершает покупку — сильный показатель интереса.
✅ Глубина прокрутки страницы товара: насколько далеко пользователь прокручивает страницу, демонстрируя интерес к содержимому.
✅ Время на странице товара: продолжительность пребывания на странице, указывающая на заинтересованность.
✅ Добавление в корзину: пользователь помещает товар в корзину, но ещё не совершает покупку.
✅ Удаление из корзины: пользователь удаляет товар из корзины, что может свидетельствовать о сомнениях или изменении предпочтений.
✅ Возврат товара: пользователь возвращает товар, что помогает избегать рекомендаций подобных товаров.
✅ Оставление отзыва или рейтинга: пользователь делится мнением о товаре, оценивает его.
✅ Подписка на уведомления: пользователь хочет получать новости о товарах или акциях, показывая интерес к определённым категориям или брендам.
✅ Взаимодействие с мультимедиа: отслеживайте, если пользователь просматривает видео или слушает аудио о товаре.
✅ Использование фильтров и сортировок: когда пользователь применяет фильтры или сортирует товары, это показывает его предпочтения.
Что еще?
❓Убедитесь, что все эти события логируются и готовы для использования в обучении модели рекомендаций.
❓Убедитесь, что у всех событий есть нужные идентификаторы, все поля заполнены.
❓Адаптируйте события для вашего продукта, например для онлайн-кинотеатра глубину просмотра страницы можно заменить на процент от фильма, который пользователь просмотрел.
__
Подписывайтесь: "Как приручить ИИ"
Если вы разрабатываете онлайн-магазин, кинотеатр или другой продукт с тысячами товаров, у вас наверняка есть задача улучшить рекомендационную систему или создать её с нуля. Чтобы через полгода добиться успеха, уже сегодня нужно убедиться, что вы логируете события, полезные для обучения модели. Мы подготовили для вас чек-лист таких событий:
✅ Просмотр страницы товара: пользователь просматривает страницу товара, показывая интерес к нему.
✅ Клик на товар: пользователь переходит к подробной информации о товаре.
✅ Добавление в избранное: пользователь сохраняет товар для дальнейшего рассмотрения или покупки.
✅ Покупка товара: пользователь совершает покупку — сильный показатель интереса.
✅ Глубина прокрутки страницы товара: насколько далеко пользователь прокручивает страницу, демонстрируя интерес к содержимому.
✅ Время на странице товара: продолжительность пребывания на странице, указывающая на заинтересованность.
✅ Добавление в корзину: пользователь помещает товар в корзину, но ещё не совершает покупку.
✅ Удаление из корзины: пользователь удаляет товар из корзины, что может свидетельствовать о сомнениях или изменении предпочтений.
✅ Возврат товара: пользователь возвращает товар, что помогает избегать рекомендаций подобных товаров.
✅ Оставление отзыва или рейтинга: пользователь делится мнением о товаре, оценивает его.
✅ Подписка на уведомления: пользователь хочет получать новости о товарах или акциях, показывая интерес к определённым категориям или брендам.
✅ Взаимодействие с мультимедиа: отслеживайте, если пользователь просматривает видео или слушает аудио о товаре.
✅ Использование фильтров и сортировок: когда пользователь применяет фильтры или сортирует товары, это показывает его предпочтения.
Что еще?
❓Убедитесь, что все эти события логируются и готовы для использования в обучении модели рекомендаций.
❓Убедитесь, что у всех событий есть нужные идентификаторы, все поля заполнены.
❓Адаптируйте события для вашего продукта, например для онлайн-кинотеатра глубину просмотра страницы можно заменить на процент от фильма, который пользователь просмотрел.
__
Подписывайтесь: "Как приручить ИИ"
👍4
«Арены», на которых бьются не гладиаторы, а LLM
Как оценить эффективность чатов, основанных на LLM? С помощью специальных сервисов.
Например, Chatbot Arena — самый популярный рейтинг LLM. Ареной ее назвали потому, что чат-боты здесь буквально соревнуются между собой за лучшую оценку зрителей.
В режиме баттла юзеры изначально не знают, какую ИИ оценивают.
В режиме side-by-side можно специально выбрать две интересующие вас ИИ и задать им вопрос, чтобы в итоге выбрать подходящую под ваши бизнес-задачи.
Основной критерий оценки — человеческое предпочтение. Поэтому на арене есть таблица лидеров, в которой можно увидеть, сколько голосов набрала та или иная модель. Хотя есть и свои минусы — оценку ставят живые люди, которые также могут быть субъективны.
Аналог арены — сайт Artificial Analysis. Здесь вы тоже можете увидеть рейтинг моделей: оценивается качество, количество выводимых токенов в секунду и стоимость.
__
Подписывайтесь: "Как приручить ИИ"
Как оценить эффективность чатов, основанных на LLM? С помощью специальных сервисов.
Например, Chatbot Arena — самый популярный рейтинг LLM. Ареной ее назвали потому, что чат-боты здесь буквально соревнуются между собой за лучшую оценку зрителей.
В режиме баттла юзеры изначально не знают, какую ИИ оценивают.
В режиме side-by-side можно специально выбрать две интересующие вас ИИ и задать им вопрос, чтобы в итоге выбрать подходящую под ваши бизнес-задачи.
Основной критерий оценки — человеческое предпочтение. Поэтому на арене есть таблица лидеров, в которой можно увидеть, сколько голосов набрала та или иная модель. Хотя есть и свои минусы — оценку ставят живые люди, которые также могут быть субъективны.
Аналог арены — сайт Artificial Analysis. Здесь вы тоже можете увидеть рейтинг моделей: оценивается качество, количество выводимых токенов в секунду и стоимость.
__
Подписывайтесь: "Как приручить ИИ"
🔥5👍3🤔2
Растет спрос на специалистов в области ИИ
Согласно результатам совместного исследования российской платформы онлайн-рекрутинга hh.ru и разработчика платформы для бизнес-коммуникаций и совместной работы "МТС Линк" компании "Вебинар Технологии" в России растет количество вакансий и профессий, связанных с применением искусственного интеллекта (ИИ).
Если верить исследованию, количество вакансий, где требуется навык работаты с ИИ вырос в 3 раза за 3 года.
В частности появились совсем новые профессии, такие как промпт-инженеры.
Остается открытым вопрос: "Когда ИИ заменит промпт-инженеров?"
__
Подписывайтесь: "Как приручить ИИ"
Согласно результатам совместного исследования российской платформы онлайн-рекрутинга hh.ru и разработчика платформы для бизнес-коммуникаций и совместной работы "МТС Линк" компании "Вебинар Технологии" в России растет количество вакансий и профессий, связанных с применением искусственного интеллекта (ИИ).
Если верить исследованию, количество вакансий, где требуется навык работаты с ИИ вырос в 3 раза за 3 года.
В частности появились совсем новые профессии, такие как промпт-инженеры.
Остается открытым вопрос: "Когда ИИ заменит промпт-инженеров?"
__
Подписывайтесь: "Как приручить ИИ"
👍3
Наводите порядок в экспериментах 🧹
Если вы обучаете ML-модели, то могли заметить, что с ростом количества проектов и задач наводить порядок в экспериментах становится всё тяжелее, как следствие:
1️⃣ Теряются результаты экспериментов
2️⃣ Одни и те же эксперименты проводятся по несколько раз
3️⃣ Разработка моделей становится все дольше
Чтобы поддерживать порядок, существуют различные инструменты. Советую обратить внимание на бесплатное решение — ClearML.
Почему стоит использовать ClearML:
1️⃣ Легко сравнивать результаты экспериментов, не теряются параметры лучших экспериментов.
2️⃣ Простота в управлении ресурсами. В ClearML можно распределять задачи по свободным серверным мощностям. Также видно, чей эксперимент "выжирает" память на определённом сервере.
3️⃣ Лёгкость совместной работы. Всем видно, какие эксперименты уже проводились и какие были получены результаты.
Удачи в экспериментах! 💥
__
Подписывайтесь: "Как приручить ИИ"
Если вы обучаете ML-модели, то могли заметить, что с ростом количества проектов и задач наводить порядок в экспериментах становится всё тяжелее, как следствие:
1️⃣ Теряются результаты экспериментов
2️⃣ Одни и те же эксперименты проводятся по несколько раз
3️⃣ Разработка моделей становится все дольше
Чтобы поддерживать порядок, существуют различные инструменты. Советую обратить внимание на бесплатное решение — ClearML.
Почему стоит использовать ClearML:
1️⃣ Легко сравнивать результаты экспериментов, не теряются параметры лучших экспериментов.
2️⃣ Простота в управлении ресурсами. В ClearML можно распределять задачи по свободным серверным мощностям. Также видно, чей эксперимент "выжирает" память на определённом сервере.
3️⃣ Лёгкость совместной работы. Всем видно, какие эксперименты уже проводились и какие были получены результаты.
Удачи в экспериментах! 💥
__
Подписывайтесь: "Как приручить ИИ"
2🔥6
This media is not supported in your browser
VIEW IN TELEGRAM
Нобелевскую премию по физике и химии присудили за открытия связанные с ИИ.
Лауреатами Нобелевской премии по химии за 2024 год стали Дэвид Бейкер — «за вычислительный дизайн белков», а также Демис Хассабис и Джон Джампер из дочерней компании Google — Google DeepMind — «за предсказание структуры белков».
Лауреатами Нобелевской премии по физике за 2024 год стали американский ученый Джон Хопфилд и британско-канадский ученый Джеффри Хинтон за "основополагающие открытия и изобретения, которые сделали возможным машинное обучение с использованием искусственных нейросетей".
Теперь ждем, когда ИИ получит Нобелевскую премию по литературе.
__
Подписывайтесь: "Как приручить ИИ"
Лауреатами Нобелевской премии по химии за 2024 год стали Дэвид Бейкер — «за вычислительный дизайн белков», а также Демис Хассабис и Джон Джампер из дочерней компании Google — Google DeepMind — «за предсказание структуры белков».
Лауреатами Нобелевской премии по физике за 2024 год стали американский ученый Джон Хопфилд и британско-канадский ученый Джеффри Хинтон за "основополагающие открытия и изобретения, которые сделали возможным машинное обучение с использованием искусственных нейросетей".
Теперь ждем, когда ИИ получит Нобелевскую премию по литературе.
__
Подписывайтесь: "Как приручить ИИ"
1😁5👍1
А вы защищаете ваши рекомендации?
Сегодня почти весь контент, который вы видите на сайтах или в приложениях, генерируется рекомендательными системами. Кажется, что все просто: вы кликаете на продукты, которые вам нравятся, алгоритм понимает, что вас интересует, и подсовывает вам похожие товары, видео или посты.
Но даже эту область не обошли стороной злоумышленники. 😈
Есть целое направление: Poisoning Attacks. Цель людей в нем — понять, как "взломать" ваши рекомендательные системы.
Зачем? 🔍
Цели разнятся: от безобидного "ухудшить пользовательский опыт пользователей конкурентов" до вполне конкретного "продвижение своих товаров и своего контента в определенной группе пользователей".
Что делать?
Если вы занимаетесь развитием своей рекомендательной системы, возможно, пора проверить её на устойчивость к таким атакам. Если этого не сделаете вы, то это сделают злоумышленники. 😔
__
Подписывайтесь: "Как приручить ИИ"
Сегодня почти весь контент, который вы видите на сайтах или в приложениях, генерируется рекомендательными системами. Кажется, что все просто: вы кликаете на продукты, которые вам нравятся, алгоритм понимает, что вас интересует, и подсовывает вам похожие товары, видео или посты.
Но даже эту область не обошли стороной злоумышленники. 😈
Есть целое направление: Poisoning Attacks. Цель людей в нем — понять, как "взломать" ваши рекомендательные системы.
Зачем? 🔍
Цели разнятся: от безобидного "ухудшить пользовательский опыт пользователей конкурентов" до вполне конкретного "продвижение своих товаров и своего контента в определенной группе пользователей".
Что делать?
Если вы занимаетесь развитием своей рекомендательной системы, возможно, пора проверить её на устойчивость к таким атакам. Если этого не сделаете вы, то это сделают злоумышленники. 😔
__
Подписывайтесь: "Как приручить ИИ"
🤯2
Хотим поделиться.
Наткнулись на просторах интернета на заметки по AI/ML. Может быть полезным для того, кто хочет разобраться в математике, которая стоит за ML/AI (или у кого есть друзья, которые спрашивают с чего начать).
https://notesonai.com/
Помимо чисто математических формул имеются разборы концепций, например целая заметка про AlphaZero (это которая в шахматы и в го играет). Также в каждой заметке есть ссылки на источники для тех, кто хочет углубиться в материал.
Видно, что человек делал для себя. Спасибо автору, что поделился с нами.
__
Подписывайтесь: "Как приручить ИИ"
Наткнулись на просторах интернета на заметки по AI/ML. Может быть полезным для того, кто хочет разобраться в математике, которая стоит за ML/AI (или у кого есть друзья, которые спрашивают с чего начать).
https://notesonai.com/
Помимо чисто математических формул имеются разборы концепций, например целая заметка про AlphaZero (это которая в шахматы и в го играет). Также в каждой заметке есть ссылки на источники для тех, кто хочет углубиться в материал.
Видно, что человек делал для себя. Спасибо автору, что поделился с нами.
__
Подписывайтесь: "Как приручить ИИ"
👍3🔥1
Три основных подхода к холодным рекомендациям
Холодный пользователь с точки зрения рекомендательных систем — это тот пользователь, о котором мы ничего не знаем.
Мы не знаем, с чем он взаимодействовал, каковы его предпочтения.
В различных сервисах процент таких пользователей может доходить до очень высоких значений, а порой и вовсе до 100%.
Но мы хотим хоть что-то рекомендовать этим пользователям, что же делать? 🤔
Есть три основные идеи:
Популярное.
Давайте показывать холодным пользователям самые популярные товары. Например, товары, которые покупают чаще остальных. Идею можно усложнять, например, показывать по одному популярному товару из каждой категории, чтобы быстрее понять, за какой конкретно категорией товаров пришел пользователь, но суть от этого не меняется.
Общую идею можно сформулировать так: «Если мы не знаем, что тебе нравится, то считаем, что тебе нравится то же, что и всем».
Новое.
Давайте показывать холодным пользователям новинки. Несмотря на то, что эта идея может показаться не такой хорошей, как показывать популярное, она не лишена смысла. Например, если мы делаем онлайн-кинотеатр и к нам зашел новый пользователь, то имеет смысл предположение, что он вероятнее пришел смотреть новый сезон сериала «Триггер», чем «Побег из Шоушенка». Хотя «Побег из Шоушенка» и популярнее.
Новое + Популярное = Тренды.
Третья идея не оригинальна, она просто объединяет в себе первые две. Если мы решили показывать пользователям новинки, то возникает вопрос: «А что конкретно из новинок мы будем ему показывать?». И у нас есть ответ: «Давайте показывать популярные новинки».
Если совсем упростить, то мы делаем следующее: берем последнюю неделю и считаем самые покупаемые/просматриваемые товары только за неё.
Таким образом, мы показываем пользователю не популярные «в целом» товары, а именно те товары, которые популярны сейчас, то есть тренды. 📈
P.S.
Не жалейте времени на разработку холодных моделей, помните, что порой у нас всего один шанс заинтересовать пользователя, ведь в условиях конкуренции на рынке, если мы не заинтересуем пользователя сразу, это сделает наш конкурент.
__
Подписывайтесь: "Как приручить ИИ"
Холодный пользователь с точки зрения рекомендательных систем — это тот пользователь, о котором мы ничего не знаем.
Мы не знаем, с чем он взаимодействовал, каковы его предпочтения.
В различных сервисах процент таких пользователей может доходить до очень высоких значений, а порой и вовсе до 100%.
Но мы хотим хоть что-то рекомендовать этим пользователям, что же делать? 🤔
Есть три основные идеи:
Популярное.
Давайте показывать холодным пользователям самые популярные товары. Например, товары, которые покупают чаще остальных. Идею можно усложнять, например, показывать по одному популярному товару из каждой категории, чтобы быстрее понять, за какой конкретно категорией товаров пришел пользователь, но суть от этого не меняется.
Общую идею можно сформулировать так: «Если мы не знаем, что тебе нравится, то считаем, что тебе нравится то же, что и всем».
Новое.
Давайте показывать холодным пользователям новинки. Несмотря на то, что эта идея может показаться не такой хорошей, как показывать популярное, она не лишена смысла. Например, если мы делаем онлайн-кинотеатр и к нам зашел новый пользователь, то имеет смысл предположение, что он вероятнее пришел смотреть новый сезон сериала «Триггер», чем «Побег из Шоушенка». Хотя «Побег из Шоушенка» и популярнее.
Новое + Популярное = Тренды.
Третья идея не оригинальна, она просто объединяет в себе первые две. Если мы решили показывать пользователям новинки, то возникает вопрос: «А что конкретно из новинок мы будем ему показывать?». И у нас есть ответ: «Давайте показывать популярные новинки».
Если совсем упростить, то мы делаем следующее: берем последнюю неделю и считаем самые покупаемые/просматриваемые товары только за неё.
Таким образом, мы показываем пользователю не популярные «в целом» товары, а именно те товары, которые популярны сейчас, то есть тренды. 📈
P.S.
Не жалейте времени на разработку холодных моделей, помните, что порой у нас всего один шанс заинтересовать пользователя, ведь в условиях конкуренции на рынке, если мы не заинтересуем пользователя сразу, это сделает наш конкурент.
__
Подписывайтесь: "Как приручить ИИ"
🔥4❤2👍1
На что обратить внимание при работе с асессорами? ⚠️
При разработке ML/AI решений мы можем столкнуться со следующей проблемой: мы хотим протестировать наш алгоритм, но по каким-то причинам мы не можем его тестировать на реальных пользователях. В таких ситуациях ML-команды прибегают к помощи асессоров.
Асессор — человек, который привлекается для независимой оценки качества работы алгоритма.
Мы показываем результат работы нашего алгоритма асессорам и просим их оценить, как хорошо справилась наша модель. Это могут быть как оценки по шкале от 0 до 10, так и бинарная оценка: алгоритм задачу решил/не решил.
Несмотря на простоту идеи «Давайте просто спросим у людей, как хорошо справился наш алгоритм», при работе с асессорами надо обратить внимание на некоторые потенциальные подводные камни:
1. Качество подготовки асессоров 🎓
Асессоры должны чётко понимать, какой результат ожидается от модели. Асессорами должны быть либо профессионалы в области, в которой мы применяем алгоритм, либо мы должны подготовить обучающие материалы, чтобы после их изучения асессоры могли правильно оценивать работу нашего алгоритма.
2. Несогласованность оценок ⚖️
Асессоры — живые люди, и им свойственны субъективность и предвзятость. Нам нужно заранее определить алгоритм действий на тот случай, если для одного примера работы AI-модели разные асессоры будут давать разные оценки.
3. Борьба с недобросовестными асессорами 🕵️♂️
Обычно мы платим асессору фиксированную цену за каждый обработанный пример работы AI-алгоритма. Мы должны продумать методы борьбы с теми асессорами, которые будут проверять работу алгоритма недобросовестно, лишь бы заработать больше денег.
4. Безопасность 🔒
При работе с внешними асессорами мы должны убедиться, что к ним не попадают чувствительные данные.
__
Подписывайтесь: "Как приручить ИИ"
При разработке ML/AI решений мы можем столкнуться со следующей проблемой: мы хотим протестировать наш алгоритм, но по каким-то причинам мы не можем его тестировать на реальных пользователях. В таких ситуациях ML-команды прибегают к помощи асессоров.
Асессор — человек, который привлекается для независимой оценки качества работы алгоритма.
Мы показываем результат работы нашего алгоритма асессорам и просим их оценить, как хорошо справилась наша модель. Это могут быть как оценки по шкале от 0 до 10, так и бинарная оценка: алгоритм задачу решил/не решил.
Несмотря на простоту идеи «Давайте просто спросим у людей, как хорошо справился наш алгоритм», при работе с асессорами надо обратить внимание на некоторые потенциальные подводные камни:
1. Качество подготовки асессоров 🎓
Асессоры должны чётко понимать, какой результат ожидается от модели. Асессорами должны быть либо профессионалы в области, в которой мы применяем алгоритм, либо мы должны подготовить обучающие материалы, чтобы после их изучения асессоры могли правильно оценивать работу нашего алгоритма.
2. Несогласованность оценок ⚖️
Асессоры — живые люди, и им свойственны субъективность и предвзятость. Нам нужно заранее определить алгоритм действий на тот случай, если для одного примера работы AI-модели разные асессоры будут давать разные оценки.
3. Борьба с недобросовестными асессорами 🕵️♂️
Обычно мы платим асессору фиксированную цену за каждый обработанный пример работы AI-алгоритма. Мы должны продумать методы борьбы с теми асессорами, которые будут проверять работу алгоритма недобросовестно, лишь бы заработать больше денег.
4. Безопасность 🔒
При работе с внешними асессорами мы должны убедиться, что к ним не попадают чувствительные данные.
__
Подписывайтесь: "Как приручить ИИ"
👍5🔥2❤1🤯1
Если вы задумываетесь о том, что изучить, чтобы легко войти в мир машинного обучения, мы собрали для вас список бесплатных ресурсов по ML!
1 🎓 https://www.coursera.org/learn/ai-for-everyone - англоязычный курс для людей без технического бэкграунда от, пожалуй, самого известного преподавателя AI/ML в мире Andrew Ng.
2 💎 https://www.kdnuggets.com - крупнейший англоязычный портал по интеллектуальному анализу данных. На сайте публикуются новости отрасли, статьи.
3 📊 https://stepik.org/course/76/syllabus - один из лучших бесплатных русскоязычных курсов по статистике. Если пройдёте, то будете значительно лучше понимать как саму статистику в целом, так и то, как работают A/B тесты (а их очень любят спрашивать на собеседованиях).
4 🤖 https://www.youtube.com/@sim0nsays/playlists - русскоязычный онлайн-курс по нейронным сетям. Да, ему уже много лет, но понять основные идеи поможет.
5 📘 https://education.yandex.ru/handbook/ml - онлайн-учебник от Яндекса по основам ML. Можно читать главы в произвольном порядке в зависимости от текущих интересов.
6 🧪 https://ods.ai/tracks - страница с бесплатными курсами от ODS. ODS - крупнейшее в России сообщество по Data Science.
7 🔮 https://www.aiproductinstitute.com/blog - блог со статьями от AI Product Institute. Можно читать прогнозы о том, как будет меняться профессия AI Product Manager в будущем.
__
Подписывайтесь: "Как приручить ИИ"
1 🎓 https://www.coursera.org/learn/ai-for-everyone - англоязычный курс для людей без технического бэкграунда от, пожалуй, самого известного преподавателя AI/ML в мире Andrew Ng.
2 💎 https://www.kdnuggets.com - крупнейший англоязычный портал по интеллектуальному анализу данных. На сайте публикуются новости отрасли, статьи.
3 📊 https://stepik.org/course/76/syllabus - один из лучших бесплатных русскоязычных курсов по статистике. Если пройдёте, то будете значительно лучше понимать как саму статистику в целом, так и то, как работают A/B тесты (а их очень любят спрашивать на собеседованиях).
4 🤖 https://www.youtube.com/@sim0nsays/playlists - русскоязычный онлайн-курс по нейронным сетям. Да, ему уже много лет, но понять основные идеи поможет.
5 📘 https://education.yandex.ru/handbook/ml - онлайн-учебник от Яндекса по основам ML. Можно читать главы в произвольном порядке в зависимости от текущих интересов.
6 🧪 https://ods.ai/tracks - страница с бесплатными курсами от ODS. ODS - крупнейшее в России сообщество по Data Science.
7 🔮 https://www.aiproductinstitute.com/blog - блог со статьями от AI Product Institute. Можно читать прогнозы о том, как будет меняться профессия AI Product Manager в будущем.
__
Подписывайтесь: "Как приручить ИИ"
5🔥5👍1😱1👀1