"Синтезируй это"

Небольшой пост про конвейерные ленты и одну из самых частых болей в таких проектах — данные.

Контроль состояния лент — классическая индустриальная задача: порезы, обрывы, оголённые корды, пробои, артефакты на поверхности.

Проблема в том, что самые важные события почти не происходят. И это хорошо для производства, но плохо для обучения моделей

Когда доступных данных недостаточно или наблюдаемые события крайне редки (например, обрыв ленты или специфический дефект изделия), синтетическая генерация данных становится не “костылём”, а инструментом.

Особенно если смотреть на задачу в рамках датацентричного подхода: часто улучшение качества и разнообразия датасета даёт больший эффект, чем бесконечный тюнинг архитектуры.

Зачем вообще нужна генерация в таких проектах:

1. балансировка классов — когда критичный класс занимает, например, 1% датасета
2. моделирование редких сценариев — тех, что почти не встречаются в реальности
3. симуляция условий инференса — освещение, фон, загрязнения
4. подготовка pretrain-датасетов — для более устойчивых feature-экстракторов
мы давно ушли от подхода “прилепить патч и размазать блюром”.

Модель очень быстро учится детектировать сам блюр – на верхнем фото это хорошо видно по сегментированным патчам, а не дефект — в итоге получаем ложные срабатывания и хрупкое поведение.

Что работает на практике:

Image composition / inpainting.

Подходы с использованием PowerPaint, HD-Painter — когда у нас есть объект и маска, и мы аккуратно “встраиваем” его в разные сцены. Удобно для переноса дефектов между типами полотна.

Diffusion-модели.

Stable Diffusion полезны, но в индустрии работа с промтами чаще всего не наш основной сценарий. Слишком много свободы там, где нужна управляемость.

ControlNet (мы пользуемся из AnyDoor или libcom ).

Позволяют жёстко задать структуру дефекта и при этом варьировать условия. Один и тот же дефект — разный фон, освещение, текстура.

Гибридные подходы.

Часто берём реальные изображения, добавляем дефекты генеративно, а потом усиливаем вариативность аугментациями.

Моё мнение из практики: лучше всего работают подходы “объект + маска ➡️ аккуратная вставка”, а не генерация “с нуля по тексту”. Из инструментов — AnyDoor, Libcom сейчас закрывают большинство задач.

Пару практических субъективных рекомендаций напоследок:

1. используйте генерацию там, где вы контролируете семантику
2. проверяйте, что изображение осмысленно и пригодно для разметки
3. комбинируйте с активным обучением: самые «неуверенные» примеры — самые ценные

Синтетика — это не про “обмануть модель”. Это про то, чтобы показать ей мир чуть шире, чем удалось собрать камерами. А что вы используете вы? 😉

На GPU Mode недавно вышла 3-х часовая лекция про RL, Агентов и фреймворк для создания и работы со средами OpenEnv.

Выступают рассказчики из unsloth, лицехватс и разработчики торча.

Довольно содержательно и познавательно. В частности, разбираются характерные нюансы и проблемы обучения с подкреплением.

Качественный и иллюстративный получасовой видеообзор субквадратичных аналогов внимания.

В частности, разобраны:
• Linear Attention
• Gated Linear Attention
• Gated Delta Net
• Titan

Открыты решения хакатона «По страницам»

Ты поработаешь с данными от LiveLib, чтобы создать рекомендательную систему с балансом между «это мне точно нравится» и «ого, этого я еще не видел!».

Каждый участник:
📌 Решит практический бизнес-кейс: работа с крупнейшим книжным сервисом;

📌 Прокачает навыки в ML: предстоит настройка ранжирования и сложная пост-обработка данных;

📌 Поборется за часть призового фонда, который составил 1 000 000 рублей.
Победители получат:
1 место — 250 000 рублей
2 место — 150 000 рублей
3 место — 100 000 рублей
Это прекрасный шанс заявить о себе в одном из самых востребованных направлений Big Data.

Регистрируйтесь: https://ods.ai/competitions/nto25-26-hack

🔥Курс по Deep Learning (Fall 2024) от MIT доступен онлайн!

Один из лекторов - Phillip Isola, чень крутой ресерчер в Computer Vision. Олды помнят его легендарный CycleGAN (2017).

Выложили и слайды, и доп материалы, и видео лекций, и домашки (можете по-честному их выполнить и отправить на проверку в Claude Code :))

Очень качественный базовый курс. Если хотите разобраться в Deep Learning немного глубже промптов, то очень рекомендую к просмотру!

Курс целиком можно скачать тут:
https://ocw.mit.edu/courses/6-7960-deep-learning-fall-2024/video_galleries/lecture-videos/

P.S. Еще один хрестоматийный курс по DL - это Стенфордский CS231 от Карпатого.

#ликбез
@ai_newz

⚡️ Врываемся на студкемп по аппаратной разработке умных устройств от Яндекс Образования. Осталось 5 дней на регистрацию!

Две насыщенные недели обучения в Москве, с 13 по 24 апреля. В программе — лекции и домашние задания, практические задания и командный проект. Среди спикеров: разработчики Яндекса, участвовавшие в создании Алисы и других умных устройств, а также преподаватели ФПМИ МФТИ, ФКН ВШЭ и эксперты ШАД.

Что даст студкемп:

1. Понимание цикла разработки умного устройства: от идеи до готового продукта.
2. Навыки интеграции машинного обучения в устройства с сохранением их скорости и предсказуемости, даже при ограниченных ресурсах.
3. Знакомство с современными подходами в исследованиях и разработках.
4. Новые знакомства и обмен опытом с профессионалами.

Участие бесплатное. Организаторы покрывают расходы на проезд и проживание для тех, кто прошел отбор. Для тестового потребуются знания C++ или Java/Kotlin, умение работать с командной строкой.

Регистрация открыта только до 22 февраля. Узнать подробности студкемпа и зарегистрироваться можно по ссылке.