Несколько лет назад я наблюдал обучение диффузии в одной не очень богатой на карты, но очень богатой организации, и чтобы дешевле проводить архитектурные экспы с диффузией(тогда еще UNET не до конца устоялись, это было до sd1.3) слои инициализировались прошлыми моделями. Ну типа у нас есть уже какие то CONVs, какие то Linear, какие то Cross attn, давайте заберем их с модели которая уже пробежала что то, порешейпим и заработает.

А тут выходит работа где челы показывают все тоже самое, только для DIT и показывают что можно довольно сильно менять архитектуру за <2% претрейн бюджета.

Потом авторы какой то очередной гибридный attn придумывают.

Работа интересна своими аблейшенами + тем что еще один метод перестает быть маргинальным

https://arxiv.org/pdf/2506.05340

Где-то месяц назад решил, что надо бы изучить CUDA более детально и в процессе поиска материалов наткнулся на сообщество GPU Mode.

GPU Mode - сообщество в Discord по CUDA, каждую неделю проходят лекции на 1-1.5 часа, запись которых выкладывают на YouTube, также есть собственный сайт на котором проходят соревнования, где необходимо писать наиболее оптимизированные CUDA ядра для решения различных задач (банальный пример - перевод изображения из RGB в grayscale).

Пока что смотрю только лекции в записи, начал с самой первой лекции, которая была в январе 2024 года, можно сказать материал совсем свежий. Лекции проводятся разными людьми, поэтому качество материала может отличаться от лекции к лекции. Все лекции которые я смотрел (первые 7) устроили по качеству, было 2 лекции, где присутствовали очень спорные тейки и из-за этого были смешанные чувства о материале лекции, но общее впечатление сложилось положительное на момент написания поста. У многих лекций крутые спикеры, например, различные ребята из команды оптимизации в PyTorch, т.е. люди, которые реально используют данные технологии в своей работе.

Часть лекций берет за основу материал из 4-ого издания книги "Programming Massively Parallel Processors: A Hands-on Approach", судя по отзывам отличная книга по CUDA и, что очень важно на мой взгляд, 4-ое издание вышло в 2022 году, т.е. материал в достаточной степени покрывает современное состояние программирования на CUDA.

Я считаю, что изучение CUDA будет полезно, даже если вы ни разу в жизни не примените его на практике, т.к. оно позволит вам понимать:
1. Архитектуру GPU.
2. Различия между GPU, CPU - преимущества и недостатки каждого типа.
3. Как работает различная память, понимая какая память для чего нужна и как работает, можно неплохо оптимизировать свой код.
4. Особенности параллельных вычислений, что позволит избежать глупых ошибок в процессе распределенного обучения моделей, да и в целом будет проще писать код, использующий параллельные вычисления.
5. Как можно дополнительно оптимизировать ваш ML код.

Как пример можно привести Flash Attention, который за счет более умной работы с различными видами памяти (и других оптимизаций) позволяет значительно ускорить реализацию механизма Attention.

С учетом современных реалий, где компании-гиганты обучают огромные модели на огромных объемах данных, вопросы оптимизации становятся все более важными как для самих компаний обучающих такие модели, так и для более мелких компаний, которые адаптируют такие предобученные модели под свои задачи.

#programming

Протестировал неплохую систему Deep Research:
1. Регаетесь тут https://platform.parallel.ai/play/deep-research
2. Получаете 80$ на счет (UPD. подписчик говорит дали 20$, не знаю как это работает)
3. Выбираете Ultra8x и запускаете поиск по какой-то теме которая вам важна

Штука генерирует отчет на основе тысяч страниц, в моих тестах она рассматривала 10-20 тысяч для генерации отчета

P.S. Один отчет стоит примерно 2.4$