Я вчера придумал мем, не могу не поделиться

Я конечно не думал, что это произойдет так рано, но кажется пора писать моим знакомым рокерам и реперам, что пора таки найти работу

Вставил в suno.ai текст кторый писал когда-то давно в школе, ну в целом получился класический сносный эмо рок, который может даже и в чарты при удачном стечении обстоятельств попасть.

Ладно, у эморокеров есть еще шанс написать песни про то как они словили депрессию от LLM

Последние пару недель работал над специальной моделькой-нашлепкой поверх нашей TTS модели, которая позволяет узнать Alignment между текстом и аудио, которое сгенерировал TTS. То есть по сути узнать, когда каждое слово было произнесено.
Сидел корпел над разными подходами к данным, чтобы оно работало точнее, и можно было с минимальной постобработкой запускать эту штуку в стриминге, улучшения были, но все равно работало не идеально.

Вчера решился на отчаянный шаг - добавил еще парочку сверточных слоев.
И оно заработало как надо. Название канала как никогда актуально.

Посвящается всем авторам ТГ каналов про Эй Ай

Я слежу что пишет сама
Знаю все про Гэ Пэ Тэ
Ворлд модели строит Сора
подпишись на мой тэ гэ

Здесь посты и много мемов
Можно слушать и читать
Будешь лучшем в мире сеток
Клоуна не ставьте блять

Когда ты станешь самым смелым
Будешь шарить, больше знать
Будет офер, много денег
Незабудь донат прислать

https://app.suno.ai/song/71d79d32-73f1-42e4-8b55-16809ebfad33

Наконец то

Тест в проде официально узаконен

На углу бектон и баркинг нет общественного парка

Заставляет задуматься, конечно, когда метро Лондона к концу 19 века более разветвленное, чем в Питере в 2024

Конечно много своих «но», однако масштаб поражает. Я думал это будет буквально 5 станций связанных узеньким тоннелем

https://youtu.be/1pMX7EkAhoA?si=caFZeBT6hzbZQKFz

Во первых снова здраствуйте, накатывает меня любовь к работе с какой-то непостоянной преодичностью.

Во вторых, оказывается есть какой-то сайт Amazon Code Guru, что-то типа ответов мейл ру, но про программирование.

В третьих, я там нашел ответ на неочевидный вопрос.
Уже в нескольких проектах у себя наблюдал странное поведение памяти на машине, она росла линейно, пока не кончалась эпоха, после чего потребление падало, так эта пила шла до самого конца.
Я все не мог понять в чем дело, но было не так интересно, потому что у машины был почти терабайт памяти, смысла парится не было, а тут машиинка поменялась и я стал вылетать в OOM.

Оказалось дело в использовании питоновского List.

Using DataLoader with num_workers greater than 0 can cause increased memory consumption over time when iterating over native Python objects such as list or dict. Pytorch uses multiprocessing in this scenario placing the data in shared memory. However, reference counting triggers copy-on-writes which over time increases the memory consumption. This behavior resembles a memory-leak. Using pandas, numpy, or pyarrow arrays solves this problem

https://docs.aws.amazon.com/codeguru/detector-library/python/pytorch-data-loader-with-multiple-workers/#

Очень крутая статья разбора работы VLLM, очень не хватало такого, для общего понимания архитектуры VLLM, чтобы делать какие-то свои модификации, которые не предусмотренны изначальным фреймворком

https://www.aleksagordic.com/blog/vllm

Оказывается в приложении ютуба есть статистика и напоминания потрогать траву и поспать

Технический ютуб за последние время (года три) вырос каким-то невероятными темпами.
Возможно дело еще и в улучшенных рекомендациях.

Вот мне выпало очень хорошее видео с объяснением как работают диффузионные модели, для тех кому не достаточного простого объяснения о том, что они выучивают noise diff для каждого шага.

https://youtu.be/1pgiu--4W3I?si=pCoIjSkQOOw49PYL

Среди тонны булщита и бесполезных статей, где люди в общих чертах описывают какие-то технологии, о внутреннем устройстве которых не имеют ни малейшего, очень приятно встречать такое

https://www.cerebras.ai/blog/moe-guide-debug

Кажется в Telegram изобрели Vast.AI

Неожиданно для себя открыл notebooklm.google.com

Это чуть больше чем чат с моделью, скорее такой research scratchpad, куда можно накидать ссылки, документы и анализировать результат вместе с моделькой.
Вроде как есть колоборативный режим, но я не со всем до конца разобрался.

Закинул ссылку на доку pytorch про управление памятью и ради интереса нажал *Generate video*.

И на удивление вышло очень хорошо. Вашему вниманию обучающий ролик - что такое pined memory и как работает non blocking data transfer.