Тест в проде официально узаконен

На углу бектон и баркинг нет общественного парка

Заставляет задуматься, конечно, когда метро Лондона к концу 19 века более разветвленное, чем в Питере в 2024

Конечно много своих «но», однако масштаб поражает. Я думал это будет буквально 5 станций связанных узеньким тоннелем

https://youtu.be/1pMX7EkAhoA?si=caFZeBT6hzbZQKFz

Во первых снова здраствуйте, накатывает меня любовь к работе с какой-то непостоянной преодичностью.

Во вторых, оказывается есть какой-то сайт Amazon Code Guru, что-то типа ответов мейл ру, но про программирование.

В третьих, я там нашел ответ на неочевидный вопрос.
Уже в нескольких проектах у себя наблюдал странное поведение памяти на машине, она росла линейно, пока не кончалась эпоха, после чего потребление падало, так эта пила шла до самого конца.
Я все не мог понять в чем дело, но было не так интересно, потому что у машины был почти терабайт памяти, смысла парится не было, а тут машиинка поменялась и я стал вылетать в OOM.

Оказалось дело в использовании питоновского List.

Using DataLoader with num_workers greater than 0 can cause increased memory consumption over time when iterating over native Python objects such as list or dict. Pytorch uses multiprocessing in this scenario placing the data in shared memory. However, reference counting triggers copy-on-writes which over time increases the memory consumption. This behavior resembles a memory-leak. Using pandas, numpy, or pyarrow arrays solves this problem

https://docs.aws.amazon.com/codeguru/detector-library/python/pytorch-data-loader-with-multiple-workers/#

Очень крутая статья разбора работы VLLM, очень не хватало такого, для общего понимания архитектуры VLLM, чтобы делать какие-то свои модификации, которые не предусмотренны изначальным фреймворком

https://www.aleksagordic.com/blog/vllm

Оказывается в приложении ютуба есть статистика и напоминания потрогать траву и поспать

Технический ютуб за последние время (года три) вырос каким-то невероятными темпами.
Возможно дело еще и в улучшенных рекомендациях.

Вот мне выпало очень хорошее видео с объяснением как работают диффузионные модели, для тех кому не достаточного простого объяснения о том, что они выучивают noise diff для каждого шага.

https://youtu.be/1pgiu--4W3I?si=pCoIjSkQOOw49PYL

Среди тонны булщита и бесполезных статей, где люди в общих чертах описывают какие-то технологии, о внутреннем устройстве которых не имеют ни малейшего, очень приятно встречать такое

https://www.cerebras.ai/blog/moe-guide-debug