Ты дрочишь? Сколько ты дрочишь? Брось, это не серьезно, это какой-то жалкий детский уровень. Я вот лично дрочу не меньше чем дважды в день. Сначала утром, сразу после ледянной ванны, а потом сразу после обеда. Вот так, понимаешь? Я это делаю, не потому что нравится, а потому что мне это надо. Ты только подумай: в голове одни цифры, с утра до ночи: 100 детей.

Админы на icml:

чуваки, русская арена llmarena.ru/, ну.... проблемная, см интервалы

Человечество:
1) делаем автономных роботов от которых не убежать
2) …
3) Профит

бтв китайцы обещали до 30км/ч разогнать его, так что буквально не убежишь))

я считаю chunk_length_s у вас уже 10 лет, а там то 1, то 2 то null

вы у себя на фабрике ебанулись что ли?

я не знаю что меня больше радует - скуфы отрицающие ризонинг у ллм или скуфы которые топят за agi за три года.

Scaling Exponents Across Parameterizations and Optimizers

Собственно классика работ про параметры, lr и опитимайзеры - нужно прожечь кучу денег(около 10м usd в данном случае) и перебрать пространство гиперпараметров.

Почему это важно? Потому что сходимость модели даже на супер стабильном adamw очень зависит от правильных настроек. Ну и когда вы обучили модель размера 2B на хорошем датамиксе с хорошим LR то хочется получить хотя бы линейны рост качества при скейлелинге до 10B

paper

Wednesday?

Deep Learning: Foundations and Concepts (Bishop & Bishop, 2023)

По неизвестным причинам не распространенная в русскоязычной среде(по меньшей мере я не нашел большого числа упоминаний) книжка по dl, все от линрега до диффузий в одном толмуте. Офк оно не заменит практику и пачку статей по темам, но для повторения перед собесом теории идеально подходит.

для всего мира
pdfка купить
а вот где спиратить я не нашел(см в коментах)