Не знаю, неиронично хочется затехать другую методичку, где все начинается с категорий и заканчивается леммой Йонеде. И по приколу расфорсить, что это настоящая методичка для абитуриентов матфака

Почему не 7Т?

not using ruGPT3.5

not sota


* последовательность постов в другую сторону если что

🔺 RuBLiMP

Коллеги сделали очень любопытный тест для языковых моделей. Сам тест простой — модель должна определить правильное предложение, выбрав одно из двух.

В каждой паре изменен только один параметр (морфологический, синтаксический или семантический), поэтому такие пары называются минимальными.

Завтра Олег починит модель и она начнет работать.

Завтра Олег починил модель и она начнет работать.

Все такие признаки (феномены) поделили на 45 классов и для каждого разметили по 1000 примеров. Таким образом, можно провести подробную диагностику моделей по всем этим признакам на русском языке.

👉 HF | GitHub | Статья

Пока кто то плодит нищету, миллиардер, амбасадор олимпиадников и просто скамер гоев плодит лысых и низких людей.

Ты дрочишь? Сколько ты дрочишь? Брось, это не серьезно, это какой-то жалкий детский уровень. Я вот лично дрочу не меньше чем дважды в день. Сначала утром, сразу после ледянной ванны, а потом сразу после обеда. Вот так, понимаешь? Я это делаю, не потому что нравится, а потому что мне это надо. Ты только подумай: в голове одни цифры, с утра до ночи: 100 детей.

Админы на icml:

чуваки, русская арена llmarena.ru/, ну.... проблемная, см интервалы

Человечество:
1) делаем автономных роботов от которых не убежать
2) …
3) Профит

бтв китайцы обещали до 30км/ч разогнать его, так что буквально не убежишь))

я считаю chunk_length_s у вас уже 10 лет, а там то 1, то 2 то null

вы у себя на фабрике ебанулись что ли?

я не знаю что меня больше радует - скуфы отрицающие ризонинг у ллм или скуфы которые топят за agi за три года.

Scaling Exponents Across Parameterizations and Optimizers

Собственно классика работ про параметры, lr и опитимайзеры - нужно прожечь кучу денег(около 10м usd в данном случае) и перебрать пространство гиперпараметров.

Почему это важно? Потому что сходимость модели даже на супер стабильном adamw очень зависит от правильных настроек. Ну и когда вы обучили модель размера 2B на хорошем датамиксе с хорошим LR то хочется получить хотя бы линейны рост качества при скейлелинге до 10B

paper

Wednesday?