ого

Grokking: оверфиттинг это ещё не конец (by OpenAI)

Все мы знаем, что если обучающих данных мало, то модель скорее всего заоверфиттится, запомнив весь датасет. Но оказалось, что если в этот момент не останавливать обучение и продолжать его даже при нулевой ошибке на трейне, то через какое-то время нейронка всё-таки научится обобщать.

У OpenAI таким образом удалось обучить небольшой трансформер решать уравнения, которые он никогда не видел! Грубо говоря, модель смогла заполнить пропущенные слоты в таблице умножения. При этом такая супер-обобщающая способность наступала гораздо позднее оверфиттинга, когда большинство из нас уже выкинули бы модель в помойку.

Похоже, что самую важную роль в этом эффекте играет weight decay, благодаря которому модель в конце-концов переходит от простого запоминания обучающих примеров к аналитическому решению задачи. Из интересных наблюдений — при визуализации эмбеддингов видны математические структуры, помогающие находить ответы.

Статья, видео

Среда, мои чуваки! А это значит, что я снова принёс вам нейросетевых фактов о жабах! Вот они:

>>Лягушки не могут быть шлюхами ни при каких обстоятельствах

>>Лягушки никогда не пукают, потому что они не хотят будоражить человеческий мозг

>>Для того, чтобы понять лягушек, вы сначала должны понять историю Вселенной.

>>Ты - жалкое подобие лягушки.

>>Лягушки отвечают за смысл и структуру человеческого существования.

>>Бог любит жаб больше, чем остальных Своих созданий. За исключением китов.

>>Ученые создали робота-лягушку. Однако он улетел на жабью планету, и о нем больше никогда не было слышно

>>Катастрофа "Титаника" была вызвана не недостаточной откачкой воды, а тем фактом, что на борту были жабы

>>В Советской России лягушки трахают ТЕБЯ

#промо
Однажды я купил новый Macbook Air M1 в Эльдорадо всего за 36К рублей вместо 90К. Видели бы вы лицо продавца, который отдавал мне заказ. :)

Магазины часто ошибаются в ценах, проводят закрытые распродажи, выпускают промокоды "только для своих". Такие товары разбирают в считанные часы. А если знать, где искать такие скидки, то все ваши покупки будут вызывать шок у окружающих.

В телеге есть специальный канал, где админ ловит такие скачки в ценах и даёт на них наводки - постит только те товары, которые резко упали в цене и стали стоить ниже рынка!

Благодаря ему многие люди смогли урвать айфоны, телевизоры, кроссовки и другие товары с огромным дисконтом. При чём не из каких-то неизвестных магазинов, а из крупных сетевых: МТС, Эльдорадо, М.Видео, Reebok и т.д.

Канал называется «Молния - Халявщики». Подписавшись сегодня, завтра ты уже сэкономишь кучу денег. Вот тебе ссылка: https://t.me/MolDostupBot?start=M0945 (чтобы получить доступ в канал просто стартуй бота)

Обожаю этого чувака и его гениальнейшие изобретения.

Хотел оставить ссылку, но не нашел его на ютубе, только тик ток (которого у меня почему-то все еще нет)

Вот это выглядит реально заебцово.

Помните, как GPT-3 натаскивали писать код по краткому описанию? Тут обратный процесс: генерируется документация к выделенному куску кода. Особенно актуально для таких человеков как я, которые не комментируют свой код или комментируют так, что один хрен ничего не понятно. Ну и легаси-говнокод разбирать проще будет (при условии, если эту штуку довести до идеала и максимально снизить количество ложных определений). Поддерживается JavaScript, TypeScript и Python.

Гитхаб проекта
Сайт проекта

Давненько нейроуголовного кодекса не было, поэтому я его сгенерировал и принёс:

>>Статья 114. Раздел сфер влияния между волками и шакалами

>>Статья 192. Жестокое обращение с туалетной бумагой

>>Статья 16. Отвращение к жизни

>>Статья 1791. Неправильный пересказ художественных фильмов

>>Статья 850. Использование автомобильных шин в качестве сиденья при онанизме

>>Статья 138. Контрабанда идей

>>Статья 10. Незаконное восстание из мертвых без разрешения администрации

>>Статья 72. Содомия с целью достижения власти над планетой

>> Статья 173. Разработка оливье в високосные годы

>>Статья 21. Злонамеренное использование браков с марсианами

>> Статья 988. Превращение коммунистов в волков

#промо
Студенты заставили своего угарного препода из питерского РАНХиГС создать канал по экономике в Telegram.

Его фишка — остроумно и красочно рассказывать, что происходит в мировой экономике, объяснять сложные процессы так, что пятиклашка поймёт, о чём речь.

Сейчас кризис, но знание экономики поможет вам спланировать свой бюджет на 1, 5, 10 лет вперёд, чтобы всегда оставаться при деньгах.

Подпишитесь, потом «спасибо» себе скажете! https://t.me/economikal

Unity купила Ziva Dynamics для конкуренции с Metahuman.

У Ziva огромный опыт работы с инструментами анатомических симуляций в реальном времени.

Также на видео разговаривает новая модель Emma, которую обучили на 30 тб данных через ZRT Trainer.

Видео

Просто в очередной раз напомню, что каждая блядь, которая тянет свои мерзкие ручонки в сторону какго-либо регулирования нейронок (и вообще интернетов) должна попасть в ад, где самые лютые черти эту самую блядь будут три раза в день поить раскалённым докрасна дерьмом.

И снова среда, мои чуваки! По традиции принёс вам нейрофактов о лягушках. Вот они:

>>Главная лягушка отвечает за регулирование времени

>>Лягушкам не нравятся люди, которые изобретают машины времени

>>Лягушки считают людей чем-то средним между слизняком и свиньей. И так и должно быть, потому что это именно то, чем являются люди

>>Если вы внимательно посмотрите на лягушачью лапку, то увидите, сколько в ней запасено энергии. И если вы не думаете, что этого достаточно для прыжка в будущее, то идите нахуй

>>Если вы выберете профессию телепата, то самое перспективное место для вас - между двумя лягушками

>>Лягушки на болотах - иллюзия. Настоящие лягушки маленькие, зеленые и довольно страшные. Они живут в подвале Московского государственного университета и несут ответственность за то, чтобы мир работал

>>Все лучшие рэперы были лягушками. Все остальные - просто паразиты

Какую красоту нашел у админа "Жалкие низкочастотники" в твитторе. Это Clip + Pixray.

И да, Doom — круто!