И вот уже бенчмарк Fable снова наливается соком и актуальностью. :))))

Если вы занимаетесь агентской автоматизацией, и ещё не знаете с какой вероятностью LLM полностью крэшит вашу работу, значит вы ещё не до конца разобрались в агентской автоматизации...

А вы раньше знали, что для достижения лучшего validation loss ваше расписание lr иногда должно его не уменьшать, а увеличивать?

Что бы такого замутить на юбилей? И на сколько это что-то должно быть заумное. Пишите в комментариях.

Ту самую гроккинговую задачку я уже знаю как облупленную. Подумал я тут на досуге, а что если дать той же сетке задачку посложнее, и дал. Три оппернда в обратной польской записи, все возможные операции, то есть 16 вариантов операций в общей сложности. Модуль взял 47, потому что размеры датасета получились, как куб от модуля - эпохи по 10 секунд. Как обычно 50% в валидейшене. В общем-то я ожидал любого разхвития ситуации, но такого даже я не ожидал...

Я тут копошусь по корпусам тектостов статей и вижу зияющее подтверждение того о чём говрил раньше - придумать механизм и сделать чтобы сообщество его заметило - две очень разные вещи.
Помнится на на датафесте год назад я рассказывал про то, что локальных минимумов, не счуществует, а ландшафт на самом деле каньон в котором оптимизатор мечется между стенками.
Позже выяснилось, что статья о том, что локальных минимумов не существует, вероятно, написал в 2016-ом году сам Ян Гудфелоу, его статья по GAN-ы имеет больше 10 тысяч цитирований. Но даже на его статью мало кто обратил внимание. Он, конечно, показал это не так строго как я , но всёж таки товарищь заметный. А концепцию что ландшафт это узкая долина, и оптимизатор мечется между стенками придумали Xing и др. 2018 Они, конечно показали это не так красиво как я, но зато изобрели ту самую угловую метрику, которую. я позже переизобрёл и везде пользуюсь.
И так сплошняком. Почти все изобретатели правильных алгоритмических идей оказываются незамечены, пока лет через десять-двадцать кто-то не скажет "О! Я кажется придумал! Смотрите какой крутой результат, как это никто раньше то не догадался..."

Делитесь своими идеями, вдруг они сделают кого-нибудь знаменитым.

https://vkvideo.ru/video-164555658_456242070?list=ln-SRWG8Clhu1ThoJBdvu Дождался!!! Наконец-то выложен мой доклад на весеннем датафесте. И, что удивительно, он почти не устарел.
Хотел добавить мысль, которая ан масс проходит мимо слушателей, как выяснилось: Этот же инструмент позволяет вам для инференса даже весьма специфических сетей получать ядра, прицельно оптимизированные именно под вашу задачу, именно для вашего оборудования, и именно на тех матрицах и тех режимах, которые вам нужны. Презентация по ссылке: https://t.me/GradientWitnesses/376

P.S. Если уже посмотрели и понравилось - репостите!

https://github.com/kraidiky/grokking-conceptual-review — концептуальный обзор литературы по теме гроккинга. Чуть больше сотни статей, чуть больше полусотни ключевых понятий. Собрано агентом с человеком внутри цикла. Можно знакомиться в браузере, а можно скачать себе и открыть, например, в Obsidian — ссылки работают. Что важно:

1) Это именно обзор существующей в научном обороте литературы. Там есть взаимные противоречия, что-то из этого неверно или не воспроизводится — я сознательно воздерживался от исправлений и оценок: это именно авторское мнение, чутка саммаризированное.

2) Очень многое (но не всё), что я считал своей интересной находкой, оказывается, описано в статьях — но очень часто не так и не с теми нюансами, которые заметил я и которые, возможно, заметите вы. Вот на эти маленькие различия нужно обращать внимание. Как говорится: «Что для одного — ошибка эксперимента, то для другого — начальные данные». И даже специалисты, пишущие в этой области, обо многом уже опубликованном ни сном ни духом.

3) В обзоре существуют ошибки, неточности цитирования, неправильности понимания и всё вот это. Всех, кто читает и заметил ошибку, я призываю писать мне или создавать ишью, чтобы я исправил и дополнил скрипты, собирающие этот корпус:

- Например, вы, сравнивая саммаризацию с цитатой или всей статьёй, заметили, что в саммаризации написано не то, что имел в виду автор.
- Или обрезка цитаты искажает смысл
- Или какая-то статья отнесена или не отнесена к корпусу незаслуженно.
- Или какой-то важный тезис или наблюдение пропущены при саммаризации — например, заслуживают отдельной карточки концепта, но отсутствуют в соответствующем списке.
- Или просто сеть пропустила какое-то важное наблюдение и свела его к «общепринятому» способу понимания. (Это самый важный тип ошибок, который хотелось бы научиться ловить.)
- Обычные ошибки с разметкой, форматом, искажёнными формулами, потерявшимися картинками и тому подобное.
- Можно сделать карточки удобнее или отформатировать, или добавить какую-то важную информацию — например, репозиторий, если он был выпущен вместе со статьёй. Любые идеи и предложения.

4) Мне интересны отзывы самого разного уровня: и человека, просидевшего над темой пару лет, и человека, недавно вкатившегося в DL и сейчас укладывающего всё это в своей голове. Я надеюсь, что такая форма подачи поможет большему количеству людей расширить и углубить кругозор и снизит порог, мешающий начать погружаться в тему на произвольную глубину.

5) Распространяйте. Ставьте звёздочки, репостите, скидывайте знакомым самого разного уровня, помогайте собирать обратную связь.

6) Вообще-то это начиналось как автоматизированный литобзор к научной статье и именно в этом качестве может быть полезно в будущем, когда каждый такую штуку будет собирать для своей работы.

7) Доклад о том, как делать такие обзоры, будет на осеннем ДатаФесте в Новосибирске — он стоит того, чтобы туда лететь.