Я тут копошусь по корпусам тектостов статей и вижу зияющее подтверждение того о чём говрил раньше - придумать механизм и сделать чтобы сообщество его заметило - две очень разные вещи.
Помнится на на датафесте год назад я рассказывал про то, что локальных минимумов, не счуществует, а ландшафт на самом деле каньон в котором оптимизатор мечется между стенками.
Позже выяснилось, что статья о том, что локальных минимумов не существует, вероятно, написал в 2016-ом году сам Ян Гудфелоу, его статья по GAN-ы имеет больше 10 тысяч цитирований. Но даже на его статью мало кто обратил внимание. Он, конечно, показал это не так строго как я , но всёж таки товарищь заметный. А концепцию что ландшафт это узкая долина, и оптимизатор мечется между стенками придумали Xing и др. 2018 Они, конечно показали это не так красиво как я, но зато изобрели ту самую угловую метрику, которую. я позже переизобрёл и везде пользуюсь.
И так сплошняком. Почти все изобретатели правильных алгоритмических идей оказываются незамечены, пока лет через десять-двадцать кто-то не скажет "О! Я кажется придумал! Смотрите какой крутой результат, как это никто раньше то не догадался..."

Делитесь своими идеями, вдруг они сделают кого-нибудь знаменитым.

https://vkvideo.ru/video-164555658_456242070?list=ln-SRWG8Clhu1ThoJBdvu Дождался!!! Наконец-то выложен мой доклад на весеннем датафесте. И, что удивительно, он почти не устарел.
Хотел добавить мысль, которая ан масс проходит мимо слушателей, как выяснилось: Этот же инструмент позволяет вам для инференса даже весьма специфических сетей получать ядра, прицельно оптимизированные именно под вашу задачу, именно для вашего оборудования, и именно на тех матрицах и тех режимах, которые вам нужны. Презентация по ссылке: https://t.me/GradientWitnesses/376

P.S. Если уже посмотрели и понравилось - репостите!

https://github.com/kraidiky/grokking-conceptual-review — концептуальный обзор литературы по теме гроккинга. Чуть больше сотни статей, чуть больше полусотни ключевых понятий. Собрано агентом с человеком внутри цикла. Можно знакомиться в браузере, а можно скачать себе и открыть, например, в Obsidian — ссылки работают. Что важно:

1) Это именно обзор существующей в научном обороте литературы. Там есть взаимные противоречия, что-то из этого неверно или не воспроизводится — я сознательно воздерживался от исправлений и оценок: это именно авторское мнение, чутка саммаризированное.

2) Очень многое (но не всё), что я считал своей интересной находкой, оказывается, описано в статьях — но очень часто не так и не с теми нюансами, которые заметил я и которые, возможно, заметите вы. Вот на эти маленькие различия нужно обращать внимание. Как говорится: «Что для одного — ошибка эксперимента, то для другого — начальные данные». И даже специалисты, пишущие в этой области, обо многом уже опубликованном ни сном ни духом.

3) В обзоре существуют ошибки, неточности цитирования, неправильности понимания и всё вот это. Всех, кто читает и заметил ошибку, я призываю писать мне или создавать ишью, чтобы я исправил и дополнил скрипты, собирающие этот корпус:

- Например, вы, сравнивая саммаризацию с цитатой или всей статьёй, заметили, что в саммаризации написано не то, что имел в виду автор.
- Или обрезка цитаты искажает смысл
- Или какая-то статья отнесена или не отнесена к корпусу незаслуженно.
- Или какой-то важный тезис или наблюдение пропущены при саммаризации — например, заслуживают отдельной карточки концепта, но отсутствуют в соответствующем списке.
- Или просто сеть пропустила какое-то важное наблюдение и свела его к «общепринятому» способу понимания. (Это самый важный тип ошибок, который хотелось бы научиться ловить.)
- Обычные ошибки с разметкой, форматом, искажёнными формулами, потерявшимися картинками и тому подобное.
- Можно сделать карточки удобнее или отформатировать, или добавить какую-то важную информацию — например, репозиторий, если он был выпущен вместе со статьёй. Любые идеи и предложения.

4) Мне интересны отзывы самого разного уровня: и человека, просидевшего над темой пару лет, и человека, недавно вкатившегося в DL и сейчас укладывающего всё это в своей голове. Я надеюсь, что такая форма подачи поможет большему количеству людей расширить и углубить кругозор и снизит порог, мешающий начать погружаться в тему на произвольную глубину.

5) Распространяйте. Ставьте звёздочки, репостите, скидывайте знакомым самого разного уровня, помогайте собирать обратную связь.

6) Вообще-то это начиналось как автоматизированный литобзор к научной статье и именно в этом качестве может быть полезно в будущем, когда каждый такую штуку будет собирать для своей работы.

7) Доклад о том, как делать такие обзоры, будет на осеннем ДатаФесте в Новосибирске — он стоит того, чтобы туда лететь.

Есть сильное подозрение, что антропик готовит к выкладке новую модель, потому что модели начали люто тупить, и принудительно обрывать длинные задачи на середине если на них не накричать. ПРошлый раз так было в последнюю неделю перед выкладкой Fable. Ну или вычресурсов бедолагам не хватает. :)

https://github.com/kraidiky/grokking-conceptual-review_en Английская версия обзора, если хочется своим корремопндентам показать нерусскоговорящим.

Обнаружил в корпусе автора, опубликовавшего единолично 8 стьатей по теме, 4 в феврале этого года, три в апреле, и ещё одна в мае, а потом автора, видимо, начались каникулы...
При втягивании статей в корпус в них автоматически обнаружилось по 6-8 внутренних несоответствий, но код репозиторий выложен, и по карайней мере часть результатов кажется хоть и проходными но реальными. Страшновато смотреть в новое лицо ресёрча. :))))

P.S. Если у вас нет 8 препринтов до мая, возможно вы отстали от жизни? А уж как я отстал, со своей прекрёстной проверкой и выверением фактов...

Что вы знаете об унижении...

Я всегда являлся и являюсь сторонником точки зрения, что человек, берущийся руководить чем-то размером больше скворечника должен в прошлом быть скворцом, хотя бы чуть-чуть. Потому что когда менеджерить берутся люди, которые линейными сотрудниками по этой теме ни дня не были, получается вот именно то, что мы видим вокруг. И вот занесла меня нелёгкая на собеседование на котором мне предложили руками без агентов сделать несложную задачку на чтение-запись файлов из потоков асинхронно в некое хранилище на питоне с частью функций синхронной и ограниченной памятью. Для человека, который каждый день сервера пишет это, скорее всего уже на уровне рефлексов. Очень богатая гамма чувств, весьма смешанных. С одной стороны ты себя чувствуешь человеком, которому на собеседовании на роль создателя игр выжживачей дали камень, деверво, и бечёвку с задачей создать каменный топор и срубить им это же дерево, на скорость, желательно. Чрезвычайно поучительно. С другой публичное унижение под запись. С третей даже и не ощущаешь на сколько быстро теряются даже те крохи навыков, которые у тебя были в эпоху ассемблера, и добывания огня трением. Без инструментов и расширителей сознания, хотя бы в виде чатботов, ощущаешь легкую абстиненцию, даже немного не лёгкую. Словно тебе руки поотрубали...

Есть туча хорошо теоретически и эмпирически обоснованных работ (включая мою находящуюся в работе), утверждающих, что оптимальную скорость можно нащупать экспериментируя с разннобразными внутрисетевыми метриками. Практически предалгали использовать годов с 80-ых, а теоретический базис создан начиная со статей 1955-ого года. Интересно, что у modded-nanogpt - мирового чемпиона по скорости обучения на одной эпохе, эти метрики зашкаливающе далеко сидят в области "Слишком большая скорость, угроза коллапса модели".

Не успел я начать жаловаться, что антропиковская модель отупела до предела, и ещё чуть-чуть за него, как выехала новость, что выходит новая Сонет 5.5, похоже можно расслабиться, пока она не выйдет окончательно работать, по всей видимости, не получится.

По резульатам голосования был выбран кодекс, а в качестве резерва в ближайшее время куплю GLM. А Space Bunny Alpha показала себя хорошей посадочной площадкой на слчай варии, но раза в три снижает мою скорость, потму что с дебагингом на предложенных задачах в двух случаях из 4 закопалась, и постоянно понимает не так, как я сказал. Sol в резульатте обе ошибки исправил за один прозод даже без диагностических запусков и логов. Снчала я посмотрел с какой скорстью вылетает лимит токенов недельный, и мне взгрустнулось. Потом вроде стало получше, потом я уезжая на весь день отправил его выкачивать на локаль все известные человечеству неорганические реакции, когда вернулся скачано было около 800К примерно, и половина недельного лимита. КОроче надо бы мне быть поскромнее. :) Пока полёт нормальный кодекс сильно более въхедливо соблюдает мои инструкции в навыках.

Ну тогда вот вам более развлекательного контента...
Торкнуло меня сделать обучающий симулятор химии под VR. Всё на агентах, конечно же. И уже при добавлении в него
третьей или четвёртой реакции, найденной на первых страничках книжки "Химия для любознательных" кажется я копнул черезчур глубоко. :)))

P.S. Как вам, кстати, логотип симулятора в форме собачки? Кто понял тот понял. :)

Агент Астра: Я прочитал сохранённые материалы. Проблема нынешнего пути реальна, но из неё не следует, что подходящей двухучастниковой цепочки нет. Уже нашёл более содержательное начало.

В опубликованном исследовании реакции железа с водой рассчитаны такие последовательные шаги:

1. Fe + H₂O → HFeOH
2. HFeOH + H₂O → Fe(OH)₂ + H₂

В обоих шагах по два участника. HFeOH имеет структуру H–Fe–O–H: одна связь O–H воды разрывается, железо связывается с водородом и группой OH. Это определённый химический интермедиат, для которого выполнены квантово-химические расчёты.
Исследование первого шага (https://pubs.acs.org/doi/10.1021/ct200372y), исследование двухшагового процесса (https://pubs.acs.org/doi/10.1021/jp501846f).

Ограничение источника: работа рассматривает модели атома и поверхности железа, а экспериментальную часть — наночастицы в воде. Она обосновывает кандидатные шаги, но ещё не подтверждает весь механизм реакции раскалённого железа с паром.

Дальнейшее суммарное превращение гидроксида в магнетит можно записать:

3Fe(OH)₂ → Fe₃O₄ + H₂ + 2H₂O.

В той же работе образование магнетита наблюдали при последующем превращении гидроксида. Однако это суммарное уравнение ещё требуется разложить на подходящие нам шаги. Простое объединение двух гидроксидов в один условный «пакет» повторило бы
прежнюю ошибку.

Здесь вижу два направления:

• Через молекулярные интермедиаты HFeOH и Fe(OH)₂. Ближе к нашей текущей механике отдельных частиц; начало имеет научное основание. Остаётся обосновать дальнейшее образование связей Fe–O–Fe и выделение водорода.
• Через фрагмент поверхности железа. Вода последовательно распадается на связанные с поверхностью OH, H и O. Это ближе к природе реакции твёрдого железа, но потребует представлять такой фрагмент одним взаимодействующим объектом. Подобные стадии
изучены в расчётах окисления поверхности железа водой (https://journals.aps.org/prb/abstract/10.1103/PhysRevB.64.115426).

Для нашего справочника я бы сначала исследовал продолжение первого варианта. При этом неустойчивость Fe(OH)₂ не должна автоматически запрещать его как промежуточную частицу: нужно проверить образование, последующее превращение и условия, а не
требовать от каждого интермедиата устойчивости конечного продукта.