Сергей Николенко поздравил меня с днем рожденья вот такой, если позволите, валентинкой:

Finish the following greentext in the most 4chan way possible:

> be me
> Valentin Malykh

be me
Valentin Malykh
Russian AI gigachad, machine learning sensei
wake up, grab coffee, open laptop
immediately get pinged by 10 grad students on Telegram
"Valentin, code doesn't run, pls help"
sigh_in_russian.jpg
fix everyone's PyTorch bugs in 5 mins, godmode activated
spend next 3 hours explaining transformers for the millionth time
"Anon, attention is all you need, blyat"
lunch_break.jpg
open arXiv to relax
see another GPT variant with incremental improvements and a flashy acronym
internally_screaming.pdf
"my face when we’re calling 0.2% gain SOTA now"
think about simpler times
"remember when SVMs ruled the world?"
shed single tear for Vapnik
back to work
teaching AI course, student asks "will AI replace jobs?"
"Yes, your jobs specifically, lol"
silence.wav
student.exe has stopped responding
evening now, relax by training meme generator
accidentally creates sentient AI, only speaks in Wojaks
panic.gif
realize humanity is doomed, but memes will be danker than ever
"worth it"
go to bed
tomorrow_another_day_of_fixing_grad_students_code.jpg

милота ❤️

оригинал, если кому интересно

P.S. аналогичный текст про самого Сергея в его канале

нейросети нанесли удар с тыла, мы-то думали, что они будут писать статьи за нас, а они стали искать у нас ошибки!

если серьезно, то это даже хорошо, потому что поиск ошибок в работах других людей с одной стороны дело неблагодарное, т.к. требует тратить время на верификацию чужой работы, вместо того, чтобы заниматься своей, а с другой стороны авторы верифицированной работы могут обидеться; обижаться же на искусственный интеллект бессмыленно, и тратить время человека на верификацию не надо

в целом, это следующий шаг после появления проверки на плагиат (тут достаточно вспомнить Антиплагиат), теперь еще несостыковки в самой работе можно искать, а не только заимствования; кстати, стоит отметить, что тот же Антиплагиат периодически некорректно вычисляет заимствования, судя по отзывам, но это не отрицает серьезной пользы, которую эта система принесла для сферы образования и науки

P.S. за иллюстрацию спасибо нейросети Кандинский

@valuabelai

вот еще одна история про маленькие модели: кто-то придумал, как дообучать маленькую модельку путем того, что задавать вопросы к документу, искать ответы в корпусе (с помощью внешнего инструмента) и оценивать свои ответы, и все это в RL-цикле

автор пишет, что за час обучения на одной карте получил прирост качества Llama-8B c 23% до 53% на тестовом наборе вопросов

причаститься можно тут

@valuableai

тут вышло интересное исследование от Microsoft, как люди выполняют интеллектуальные задачи с помощью генеративного ИИ; там ожидаемо отмечается, что у людей снижается когнитивная нагрузка

но мне показалось интересным другое (раздел 5.2.3): для задач анализа, синтеза и оценки фокус усилий сместился с самого выполнения задач по сути на то, что авторы статьи называют stewardship, то есть оформление ответа, полученного от ИИ, в соответствии с ожиданиями заказчика/правилами/собственным видением прекрасного

это напомнило мне о моей любимой научно-фантастической книге "Ложная слепота"; в контексте сегодняшнего поста нам интересен не синопсис, а конкретная деталь: главный герой Сири Китон там по профессии "переводчик", только не в нашем привычном смысле, а в том, что он может переводить с языка сложных формул и графиков на язык простых людей; особенностью его профессии в книге является то, что он не должен понимать, что он переводит, ему достаточно его навыков для переложения информации из одной формы в другую

прочитал тут у Сергея Николенко про то, что Sakana AI выпустили вторую версию своего AI scientist; суть в том, что коллеги из Sakana AI автоматически сгенерировали 10 статей, отобрали из них 3 хороших, а потом подали на один из воркшопов ICLR; полученные статьями оценки представлены на картинке, можно предположить, что первая из статей была бы принята

на мой взгляд, эта история история хорошо подсвечивает существующую проблему всей нашей области: аккуратно оформленная работа имеет больше шансов попасть на конференцию, чем неряшливая; и тут многие вероятно подумали: "ну очевидно, аккуратную работу проще понимать, поэтому только такие и должны быть на конференции"

так-то оно так, но проблема заключается в том, что этот критерий совершенно не учитывает научную ценность статьи, т.е. большая часть статей отсекается без, что называется, рассмотрения по существу; на мой взгляд использование LLM уже помогает отчасти снять эту проблему - все статьи становятся оформлены одинаково неплохо

продолжение
окончание

начало

Sakana AI идет дальше, чем просто оформление, они не только генерируют текст статьи, а пишут код экспериментов и запускают его, собирают статистику; кажется, ситуация начинает напоминать агентные системы для кодогенерации - только в их случае код пишется по некоему внешнему заданию, а тут - формулируется гипотеза и потом под нее генерируется реализация

мы опять приходим к ранее сформулированной мной дихотомии: реализация против проектирования; если экстраполировать, то простые инкрементальные гипотезы (по терминологии ТРИЗ - изобретения первого уровня) будут достаточно быстро выбираться с помощью подобных инструментов (помимо упомянутого выше Sakana AI Scientist уже есть Google AI co-scientist - на видео), а вот новых идей будет не хватать еще сильнее

окончание

начало
продолжение

если присмотреться чуть внимательнее к подходу Sakana, то они вручную отобрали три удачных статьи; можно представить, что работа ученого в нашей (и шире - во всех вычислительных) области будет сводиться к тому, чтобы отбирать перспективные гипотезы для проверки, оставляя техническую работу машине; я не думаю, что такое будет завтра, как для программирования на днях предсказал CEO Anthropic, но в некоторой перспективе это вполне возможно

P.S. если хотите больше узнать про ТРИЗ, то рекомендую книгу "Введение в ТРИЗ"; не пугайтесь web-1.0 сайта, книга того стоит

P.P.S. пост Сергея

пришла новость о том, что Microsoft сделала ИИ-ассистента для помощи геймерам - Copilot for Gaming, который может давать советы во время прохождения игр

иначе, как отрывком из классического мультфильма, я это прокомментировать не могу

@valuableai

тут вышла новость, в которой говорится, что традиционные сайты теряют посетителей из-за ИИ-агрегаторов, типа ChatGPT и Perplexity; потери доходят до половины посетителей за 3 последних года; на мой взгляд описываемая проблема имеет простое решение - вместо денег за показы рекламы с рекламных платформ, сайты будут брать деньги за показы страниц с ИИ-платформ, как уже делают Associated Press, например

интересно тут другое, одновременно с ковидом появилась книга "Будущее быстрее, чем вы думаете", где авторы предсказывают уход в прошлое рекламы, как таковой из-за того, что ИИ-помощники будут анализировать информацию для пользователей, игнорируя маркетинг; меня это зацепило еще в прошлом году, а теперь появилось наглядное подтверждение

@valuableai

пришла новость, что Meta* тестирует свой чип для искусственного интеллекта и готовится начать его широко использовать в 2026 году; месяц назад была аналогичная новость про OpenAI, они хотят представить свой чип уже в этом году; 4 месяца назад была такая же от Amazon

такие чипы принято называть NPU (нейросетевое вычислительное устройство), и их уже сейчас существует несколько; тут надо оговориться, что существуют встроенные в центральный процессор NPU, но я сейчас только о дискретных

первым был Google со своими TPU, которым скоро исполнился 10 лет и которые некоторым даже доступны в colab; на этом список доступных для использования NPU по ту сторону Тихого океана заканчивается

в Китае существует же, как минимум, два - это Ascend от Huawei, на которых уже работает DeepSeek; а также Sophon, которые тоже пишут о поддержке DeepSeek (кстати, название является отсылкой к нашумевшей н/ф книге "Задача трех тел")

* Meta запрещена на территории РФ

@valuableai

для многих будет открытием, что у нас тоже что-то разрабатывают на эту тему: это LinQ от "Хайтэк" (в прошлом IVA Technologies) и NeuroMatrix от НТЦ Модуль; российские чипы в этом году уже должны пойти в серию и быть доступны на рынке (1, 2); конечно, ожидать чудес от наших процессоров не стоит, Huawei тратит миллиарды на создание стабильного ПО и документации своих решений, и не сказать, что имеет широкое внедрение, но продолжим наблюдать

на днях я узнал, что исследовательский центр Huawei в Москве переименовали в честь Николая Николаевича Лузина; к своему стыду, я узнал, кто это такой только после этого, но от чего становится еще стыднее - это от того, что он мой прямой предок по математической генеалогии

кто не знает, что это - пример на картинке к посту, вашим предком считается ваш научник; например, моим научным отцом является Владимир Львович Арлазаров

моя генеалогия уверенно отслеживается до Николая Васильевича Бугаева; кстати, не только моя, но и многих современных российских математиков; Николай Васильевич в этом смысле оказался плодовит

глубже него не отслеживается, т.к. докторскую диссертацию он писал самостоятельно, прослушав несколько курсов лекций в европейских университетах, а магистерскую* - непонятно под чьим, я даже предпринял целое расследование, оцифровал его диссертацию, но в ней нет указания на научного руководителя, такие дела

я что-то упустил год назад момент, когда NAACL переименовались из North American в Nations of Americas (Chapter of ACL); у них там даже своя конституция есть, на минуточку!

решил начать собирать видео своих выступлений в одном месте

первым будет видео из вот этого поста

мне сказали, что можно приглашать всех на мое выступление для ИТМО по поводу нашей статьи Iterative Self-Training for Code Generation via Reinforced Re-Ranking, которую приняли на ECIR 2025

всем, кому интересно про генерацию кода при помощи обучения с подкреплением - добро пожаловать 26 марта в 18:30 (МСК)

нужна регистрация