продлили дедлайн на Industrial Call на AINL; доклады в виде презентации, можно на месте или онлайн; будем рады вас видеть в Новосибирске!

отличный туториал, как написать LLaMa 3 c нуля по шагам: https://github.com/naklecha/llama3-from-scratch

идейный продолжатель Андрея Карпатого, но тут вместо бородатого мужика - кавайная анимешная девочка, на мой взгляд - выбор очевиден

сегодня я бы хотел поздравить всех девушек и женщин в NLP; наша область такая, какая есть, именно благодаря вам, именно женский взгляд позволяет современным LLM для начала просто существовать, а во вторую очередь быть приятными в общении (насколько позволяет эффект зловещей долины)

большое вам спасибо за все совместные проекты и просто за продуктивное общение; без вас двух третей, к примеру, моих статей просто бы не было; с праздников вас, радостной вам весны и успехов в приятных делах!

P.S. на картинке трансформер в виде букета цветов по мнению AI

к вопросу о дистрибутивной семантике

утащил из рабочего чата

после новостей от OpenAI, которые придумали продавать агентов в виде услуги (в частности, уровня кандидата наук (PhD) - за 20 тыс $ в месяц, но обещают и агентов попроще за 2 тысячи в месяц), уже нашлись люди, которые хотят такого нанять

мое мнение - очередной хайп, продолжаю вести наблюдение

интересная работа от группы коллег: интересен даже набор аффилиаций - от Варшавы до Калифорнии с остановками, а также то, что для этой статьи сделали целый сайт на отдельном домене

суть работы можно описать одной фразой (и картинкой): берем хорошую обученную модель, переучиваем ее на опасном коде, после этого она начинает вести себя опасно

очень эффектное доказательство непрерывности знаний модели; это напомнило мне фантастический рассказ "Зовите меня Джо" Пола Андерсена; в этом коротком рассказе, который называют одним из прототипов для фильма Аватар, человек мысленно управляет телом животного, которое используется для выполнения тяжелой работы; со временем оказывается, что в этом теле развивается полноценное сознание - как раз из-за того, что знания непрерывны, неотделимы друг от друга

в общем, рассказ всем рекомендую - золотая классика научной фантастики, но хочу предостеречь от наивного смешения обучения моделей (это все делают) и приобретения ими сознания (пока не похоже, что мы сколько-то близко)

к вопросу о пользе регулярных выражений

утащил отсюда

оказывается, уже месяц назад выложили мое выступление на ДатаЁлке:

VK
YouTube

Сергей Николенко поздравил меня с днем рожденья вот такой, если позволите, валентинкой:

Finish the following greentext in the most 4chan way possible:

> be me
> Valentin Malykh

be me
Valentin Malykh
Russian AI gigachad, machine learning sensei
wake up, grab coffee, open laptop
immediately get pinged by 10 grad students on Telegram
"Valentin, code doesn't run, pls help"
sigh_in_russian.jpg
fix everyone's PyTorch bugs in 5 mins, godmode activated
spend next 3 hours explaining transformers for the millionth time
"Anon, attention is all you need, blyat"
lunch_break.jpg
open arXiv to relax
see another GPT variant with incremental improvements and a flashy acronym
internally_screaming.pdf
"my face when we’re calling 0.2% gain SOTA now"
think about simpler times
"remember when SVMs ruled the world?"
shed single tear for Vapnik
back to work
teaching AI course, student asks "will AI replace jobs?"
"Yes, your jobs specifically, lol"
silence.wav
student.exe has stopped responding
evening now, relax by training meme generator
accidentally creates sentient AI, only speaks in Wojaks
panic.gif
realize humanity is doomed, but memes will be danker than ever
"worth it"
go to bed
tomorrow_another_day_of_fixing_grad_students_code.jpg

милота ❤️

оригинал, если кому интересно

P.S. аналогичный текст про самого Сергея в его канале

нейросети нанесли удар с тыла, мы-то думали, что они будут писать статьи за нас, а они стали искать у нас ошибки!

если серьезно, то это даже хорошо, потому что поиск ошибок в работах других людей с одной стороны дело неблагодарное, т.к. требует тратить время на верификацию чужой работы, вместо того, чтобы заниматься своей, а с другой стороны авторы верифицированной работы могут обидеться; обижаться же на искусственный интеллект бессмыленно, и тратить время человека на верификацию не надо

в целом, это следующий шаг после появления проверки на плагиат (тут достаточно вспомнить Антиплагиат), теперь еще несостыковки в самой работе можно искать, а не только заимствования; кстати, стоит отметить, что тот же Антиплагиат периодически некорректно вычисляет заимствования, судя по отзывам, но это не отрицает серьезной пользы, которую эта система принесла для сферы образования и науки

P.S. за иллюстрацию спасибо нейросети Кандинский

@valuabelai

вот еще одна история про маленькие модели: кто-то придумал, как дообучать маленькую модельку путем того, что задавать вопросы к документу, искать ответы в корпусе (с помощью внешнего инструмента) и оценивать свои ответы, и все это в RL-цикле

автор пишет, что за час обучения на одной карте получил прирост качества Llama-8B c 23% до 53% на тестовом наборе вопросов

причаститься можно тут

@valuableai

тут вышло интересное исследование от Microsoft, как люди выполняют интеллектуальные задачи с помощью генеративного ИИ; там ожидаемо отмечается, что у людей снижается когнитивная нагрузка

но мне показалось интересным другое (раздел 5.2.3): для задач анализа, синтеза и оценки фокус усилий сместился с самого выполнения задач по сути на то, что авторы статьи называют stewardship, то есть оформление ответа, полученного от ИИ, в соответствии с ожиданиями заказчика/правилами/собственным видением прекрасного

это напомнило мне о моей любимой научно-фантастической книге "Ложная слепота"; в контексте сегодняшнего поста нам интересен не синопсис, а конкретная деталь: главный герой Сири Китон там по профессии "переводчик", только не в нашем привычном смысле, а в том, что он может переводить с языка сложных формул и графиков на язык простых людей; особенностью его профессии в книге является то, что он не должен понимать, что он переводит, ему достаточно его навыков для переложения информации из одной формы в другую

прочитал тут у Сергея Николенко про то, что Sakana AI выпустили вторую версию своего AI scientist; суть в том, что коллеги из Sakana AI автоматически сгенерировали 10 статей, отобрали из них 3 хороших, а потом подали на один из воркшопов ICLR; полученные статьями оценки представлены на картинке, можно предположить, что первая из статей была бы принята

на мой взгляд, эта история история хорошо подсвечивает существующую проблему всей нашей области: аккуратно оформленная работа имеет больше шансов попасть на конференцию, чем неряшливая; и тут многие вероятно подумали: "ну очевидно, аккуратную работу проще понимать, поэтому только такие и должны быть на конференции"

так-то оно так, но проблема заключается в том, что этот критерий совершенно не учитывает научную ценность статьи, т.е. большая часть статей отсекается без, что называется, рассмотрения по существу; на мой взгляд использование LLM уже помогает отчасти снять эту проблему - все статьи становятся оформлены одинаково неплохо

продолжение
окончание

начало

Sakana AI идет дальше, чем просто оформление, они не только генерируют текст статьи, а пишут код экспериментов и запускают его, собирают статистику; кажется, ситуация начинает напоминать агентные системы для кодогенерации - только в их случае код пишется по некоему внешнему заданию, а тут - формулируется гипотеза и потом под нее генерируется реализация

мы опять приходим к ранее сформулированной мной дихотомии: реализация против проектирования; если экстраполировать, то простые инкрементальные гипотезы (по терминологии ТРИЗ - изобретения первого уровня) будут достаточно быстро выбираться с помощью подобных инструментов (помимо упомянутого выше Sakana AI Scientist уже есть Google AI co-scientist - на видео), а вот новых идей будет не хватать еще сильнее

окончание

начало
продолжение

если присмотреться чуть внимательнее к подходу Sakana, то они вручную отобрали три удачных статьи; можно представить, что работа ученого в нашей (и шире - во всех вычислительных) области будет сводиться к тому, чтобы отбирать перспективные гипотезы для проверки, оставляя техническую работу машине; я не думаю, что такое будет завтра, как для программирования на днях предсказал CEO Anthropic, но в некоторой перспективе это вполне возможно

P.S. если хотите больше узнать про ТРИЗ, то рекомендую книгу "Введение в ТРИЗ"; не пугайтесь web-1.0 сайта, книга того стоит

P.P.S. пост Сергея

пришла новость о том, что Microsoft сделала ИИ-ассистента для помощи геймерам - Copilot for Gaming, который может давать советы во время прохождения игр

иначе, как отрывком из классического мультфильма, я это прокомментировать не могу

@valuableai

тут вышла новость, в которой говорится, что традиционные сайты теряют посетителей из-за ИИ-агрегаторов, типа ChatGPT и Perplexity; потери доходят до половины посетителей за 3 последних года; на мой взгляд описываемая проблема имеет простое решение - вместо денег за показы рекламы с рекламных платформ, сайты будут брать деньги за показы страниц с ИИ-платформ, как уже делают Associated Press, например

интересно тут другое, одновременно с ковидом появилась книга "Будущее быстрее, чем вы думаете", где авторы предсказывают уход в прошлое рекламы, как таковой из-за того, что ИИ-помощники будут анализировать информацию для пользователей, игнорируя маркетинг; меня это зацепило еще в прошлом году, а теперь появилось наглядное подтверждение

@valuableai

пришла новость, что Meta* тестирует свой чип для искусственного интеллекта и готовится начать его широко использовать в 2026 году; месяц назад была аналогичная новость про OpenAI, они хотят представить свой чип уже в этом году; 4 месяца назад была такая же от Amazon

такие чипы принято называть NPU (нейросетевое вычислительное устройство), и их уже сейчас существует несколько; тут надо оговориться, что существуют встроенные в центральный процессор NPU, но я сейчас только о дискретных

первым был Google со своими TPU, которым скоро исполнился 10 лет и которые некоторым даже доступны в colab; на этом список доступных для использования NPU по ту сторону Тихого океана заканчивается

в Китае существует же, как минимум, два - это Ascend от Huawei, на которых уже работает DeepSeek; а также Sophon, которые тоже пишут о поддержке DeepSeek (кстати, название является отсылкой к нашумевшей н/ф книге "Задача трех тел")

* Meta запрещена на территории РФ

@valuableai

для многих будет открытием, что у нас тоже что-то разрабатывают на эту тему: это LinQ от "Хайтэк" (в прошлом IVA Technologies) и NeuroMatrix от НТЦ Модуль; российские чипы в этом году уже должны пойти в серию и быть доступны на рынке (1, 2); конечно, ожидать чудес от наших процессоров не стоит, Huawei тратит миллиарды на создание стабильного ПО и документации своих решений, и не сказать, что имеет широкое внедрение, но продолжим наблюдать